◇一些不法分子利用AI深度偽造新工具實施電信詐騙、散布虛假影片、激化社會矛盾，給安全領域帶來了諸多風險
◇依靠深度偽造技術工具，AI客服可以同時給上萬人打電話，從事電信詐騙的危害性更強、數額更大
◇透過法律加強對「事前（內容源頭監管）—事中（詐騙快速查處）—事後（追償、救濟）」的全方位規制，源頭規範深度偽造技術的使用和發展
文 |【瞭望】新聞周刊記者 白瑜
實習生 羅梓凝
徐駿 圖/本刊
近年來，AI深度偽造技術被犯罪分子用於電信詐騙，引發社會廣泛關註。
AI深度偽造是一種利用人工智能技術合成、修改或替換影像、影片和音訊內容的技術，可以將一個人的面部表情、言辭和動作套用到其他人的影像或影片上，使生成的內容看似原始內容。
因為易得性強、成本低、仿真度高，AI深度偽造技術巨大的套用潛力為藝術、社交、醫療等領域的發展帶來了新的可能性。與此同時，由於該技術透過一張照片、一段語音就能生成一段偽造影片，一些不法分子利用AI深度偽造新工具實施電信詐騙、散布虛假影片、激化社會矛盾，給安全領域帶來了諸多風險。
如何規制AI深度偽造技術被濫用？如何升級反制技術破除監管難點？這些問題的有效破解，不僅關乎社會治安和國家安全，也影響著新一代人工智能技術的發展走向。
AI深偽詐騙危害性更大
近年來，一些網絡犯罪分子使用「深度偽造」的文本、影像、音訊或影片，進行欺詐活動。記者從公安機關采訪獲悉，依靠深度偽造技術工具，AI客服可以同時給上萬人打電話，從事電信詐騙的危害性更強、數額更大。
——假冒熟人進行詐騙。2023年4月20日發生在內蒙古包頭市的一起金額高達430萬元的詐騙案件，竟是利用AI換臉技術得手的。當天，郭先生接到來自好友的求助電話，對方稱自己在外地競標，需要430萬元保證金。巨大的金額也讓郭先生產生了懷疑，於是撥打影片通話確認對方身份，近乎一模一樣的面容與聲音讓郭先生消除了疑慮。短短十分鐘，430萬元便已被轉入騙子賬戶。好在事後經再次打電話確認，郭先生識破騙局及時報警，300多萬元受騙金額被凍結。
——假冒知名人士誤導公眾。在一些案件中，犯罪分子偽造影片或錄音，使生成的內容看起來像是知名人士正在說他們從未說過的話、做從未做過的事，不僅給個人帶來名譽損害，也對公眾形成誤導。
——假冒官方網站或賬戶釋出不實資訊。有的犯罪分子利用AI技術偽造各大知名企業、平台或社交媒體官方賬戶進行詐騙。互聯網上的「V」字認證往往是官方認證的標識，可當官方認證也能被AI深度偽造技術造假，一模一樣的頭像主頁和認證標識，會讓公眾無法分辨「真假美猴王」。近期，職場社交平台領英發現，其平台上有1000多個用AI生成的虛假「V」字認證賬戶，發送大量推銷資訊及釣魚郵件，甚至形成了相關產業鏈。
——假冒他人身份實施詐騙。利用虛擬或合成身份，犯罪分子可以盜用或註冊他人賬號，實作騙取養老金、騙取人壽保險的犯罪目的，潛在風險極大。業內人士提醒，保險行業很可能成為遭遇AI深度偽造欺詐風險最高的行業。
升級反制技術「道高一丈」
面對不斷升級的AI深度偽造欺詐手段，需要盡快升級技術手段，「道高一丈」實作反制破局。揭秘AI換臉、語音變聲等深度偽造手段的網絡安全科普，以量子加密技術保障金融、電力等基礎設施安全，用大數據反詐系統守護公民人身財產安全……中國正多措並舉，升級反制技術，加強網絡安全防護。
隨著湖北省黃石市公安局聯合科大訊飛股份有限公司、電訊供應商聯合研發的反詐智能語音機器人「小飛」在黃石「上崗」，一些「不聽勸」的受害者回過神來，避免了經濟損失。
「以往開展勸阻，一名民警每天撥打幾十個電話，累得嗓子冒煙。換成‘小飛’之後，一天可以撥打幾百乃至上千個電話，效率大大提升。」黃石市公安局科信支隊大數據中心負責人李雪松說。
據了解，以前，民警撥打電詐勸阻電話，一般透過公安局座機或者自己的手機，容易被當成普通來電甚至是推銷電話。而「小飛」系統可以篩查出電信網絡詐騙高危級潛在受害人，自動透過反電詐專用號碼96110聯系對方；聯系勸阻形成的大數據又進一步訓練「小飛」升級反電詐勸阻辦法，提升勸阻精準度和成功率。此外，「小飛」還會有針對性地向勸阻物件推播防範詐騙小知識、介紹最新詐騙手段和類別、提供防範小技巧等。
以技治網，更多與「小飛」一樣的技術創新，正在破解技術濫用帶來的負面問題。
華為雲詐騙載體智能檢測技術透過即時內容獲取來捕捉APP涉詐內容，快速辨識「黑灰產」；小米移動研發的「靈犬」騷擾詐騙防治系統，針對開卡入網的前、中、後環節設立防騷擾、詐騙等異常行為的觸發機制；中國電信開發的「翼網」平台綜合采用短訊電話預警、營運商「斷號」、預警勸阻等措施提升電信網絡反詐能力……近年來，工業和資訊化部網絡安全管理局積極組織資訊通訊行業防範治理電信網絡詐騙創新技術套用遴選活動，透過示範引領，不斷加強科技創新投入，力爭解決涉詐「黑灰產」叠代更新快、使用者預警提醒即時性低等行業反詐痛點難點問題。
深圳電腦學會秘書長、北京大學深圳研究生院深圳市內容中心網絡與區塊鏈重點實驗室主任雷凱表示，可以采取「全周期沙盒」管理方式在源頭上保護重要內容不被非法使用。
「將那些經過嚴格稽核、真實可信的影像、音訊和影片納入白名單，把可能被用於生成虛假內容的影像、音訊和影片以及AI工具都放在‘沙盒’中，進行全周期監控和管理，透過細粒度監管，對白名單內容的釋出加強內容鑒權和追溯，確保其真實性和完整性，防止被惡意篡改。」雷凱說。
依法治理亟需細化配套措施
電信網絡詐騙的潛在受害人面廣量大，透過法律加強對「事前（內容源頭監管）—事中（詐騙快速查處）—事後（追償、救濟）」的全方位規制，源頭規範深度偽造技術的使用和發展，具有較強的必要性和緊迫性。
目前，中國現行法律法規，已對深度偽造作出一定規制：2022年12月施行的反電信網絡詐騙法加強預防性法律制度構建，加大對違法犯罪人員的處罰。2023年1月施行的【互聯網資訊服務深度合成管理規定】明確規定，「任何組織和個人不得利用深度合成服務制作、復制、釋出、傳播法律、行政法規禁止的資訊」；「提供人臉、人聲等生物辨識資訊編輯功能的，應當提示深度合成服務使用者依法告知被編輯的個人，並取得其單獨同意」；「可能導致公眾混淆或者誤認的，應當在生成或者編輯的資訊內容的合理位置、區域進行顯著標識」，等等。
受訪專家認為，從現有司法實踐來看，還需在多個方面進一步完善法律規範配套措施。比如，深度偽造技術風險最有可能涉及肖像權和名譽權侵權，但根據民法典侵權責任編的規定，在被侵權人對損害後果難以準確證明的情況下，損害賠償數額難以確定，精神損害賠償不易實作，被侵權人難以得到充分救濟。為進一步防止不法分子利用AI深度偽造等技術實施犯罪活動，仍需細化配套措施，讓法律條款的落實更加簡便易行。
一方面，透過數位版權管理等方式，加強對生成內容甄別、溯源、追責。深圳光子晶體科技有限公司創始人、首席科學家王勇競博士建議，加強深度偽造內容制作者和網絡服務提供者的責任，在事前規範落實制作者的披露義務，明確標識其制作的內容為AI合成，同時強化網絡服務提供者的監督管理責任。侵權行為發生後，被侵權人可以透過人格權禁令主張對深度偽造記錄予以封存，簡化損害賠償的證明責任，明確損害賠償的計算模式，以更好保護被侵權人合法權益。
另一方面，將AI深度偽造技術的潛在風險納入應急響應機制。國際測試委員會創始人、中國科學院計算所研究員詹劍鋒教授建議，將AI深度偽造納入輿情監測機制，遇到負面影響較大的造假行為，第一時間快速反應。透過建立針對深度偽造有害內容的群眾舉報機制，提高公眾的判斷能力、鑒別能力。同時，建立一定規模的誌願者群體標識數據內容，為人工智能監管平台提供樣本和數據，供演算法學習訓練，從而提高監管效率，更好規範人工智能技術有序發展，形成良性發展的生態閉環。
（【瞭望】2024年第7-8期 ）
