近期，OpenAI釋出的文本轉視訊模型Sora引發全球關註，被認為將顛覆視訊內容生成方式，也進一步增加了公眾辨識視訊內容真偽的難度。擔憂情緒隨之衍生。一些業內專家和觀察人士表示，這類技術的普及，恐導致深度偽造（Deepfake）內容更加泛濫，造假成本更低廉，進而增加被用於詐騙、色情等違法犯罪活動的風險和隱患。
現實中，AI深度偽造技術的非法使用，已經在一些網路詐騙案件中出現。據媒體報道，今年2月，有詐騙團伙利用深度偽造技術向一家跨國公司的香港分公司實施詐騙，並成功騙走2億港元，這也是香港迄今為止損失最大的AI換臉詐騙案。
諸如此類的案例越來越多，如何應對深度偽造和AIGC（人工智慧生成內容）等新技術帶來的安全風險，已成為全球關註的重要議題。
深度偽造已被用於違法犯罪
深度偽造是指技術利用機器的深度學習，實作影像、聲音、視訊的篡改、偽造和自動生成，產生高度逼真且難以甄別的效果。最常見的方式就是AI換臉，此外還包括語音模擬、人臉合成、視訊生成等。
現實套用中，深度偽造技術有其積極一面。業內人士介紹，深度偽造技術開始被用於醫療和教育等領域。比如，透過數據和技術生成立體的身體模型視訊，讓醫生更直觀地進行醫學診斷和研究；又如，透過技術合成的歷史人物影像，讓教學視訊更有趣味等。
然而，硬幣的另一面是深度偽造技術也經常出現在詐騙、色情等違法犯罪活動中。近幾年，國內外均出現了利用深度偽造技術實施的詐騙案例，都造成不小的負面影響。
去年5月初，內蒙古包頭市公安局電信網路犯罪偵查局釋出一起使用AI換臉技術進行電信詐騙的案件。福建省福州市某科技公司法人代表郭先生的「好友」突然透過微信視訊聯系他，聲稱自己的朋友在外地投標，需要430萬元保證金，想借用郭先生公司的帳戶走賬。基於視訊聊天信任的前提，郭先生並未核實錢是否到賬，就陸續轉給對方共計430萬元，之後郭先生才發現被騙。
在香港的那起AI換臉詐騙案中，詐騙者透過搜集一家跨國公司英國高層在視訊網站上的公開影像，再利用AI深度偽造技術，給詐騙者換上公司高層的面部和聲音，實施詐騙，成功從香港分公司騙走2億港元。
除了詐騙，深度偽造技術還經常對公眾人物造成名譽侵害。今年1月中下旬，香港特別行政區行政長官李家超也成為深度偽造的目標。網上出現了用人工智慧偽造的電視節目片段，冒稱李家超向市民推介一項高報酬的投資計劃。特區政府立即嚴正澄清，稱有關影片全屬偽造，行政長官從未作出相關言論。
美國歌手泰勒·斯威夫特，最近也深受深度偽造的困擾。近日，這名歌手的大量虛假「不雅照」在社群網路傳播，引發關註和議論。這不是她第一次成為受害者。就在「不雅照」事件前不久，一則由AI生成的泰勒·斯威夫特帶貨廣告在海外社交媒體上瘋傳。這則虛假廣告利用深度偽造技術，合成了泰勒·斯威夫特的聲音，並將聲音及她的形象和某品牌炊具廣告片段拼湊在一起，宣稱免費向粉絲贈送炊具，引導受害者點選並支付運費，但炊具不會真的送出。
「從技術原理上看，公眾人物更容易成為深度偽造的受害者。」奇安信安全專家裴智勇表示，由於公眾人物的視訊、音訊、圖片資料的公開性質，為AI訓練提供了大量素材，被偽造內容更加逼真，從而更容易導致深度偽造技術被非法使用。
隨著Sora等模型的開放和套用，AI換臉技術門檻持續降低，別有用心之人利用深度偽造技術可以更輕易盜用、冒充他人身份，越來越多的普通人恐將成為潛在受害者。
實際上，國內透過對普通人進行AI換臉實施違法犯罪的案例並不少見。2021年，杭州某派出所接到報警，受害人陳某稱他在與女網友視訊聊天後被對方敲詐勒索。經警方調查，對方利用AI換臉技術，將陳某的面部資訊合成到不雅視訊中，借此對其實施勒索。2022年8月，古風漢服網紅魏某起訴了4家營運AI換臉軟體的公司，認為對方在自己未授權的情況下上傳包含她肖像的視訊作品，生成AI換臉視訊，侵犯了其肖像權。
技術發展帶來多重安全風險
每個人的聲音和相貌都具有獨特性，而深度偽造技術正在打破這一邊界，致使「眼見、耳聞都不再為實」。
多名專業人士指出，隨著AI技術的發展和普及，深度偽造技術被用於違法犯罪活動的比例將提升。「像Sora這類模型工具和相關軟體的開發普及，即使是不了解技術的普通人，也能制作深度偽造的內容，而且虛假內容產生的速度更快，也更難被人眼辨識。」裴智勇說。
普通人接觸和使用AI換臉技術的門檻的確在降低。記者調查發現，盡管「AI換臉」「換臉」等關鍵詞已被多個電商平台遮蔽，但透過「客製視訊」等更隱蔽的關鍵詞，仍能找到出售換臉軟體、客製換臉視訊及教授換臉技術的賣家。在某電商平台，一名賣家透過視訊教授AI換臉技術，還提供程式碼指令碼網頁，收費只要39.9元。這名賣家告訴記者，根據他發的視訊教程就能學會AI換臉操作。賣家提供的教學內容顯示，使用者根據指引，完成登入、提取臉部數據、訓練模型、換臉輸出視訊等步驟，能輕松實作AI換臉視訊制作。
相對當下一些AI換臉軟體多適用於拍照場景、影視劇片段的替換合成，這一賣家教授的換臉技術更能「為所欲為」：用於換臉的照片不受限制，可合成的視訊片段也不局限於影視作品，包括新聞、私人影片等都可被AI換臉。
「這些遊走在法律邊緣的AI技術黑灰產業鏈，大大增加了技術被惡意使用的風險，給公共安全帶來更多隱患。」一名互聯網企業的網路安全專員表示，現實中，甚至有一些金融機構人臉辨識防護墻都被AI換臉騙過，社會安全風險陡增。隨著Sora等大模型技術的開發和套用，能實作用更少的人臉數據構造高逼真的特定人臉模型，客觀上降低了不法分子制作虛假人臉視訊的成本。
目前來看，深度偽造被用於詐騙等犯罪活動的風險不斷顯現，並呈現日益嚴峻的趨勢。「利用深度偽造內容實施詐騙，實際是傳統的詐騙手法利用了新技術的一種混合詐騙方式。從詐騙劇本來看，還是傳統的冒充熟人、冒充領導等套路，但其中的面部仿真、聲紋仿真使得被害人放松警惕，更容易被騙。」裴智勇說。
結合具體的犯罪案例分析，一名反詐民警告訴記者，深度偽造用於電信詐騙犯罪活動主要表現在三個方面：其一，騙子透過騷擾電話錄音等來提取某人聲音，獲取素材後，利用AI技術進行聲音合成，而後用偽造的聲音欺騙被害人。其二，騙子用AI換臉技術，偽裝成被害人的熟人，再透過視訊通話方式，進行資訊確認，騙取信任。其三，騙子利用AI程式篩選受害人，分析公眾釋出在網上的各類資訊，根據所要實施的騙術對人群進行篩選，在短時間內便可生產出客製化的詐騙指令碼，從而實施精準詐騙。「例如實施情感詐騙時，可以篩選出經常釋出感情類資訊的人群；實施金融詐騙時，可以篩選出經常搜尋投資理財資訊的人群等。」
除了網路詐騙，深度偽造技術的普及，勢必將提升虛假音視訊的「真實度」，業內人士擔心，這或將助長不法分子發展出更多新型犯罪手段，用於金融詐騙、虛假新聞、色情制作、司法幹擾等非法場景。
更進一步，深度偽造技術套用不當還會帶來更深遠的社會危害。華東政法大學刑事法學院副教授房慧穎認為，深度偽造技術產生的虛假影像、聲音等內容，不僅會讓個人名譽、財產和人身受到損害，還會沖擊社會信任、媒體信任，甚至被用於擾亂社會秩序甚至危害國家安全的違法犯罪活動。「深度偽造技術可以利用真實和虛假的資訊相糅合來達到欺詐目的，隨著其被推廣和大量套用，不可避免地會帶來資訊失真與泄露等嚴重後果。」房慧穎分析說，這種現象會使得公共資訊處於真實與虛假混雜、界限模糊的窘境，加劇社會公眾對政府組織、新聞媒體的不信任，從而引發社會信任危機。
由此可見，深度偽造等技術發展套用，對於傳統和非傳統安全，都將造成越來越大的沖擊。
技術和法律共同引導向善
盡管深度偽造等AI技術發展帶來了全新的挑戰，但受訪者們都認為，不能就此因噎廢食，而要堅持安全與發展並重的理念，透過完善制度和管理，實作促進技術革新和控制技術風險的目的。
「在技術進步的過程中，其本身就可以用來對抗深度造假行為。」裴智勇說，政府要善於用技術制約技術，加快打造深度偽造資訊檢測系統。「政府和企業要投入科研力量，研究基於AI生成內容的鑒偽技術，在必要時刻，使政府、企業和公眾有能力借助工具進行鑒偽。」
此外，有受訪者建議，應要求AI合成內容服務商添加對使用者可見的數位浮水印，來告知使用者該影像、音視訊內容是由AI生成，以增加使用者辨別資訊真偽的能力。也有網路技術人員建議，讓AI深度偽造技術的服務平台、公司推行隱形浮水印機制，透過在視訊、音訊和影像中嵌入不可見的浮水印保護資訊，以快速辨識AI合成內容並進行溯源，各個社交平台也應以技術手段加強對於疑似AI生成圖、文、視訊內容的辨識功能。
除了技術解決方法外，法律手段也要有所作為。「總體來看，中國在深度偽造方面的規範性立法做得相對較早。」房慧穎表示，中國主要從資訊真實性、肖像權、個人資訊保護以及國家安全等層面，對AI深度偽造技術的套用進行立法規制。
2019年11月，中國便出台了【網路音視訊資訊服務管理規定】，對網路音視訊服務的使用者和提供者均提出要求，即利用基於深度學習、虛擬現實等的新技術新套用制作、釋出、傳播非真實音視訊資訊的，應當以顯著方式予以標識，不得利用基於深度學習、虛擬現實等的新技術新套用制作、釋出、傳播虛假新聞資訊。
2023年1月10日，中國首部深度合成領域的專門法規【互聯網資訊服務深度合成管理規定】施行。該規定要求，深度偽造服務提供者應向有關部門報告非法深度偽造、提供追索機制、提供浮水印免責聲明等，服務使用者應依法告知人臉被編輯的個人並取得其單獨同意。
2023年7月，中國頒布的【生成式人工智慧服務管理暫行辦法】，進一步明確將對生成式人工智慧服務進行「分類」和「分級」監管，深度偽造服務的提供者必須對使用該產品生成的內容負責等。「加之此前出台的網路安全法等系列法律法規，可以說中國已經為人工智慧建構了多元化監管格局，實作了多維譜系法律法規協同治理。」房慧穎說。
放眼全球，美國和歐盟等也都對規範深度偽造技術進行了法律嘗試。據介紹，美國參眾兩院先後提出了側重點各異的【深度偽造責任法案】【2018惡意深度偽造禁止法案】【2019年深度偽造法案】【2020財年情報授權法案】四部法案。歐盟則於2022年6月更新【反虛假資訊行為準則】，要求社交媒體從其平台上刪除深度偽造新聞和其他虛假資訊，打擊深度偽造和虛假帳戶，並對違反者處以最高達全球營業額6%的罰款。目前，歐盟正在推進的【人工智慧法案】也明確了深度偽造技術的提供商將受到透明度和披露要求的約束。
深度偽造等AI技術發展，是推動社會進步的動力。如何引導技術向善，是一個需要各方共同探討和破解的難題。受訪者們普遍認為，各國應加強交流合作，透過技術和法律等手段，規避人工智慧技術帶來的風險隱患，使之健康有序發展。（記者 鄔林樺）
來源：解放日報
