2024年2月,香港一家跨國企業的財務人員,在視頻會議中眼睜睜看著"CFO和高管團隊"下達轉賬指令。會議結束后,近2億港幣打了水漂。直到事后才發現,視頻里所有"高管"都是AI換臉偽造的。這起震驚全球的案件,只是AI造假狂潮中的一個縮影。
奇安信發布的數據顯示,近些年基于AI的深度偽造欺詐暴增3000%。這個數字背后,是技術門檻的急速坍塌。三年前制作一段換臉視頻還需要專業團隊和昂貴設備,現在一部手機加幾個APP就能搞定。螞蟻集團AI核身安全負責人劉健直言,AI的終極目標就是模擬真實世界,它對物理和生物信息的模擬能力會越來越強大,定制化詐騙讓人防不勝防。
![]()
深度偽造(Deepfake)這個詞,由"深度學習"和"偽造"組合而成,但它的破壞力遠超字面意義。現在的AI造假已經形成完整的黑色產業鏈:上游提供開源算法和工具包,中游有專門的"技術服務商"接單定制,下游則是各類詐騙、敲詐、政治操縱的實施者。
技術演進的速度超出想象。早期的換臉視頻還能通過眨眼頻率、光影不協調等細節識破。但現在的生成式AI已經能完美模擬微表情、呼吸節律、甚至虹膜反光。聲音克隆更可怕,只需要幾秒鐘的音頻樣本,AI就能生成足以以假亂真的語音,包括語氣、口音、停頓習慣。
面對AI造假的泛濫,技術防御端也在快速跟進。Google DeepMind推出的SynthID系統,已為超過100億張AI圖像添加了不可見水印。這種數字水印嵌入在生成內容的底層數據結構中,即使經過壓縮、裁剪、濾鏡處理,也能被專用工具識別出來。
![]()
中國在監管層面走在前列。2025年9月1日實施的《人工智能生成合成內容標識辦法》明確要求,AI生成內容必須通過顯著標識和數字水印進行標注;使用他人面容、聲音要事先取得同意,禁止用于煽動、造假、詐騙等行為。這標志著AI生成內容進入"持證上崗"時代。
但現實比理想骨感得多。水印技術的最大問題是,它只能標記"我是AI生成的",卻無法阻止惡意使用。更致命的是,各種"去水印"服務已經形成成熟的灰色市場。法治日報的調查發現,只需幾塊錢就能通過在線工具去除AI圖像的顯式和隱式標識。
SynthID這類檢測工具的局限性也很明顯。它只能識別帶有特定水印的內容,對其他平臺生成的AI內容完全無能為力。就像Gemini的AI圖像檢測功能,只能識別自家產品,面對Midjourney、Stable Diffusion生成的圖像就抓瞎了。這種"各自為戰"的局面,讓防偽體系存在巨大漏洞。
更深層的矛盾在于,AI檢測AI本身就是一場軍備競賽。每當檢測算法升級,生成算法就會針對性地調整來規避檢測。一些研究者甚至把檢測模型當作對抗訓練的"陪練",專門優化生成模型去繞過檢測。這種貓鼠游戲,目前看不到終點。
![]()
防偽大模型的出現提供了新思路。這類模型不只是簡單判斷真假,還能進行可視化歸因分析,描述偽造方式和痕跡,實現人機協同。但要大規模部署,成本和算力需求都是難題。對普通用戶來說,最現實的防范手段還是回到傳統:多渠道驗證信息、警惕不尋常的轉賬要求、對"緊急情況"保持懷疑。
世界經濟論壇已將深度偽造列為2025年全球頭號風險之一。當"眼見為實"的認知基礎被動搖,整個社會的信任機制都面臨重構。技術防偽只是一方面,更需要法律、教育、平臺治理的多維度協同。這場與AI造假的拉鋸戰,注定是一場持久戰。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.