2024年2月,香港一家跨國企業(yè)的財務(wù)人員,在視頻會議中眼睜睜看著"CFO和高管團隊"下達轉(zhuǎn)賬指令。會議結(jié)束后,近2億港幣打了水漂。直到事后才發(fā)現(xiàn),視頻里所有"高管"都是AI換臉偽造的。這起震驚全球的案件,只是AI造假狂潮中的一個縮影。
奇安信發(fā)布的數(shù)據(jù)顯示,近些年基于AI的深度偽造欺詐暴增3000%。這個數(shù)字背后,是技術(shù)門檻的急速坍塌。三年前制作一段換臉視頻還需要專業(yè)團隊和昂貴設(shè)備,現(xiàn)在一部手機加幾個APP就能搞定。螞蟻集團AI核身安全負責(zé)人劉健直言,AI的終極目標(biāo)就是模擬真實世界,它對物理和生物信息的模擬能力會越來越強大,定制化詐騙讓人防不勝防。
![]()
深度偽造(Deepfake)這個詞,由"深度學(xué)習(xí)"和"偽造"組合而成,但它的破壞力遠超字面意義。現(xiàn)在的AI造假已經(jīng)形成完整的黑色產(chǎn)業(yè)鏈:上游提供開源算法和工具包,中游有專門的"技術(shù)服務(wù)商"接單定制,下游則是各類詐騙、敲詐、政治操縱的實施者。
技術(shù)演進的速度超出想象。早期的換臉視頻還能通過眨眼頻率、光影不協(xié)調(diào)等細節(jié)識破。但現(xiàn)在的生成式AI已經(jīng)能完美模擬微表情、呼吸節(jié)律、甚至虹膜反光。聲音克隆更可怕,只需要幾秒鐘的音頻樣本,AI就能生成足以以假亂真的語音,包括語氣、口音、停頓習(xí)慣。
面對AI造假的泛濫,技術(shù)防御端也在快速跟進。Google DeepMind推出的SynthID系統(tǒng),已為超過100億張AI圖像添加了不可見水印。這種數(shù)字水印嵌入在生成內(nèi)容的底層數(shù)據(jù)結(jié)構(gòu)中,即使經(jīng)過壓縮、裁剪、濾鏡處理,也能被專用工具識別出來。
![]()
中國在監(jiān)管層面走在前列。2025年9月1日實施的《人工智能生成合成內(nèi)容標(biāo)識辦法》明確要求,AI生成內(nèi)容必須通過顯著標(biāo)識和數(shù)字水印進行標(biāo)注;使用他人面容、聲音要事先取得同意,禁止用于煽動、造假、詐騙等行為。這標(biāo)志著AI生成內(nèi)容進入"持證上崗"時代。
但現(xiàn)實比理想骨感得多。水印技術(shù)的最大問題是,它只能標(biāo)記"我是AI生成的",卻無法阻止惡意使用。更致命的是,各種"去水印"服務(wù)已經(jīng)形成成熟的灰色市場。法治日報的調(diào)查發(fā)現(xiàn),只需幾塊錢就能通過在線工具去除AI圖像的顯式和隱式標(biāo)識。
SynthID這類檢測工具的局限性也很明顯。它只能識別帶有特定水印的內(nèi)容,對其他平臺生成的AI內(nèi)容完全無能為力。就像Gemini的AI圖像檢測功能,只能識別自家產(chǎn)品,面對Midjourney、Stable Diffusion生成的圖像就抓瞎了。這種"各自為戰(zhàn)"的局面,讓防偽體系存在巨大漏洞。
更深層的矛盾在于,AI檢測AI本身就是一場軍備競賽。每當(dāng)檢測算法升級,生成算法就會針對性地調(diào)整來規(guī)避檢測。一些研究者甚至把檢測模型當(dāng)作對抗訓(xùn)練的"陪練",專門優(yōu)化生成模型去繞過檢測。這種貓鼠游戲,目前看不到終點。
![]()
防偽大模型的出現(xiàn)提供了新思路。這類模型不只是簡單判斷真假,還能進行可視化歸因分析,描述偽造方式和痕跡,實現(xiàn)人機協(xié)同。但要大規(guī)模部署,成本和算力需求都是難題。對普通用戶來說,最現(xiàn)實的防范手段還是回到傳統(tǒng):多渠道驗證信息、警惕不尋常的轉(zhuǎn)賬要求、對"緊急情況"保持懷疑。
世界經(jīng)濟論壇已將深度偽造列為2025年全球頭號風(fēng)險之一。當(dāng)"眼見為實"的認(rèn)知基礎(chǔ)被動搖,整個社會的信任機制都面臨重構(gòu)。技術(shù)防偽只是一方面,更需要法律、教育、平臺治理的多維度協(xié)同。這場與AI造假的拉鋸戰(zhàn),注定是一場持久戰(zhàn)。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.