AI造假無孔不入 消費騙局盯上你的錢袋子

冒用醫學專家名義宣傳特效藥、冒充知名演員推薦減肥藥、克隆奧運冠軍聲音為產品站臺——這些看似明星代言的帶貨場景，背后可能是AI換臉技術打造的虛假人設。

　　隨著生成式 AI 技術的爆發式發展，造假已從傳統的圖文篡改升級為多感官欺騙，將消費騙局包裝成“高科技陷阱”，不僅讓消費者防不勝防，更嚴重擾亂了數字經濟的信任基石。

　　破壞力遠超以往

　　“他跟電視畫面里的形象一模一樣，耐心講解著產品功效，怎么可能是假的呢？”72歲的王奶奶在社交平臺刷到某位醫學專家的視頻，出于對專業人士的信任當即下單。直到子女把專家發布的打假聲明給王奶奶看后，她才得知自己被AI換臉的虛假視頻欺騙了。

　　類似的案例正在全國各地上演，且不再局限于老年群體。30歲的李女士因產后體重超標，一直尋找安全的減肥方法，偶然在短視頻平臺刷到一段知名演員推薦減肥藥的視頻。李女士平時喜歡該演員的影視作品，對她的“親身推薦”深信不疑。后來，李女士刷到演員本人在社交平臺發文稱被AI復制其聲音帶貨減肥藥，她才知道自己被騙，原視頻是商家利用AI技術，將該演員的形象與虛假宣傳話術合成。

　　與傳統消費騙局相比，AI造假行為呈現的破壞力遠超以往。北京市社會科學院副研究員王鵬在接受中國城市報記者采訪時指出，AI造假基于用戶數據定制“人設”，利用信任感實施定向欺詐，具有精準心理操控的特點。

　　除了在消費欺詐中精準拿捏消費者心理，AI造假的濫用還延伸到了電商交易的糾紛場景中。技術的平民化讓造假行為愈演愈烈，但識別能力卻嚴重滯后。電商張先生之前碰到過通過AI修圖申請“僅退款”的情況。“每件貨物都是我親自檢查并打包的，完好無損。但是買家發來的圖片顯示榨菜包裝袋嚴重破損，榨菜的湯汁灑在箱子底部，看著特別真實。”張先生說，買家利用這些圖片申請“僅退款”，即便他提供了完整的封箱視頻和物流記錄，平臺仍因無法判定圖片真偽，最終支持買家僅退款。

　　天使投資人、資深人工智能專家郭濤在接受中國城市報記者采訪時表示，對于普通人來說，要識別這類偽造內容極具挑戰性。不過，一些專業機構和技術公司正在積極研發檢測工具，試圖利用AI自身的分析能力來識別異常模式。

　　AI造假泛濫的背后是成熟且低門檻的技術支撐。當被問及常見的AI造假技術及成熟度時，郭濤說，深度偽造（Deepfake）、語音合成、圖像篡改等是當前最為常見的AI造假技術。這些技術已經相當成熟，尤其是深度偽造，通過深度學習算法可以生成極為逼真的人臉替換視頻，讓人難辨真偽，極大地增強了欺騙性。

　　郭濤進一步表示，借助深度學習等先進技術，AI能夠迅速生成大量定制化內容，提高了制作效率。同時，利用互聯網平臺的廣泛傳播力，AI造假能迅速擴散影響范圍。此外，技術門檻的降低使得更多人能夠接觸并使用這些工具，導致參與群體日益多元化，治理難度加大。而且，AI造假往往游走于法律邊緣，給現行法律法規帶來了前所未有的挑戰。

　　治理面臨多重難題

　　隨著越來越多企業入局，虛擬數字人24小時帶貨早已不是什么新鮮事。AI技術帶來的降本增效讓企業難以拒絕，但風險也如影隨形。

　　當談到如何平衡“AI技術提升消費體驗”與“防范AI造假風險”時，中國城市發展研究院投資部副主任袁帥向中國城市報記者分析稱，核心矛盾在于技術工具的中立性與商業逐利本性之間的沖突。一方面，AI能為企業帶來降本增效的革命性體驗，放棄AI意味著在激烈的市場競爭中掉隊；但另一方面，AI強大的生成能力極易越界，企業可能為了短期GMV增長而默許甚至主動利用AI制造虛假繁榮，如刷單、虛構用戶評價、夸大產品功效，或者企業自身成為被攻擊目標，品牌形象被AI換臉視頻瞬間摧毀。

　　這種矛盾讓企業在“用”與“管”之間左右為難。在袁帥看來，若嚴格管控，需要投入高昂的人力物力建立審核機制，甚至犧牲部分業務靈活性；若放任自流，則面臨監管重罰和品牌崩塌的風險。

　　郭濤認為，解決這一矛盾的關鍵在于建立健全的數據保護機制，確保用戶信息安全；同時加強內部監管，防止技術濫用。此外，公開透明地展示AI決策過程，增強用戶對技術的理解和信任，也是緩解矛盾的有效途徑。

　　此外，防范AI造假還需直面一個更核心的挑戰：其治理難度，遠超傳統消費騙局，治理環節的復雜性也讓問題解決難上加難。

　　當前AI造假治理面臨多重突出難題。王鵬稱，平臺、技術服務商、商家之間的責任邊界不清，出現問題時易出現推諉扯皮；黑產借助境外服務器規避監管，給跨境執法帶來挑戰；而個人維權又面臨取證難度大、訴訟周期長的困境，增加了維權成本，這進一步加劇了治理的復雜性。

　　全聯并購公會信用管理專委會專家安光勇向記者表達了相似觀點，一方面是技術攻防失衡，AI生成技術快速迭代，防御手段滯后，尤其在深度偽造和數據篡改領域，現有的檢測工具難以跟上技術發展的步伐；另一方面是責任鏈條碎片化，AI造假涉及從技術提供方到內容發布方的多個環節，導致責任難以明確追究；同時還存在跨平臺監管難題，不同平臺的審核標準和技術手段不統一，造成監管真空，黑灰產可以利用不同平臺之間的監管漏洞進行跨平臺傳播。最終使得治理工作無法形成有效的統一監管和跨平臺協作，整體仍處于分散應對的狀態。

　　更好地服務消費市場

　　遏制AI造假，絕非單一力量可為。業內人士普遍認為，這需要消費者、企業、監管部門、技術領域形成多方聯動的治理體系。

　　就在近期，國家市場監督管理總局、國家網信辦聯合印發的《直播電商監督管理辦法》提到，直播間運營者使用人工智能等技術生成的人物圖像、視頻從事直播電商活動的，應當符合有關法律法規、規章和強制性國家標準的要求，并依照國家有關規定進行標識，持續向消費者提示該人物圖像、視頻由人工智能等技術生成。

　　這意味著，人工智能生成的數字人主播被納入監管。

　　企業和技術領域層面，袁帥表示，企業作為技術應用的主體，必須承擔“守門人”責任，不僅要自律不使用AI造假，還需投入資源研發反造假技術，建立內容溯源機制，對平臺上的AI生成內容進行顯著標注和嚴格審核，從源頭切斷AI造假的傳播鏈。技術領域特別是AI研發機構和安全公司，應肩負起“技術賦能”責任，致力于開發更精準的AI生成內容檢測算法，推廣隱私計算和區塊鏈存證技術確保內容可追溯，并在模型訓練階段就植入安全約束。

　　消費者層面，袁帥認為，消費者作為市場的最終裁判，需承擔起“第一道防線”的責任，提升數字素養和風險意識，不輕信“完美”的宣傳，遇到可疑內容主動舉報，并在權益受損時積極利用法律武器維權，倒逼市場凈化。

　　針對消費者識別造假內容的需求，多地陸續推出實際的技術手段，比如廈門、杭州、西寧等地已接入美亞鑒真平臺，用戶可以通過政務公眾號跳轉，上傳疑似偽造內容進行快速核驗，操作便捷且免費使用。

　　從長遠來看，AI技術如何更好地服務消費市場，同時避免其成為“造假工具”？郭濤稱，要讓AI技術正面服務于消費市場，首先必須確立倫理指導原則，引導技術開發朝著有益于社會的方向發展。其次是完善相關法律法規，設立清晰的紅線，嚴厲打擊任何企圖利用AI從事非法活動的行為。再者，鼓勵行業內開展自律行動，比如成立聯盟組織，共享最佳實踐經驗。最后，加大對公眾科普力度，普及關于正確使用AI的知識點，培養大家理性看待這項新技術的態度。這樣，我們就能最大限度地發揮出AI的優勢，同時又能有效規避它所帶來的負面影響。

　　袁帥強調，在技術層面，應大力發展“可解釋性AI”和“可控生成技術”，研發具有自毀機制或溯源標記的生成模型，確保每一段AI生成內容都帶有無法消除的“數字鏈痕跡”，實現從生成端到傳播端的全生命周期可追溯。在市場生態層面，應培育“真實優先”的消費文化和行業標準，鼓勵第三方認證機構對“無AI摻雜”的真實內容進行背書，利用區塊鏈技術構建去中心化的信任體系，讓真實數據產生溢價。

■中國城市報記者 朱俐娜