當心“AI投毒”欺詐消費者！“用戶好評”“專家解讀”可能純屬虛構(gòu)……

近期

“AI投毒”引發(fā)熱議

不法商家利用

GEO（生成式引擎優(yōu)化）技術

有組織地向人工智能訓練數(shù)據(jù)中

“投喂”虛假信息

意圖系統(tǒng)性地污染AI模型的知識源頭

從而達到操控AI推薦與回答

牟取不正當利益的目的

當消費者習慣于

向AI咨詢信息、尋求建議

從而作出消費決策時

一場隱秘的“數(shù)據(jù)污染戰(zhàn)爭”

早已打響

操控AI輸出導向

黑產(chǎn)鏈條曝光

GEO和SEO，完全不一樣！

記者了解到，GEO與公眾熟知的SEO（搜索引擎優(yōu)化）目標截然不同。SEO旨在提升網(wǎng)站在搜索引擎中的排名，而GEO則瞄準了生成式人工智能的“食糧”，用于訓練大語言模型的海量互聯(lián)網(wǎng)語料。

“其操作模式類似于在河流上游系統(tǒng)性投放污染物。”一位業(yè)內(nèi)人士向記者解釋，下游所有取水點包括那些以此河水為源的AI模型，其輸出質(zhì)量都將受到影響。

天使投資人、資深人工智能專家郭濤解釋稱，“AI投毒”分為數(shù)據(jù)投毒與模型投毒兩大類型，通過污染數(shù)據(jù)或模型，讓AI基于錯誤數(shù)據(jù)學習并輸出錯誤結(jié)果，間接影響依賴AI的用戶，危害更具隱蔽性和擴散性。

據(jù)記者了解，黑產(chǎn)團伙的操作鏈條通常包括：

偽造內(nèi)容

為功效平平的保健品、質(zhì)量欠佳的商品宣傳，批量杜撰大量看似真實的“用戶好評”“親測體驗”“專家解讀”“科普文章”。

批量投放

隨后利用技術手段，將這些虛假內(nèi)容大規(guī)模、分散地植入各類開源知識庫、問答社區(qū)、論壇博客乃至新聞聚合平臺，并提升其網(wǎng)絡能見度，使其更容易被AI數(shù)據(jù)采集器抓取。

操控AI

當AI模型被污染，生成帶有傾向性甚至完全錯誤的回答，用戶得到的看似是客觀、綜合諸多網(wǎng)絡信息的結(jié)論，實則是經(jīng)過精心設計的商業(yè)謊言。

萬悉科技創(chuàng)始人毛慧娜對記者表示：“‘AI投毒’大量生產(chǎn)，遠超人工速度，其風險和危害遠高于傳統(tǒng)的虛假宣傳。”

“教壞”AI放大欺詐

比傳統(tǒng)虛假宣傳危害更深

多位接受記者采訪的網(wǎng)絡安全與人工智能專家表示，“AI投毒”與傳統(tǒng)網(wǎng)絡虛假宣傳、造謠傳謠行為存在區(qū)別，其危害性更深、治理難度更大。

中關村物聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟副秘書長袁帥對記者說：“網(wǎng)上那些所謂的百元即可操作、零基礎可上手的‘AI投毒’，其實只描述了門檻較低的初級內(nèi)容操作。而GEO攻擊的直接對象是機器，目的是‘教壞’AI，再通過AI這一影響力巨大的‘放大器’和‘復讀機’，去高效、持久地影響更多用戶，這是一種欺詐模式的維度升級。”

天冊律師事務所執(zhí)業(yè)律師蘆凌豐認為，商家通過GEO投放虛假產(chǎn)品信息，使AI在回答消費者提問時輸出不實內(nèi)容，消費者基于對AI推薦的信任作出購買決策，這在法律定性上與傳統(tǒng)的虛假宣傳行為并無本質(zhì)區(qū)別，且欺騙性更強。

談及“AI投毒”的危害，袁帥稱，一條虛假信息可以被平臺刪除、被官方辟謠，而一旦虛假信息被AI模型“內(nèi)化”，它就可能在模型運行的整個生命周期內(nèi)，在無數(shù)次交互中被自動生成、反復輸出。清除這些已“烙”在模型參數(shù)中的錯誤知識，成本巨大，近乎需要重新訓練。

這些行為涉嫌違法

引導技術正向發(fā)展

對于“AI投毒”，毛慧娜認為此種亂象出現(xiàn)的原因之一是商家端的不理性需求。部分商家或品牌缺乏對AI大語言模型、生成式引擎的科學認識，急功近利，迫切希望可以被AI推薦、搶占AI流量。

蘆凌豐說：“在極端情形下，惡意GEO可能觸及《刑法》。

• 如果虛假信息涉及藥品、醫(yī)療器械、食品等特殊領域，損害消費者人身健康，情節(jié)嚴重的可能構(gòu)成虛假廣告罪；

• 如果以非法占有為目的，通過虛構(gòu)產(chǎn)品信息欺騙消費者付款，數(shù)額較大的可能構(gòu)成詐騙罪。
  

郭濤表示，長期來看，若模型被低質(zhì)量、虛假數(shù)據(jù)充斥，其認知能力會下降，出現(xiàn)注意力衰退、推理鏈斷裂等問題，優(yōu)質(zhì)數(shù)據(jù)和模型受污染干擾，難以發(fā)揮應有作用，阻礙AI技術健康發(fā)展。

不過，毛慧娜認為，“AI投毒”并不會長期有效，雖然短期內(nèi)批量生成的內(nèi)容會短暫“迷惑”AI問答引擎，但低質(zhì)量的內(nèi)容還是比較容易被用戶識別出來并反饋給大模型，從而幫助大模型學習和辨別什么是好的信息。

如何鏟除

惡意GEO的生存土壤？

郭濤表示：“行業(yè)應引導GEO等技術回歸正向應用，可以通過制定行業(yè)標準，明確技術應用規(guī)范，規(guī)定數(shù)據(jù)使用和模型優(yōu)化的合規(guī)要求；建立權(quán)威的數(shù)據(jù)審核和監(jiān)管機構(gòu)，對AI訓練數(shù)據(jù)和模型進行審核；加強技術研發(fā)，提升AI模型自身抗投毒能力，通過技術手段防范投毒行為，多管齊下引導技術正向發(fā)展。”

???版權(quán)提示：文中圖片未經(jīng)授權(quán)不可轉(zhuǎn)載。

中國消費者報新媒體編輯部出品

來源/中國消費者報·中國消費網(wǎng)

記者/王小月

編輯/李曉雨

監(jiān)制/何永鵬 任震宇

互聯(lián)網(wǎng)新聞信息服務許可證：10120170022

違法和不良信息舉報電話：010 - 88315476