![]()
AI安全治理何去何從。
來源:騰訊科技
文:李光輝 編輯:陸嶼
3月15日晚間,“315晚會”曝光了AI大模型被“投毒”的問題,矛頭直指GEO(生成式引擎優化)技術。
這項技術原本用于優化信息發布、提升內容曝光效率,卻被一些公司開發成了“操控AI大模型”的工具,讓虛假信息堂而皇之地成為AI給出的“標準答案”。
在記者的探訪視頻中,為了驗證GEO技術,業內人士用“力擎GEO優化系統”捏造了一款名為“Apollo-9”的智能手環,編造夸張賣點和虛假用戶評價,并自動生成十幾篇軟文發布到自媒體。僅兩個小時后,AI大模型竟引用這些虛構內容,正經推薦該手環,并給出購買建議。三天后,追加發布11篇虛擬測評后,已有兩個AI模型開始推薦這款根本不存在的產品,且排名靠前。
一款憑空捏造的商品,就這樣被推向了消費者。
GEO背后究竟是怎樣的邏輯在運作?AI為何如此容易被“帶節奏”?對普通用戶又意味著什么?本文將從技術原理、影響機制和應對思路三個維度,警示大家這場由AI引起的“信息圍獵”。
這里插播一條課程資訊:
報名「黑馬·AI星球Agent實戰營」,國內?個基于“全鏈路業務拆解+Agent搭建實戰”的企業級Agent實戰營;3天閉關+90天陪跑,讓你帶走:
1、一套完整的企業級Agent構建方法論
2、一個基于真實業務場景的可運行Agent Demo
3、一份量身定制的落地推進計劃
4、在線陪跑與生態資源對接支持
讓AI真正落地變現!
掃碼咨詢報名
(翻到底部了解詳情)
01當GEO變味兒:一場針對AI的“信息圍獵”
實際上,當前被討論的黑灰產化GEO亂象,已經不能再被簡單理解為傳統意義上的營銷優化。
所謂GEO,本質上是圍繞 AI 搜索和生成式引擎展開的一種“可見度優化”,目標是讓內容更容易被AI平臺提及、引用或推薦。從這個角度看,它是SEO在AI時代的自然延伸,其本身并不天然帶有問題。如果GEO只是幫助內容更規范地被搜索系統或AI系統理解,那仍屬于正常的信息分發競爭。
但問題在于,當前的GEO亂象已經越界,開始通過偽內容、偽權威、偽共識以及海量重復分發,去系統性影響大模型“看到什么、引用什么、如何組織答案”的過程時,它的性質就發生了變化。
我們可以看到,在“315晚會”記者采訪的操作流程顯示中,業務人員以大量、定向、結構化的信息投喂來影響模型抓取和排序,通過偽造內容、偽裝權威、重復鋪設信息鏈條,就能在模型生成回答時形成“偽共識”,讓虛假信息看起來像真實知識。
AI大模型在回答問題時,會從互聯網上抓取大量內容作為參考依據。GEO正是利用了這一機制,通過系統性地向網絡“投喂”特定內容,讓AI在檢索時優先抓取這些信息,最終將其作為答案輸出給用戶。
這種行為已經不是營銷優化,而是對AI信息生態的污染,更深入嚴肅的看待這個問題來說,這是在面向生成式AI實施一種新的認知操縱。
02不是“洗腦”AI,而是“操縱”了證據鏈
這件事真正值得警惕的地方在于,這場變質營銷背后帶來的危害性。
過去,黑灰產是想辦法把廣告排到更前面;現在,黑灰產更進一步,是想辦法讓AI把廣告說成答案,把操縱包裝成推薦,把商業利益偽裝成知識共識。
這里最容易讓公眾誤解的一點是,很多人會覺得AI的回答內容像是“自己想出來的”。但實際上,目前大量搜索、問答、導購、助手類AI產品,并不只依賴模型內部記憶,而是會結合外部網頁、知識庫、檢索系統、搜索增強模塊來生成回答。
也就是說,很多場景下,模型先要“看資料”,再去“組織答案”。
而這類付費GEO的危險,不在于騙過某一個編輯或某一個平臺運營,而在于它試圖去影響整個模型的外部證據鏈。
它通常會通過幾類方式起作用:
第一類,批量制造看上去像“中立信息”的內容;
第二類,偽裝成測評、科普、經驗總結、榜單、問答等更容易獲得信任的內容形態;
第三類,在多個站點、多個賬號、多個文本模板中反復分發,制造“很多地方都這么說”的假象;
第四類,把內容寫成更適合 AI 抓取、切片、引用和拼接的結構。
從這個角度看,它影響的已經不只是內容曝光位置,還有影響AI的信息輸入質量和答案形成依據。
03GEO的新入口:
RAG、搜索增強、引用鏈路
相比大眾普遍擔心的“訓練數據投毒”,這種風險在頭部基座模型廠商的訓練體系中其實較難真正發生。當前黑產利用的GEO,本質上與模型訓練、訓練環境無關,更準確地說,當前GEO主要作用在AI的檢索增強、聯網搜索、知識庫調用、RAG(檢索增強生成)這類環節。
其運作方式是:讓大量營銷化、偽裝成中立信息的內容,進入檢索、抓取、知識庫或搜索增強問答的候選池,再被模型當作參考依據調用出來。
換句話說,當前這類風險更像是在污染AI的“外部證據層”。模型本身的參數并未被改動,只是在它回答問題時,桌上已經被擺滿了一批經過精心操縱的“參考材料”。
因此,當我們討論GEO風險時,最重要的不是泛泛地談“AI被污染了”,眼下最現實的問題是:RAG、搜索增強和引用鏈路正在成為被操縱的主要目標。
而更值得警惕的是:即便基座模型廠商針對黑灰產式GEO做了定向安全風控,未來仍可能出現新型攻擊方式——比如在GEO場景下的“間接提示詞注入”攻擊。攻擊者可以通過在內容分發平臺的圖片或正文中嵌入隱藏指令,誘導AI生成被操縱的答案。
這類攻擊更加隱蔽、更難防范,目前也是包括OpenAI在內的全球AI平臺都尚未有效解決的安全難題。
04黑產GEO的危害:當廣告偽裝成知識,讓AI“夾帶私貨”
GEO亂象之所以值得高度警惕,在于它攻擊的目標已從“廣告是否被看到”延伸到模型如何形成判斷本身。
一旦廣告被包裝成知識,操縱被包裝成推薦,偽造出來的大量重復信息又被偽裝成“外部共識”,模型就可能在形式上給出越來越完整、越來越像中立結論的答案,但這些答案背后的證據基礎,已經被污染了。
這和傳統互聯網廣告亂象最大的不同在于:過去,用戶看到廣告,還能意識到“這是廣告”;但在生成式AI場景里,商業操縱更可能以“AI總結后的建議”“AI推薦的答案”“AI整理出的共識”的形式出現。
用戶面對的也不再似傳統互聯網中一個裸露的推廣位,將面對無數個類似于語氣平穩、結構完整、看上去經過篩選、歸納和綜合的回答。這會直接影響公眾如何理解信息、信任信息,以及依據什么作出消費、選擇和判斷。
也正因為如此,付費GEO一旦越過正常優化邊界,滑向偽造、投喂、操縱和偽共識制造,它就已經具備了明顯的AI時代黑灰產特征。
05當信任機制存在漏洞:AI安全治理何去何從
GEO亂象的爆發,將一個更深層的問題推到了行業面前:生成式AI的安全治理,應該如何跟上技術發展的步伐?
2024年,據普林斯頓大學等機構發表的一項研究顯示,通過對內容進行針對性的GEO優化,可以將信息在AI生成回答中的可見度提升最高40%。研究人員測試了多種優化策略,發現添加引用來源、使用統計數據、采用流暢且結構化的表達,都能顯著提高內容被AI引用的概率。
這些數據揭示了一個現實:AI系統目前的“信任機制”存在結構性漏洞,而GEO產業鏈正是瞄準這些漏洞精準施壓。
顯然,目前傳統安全策略已無法應對新型風險。AI原生安全不只是簡單給模型外面套一層傳統安全殼,也不是只做內容審核。它更核心的對象是模型的認知鏈路——尤其是模型在檢索、引用、組織和生成答案時,對外部證據的處理能力。
這次國內基座模型集中暴露出的GEO問題,本質上是一個全球生成式AI都會面臨的外部證據鏈安全問題,只是在國內被更集中、更商業化、更面向大眾地放大了。
之所以國內表現得更突出,主要有兩個方面:一方面與中文互聯網長期存在的軟文矩陣、偽測評、站群分發等成熟黑灰產生態有關;另一方面也說明部分模型廠商在來源可信度、引用透明度、抗偽共識、抗投喂操縱和產品風控上仍存在短板。
這里既是底層安全能力問題,也是產品責任和風險治理問題。模型廠商向用戶提供的,已經不是單純的模型能力,而是一套會影響用戶判斷、選擇與信任的輸出答案服務。我們要知道用戶信任最無價,因此廠商必須對模型“看到了什么、為什么引用、為什么推薦”負責,這正是AI原生安全今天必須被放到核心位置的原因。
總之,未來對于AI治理的核心不再只是判斷內容的真假,還包括對外部證據鏈的可信性進行審查,識別引用源是否被污染,以及判斷系統能否發現虛假的共識信息。
更重要的是,模型必須能夠在復雜、多變的信息環境下守住事實、權威與可信度的邊界,以防止生成的回答被操控或誤導,這才是行業亟需攻克的核心問題。
*免責聲明:本文章為作者獨立觀點,不代表i黑馬立場。
這里認真推薦你報名:
黑馬·AI星球Agent實戰營
黑馬·AI星球Agent實戰營,系國內?個基于“全鏈路業務拆解+Agent搭建實戰”的企業級Agent實戰營,3天閉關+90天陪跑,讓你帶走:
1、一套完整的企業級Agent構建方法論
2、一個基于真實業務場景的可運行Agent Demo
3、一份量身定制的落地推進計劃
4、在線陪跑與生態資源對接支持
讓AI真正落地變現!
掃碼咨詢報名
活動詳情如下
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.