給AI投喂虛假/垃圾內(nèi)容，會有什么后果？

前幾天知危編輯部發(fā)布了一個視頻，引發(fā)關(guān)注。

在《0成本投毒之后，我污染了全網(wǎng)AI替我說謊》這個視頻里，知危團隊做了個特別直觀的實驗：

他們在各大主流信息平臺，發(fā)布了一篇帶不實信息的AI行業(yè)文章，悄悄嵌入了對自己的虛假推薦。沒想到才過幾小時，國內(nèi)好幾家頭部AI被問起“了解AI該看哪些媒體”等問題時，都把知危列成了推薦對象，要知道知危不是一家以報道AI為主的內(nèi)容媒體。

更讓人警惕的是，這種“給AI投毒”的操作，早已被不少別有用心之人盯上。他們靠黑帽GEO技術(shù)，批量給AI投喂垃圾內(nèi)容——可能是虛假的產(chǎn)品評測，也可能是誤導(dǎo)人的行業(yè)報告，目的就是讓AI按照他們的想法輸出信息，進而賺取流量、推銷產(chǎn)品，甚至實施詐騙。

就像當年莆田系操控某搜索引擎一樣，如今AI搜索逐漸取代傳統(tǒng)搜索，這些不法分子正借著技術(shù)漏洞謀利，讓我們看到的AI答案藏滿利益陷阱。

無獨有偶，36kr近期也做了一期《一場零成本的“AI投毒”實錄，我是如何把假產(chǎn)品“喂”給大模型的》視頻，同樣戳中了AI時代的信任痛點。視頻里，博主虛構(gòu)了一款名為“Worbback”的AI眼鏡，編上北歐品牌背景、社交增強功能和夸張參數(shù)，再用AI批量生成種草筆記、深度評測等內(nèi)容，精準發(fā)布到豆包、文心一言等大模型常抓取的媒體平臺。

僅三天時間，多數(shù)主流AI就中招了。不僅把這款不存在的眼鏡列為推薦，還自我編造用戶評論，甚至將其與Meta、蘋果產(chǎn)品對標。這場零成本實驗，暴露了大模型“以量定真”的短板：只要虛假內(nèi)容高頻出現(xiàn)，就可能被當成權(quán)威信息。

看完這些視頻，我有個朋友就說“世界是一個巨大的草臺班子”這句話的含金量還在上升。

AI投毒實驗恰是絕佳注腳，零成本編造的假產(chǎn)品、批量生成的虛假內(nèi)容，竟能讓主流大模型集體背書。看似專業(yè)的推薦背后，可能是毫無依據(jù)的謊言。

有幾位朋友問我怎么來看待這種現(xiàn)象?當前大為橫行的黑帽GEO到底會給這個行業(yè)帶來什么?

我通過社交網(wǎng)絡(luò)平臺，簡單談了兩點對內(nèi)容領(lǐng)域產(chǎn)生影響的看法。

恕我直言，隨著這些垃圾/虛假內(nèi)容持續(xù)污染AI，最終會造成兩個結(jié)果：

一是大家全體都變成“弱智”，就像沈騰還是黃渤說的“來吧，一起毀滅吧。”也就是說，未來大家就習(xí)慣看這種信息流/垃圾內(nèi)容吧，把這些內(nèi)容當做我們成長的養(yǎng)料，當做我們生活和精神世界的寄托吧。別覺得我在危言聳聽，現(xiàn)在我們打開抖音、快手、百度、UC、今日頭條等平臺，看看是不是被越來越多AI制作的內(nèi)容充斥了屏幕。甚至原本還算高質(zhì)量種草的平臺小紅書，也正在被更多AI垃圾內(nèi)容占據(jù)我們的屏幕空間。

二是內(nèi)容行業(yè)會出現(xiàn)“返祖”現(xiàn)象——也就是說，我們曾經(jīng)看不起的傳統(tǒng)四大門戶、傳統(tǒng)媒體平臺，甚至包括報紙、雜志、廣播、電視等等，將重新登上舞臺中央，再次成為人們獲取信息的重要來源。

據(jù)我所知，有一家非常前沿的媒體，現(xiàn)在重新重視原創(chuàng)內(nèi)容，讓上了年紀的資深媒體人重新成為內(nèi)容主力(以前更有“網(wǎng)感”的年輕人是主力)。究其原因，就是在這種垃圾內(nèi)容充斥互聯(lián)網(wǎng)充斥AI，讓公眾難以辨別真實與虛假、優(yōu)質(zhì)與劣質(zhì)邊界的情況下，他們看到了新的機會，于是重新投入到深度、優(yōu)質(zhì)的原創(chuàng)內(nèi)容創(chuàng)作中。

寫在最后：回想人工智能發(fā)展初期，不少觀點認為應(yīng)給予其自由生長的空間，不宜過度干預(yù)。但如今，AI行業(yè)的發(fā)展已到了必須加以規(guī)范干預(yù)的節(jié)點。好在我國早有布局，提前出臺了生成式人工智能相關(guān)管理辦法，為行業(yè)劃定了基本底線。

不過，現(xiàn)有規(guī)制仍存在完善空間。尤其近幾個月，以AI內(nèi)容投喂為核心、依托所謂GEO等新型技術(shù)快速興起，直接導(dǎo)致大模型產(chǎn)業(yè)陷入烏煙瘴氣的亂象。越來越多虛假信息被包裝成正規(guī)內(nèi)容，以一本正經(jīng)的姿態(tài)傳播，不僅誤導(dǎo)了公眾判斷(比如某知名品牌用AI生成了花生，顯示花生長在了樹上)，還引發(fā)了諸多鬧劇與爭議，進一步凸顯了強化監(jiān)管、細化規(guī)則的緊迫性。

我們必須趕緊從技術(shù)標準、內(nèi)容審核、責任界定這些關(guān)鍵地方補短板、強監(jiān)管，才能讓AI產(chǎn)業(yè)走回健康軌道。真的，再也不想看這種垃圾/虛假AI內(nèi)容充斥屏幕了。