喂垃圾數(shù)據(jù)=毀模型？最新研究：AI 腦腐不可逆，清洗也救不了

大數(shù)據(jù)文摘出品

最近，德州農(nóng)工大學(xué)與德州大學(xué)奧斯汀分校的研究團隊，在論文中提出一個結(jié)論：大模型可能會“腦腐”。

他們稱之為“LLM Brain Rot Hypothesis”，意指當模型長期暴露在低質(zhì)量網(wǎng)絡(luò)文本中時，其認知能力會持續(xù)退化，并表現(xiàn)出與人類“信息上癮”相似的癥狀。

研究團隊在論文中指出，這種退化不是臨時的，而是深層、持久、且難以修復(fù)的結(jié)構(gòu)性損傷。

與人類的“腦腐”類似，模型的癥狀包括注意力衰退、推理鏈斷裂、長期記憶混亂、以及性格傾向扭曲。

他們的核心發(fā)現(xiàn)是：持續(xù)在垃圾數(shù)據(jù)上預(yù)訓(xùn)練，會讓模型永久變笨。

在受污染的模型中，邏輯推理準確率下降超過20個百分點，長文本理解下降幅度可達40%。

甚至，在心理人格測試中，模型出現(xiàn)了“自戀”“精神病傾向”等特征。

實驗如何驗證“腦腐”：從推文到推理

論文設(shè)計了一個極具象征意義的實驗：讓模型“沉迷社交媒體”。

研究者從Twitter（現(xiàn)X平臺）采集了上百萬條推文，按兩種方式劃分“垃圾內(nèi)容”。

第一種是M1：互動度維度——短且高熱度的內(nèi)容，被視為典型的“快感型垃圾”。

第二種是M2：語義質(zhì)量維度——內(nèi)容空洞、煽動性強、使用標題黨詞匯或夸張情緒的文字。

團隊用這兩類數(shù)據(jù)分別對四個主流開源模型（包括Llama3與Qwen系列）進行持續(xù)預(yù)訓(xùn)練，并以干凈語料作為對照組。

結(jié)果令人震驚。在M1條件下，模型在ARC推理測試中的表現(xiàn)從74.9分驟降至57.2分，長文本檢索任務(wù)RULER的得分則從84.4降至52.3。

也就是說，“越刷短內(nèi)容，越失去思考能力。”

圖注：數(shù)據(jù)顯示“腦腐化”內(nèi)容往往更短、更受歡迎但語義質(zhì)量低，人類與GPT對語義質(zhì)量的判斷高度一致。

研究者將這種衰退模式稱為“劑量響應(yīng)”：垃圾數(shù)據(jù)比例越高，能力退化越明顯。

更進一步，他們分析了模型的思考過程，發(fā)現(xiàn)最主要的“病灶”是，思維跳步（Thought-skipping）。

模型在推理時往往不再展開完整思考，而是直接跳過中間推理鏈，草率給出結(jié)論。

這種行為被稱為“認知短路”，類似人類沉迷短視頻后的專注力下降。

作者用四類基準（ARC、RULER、HH-RLHF/AdvBench、TRAIT）來評估大模型的推理、記憶與多任務(wù)、倫理規(guī)范及人格傾向等認知功能。

退化不可逆：清洗與微調(diào)都救不了

論文進一步分析了退化的內(nèi)部模式。主要發(fā)現(xiàn)是，垃圾數(shù)據(jù)訓(xùn)練后模型出現(xiàn)推理鏈中斷（thought-skipping）現(xiàn)象。

模型在回答問題時更傾向直接給出結(jié)論，而非展開逐步推理。

研究者使用GPT-4o-mini對思維鏈進行分類，發(fā)現(xiàn)超過70%的錯誤來自“無思考”或“思維跳步”，而非單純邏輯錯誤。

這一現(xiàn)象與人類在高強度信息刺激下的“注意力割裂”表現(xiàn)相似，但研究者強調(diào)，該結(jié)果并非類比結(jié)論，而是統(tǒng)計規(guī)律。

隨著“垃圾內(nèi)容”比例上升，模型在推理、長上下文理解、倫理安全及人格穩(wěn)定性等各項認知功能上普遍退化，驗證了“腦腐化”效應(yīng)。

團隊還進行了劑量效應(yīng)分析（dose–response），結(jié)果表明：垃圾數(shù)據(jù)比例與性能下降幅度成近線性關(guān)系。

隨后，研究者嘗試通過額外的指令微調(diào)與干凈數(shù)據(jù)繼續(xù)訓(xùn)練來“修復(fù)”模型。

即使增加五倍規(guī)模的清潔數(shù)據(jù)進行指令調(diào)優(yōu)，模型仍未完全恢復(fù)至基線性能。

這說明所謂的“腦腐”效應(yīng)可能不是格式錯配，而是參數(shù)空間層面的結(jié)構(gòu)漂移（representational drift）。

研究還測試了反思式推理（Reflective Reasoning）等無訓(xùn)練修復(fù)方法。

結(jié)果顯示，使用外部強模型提供反饋（如GPT-4o-mini）能部分恢復(fù)推理鏈完整性，但無法完全修復(fù)性能差距。

團隊據(jù)此提出，“模型認知衰退”可能在訓(xùn)練過程中被永久編碼進參數(shù)分布中。

論文最后指出，這一發(fā)現(xiàn)將數(shù)據(jù)質(zhì)量問題轉(zhuǎn)化為訓(xùn)練安全問題（training-time safety）。

作者建議未來建立“模型認知健康檢查”機制，用于監(jiān)控預(yù)訓(xùn)練數(shù)據(jù)的組成與長期效果。

他們強調(diào)，本研究并未證明所有社交媒體數(shù)據(jù)均為有害樣本，但結(jié)果提示，數(shù)據(jù)來源的復(fù)雜性與語義深度，可能直接決定模型的長期穩(wěn)定性。

研究團隊在論文結(jié)論中寫道：“持續(xù)暴露于低質(zhì)量文本會造成可驗證的認知退化，這種退化具有持續(xù)性且難以逆轉(zhuǎn)。”

這項研究提供了首次系統(tǒng)證據(jù)，說明數(shù)據(jù)質(zhì)量不僅影響模型性能，也影響模型的內(nèi)部認知結(jié)構(gòu)。

它將“AI訓(xùn)練數(shù)據(jù)質(zhì)量”從經(jīng)驗問題轉(zhuǎn)變?yōu)榭闪炕⒖梢蚬炞C的科學(xué)議題。

作者呼吁，在大模型持續(xù)擴展的時代，數(shù)據(jù)篩選與長期維護應(yīng)被視為認知安全的一部分。

注：頭圖AI生成

作者長期關(guān)注 AI 產(chǎn)業(yè)與學(xué)術(shù)，歡迎對這些方向感興趣的朋友添加微信Q1yezi，共同交流行業(yè)動態(tài)與技術(shù)趨勢！

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計費，平均節(jié)省開支30%以上！

掃碼了解詳情?

點「贊」的人都變好看了哦！