李彥宏說(shuō)DeepSeek幻覺高，是真的嗎？

李彥宏點(diǎn)名批評(píng)DeepSeek幻覺高。這回，他真的沒(méi)錯(cuò)。但大模型的幻覺問(wèn)題，又遠(yuǎn)非錯(cuò)與對(duì)那么簡(jiǎn)單。

DeepSeek-R1作為今年年初的新晉國(guó)產(chǎn)開源大模型，以強(qiáng)大的推理能力和更懂國(guó)人的文筆，在蘋果美區(qū)App免費(fèi)下載排行榜上力壓ChatGPT一頭，甚至一度成為“AI”的代言詞。

然而，自從R1席卷全網(wǎng)后，關(guān)于它經(jīng)常“胡說(shuō)八道”的批評(píng)就不絕于耳，比如它實(shí)在太能編了，讓人真真假假分不清。

除了用戶端之外，李彥宏及其代表的大廠們也“苦”DeepSeek已久：一方面，大廠不得不依賴DeepSeek的潑天流量導(dǎo)入自身門戶入口；另一方面，盡管投入大量人力物力研發(fā)深度推理模型，其成果卻難以突破用戶心智。

在2025百度AI開發(fā)者大會(huì)的開幕上，李彥宏直接點(diǎn)出全民AI大模型 DeepSeek-R1 的痛點(diǎn)：“只支持單一模態(tài)、幻覺率較高、又慢又貴”。一番犀利評(píng)論，再度引發(fā)了各界對(duì)DeepSeek-R1以及大模型“幻覺”的評(píng)議。

但出現(xiàn)強(qiáng)烈幻覺的并不止DeepSeek一家，OpenAI在其內(nèi)部測(cè)試中發(fā)現(xiàn)：o3/o4-mini雖然全面替換了o1系列，但是幻覺現(xiàn)象越來(lái)越強(qiáng)了；國(guó)內(nèi)第一個(gè)混合推理模型——阿里通義的Qwen3也在X上被網(wǎng)友指出幻覺現(xiàn)象仍舊大量存在。

關(guān)于幻覺的解釋有很多，尤其是當(dāng)推理模型問(wèn)世后,大家都認(rèn)為推理模型的思考模式和模型性能攀升后，幻覺就會(huì)被消滅，但事實(shí)證明：幻覺的生存能力太強(qiáng)了，用戶們還是常常被“LLM生編硬造，邏輯閉環(huán)的幻覺操作”看呆。

不過(guò)，另有一說(shuō)：大模型的幻覺也算是創(chuàng)作力的副產(chǎn)品，并不完全是桎梏。

今天我們重新講講大模型幻覺，看看AI圈子最大的黑箱問(wèn)題到底解決了沒(méi)有，解決進(jìn)度到哪了？

01

李彥宏對(duì)DeepSeek-R1的批評(píng)確實(shí)有據(jù)可循。

AI數(shù)據(jù)服務(wù)公司Vectara的一項(xiàng)HHEM幻覺評(píng)估中，DeepSeek-R1的幻覺率高達(dá)14.3%，而其前代基礎(chǔ)模型DeepSeek-V3僅為3.9%，R1的幻覺甚至要比V3的幻覺高出4倍。阿里通義的QwQ-32B-Preview的幻覺率則高達(dá)16.1%。

更值得注意的是，除了DeepSeek-R1和Qwen系列之外，縱觀業(yè)內(nèi)，幾乎所有最先進(jìn)的大模型都遭到了幻覺問(wèn)題的挑戰(zhàn)。一般來(lái)說(shuō)，當(dāng)新模型出現(xiàn)，幻覺程度就會(huì)低于其前身模型，但是這一常理性的現(xiàn)象并不在推理模型上適用。

OpenAI的內(nèi)部評(píng)估系統(tǒng)卡里提供了一個(gè)具有代表性的例子：他們?cè)O(shè)計(jì)了一項(xiàng)名為PersonQA的基準(zhǔn)測(cè)試，用于衡量模型回答人物信息問(wèn)題的準(zhǔn)確性。結(jié)果發(fā)現(xiàn)，o3在PersonQA上的幻覺率上升到了33%，幾乎是被全面替代的前代模型o1（16%）的兩倍。輕量版推理模型o4-mini的幻覺率高達(dá)48%。

在最新出爐的一版Vectara的幻覺測(cè)試中，馬斯克 xAI的Grok-3比Grok-2幻覺更嚴(yán)重，谷歌Gemini 2.0系列中強(qiáng)調(diào)深度推理的Flash-Thinking版本比標(biāo)準(zhǔn)版幻覺問(wèn)題更突出。

當(dāng)業(yè)界追求更強(qiáng)推理能力的大語(yǔ)言模型時(shí)，事實(shí)準(zhǔn)確性與生成內(nèi)容一致性幾乎無(wú)法“魚與熊掌兼得”。

可見，“幻覺”是當(dāng)下大模型領(lǐng)域的通病，而DeepSeek-R1正是該問(wèn)題的顯著案例之一。

每當(dāng)新模型發(fā)布時(shí)，大家往往先入為主：當(dāng)推理模型出來(lái)后，模型能力大幅度提升，幻覺就會(huì)被逐漸消滅；相反，也有一種猜測(cè)，推理模型往往要比通用模型幻覺更強(qiáng)。但這些觀點(diǎn)其實(shí)全都是錯(cuò)的。

比如 o1 相對(duì)于 4o 并沒(méi)有增加太多的幻覺，反過(guò)來(lái)也可以說(shuō)，o1并沒(méi)有大幅度降低幻覺。

o3和o4-mini 幻覺的提升連OpenAI的研究人員在系統(tǒng)卡論文中也說(shuō)道“仍需繼續(xù)研究”。可以說(shuō)，在一定程度上，LLM的幻覺現(xiàn)象仍然是個(gè)黑盒，隨著模型的不斷發(fā)展，這層迷霧仍然籠罩在各大基礎(chǔ)模型廠商的上空。

廣義上，普遍認(rèn)為像DeepSeek-R1這樣的推理模型往往喜歡多輪思考，放大幻覺。

推理模型和深度思考模型通常采用多輪推理或長(zhǎng)鏈?zhǔn)剿伎疾呗裕ㄟ^(guò)逐步分解問(wèn)題、生成中間步驟，最終得出答案。這種設(shè)計(jì)本來(lái)是為了模擬人類復(fù)雜的邏輯推理過(guò)程。但是，多輪思考也可能導(dǎo)致模型在每一步生成中引入微小的偏差或錯(cuò)誤，這些偏差在后續(xù)步驟中被放大，促成多米諾骨牌效應(yīng)的出現(xiàn)。

為什么大家再談LLM的幻覺？除了百度等廠商為了應(yīng)對(duì)DeepSeek的競(jìng)爭(zhēng)，破除唯“DeepSeek論”之外，還有一個(gè)原因：普通用戶們?cè)趯?shí)際體驗(yàn)中越來(lái)越感到恐懼了。

這主要是因?yàn)榇竽Ｐ屯ㄟ^(guò)大規(guī)模訓(xùn)練數(shù)據(jù)，已經(jīng)能夠構(gòu)建高度自洽、邏輯幾乎閉環(huán)的知識(shí)體系，模型對(duì)語(yǔ)義上下文的理解和生成能力越來(lái)越強(qiáng)，幻覺卻也越來(lái)越真實(shí)了。甚至產(chǎn)生了一種“性能與幻覺齊飛”的詭異現(xiàn)象。

可以說(shuō)，幻覺已經(jīng)事實(shí)上不再是評(píng)判模型性能的主要標(biāo)準(zhǔn)了。

大家在日常使用中，肯定都有過(guò)這樣的體驗(yàn)：AI 杜撰不存在的信源、生成看似真實(shí)的學(xué)術(shù)引用、“現(xiàn)場(chǎng)”構(gòu)造偽造的網(wǎng)頁(yè)鏈接，甚至在長(zhǎng)長(zhǎng)的思維鏈里不斷“故意迎合”用戶，諂媚用戶。

如果只是普通的日常使用場(chǎng)景，幻覺現(xiàn)象的隱蔽性并不會(huì)降低用戶信任。但是，當(dāng)大模型商業(yè)化后，涉及專業(yè)領(lǐng)域或復(fù)雜問(wèn)題時(shí)，這種不確定性就會(huì)引發(fā)用戶對(duì)可靠性的質(zhì)疑，甚至產(chǎn)生對(duì)AI本身的恐懼感。

02

李彥宏2024年曾說(shuō)，過(guò)去24個(gè)月里AI行業(yè)經(jīng)歷的最大變革之一是大模型基本消除了“幻覺”問(wèn)題。這一說(shuō)法一時(shí)讓各路網(wǎng)友覺得他出現(xiàn)了幻覺。

確實(shí)，某些領(lǐng)域（例如文生圖、視頻等多模態(tài)輸出方面）隨著模型能力的提升，幻覺現(xiàn)象確實(shí)已經(jīng)大幅降低了。

但是，盡管幻覺問(wèn)題在這些受控場(chǎng)景下大幅改善，在生成長(zhǎng)文本或復(fù)雜視覺場(chǎng)景時(shí)仍未解決。

最直觀的例子就是：每當(dāng)各大廠商推出新一輪的深度思考模型時(shí)，都不得不再度老調(diào)重彈幻覺問(wèn)題。可以說(shuō)，幻覺問(wèn)題已經(jīng)被研究了好幾年了，但直到今天都沒(méi)有辦法找到一個(gè)極好的方式克服幻覺，arXiv上一篇一篇的論文砸向這個(gè)黑盒領(lǐng)域。

不過(guò)，技術(shù)開發(fā)者應(yīng)對(duì) AI 幻覺，也確實(shí)有一些手段。目前比較主流的方式還是檢索增強(qiáng)生成（RAG），這個(gè)方式有點(diǎn)老了但是管用，也是最廣的應(yīng)用思路。

RAG，即在模型回答前先檢索資料。英偉達(dá) CEO黃仁勛就強(qiáng)調(diào)，要讓AI減少幻覺，很簡(jiǎn)單，“給每個(gè)回答加一道規(guī)則：先查證再作答”。 具體而言，模型接到問(wèn)題后，像搜索引擎那樣查詢權(quán)威來(lái)源，然后依據(jù)檢索到的信息作答。如果發(fā)現(xiàn)引用的信息與已知事實(shí)不符，就丟棄該信息并繼續(xù)查找 。通過(guò)這種方式，模型不再僅憑參數(shù)記憶回答，而是有據(jù)可依。讓模型能夠引入最新的網(wǎng)頁(yè)/數(shù)據(jù)庫(kù)內(nèi)容，在內(nèi)部機(jī)制里學(xué)會(huì)對(duì)不知道的事物說(shuō)“我確實(shí)不知道”。

百度2024年發(fā)布的檢索增強(qiáng)的文生圖技術(shù)iRAG，就是為了解決文生圖中的幻覺問(wèn)題，結(jié)合了自身的億級(jí)圖片資源庫(kù)，讓生成的圖片更真實(shí)、更貼合現(xiàn)實(shí)。

此外，一個(gè)更基本的方法是“嚴(yán)格控制訓(xùn)練數(shù)據(jù)的質(zhì)量”。

當(dāng)然，全面的數(shù)據(jù)治理過(guò)于困難，因?yàn)榛ヂ?lián)網(wǎng)語(yǔ)料過(guò)于復(fù)雜且知識(shí)隨時(shí)間變化，像是“弱智吧”的語(yǔ)料就極難正確過(guò)濾。

騰訊此前發(fā)布的混元深度思考模型T1，針對(duì)長(zhǎng)思維鏈數(shù)據(jù)中的幻覺和邏輯錯(cuò)誤，訓(xùn)練了一個(gè)Critic批判模型來(lái)進(jìn)行嚴(yán)格篩選。這種“雙重把關(guān)”策略——即模型先產(chǎn)出回答，然后再核對(duì)其中的關(guān)鍵實(shí)體和事實(shí)，再?zèng)Q定是否輸出，也能在一定程度上降低幻覺率。

即使有上述手段的加持，要徹底根治幻覺仍充滿挑戰(zhàn)。OpenAI就在最新報(bào)告中坦承：“為什么模型規(guī)模變大、推理能力增強(qiáng)后幻覺反而更多，我們目前也不完全清楚，還需要更多研究”。

03

幻覺，也并非全無(wú)益處。各大廠商正站在一個(gè)幻覺與創(chuàng)造力交匯的十字路口：幻覺并非純粹的缺陷，同樣也能帶來(lái)模型更佳的創(chuàng)造力。

大模型的幻覺一般分為：事實(shí)性幻覺和忠實(shí)性幻覺。當(dāng)大模型回答的內(nèi)容與用戶的指令或者上下文信息不一致時(shí)，可能就會(huì)出現(xiàn)所謂的“靈感”。 不管是違背輸入文本，還是違背客觀事實(shí)， “幻覺”產(chǎn)生的部分往往是模型發(fā)揮想象的結(jié)果。

有個(gè)專業(yè)術(shù)語(yǔ)叫“外箱式創(chuàng)意”，指的是“跳出既有框架的創(chuàng)作力” ，這正是大模型區(qū)別于檢索引擎的魅力所在。大家往往潛意識(shí)里認(rèn)為AI做的是低“創(chuàng)意密度“的任務(wù)，無(wú)法占領(lǐng)諸如科幻文學(xué)這類的高創(chuàng)造力寫作。

然而，劉慈欣對(duì)此有話說(shuō)。

前段時(shí)間，劉慈欣在一次采訪中說(shuō)他曾拿自己所寫的長(zhǎng)篇中的一章發(fā)給 DeepSeek，讓它在這個(gè)基礎(chǔ)上續(xù)寫。結(jié)果發(fā)現(xiàn)它寫出來(lái)的東西，甚至要比自己寫得好。這甚至讓他有了一種很大的失落感。

但是，劉慈欣本人仍喜愛DeepSeek：“為什么呢？因?yàn)槲蚁氲剑捎谌四X的生物特性，有一些沒(méi)法沖破的認(rèn)知極限，但 AI 卻有可能突破。如果它真的可以突破極限，那么我甘心樂(lè)意被 AI 取代。當(dāng)然，現(xiàn)在它還做不到。未來(lái)的路還很遙遠(yuǎn)。”

OpenAI CEO奧特曼也曾提及AI的幻覺特性并非全然是壞事，在創(chuàng)作領(lǐng)域仍有積極意義。這也可能是未來(lái)LLM的一個(gè)方向。

面對(duì)幾乎成為大模型固有特性的幻覺現(xiàn)象，要低到什么地步，我們才可以接受？

這沒(méi)有固定的答案，而是依賴于應(yīng)用場(chǎng)景。在需要精準(zhǔn)性的高風(fēng)險(xiǎn)or涉及倫理的領(lǐng)域里，LLM 的幻覺固有特性幾乎斷絕了商業(yè)空間。

從哲學(xué)上看，這反映了人類對(duì)技術(shù)的期望：AI應(yīng)比人類更可靠。折射出人類對(duì) LLM 的角色定位，如果將 AI 僅僅視作鋤頭而已，那么AI幾乎永不可能達(dá)到這樣的標(biāo)準(zhǔn)。如果將 AI 視作天然具有幻覺特性的工具，接受“幻覺”是AI的固有特質(zhì)，就要賦予AI區(qū)分虛構(gòu)與現(xiàn)實(shí)的能力，讓它在需要的時(shí)候?qū)W會(huì)說(shuō)“我不知道”。

或許我們也應(yīng)該換種思路研究AI。

歡迎在評(píng)論區(qū)留言~
如需開白請(qǐng)加小編微信：dongfangmark