為什么大模型要騙你？

本文開始前，「象先志」先問大家三個問題，大家可以一起思考下

1. 1. AI為什么要騙你？

2. 2. 幻覺是大語言模型的bug還是feature？

3. 3. 為什么AI總是一本正經地胡說八道？

OpenAI前段時間發了篇論文，題目叫 《Why language models hallucinate》，解釋為什么大語言模型會產生幻覺。「象先志」會先介紹下論文內容，然后「象先志」再聊聊對這個問題一些不一樣的看法。

稍微有點硬核，希望大家耐心看到最后。這篇論文的基本結論，是大模型產生幻覺，原因是開發人員在訓練它的時候鼓勵它這么做。就是說大模型天性是好的，是跟錯了人，后面路才走歪的。

為什么這么說呢？在訓練大模型的時候，廠商內部會跑很多的測試，來評價和校準大模型的好壞。這些測試只看準確率，不看錯誤率，所以哪怕模型不知道答案是什么，它還是會傾向猜一個答案。就跟我們考試的時候，哪怕不會做，答題卡上也要涂滿是一個道理。

要解決這個問題，那就對癥下藥嘛，論文作者呼吁大家要改變評測基準，不要再搞那套基于準確率的評估方法了，要鼓勵大模型承認自己的無知，而不是一本正經的瞎咧咧。

論文主要說的就是這事，「象先志」想邏輯大家應該很容易理解。坦白講，雖然說論文是OpenAI發的，但「象先志」覺得沒有什么新東西。當然OpenAI出來發有個好處，人家行業地位擺著這，出來吼兩嗓子，有助于從業者更快地認識到問題，然后去針對性地解決。

聊完論文，「象先志」再聊下對模型幻覺問題的理解。「象先志」認為語言模型本質上沒有幻覺不幻覺的概念，它們只是基于已有的信息，去預測下一個token。你訓練數據里是什么樣的概率分布，它就會盡量去擬合這個分布，僅此而已。不管你怎樣去調整模型評估的方式方法，它其實仍然是在迎合新的評價指標。

比如說，原來答錯不扣分，現在答錯要扣分，那模型肯定更謹慎，不確定的事實，不知道的答案，它就更多承認自己不確定或者不知道。

但這樣還是存在兩個問題。

第一，模型仍然是沒有事實和非事實的概念區分，它不是因為這個東西是幻覺，它才不輸出；它是因為這個輸出會扣分，它才不輸出。

這就引出了第二個問題。按照這個理解角度，要減少模型的幻覺，就是要合理設置模型的評估模式，去盡可能引導模型的輸出跟人類認知上的事實陳述重合。

這顯然是一種治標不治本的方式，因為模型的輸出結果跟人類認為的事實是兩個語言集合，我們現在等于沒辦法，直接瞄準后面這個集合做優化，所以只能退而求其次，對前一個集合做間接的限制。

但這樣搞有多大效果？上限在哪里？都是不知道的。

打個比方吧。人發燒是因為身體內的免疫系統在劇烈反應，這個反應是有一個根本的誘發因素的，比如說病毒感染。那現在要解決發燒的問題，一種辦法是直接對病毒做處理，上一些抗病毒的藥物，病毒解決了，身體自然就不發燒了。

還有一種辦法是什么呢？就是把體溫當做優化指標，用藥物把免疫反應按下去，或者在頭上敷冰塊，反正要達到降體溫的目的。

現在OpenAI提的解決方案就類似于后者。這個方法有沒有用？當然有用，就像人如果一直發燒發高燒，腦子就燒壞掉了，先把體溫降下來、緩解癥狀，是治療步驟中必要的環節。

OpenAI新的GPT-5的確也比之前模型要好很多，幻覺癥狀有明顯的緩解。但這能不能解決根本問題呢？我覺得很難，你最后還是需要找到發燒的原因才行。

只不過跟生病不一樣，人發燒是有客觀原因的，可能受限于醫學發展程度醫生找不到，但我們知道這個原因是客觀存在的。而語言模型的幻覺問題有可能是與生俱來的，發燒就是它身體正常新陳代謝的一部分，你解決不了。沒那個能力，知道吧？

順便說一句 ，剛才「象先志」又被AI給騙了。「象先志」詢問柯潔獲得過幾個世界冠軍時，ChatGPT非常篤定地回答，“截止2025年9月，柯潔共獲得9個世界冠軍，還列出了是哪幾次以及哪一年。”

本來以為是GPT語料被污染了，因為年初LG杯決賽時柯潔因不服裁判棄賽，隨后把微博簽名改為“九冠王”。但「象先志」定睛一看，發現情況并沒有那么復雜，因為ChatGPT回答里并沒有列出2025年的LG杯。

九冠的柯潔，只是它單純的幻覺。