![]()
清華大學的團隊最近卻“反其道而行”,搞出了一個只有80億參數的小模型,不僅在檢測幻覺的準確率上超過了某些千億巨無霸,還能像老師批改作業一樣,給你講清楚它到底錯在哪兒。這究竟是怎么做到的?咱們一起拆解看看。
![]()
![]()
你可能會想,一個80億參數的“小個子”,憑什么去挑戰GPT-4、Claude這些千億級別的“行業巨人”?關鍵在于,這項名為FaithLens的研究,把任務目標拔高了。以往的幻覺檢測,就像做判斷題,只要求模型輸出“對”或“錯”。但FaithLens要求自己當個“評卷老師”:不僅要判對錯,還得寫下詳細的批注,說明判斷的依據是什么,推理的邏輯鏈條是怎樣的。這種“解釋性輸出”的能力,恰恰成了它脫穎而出的利器。
![]()
![]()
要讓一個模型同時做好兩件事——準確判斷和提供有用解釋,傳統的訓練方法有點力不從心。FaithLens團隊的解決方案,可以概括為“兩步走”:先模仿學習,再優化提升。
為了保證“教材”的優良,他們設置了三道過濾關卡:第一關,檢查大模型給的標簽對不對,避免學習錯誤答案;第二關,也是最有創意的一關,是檢驗“解釋”本身有沒有用。他們的方法是,找一個弱一點的“新手”模型,看它在讀了這條解釋后,是否更容易做出正確判斷。如果解釋有幫助,就保留;如果沒用甚至誤導人,就扔掉。第三關則考慮數據多樣性,確保模型能見識到各種不同類型的幻覺。經過這三重過濾的“精品習題集”,才用來對模型進行初步的監督訓練。
![]()
光模仿別人,容易僵化。所以還有第二步:基于規則的強化學習。在這個階段,模型被鼓勵主動探索,對同一個問題生成多條帶有解釋的答案。然后,系統會根據一套規則給它打分:判斷對了給獎勵,解釋能讓別的模型更易理解也給獎勵,甚至答案格式完整也加分。
![]()
FaithLens這項研究,其意義絕不僅僅是刷高了幾項測試分數。它更重要的貢獻,是為解決AI的“黑箱”問題提供了一種切實的思路。過去,很多AI系統就像個沉默的考官,只給你打叉打勾,卻不告訴你扣分點在哪里。這在低風險場景還行,但在金融、司法、醫療等領域,人們必須追問“為什么”。FaithLens把幻覺檢測從一個單純的判別問題,升級為一個可解釋、可復核的推理評估過程。這讓AI的輸出變得可審查、可追溯,向“可信AI”邁出了扎實的一步。
![]()
長遠來看,這項研究暗示了AI發展的一個可能方向:未來的智能系統,或許不應該滿足于當“答題機”,而應該成為能提供清晰推理依據的“分析助手”。這對于需要嚴謹審計和高可靠性的行業來說,無疑具有巨大的吸引力。
![]()
![]()
FaithLens這項研究給我們展示了一條不一樣的路徑:面對大模型的固有問題,不一定總要依靠更大的規模和更多的算力去硬碰硬。通過精巧的任務設計、高質量的數據構造以及針對性的訓練機制,中等規模的模型完全有可能在特定任務上實現“四兩撥千斤”,甚至在解釋性這類高階能力上實現反超。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.