谷歌新發(fā)現(xiàn)：DeepSeek推理分裂出多重人格，左右腦互搏越來越聰明

聞樂 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

AI變聰明的真相居然是正在“腦內(nèi)群聊”？！

谷歌最新研究表明，DeepSeek-R1這類頂尖推理模型在解題時(shí)，內(nèi)部會(huì)自發(fā)“分裂”出不同性格的虛擬人格，比如外向的、嚴(yán)謹(jǐn)?shù)?、多疑的…?/p>

大模型的解題推理過程，就是這些人格一場精彩的社交、辯論會(huì)；左右腦互搏be like：

“這個(gè)思路對嗎？試試這樣驗(yàn)證……”
“不對，之前的假設(shè)忽略了xx條件”

有意思的是，AI還越吵越聰明

研究發(fā)現(xiàn)，當(dāng)遇到GPQA graduate-level科學(xué)問題、復(fù)雜數(shù)學(xué)推導(dǎo)這類高難度任務(wù)時(shí)，這種內(nèi)部觀點(diǎn)沖突會(huì)變得更加激烈。

相比之下，面對布爾表達(dá)式、基礎(chǔ)邏輯推理等簡單任務(wù)，模型的腦內(nèi)對話會(huì)明顯減少。

模型推理過程就是“左右腦互搏”

團(tuán)隊(duì)通過分析DeepSeek-R1和QwQ-32B等模型的思維軌跡發(fā)現(xiàn)，它們的推理過程充滿了對話感。

內(nèi)部分裂出來的虛擬角色不僅性格迥異，還能覆蓋更多解題角度。

創(chuàng)意型角色擅長提出新穎思路，批判型角色專注挑錯(cuò)補(bǔ)漏，執(zhí)行型角色負(fù)責(zé)落地驗(yàn)證……

通過這些人格的一場交流，不同觀點(diǎn)的碰撞能讓模型更全面地審視解決方案。

就連網(wǎng)友都說，自己在思考的時(shí)候，也會(huì)“左右腦互搏”。

不過，這種多角色互動(dòng)并不是開發(fā)人員刻意設(shè)計(jì)的，而是模型在追求推理準(zhǔn)確率的過程中自發(fā)形成的。

那么實(shí)驗(yàn)是如何證明這一點(diǎn)的呢？

團(tuán)隊(duì)借助稀疏自編碼器SAE，對AI的推理黑盒進(jìn)行了深度解碼，成功“監(jiān)聽”到了AI的腦內(nèi)群聊。

首先，研究者讓AI執(zhí)行復(fù)雜的數(shù)學(xué)或邏輯推理任務(wù)。在模型產(chǎn)出思維鏈的同時(shí)，團(tuán)隊(duì)同步提取其隱藏層神經(jīng)元的激活數(shù)值。

但此時(shí)的數(shù)據(jù)是由數(shù)億個(gè)參數(shù)構(gòu)成的復(fù)雜非線性信號(hào)，無法直接對應(yīng)任何語義。

將這些激活數(shù)據(jù)輸入SAE，通過SAE的稀疏約束機(jī)制，就可以把雜亂的激活拆解為“自問自答”、“切換視角”等獨(dú)立的對話語義特征；

通過分析這些特征的激活頻率以及它們在時(shí)間序列上的協(xié)同關(guān)系，團(tuán)隊(duì)成功識(shí)別出了不同的內(nèi)部邏輯實(shí)體。

再給上述特征打上“規(guī)劃者”、“驗(yàn)證者”等虛擬角色的標(biāo)簽，就成功解碼了AI內(nèi)部的多角色對話行為。

“哦！”能讓推理更準(zhǔn)確

通過對比DeepSeek-R1與DeepSeek-V3、Qwen-2.5-32B-IT這類普通指令模型的推理軌跡，發(fā)現(xiàn)推理模型的對話式行為出現(xiàn)的頻率顯著更高

這里還有個(gè)很有意思的發(fā)現(xiàn)——

“哦！”能讓推理更準(zhǔn)確。

當(dāng)團(tuán)隊(duì)通過激活添加法強(qiáng)化模型的對話特征，放大“哦！”這類表達(dá)驚訝、轉(zhuǎn)折的話語標(biāo)記時(shí)，模型在Countdown算術(shù)推理任務(wù)中的準(zhǔn)確率直接從27.1%翻倍至54.8%。

更關(guān)鍵的實(shí)驗(yàn)證據(jù)來自強(qiáng)化學(xué)習(xí)訓(xùn)練。

研究人員不提供任何對話結(jié)構(gòu)的訓(xùn)練信號(hào)，只獎(jiǎng)勵(lì)模型答對題目的行為，結(jié)果發(fā)現(xiàn)模型會(huì)自發(fā)學(xué)會(huì)用對話式思考；

而先通過多智能體對話數(shù)據(jù)對模型進(jìn)行微調(diào)，再進(jìn)行推理訓(xùn)練，進(jìn)步速度會(huì)遠(yuǎn)快于直接訓(xùn)練推理或用獨(dú)白式推理數(shù)據(jù)微調(diào)的模型。

在Qwen-2.5-3B和Llama-3.2-3B兩個(gè)模型體系中，早期訓(xùn)練階段對話微調(diào)模型的準(zhǔn)確率比獨(dú)白微調(diào)模型高出10%以上，Llama-3.2-3B到訓(xùn)練后期差距甚至擴(kuò)大到22%。

這一發(fā)現(xiàn)恰好呼應(yīng)了人類演化生物學(xué)中的著名理論社會(huì)腦假說

假說認(rèn)為人類大腦的進(jìn)化主要是為了應(yīng)對復(fù)雜的社交關(guān)系和群體互動(dòng)需求。

如今看來，AI也是一樣，為了變聰明，得先會(huì)和不同“人格”社交！

論文地址：https://arxiv.org/abs/2601.10825
參考鏈接：https://x.com/sebkrier/status/2013331596863041731

— 完 —