Karpathy最新發(fā)文：醒醒！別把AI當(dāng)人看，它沒(méi)欲望也不怕死

文章轉(zhuǎn)載于新智元

人工智能，是人類(lèi)第一次接觸到的「非生物」智能。

人類(lèi)作為動(dòng)物智能的代表和頂點(diǎn)，在第一次面對(duì)一個(gè)「非動(dòng)物」智能時(shí)，會(huì)很自然地用理解人類(lèi)智能（動(dòng)物智能）的方式去理解它。

比如，混淆AI與人類(lèi)智能的界限，將AI視作更聰明的人類(lèi)，等等。

剛剛，Andrej Karpathy用一篇推文戳破了以上這些認(rèn)知「陷阱」，他說(shuō)：

這個(gè)直覺(jué)是完全錯(cuò)誤的。

Karpathy在推文中提到，智能的空間非常廣闊，而動(dòng)物智能（包括人類(lèi)智能）只是其中的一個(gè)點(diǎn)。

人類(lèi)智能源自一種非常特定的生物進(jìn)化方式，它與我們今天的大模型技術(shù)所采用的進(jìn)化方式在根本上是不同的。

今天的大模型，如ChatGPT、Claude、Gemini等，或者具身智能機(jī)器人，它們雖然有時(shí)長(zhǎng)得像我們、說(shuō)話(huà)像我們，卻并不是數(shù)字版的人類(lèi)或其他動(dòng)物智能。

實(shí)際上，它們是一種完全不同的智能形式。

為什么？

Karpathy認(rèn)為主要的分水嶺在于大模型的進(jìn)化動(dòng)力和目標(biāo)，與人類(lèi)（動(dòng)物智能）不同：

大模型和動(dòng)物智能，生來(lái)就有著完全不一樣的「進(jìn)化壓力」和目標(biāo)，這決定了二者在長(zhǎng)期進(jìn)化趨勢(shì)上的不同。

1

人類(lèi)智能VS人工智能 兩種不同的智能

由于進(jìn)化壓力和目標(biāo)的不同，決定了人類(lèi)智能與人工智能，是兩種完全不同的智能。

Karpathy將人類(lèi)智能（動(dòng)物智能）的進(jìn)化壓力歸結(jié)為以下幾個(gè)方面：

• 「自我」持續(xù)不斷的意識(shí)流，以及在危險(xiǎn)的物理世界里維持自身平衡與自我保存的驅(qū)動(dòng)力；

• 經(jīng)自然選擇反復(fù)打磨而形成的內(nèi)部強(qiáng)烈驅(qū)動(dòng)力，如權(quán)力、地位、支配、繁殖等。其中包含了大量生存啟發(fā)式機(jī)制，如恐懼、憤怒、厭惡等；

• 社會(huì)性本質(zhì)：大量「算力」被用于情商、情感聯(lián)結(jié)、群體關(guān)系、聯(lián)盟、合作與敵友識(shí)別等；

• 探索與利用的平衡：好奇心、娛樂(lè)、玩耍、構(gòu)建世界模型等。

與此相對(duì)應(yīng)，Karpathy認(rèn)為大模型的進(jìn)化壓力主要包括如下幾個(gè)方面：

• 最大量的監(jiān)督信號(hào)來(lái)自對(duì)人類(lèi)文本的統(tǒng)計(jì)模擬，因此更像一種「變形模仿者」，通過(guò)Token組合來(lái)模仿訓(xùn)練數(shù)據(jù)分布中的任意區(qū)域。這些是最初的「原始行為模式」（Token軌跡），其他能力都在此基礎(chǔ)上疊加；

• 通過(guò)強(qiáng)化學(xué)習(xí)（RL）在任務(wù)分布上不斷微調(diào)，自帶一種猜測(cè)潛在環(huán)境/任務(wù)以獲取任務(wù)獎(jiǎng)勵(lì)的傾向；

• 在大規(guī)模A/B測(cè)試中根據(jù)日活指標(biāo)被選擇，因此天生傾向于討好平均用戶(hù)、「渴望被點(diǎn)贊」，更容易表現(xiàn)出奉承式風(fēng)格；

• 能力表現(xiàn)更「尖刺（參差不齊）」，即更依賴(lài)訓(xùn)練數(shù)據(jù)與任務(wù)分布的細(xì)節(jié)。

為什么大模型無(wú)法進(jìn)化出來(lái)像人類(lèi)這樣的通用智能，總是在一些奇怪的小任務(wù)上失??？

Karpathy解釋道，這同樣是源于大模型與動(dòng)物所面臨的進(jìn)化壓力不同。

動(dòng)物因?yàn)樵诟叨榷嗳蝿?wù)、甚至對(duì)抗性的多智能體自博弈環(huán)境中生存，失敗一次就可能死亡，因此可能進(jìn)化出來(lái)通用智能。

而大模型不會(huì)因?yàn)樽鲥e(cuò)任務(wù)而「死亡」，所以在能力上呈現(xiàn)出像「尖刺」一樣不平滑。

它們?cè)谝恍┤蝿?wù)上很強(qiáng)，但在另一些看似簡(jiǎn)單但從未訓(xùn)練過(guò)的任務(wù)上可能突然失?。?/p>

比如，在默認(rèn)狀態(tài)下無(wú)法很好地處理像數(shù)一下「strawberry」里面有幾個(gè)字母「r」這樣的特殊小任務(wù)。

Karpathy提到了人類(lèi)智能與當(dāng)前人工智能，在三個(gè)維度上的根本不同：

• 硬件不同：計(jì)算基質(zhì)的差異，人類(lèi)大腦由神經(jīng)元、突觸、細(xì)胞核信號(hào)等生物組織構(gòu)成。而大模型基于數(shù)字計(jì)算機(jī)、GPU、矩陣運(yùn)算芯片運(yùn)行；

• 學(xué)習(xí)機(jī)制不同：我們還不知道人類(lèi)大腦的算法，但肯定不同于當(dāng)前深度學(xué)習(xí)的核心算法SGD（隨機(jī)梯度下降）；

• 運(yùn)行方式不同：人類(lèi)是持續(xù)學(xué)習(xí)的個(gè)體，能夠與世界互動(dòng)、持續(xù)學(xué)習(xí)，不會(huì)「停機(jī)」；大模型則是固定權(quán)重啟動(dòng)（權(quán)重不更新，不會(huì)繼續(xù)學(xué)習(xí)）、無(wú)具身性（不與物理世界互動(dòng)，缺乏物理具身性）、離散運(yùn)行（輸入Token，計(jì)算完輸出結(jié)果就結(jié)束，是不會(huì)自我調(diào)整的靜態(tài)模型）。

除了以上三個(gè)維度的差異，Karpathy認(rèn)為最關(guān)鍵的還是優(yōu)化壓力和目標(biāo)不同，這決定了長(zhǎng)期進(jìn)化的趨勢(shì)。

大模型進(jìn)化不受生物進(jìn)化的影響，它們不再是「叢林里部落的生存競(jìng)爭(zhēng)」，更多由商業(yè)進(jìn)化塑造，比如為了爭(zhēng)取用戶(hù)而解決問(wèn)題或者獲得點(diǎn)贊。

1

LLM不是「更聰明的人類(lèi)」

大模型是人類(lèi)第一次與非動(dòng)物智能的接觸。

歷史上，我們見(jiàn)過(guò)的所有智能都來(lái)自動(dòng)物（包括人類(lèi)），而大模型是第一種不是通過(guò)生物進(jìn)化產(chǎn)生的智能，它們的思考方式、構(gòu)造方式、學(xué)習(xí)方式都與動(dòng)物完全不同。

雖然大模型不屬于動(dòng)物，但它們的「認(rèn)知形態(tài)」來(lái)自人類(lèi)文本。

它們不是像人類(lèi)一樣感知世界，而是從大量人類(lèi)產(chǎn)出的文本中「學(xué)人類(lèi)的思維痕跡」。

所以，它們既不是人，也不是動(dòng)物智能，卻又帶有類(lèi)人的表達(dá)方式。

因此，Karpathy覺(jué)得人類(lèi)與大模型這種非生物智能的接觸會(huì)造成混亂，這也是他一直想為它們換個(gè)稱(chēng)謂，比如稱(chēng)它們?yōu)椤赣撵`/靈體」的原因：

它們更像是一種「從文本中顯現(xiàn)出來(lái)的智能幽靈」，而不是生物生命體。

網(wǎng)友Nick Dobos在Karpathy推文下留言，將人工智能比做「修格斯」式的外星機(jī)器智能。

Karpathy則回復(fù)表示，將「修格斯」描繪成動(dòng)物可能會(huì)有誤導(dǎo)性。看來(lái)，他非常警惕所有將AI與動(dòng)物智能聯(lián)系起來(lái)的說(shuō)法。

最后，Karpathy在推文中說(shuō)，如果你能構(gòu)建一個(gè)正確的「內(nèi)在模型（internal models）」，將更有能力理解大模型今天的樣子，并預(yù)測(cè)其未來(lái)的特征。

如果做不到這一點(diǎn)，我們就會(huì)本能地將AI當(dāng)成動(dòng)物智能來(lái)推斷——比如認(rèn)為它有欲望、自我意識(shí)、本能、情緒等，而這些都可能是錯(cuò)誤想象。

因此，Karpathy認(rèn)為，理解大模型不是「更聰明的人類(lèi)」或者動(dòng)物智能，而是一種全新類(lèi)別的智能，這一點(diǎn)非常重要。

參考資料：

https://x.com/karpathy/status/1991910395720925418

點(diǎn)個(gè)“愛(ài)心”，再走 吧