OpenAI炒作要熄火？Andrej Karpathy回應(yīng)AGI還需10年觀點(diǎn)：已經(jīng)是最樂觀最激進(jìn)預(yù)測

卡神Andrej Karpathy昨天與Dwarkesh Patel兩小時(shí)的播客引發(fā)了AI圈的廣泛關(guān)注，還沒看的可以看我昨天的文章

節(jié)目播出后，Karpathy本人也重新觀看了一遍，并發(fā)布了一篇長文作為補(bǔ)充說明。他首先為自己語速太快道歉，認(rèn)為這有時(shí)會(huì)導(dǎo)致說話線程超越思考線程，沒能把一些問題解釋清楚，

卡神的確語速特別快，每次看他演講都有這個(gè)感覺，哈哈

以下是Karpathy對(duì)自己核心觀點(diǎn)的梳理與重申，涵蓋了AGI時(shí)間線、LLM的本質(zhì)、強(qiáng)化學(xué)習(xí)的未來、智能體的發(fā)展方向等多個(gè)熱門話題

關(guān)于AGI時(shí)間線：10年已是非常激進(jìn)的預(yù)測

Karpathy表示，關(guān)于AGI時(shí)間線的評(píng)論似乎是各路人馬反響中最受關(guān)注的部分

他重申了“智能體十年”（decade of agents）的說法。他認(rèn)為自己的AI時(shí)間線比你在舊金山AI派對(duì)或推特上看到的要悲觀5到10倍，但相對(duì)于日益增多的AI懷疑論者來說，又仍然相當(dāng)樂觀

他解釋了這種看似矛盾的觀點(diǎn)：我們同時(shí)見證了1）近年來LLM帶來的巨大進(jìn)步，以及2）在擁有一個(gè)你寧愿雇傭它而非人類來完成世界上任意工作的實(shí)體之前，仍有大量工作要做

這些工作包括：繁重的體力活、集成工作、連接物理世界的傳感器和執(zhí)行器、社會(huì)層面的工作，以及安全保障工作，此外還有許多研究尚待完成。

因此，Karpathy總結(jié)道：“總的來說，10年應(yīng)該算是AGI一個(gè)非常激進(jìn)的時(shí)間線，只是在當(dāng)前炒作的對(duì)比下才不那么覺得

動(dòng)物 vs 幽靈：LLM是另一種智能實(shí)體

Karpathy對(duì)“存在一個(gè)單一的、簡單的算法，把它放到世界上就能從頭學(xué)會(huì)一切”的觀點(diǎn)表示懷疑。如果有人能做出這樣的東西，那將是AI領(lǐng)域最不可思議的突破，而他本人也將承認(rèn)錯(cuò)誤

在他看來，動(dòng)物完全不是這種算法的例子——它們通過進(jìn)化預(yù)裝了大量智能，其后天學(xué)習(xí)的部分總體上相當(dāng)有限（例如剛出生的斑馬）

從工程角度出發(fā)，我們不會(huì)去重現(xiàn)進(jìn)化。但通過LLM，我們偶然發(fā)現(xiàn)了一種替代方案來“預(yù)裝”大量智能到神經(jīng)網(wǎng)絡(luò)中——不是通過進(jìn)化，而是通過在互聯(lián)網(wǎng)上進(jìn)行“下一個(gè)詞元預(yù)測”

這種方法在智能空間中催生了一種不同的實(shí)體，與動(dòng)物截然不同，更像是“幽靈”或“靈魂”（ghosts or spirits）。但他認(rèn)為，我們能夠（也應(yīng)該）隨著時(shí)間的推移讓它們更像動(dòng)物，這也是許多前沿工作的方向

關(guān)于強(qiáng)化學(xué)習(xí)（RL）：短期看空

Karpathy對(duì)強(qiáng)化學(xué)習(xí)（RL）提出了幾點(diǎn)批評(píng)

首先，他認(rèn)為RL獲取監(jiān)督信號(hào)的方式就像“通過一根吸管吮吸”（sucking supervision through a straw），信噪比非常差。

其次，RL的噪聲很大。一個(gè)補(bǔ)全中可能有很多錯(cuò)誤，但只要碰巧得到正確答案，這些錯(cuò)誤就可能被鼓勵(lì)；反之，一些充滿洞見的詞元也可能因?yàn)楹罄m(xù)的失誤而被抑制

雖然過程監(jiān)督和LLM裁判（LLM judges）等方法也有各自的問題，但Karpathy相信我們會(huì)看到替代性的學(xué)習(xí)范式出現(xiàn)

他明確表示：長期看好“智能體交互”（agentic interaction），但短期看空“強(qiáng)化學(xué)習(xí)”

他認(rèn)為近期一些論文已經(jīng)走在正確的方向上，例如他稱之為“系統(tǒng)提示學(xué)習(xí)”（system prompt learning）的思路，但從ArXiv上的想法到前沿LLM實(shí)驗(yàn)室能大規(guī)模通用部署的實(shí)現(xiàn)之間，還存在差距。不過他總體樂觀，認(rèn)為很快會(huì)有進(jìn)展，并指出ChatGPT的記憶功能等就是新學(xué)習(xí)范式在部署上的早期雛形

認(rèn)知核心：剝離記憶以提升泛化

Karpathy提到了他早先關(guān)于“認(rèn)知核心”（cognitive core）的想法：即精簡LLM，讓它們更難記憶，甚至主動(dòng)剝離它們的記憶，以使其更擅長泛化。

否則，模型會(huì)過度依賴它們已經(jīng)記住的內(nèi)容。相比之下，人類不那么容易記住東西，這現(xiàn)在看來更像是一個(gè)特性而非缺陷。這種記憶能力上的欠缺，或許本身就是一種正則化手段

這也與他之前關(guān)于“模型規(guī)模趨勢(shì)是‘反向的’”，以及“模型必須先變大才能再變小”的觀點(diǎn)相呼應(yīng)。

關(guān)于LLM智能體：應(yīng)與人協(xié)作，而非完全自主

Karpathy對(duì)當(dāng)前行業(yè)的批評(píng)更多在于，工具的超前程度超過了模型當(dāng)下的實(shí)際能力

他理想的中間世界是與LLM協(xié)作，讓雙方的優(yōu)缺點(diǎn)互補(bǔ)。而業(yè)界似乎活在一個(gè)未來世界里：完全自主的實(shí)體并行協(xié)作編寫所有代碼，人類變得毫無用處

他舉例說，他不需要一個(gè)智能體花20分鐘帶回1000行代碼，更沒準(zhǔn)備好去監(jiān)督一個(gè)由10個(gè)這種智能體組成的團(tuán)隊(duì)。他希望的是：

分塊進(jìn)行：每個(gè)代碼塊的大小能在他腦海中容納

過程可解釋：LLM能解釋它正在寫的代碼

自我證明：LLM能向他證明自己所做的是正確的，比如拉取API文檔來證明其用法無誤

減少假設(shè)：在不確定時(shí)，能主動(dòng)詢問并與他協(xié)作

共同成長：他希望在協(xié)作中學(xué)習(xí)并成為更好的程序員，而不僅僅是接收一堆被告知能用的代碼

他擔(dān)心，如果工具不切實(shí)際，最終會(huì)導(dǎo)致軟件行業(yè)中劣質(zhì)代碼堆積如山，漏洞、安全事件等也會(huì)隨之增加

其他觀點(diǎn)摘要

穿越到1989年的Yann LeCun：一個(gè)思想實(shí)驗(yàn)，探討如果擁有33年后的算法知識(shí)，Yann LeCun當(dāng)年的成果能提升多少，以此分析算法、數(shù)據(jù)和算力各自的限制作用

nanochat：他個(gè)人端到端實(shí)現(xiàn)的ChatGPT訓(xùn)練/推理流程的精簡版

工作自動(dòng)化：以放射科醫(yī)生為例，他們現(xiàn)在做得很好。并探討了哪些工作更容易被自動(dòng)化及其原因

物理學(xué)的重要性：兒童早期教育應(yīng)該學(xué)習(xí)物理，不是為了讓他們成為物理學(xué)家，而是因?yàn)槲锢硎亲詈玫貑?dòng)大腦的學(xué)科。他稱物理學(xué)家為“知識(shí)領(lǐng)域的胚胎干細(xì)胞”（intellectual embryonic stem cell）

卡神的這些預(yù)測簡直是在砸OpenAI的盤子啊，更是直接對(duì)Anthropic ceo Dario Amodei 貼臉開大，馬斯克剛剛還在畫餅grok 5有10%機(jī)會(huì)實(shí)現(xiàn)AGI

接下來就看Gemini 3 pro，看一些拿到內(nèi)測資格網(wǎng)友前端測試非常強(qiáng)