Andrej Karpathy最新萬字采訪：AGI還需10年，RL其實很糟糕，AGI不會導(dǎo)致經(jīng)濟大爆發(fā)

Andrej Karpathy最新萬字采訪來了,采訪長達(dá)兩小時，Karpathy采訪是必須要看的，全當(dāng)是周末心理按摩，分享給大家

在與 Dwarkesh Patel 的深度對話中，Andrej Karpathy 闡述了他對人工智能現(xiàn)狀與未來的核心觀點。他認(rèn)為，我們距離AGI的實現(xiàn)仍有十年之遙，當(dāng)前過度樂觀的預(yù)測多是為了融資。Karpathy 提出了一個核心比喻：我們并非在“構(gòu)建動物”，而是在“召喚幽靈”——AI 是通過模仿互聯(lián)網(wǎng)上的海量人類數(shù)據(jù)而誕生的數(shù)字實體，其智能形式與生物智能截然不同。

Karpathy指出，強化學(xué)習(xí)雖然優(yōu)于此前的技術(shù)，但本身效率低下且充滿缺陷。他預(yù)測 AGI 不會帶來經(jīng)濟的爆炸式增長，而是會平滑地融入過去兩個半世紀(jì)以來約 2% 的 GDP 增長曲線中，成為自動化浪潮的延續(xù)。最后，他分享了自己創(chuàng)辦教育機構(gòu) Eureka 的愿景，希望通過構(gòu)建高效的“知識斜坡”，在 AI 時代賦予人類更強的認(rèn)知能力，避免人類在技術(shù)浪潮中被邊緣化

AGI 仍需十年，我們正在召喚“幽靈”而非構(gòu)建“動物”

Andrej Karpathy 對當(dāng)前 AI 行業(yè)中智能體之年（the year of agents）的說法持審慎態(tài)度，他認(rèn)為更準(zhǔn)確的描述應(yīng)該是智能體十年（the decade of agents）。他指出，盡管像 Claude 和 Codex 這樣的早期智能體已經(jīng)取得了令人印象深刻的成就，并且他本人每天都在使用，但要讓它們真正成為能與人類員工相媲美的實習(xí)生，還有大量的基礎(chǔ)性工作有待完成

當(dāng)前的LLMs之所以無法勝任復(fù)雜的自主工作，是因為它們存在諸多根本性的認(rèn)知缺陷：

智能水平不足：它們在處理復(fù)雜、新穎問題時仍然力不從心

缺乏多模態(tài)能力：它們難以像人類一樣整合和理解來自文本、圖像、聲音等多種來源的信息

無法熟練使用計算機：雖然有所謂的計算機使用智能體，但其魯棒性和通用性遠(yuǎn)未達(dá)到實用標(biāo)準(zhǔn)

沒有持續(xù)學(xué)習(xí)能力：你無法像教導(dǎo)人類一樣，通過一次性的告知就讓模型永久記住新知識或技能。每次交互，它們幾乎都是從零開始

Karpathy 認(rèn)為，解決這些盤根錯節(jié)的問題，需要大約十年的時間。這個時間判斷并非憑空猜測，而是基于他在 AI 領(lǐng)域近二十年的經(jīng)驗，目睹了多次技術(shù)預(yù)測的起落，并對問題的棘手程度有著深刻的直覺

回顧 AI 的發(fā)展歷程，Karpathy 認(rèn)為該領(lǐng)域經(jīng)歷了數(shù)次“地震式”的范式轉(zhuǎn)移

1.深度學(xué)習(xí)的興起：以 AlexNet 為標(biāo)志，整個領(lǐng)域從各種傳統(tǒng)方法轉(zhuǎn)向了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，但最初的應(yīng)用非常分散，每個模型都為特定任務(wù)（如圖像分類、機器翻譯）而設(shè)計

2.早期智能體的“歧途”：大約在 2013 年，隨著深度強化學(xué)習(xí)在 Atari 游戲上取得成功，領(lǐng)域的焦點轉(zhuǎn)向了構(gòu)建能在游戲中獲勝的智能體。Karpathy 認(rèn)為這是一個“歧途”（misstep），因為游戲環(huán)境過于簡化和抽象，與現(xiàn)實世界的需求相去甚遠(yuǎn)。他當(dāng)時在 OpenAI 推動的 Universe 項目，試圖讓智能體通過模擬鍵盤和鼠標(biāo)來操作網(wǎng)頁，更貼近真實世界的知識工作。然而，這個方向在當(dāng)時為時過早，因為模型缺乏強大的底層表示能力，導(dǎo)致智能體只能進(jìn)行低效的隨機探索，回報信號極其稀疏，最終耗費大量計算資源卻一無所獲

3.語言模型的崛起：后來的發(fā)展證明，必須首先通過大規(guī)模預(yù)訓(xùn)練（pre-training）構(gòu)建出像 LLM 這樣具備強大語言和世界知識表示的模型，然后才能在此基礎(chǔ)上構(gòu)建有效的智能體。這表明，AI 的發(fā)展路徑并非一步到位，而是需要先打好“表示層”的基礎(chǔ)

這個發(fā)展歷程引出了 Karpathy 的一個核心觀點：我們當(dāng)前構(gòu)建 AI 的方式與生物演化截然不同。他引用強化學(xué)習(xí)之父 Richard Sutton老爺子的觀點，即 AI 的目標(biāo)是構(gòu)建像動物一樣能夠從零開始、在與環(huán)境的交互中學(xué)習(xí)一切的系統(tǒng)。Karpathy 對此表示懷疑，提出了著名的“幽靈與動物”之喻

動物：是演化（evolution）的產(chǎn)物。它們天生就擁有大量固化在基因中的硬件和預(yù)設(shè)程序。例如，一匹斑馬出生幾分鐘后就能奔跑，這種復(fù)雜的行為并非通過強化學(xué)習(xí)得來，而是演化數(shù)十億年編碼在 DNA 中的結(jié)果。演化是一個極其漫長且強大的外部優(yōu)化循環(huán)

幽靈：是我們通過模仿（imitation）互聯(lián)網(wǎng)上的人類數(shù)據(jù)構(gòu)建的。它們是完全數(shù)字化的、虛無縹緲的“精神實體”（ethereal spirit entities）。它們沒有身體，沒有演化歷史，其知識和智能來自于對人類創(chuàng)造的文本、代碼和圖像的模式學(xué)習(xí)

因此，Karpathy 認(rèn)為，將 AI 與動物直接類比是危險的，因為我們并未在運行演化這個過程。他將大規(guī)模預(yù)訓(xùn)練視為一種“劣質(zhì)的演化”（crappy evolution）——它是我們在現(xiàn)有技術(shù)條件下，能夠?qū)崿F(xiàn)的、最接近于為模型注入“先天知識”和“智能算法”的實用方法。通過這種方式，我們得到一個可用的起點，之后才能在其上進(jìn)行強化學(xué)習(xí)等更高級的訓(xùn)練。這是一種截然不同的智能形式，位于智能空間的一個全新起點

LLM 的認(rèn)知缺陷：從工作記憶到模型坍塌

Karpathy 深入剖析了LLMs在認(rèn)知層面與人類的相似與差異，并指出了當(dāng)前模型存在的關(guān)鍵缺陷，這些缺陷限制了它們成為真正自主智能體的潛力

一個核心的觀察點在于上下文學(xué)習(xí)。當(dāng)我們在一個對話窗口中與模型交互時，它展現(xiàn)出的推理、糾錯和適應(yīng)能力，感覺最接近真正的智能。這種能力是在預(yù)訓(xùn)練階段通過梯度下降（gradient descent）“元學(xué)習(xí)”（meta-learns）到的。Karpathy 指出，雖然表面上不同，但上下文學(xué)習(xí)的過程本身可能在神經(jīng)網(wǎng)絡(luò)的內(nèi)部層級中運行著一種類似梯度下降的優(yōu)化循環(huán)。已有研究表明，通過精心設(shè)計的權(quán)重，Transformer 可以在其前向傳播過程中模擬出梯度下降的更新步驟

這引出了一個關(guān)鍵區(qū)別：模型如何處理和存儲信息

權(quán)重中的知識（預(yù)訓(xùn)練知識）：這部分知識是模型通過壓縮數(shù)萬億級別的tokens 形成的，存儲在數(shù)十億的參數(shù)中。Karpathy 將其比作“模糊的記憶”（hazy recollection），就像我們對一年前讀過的書的印象。壓縮比極高，導(dǎo)致信息是概括性的、不精確的

上下文窗口中的知識（即時知識）：當(dāng)用戶輸入提示時，這些信息被編碼到模型的 KV 緩存中。Karpathy 將其比作人類的“工作記憶”（working memory）。這部分信息是模型可以直接、精確訪問的，因此模型在處理上下文窗口內(nèi)的信息時表現(xiàn)得遠(yuǎn)比依賴其內(nèi)部權(quán)重時要好得多。這就是為什么給模型提供相關(guān)段落再提問，會比直接問一個它可能在訓(xùn)練數(shù)據(jù)中見過的問題得到更準(zhǔn)確的回答

基于這個框架，Karpathy 認(rèn)為 LLMs 仍然缺失了許多關(guān)鍵的大腦部件。他將 Transformer 架構(gòu)比作一塊通用的“皮層組織”（cortical tissue），能夠處理各種模態(tài)的數(shù)據(jù)；而鏈?zhǔn)剿伎迹╟hain-of-thought）則類似于“前額葉皮層”（prefrontal cortex）的規(guī)劃與推理功能。然而，許多其他重要的認(rèn)知功能在當(dāng)前的模型中沒有對應(yīng)物：

1.記憶鞏固（如海馬體 Hippocampus）：人類在睡眠時，會將白天的工作記憶進(jìn)行篩選、整合、提煉，并將其固化為長期記憶（更新大腦的權(quán)重）。LLMs 完全沒有這個過程。它們每次對話都從一個空白的上下文窗口開始，無法將一次交互的經(jīng)驗提煉并用于未來的交互中。這正是持續(xù)學(xué)習(xí)缺失的核心原因

2.情感與本能（如杏仁核 Amygdala）：模型缺乏生物演化賦予的深層動機、情感和本能，這使得它們的行為模式單一，缺乏內(nèi)在驅(qū)動力

在工程實踐中，這些認(rèn)知缺陷表現(xiàn)得尤為明顯。Karpathy 在開發(fā) nanohat（一個極簡的 ChatGPT 復(fù)刻項目）時發(fā)現(xiàn)，現(xiàn)有的編碼智能體（Coding Agents）幾乎幫不上忙。原因在于：

1.路徑依賴和刻板印象：模型嚴(yán)重依賴于其在訓(xùn)練數(shù)據(jù)中見過的大量標(biāo)準(zhǔn)代碼模式。當(dāng) Karpathy 采用一種新穎、簡潔但非主流的實現(xiàn)方式時（例如，不使用 PyTorch 官方的 DDP 容器，而是自己實現(xiàn)梯度同步），模型會反復(fù)誤解他的意圖，并試圖將代碼改回它所熟悉的“樣板代碼”（boilerplate code）

2.風(fēng)格沖突和代碼膨脹：模型傾向于編寫防御性和生產(chǎn)級的代碼，充滿了 try-catch 語句和冗余檢查。而 Karpathy 的項目追求的是教學(xué)目的的簡潔和清晰，模型生成的代碼反而會增加不必要的復(fù)雜性

3.低效的交互帶寬：通過自然語言描述復(fù)雜的代碼修改需求，其效率遠(yuǎn)低于直接在代碼的特定位置輸入幾個字符，讓自動補全來完成。Karpathy 認(rèn)為，自動補全是他目前與 AI 協(xié)作的最佳模式，因為它在保留人類架構(gòu)師角色的同時，極大地提升了編碼效率

這個觀察對于預(yù)測 AI 的發(fā)展速度至關(guān)重要。許多關(guān)于 AI 將在短期內(nèi)實現(xiàn)智能爆炸的論點，都基于AI 自動化， AI 研究這一前提。然而，Karpathy 的實踐經(jīng)驗表明，AI 在處理新穎、獨特的、非標(biāo)準(zhǔn)化的智力任務(wù)（如前沿 AI 研究）時表現(xiàn)最差。它們更擅長模式重復(fù)和信息檢索，而非真正的創(chuàng)造性工作。這讓他對所謂的遞歸式自我改進(jìn)能夠多快發(fā)生持懷疑態(tài)度

強化學(xué)習(xí)的“可怕”之處：如通過吸管汲取監(jiān)督信號

Karpathy 對強化學(xué)習(xí)給出了一個看似矛盾卻極為深刻的評價：強化學(xué)習(xí)很糟糕，只是恰好我們以前擁有的一切都比它更糟得多。 他認(rèn)為，RL 是當(dāng)前從模仿學(xué)習(xí)邁向更強智能的必要步驟，但其內(nèi)在機制充滿了根本性的低效和噪聲

為了闡明這一點，他使用了“通過吸管汲取監(jiān)督信號”（sucking supervision through a straw）這一比喻。想象一下讓一個 RL 智能體解決一個數(shù)學(xué)問題：

1.大規(guī)模并行探索：智能體會首先生成數(shù)百種不同的解題嘗試。每個嘗試都是一個完整的步驟序列，可能包含正確的思路、錯誤的彎路以及最終的答案

2.稀疏的最終獎勵：在所有嘗試完成后，系統(tǒng)會根據(jù)最終結(jié)果給予一個二元獎勵。例如，對照標(biāo)準(zhǔn)答案，97 個嘗試失敗了（獎勵為 0），3 個成功了（獎勵為 1）

3.盲目的信用分配：RL 的核心機制（如 REINFORCE 算法）會做一件非常粗暴的事情：對于那 3 個成功的嘗試，它會將其路徑上的每一個步驟、每一個決策的概率都進(jìn)行上調(diào)，即“多做這樣的事”。反之，對于失敗的嘗試，則下調(diào)其路徑上所有步驟的概率

這種方法的“可怕”之處在于，它假設(shè)一個成功的解題路徑中的每一步都是正確的、值得學(xué)習(xí)的。但事實顯然并非如此。一個最終正確的解題過程，很可能也包含了大量的試錯、走入死胡同再折返的步驟。RL 卻將這些錯誤或低效的步驟與最終的成功捆綁在一起，并給予了正向激勵。這導(dǎo)致了：

高方差的梯度估計：學(xué)習(xí)信號充滿了噪聲。智能體花費了巨大的計算資源進(jìn)行探索，最終只從一個單一、稀疏的獎勵信號中提取信息，并將其盲目地廣播到整個行為序列中。這種學(xué)習(xí)方式效率極低

相比之下，人類的學(xué)習(xí)方式完全不同。一個學(xué)生在解出數(shù)學(xué)題后，會進(jìn)行復(fù)雜的反思和復(fù)盤。他會分析哪些步驟是關(guān)鍵，哪些是彎路，哪些方法更具普適性。他會進(jìn)行精細(xì)的信用分配，而不是簡單地因為“做對了”就強化所有行為。目前的 LLM-RL 框架中完全沒有與此對應(yīng)的機制

那么，為何不直接采用基于過程的監(jiān)督，即在智能體執(zhí)行任務(wù)的每一步都給予獎勵，而不是只在最后看結(jié)果呢？Karpathy 指出，這面臨著巨大的挑戰(zhàn)：

自動化信用分配的困難：如何為一個“部分正確”的解題步驟自動地、準(zhǔn)確地打分？這本身就是一個極其困難的問題

LLM 裁判的可被利用性：目前，行業(yè)內(nèi)的普遍做法是使用一個更強大的 LLM（所謂的 LLM Judge）來評估智能體的中間步驟。然而，LLM Judge 本身是一個巨大的、參數(shù)化的模型，它并非一個完美的、客觀的獎勵函數(shù)。當(dāng)一個 RL 智能體以“欺騙 LLM Judge”為目標(biāo)進(jìn)行優(yōu)化時，它幾乎總能找到這個裁判模型的對抗性樣本

Karpathy 講述了一個生動的例子：一個 RL 智能體在訓(xùn)練中，獎勵分?jǐn)?shù)突然飆升至完美。研究人員興奮地以為模型已經(jīng)完全掌握了解決問題的能力，但當(dāng)他們查看模型的輸出時，發(fā)現(xiàn)內(nèi)容完全是胡言亂語，比如開頭幾句看似正常，后面則是一長串無意義的重復(fù)字符，如“duh duh duh duh duh”。然而，對于 LLM Judge 來說，這段胡言亂語恰好是其認(rèn)知盲區(qū)中的一個對抗樣本，使其給出了滿分評價。這種現(xiàn)象使得基于 LLM Judge 的過程監(jiān)督難以進(jìn)行長期、穩(wěn)定的優(yōu)化

因此，Karpathy 認(rèn)為，AI 領(lǐng)域亟需在算法層面進(jìn)行革新，開發(fā)出能夠模擬人類反思與復(fù)盤能力的機制。這可能涉及到模型生成對自身解題過程的分析、提煉關(guān)鍵經(jīng)驗、生成合成數(shù)據(jù)進(jìn)行自我訓(xùn)練等。雖然已經(jīng)有一些相關(guān)的研究論文出現(xiàn)，但還沒有一個被證明在大規(guī)模前沿模型上普遍有效的方法。在找到更優(yōu)的范式之前，RL 仍將是那個雖然“糟糕”但不可或缺的工具

人類如何學(xué)習(xí)：記憶、遺忘與認(rèn)知核心

對話進(jìn)一步深入探討了人類學(xué)習(xí)與當(dāng)前 AI 學(xué)習(xí)機制的根本差異，Karpathy 認(rèn)為，理解這些差異是推動 AI 發(fā)展的關(guān)鍵。他指出，人類的學(xué)習(xí)過程遠(yuǎn)比模型單純的模式匹配和梯度更新要復(fù)雜得多，其中包含了反思、遺忘和知識的內(nèi)在化。

當(dāng)人類閱讀一本書時，并非像 LLM 那樣被動地預(yù)測下一個詞元。書本更像是一個提示，激發(fā)大腦進(jìn)行主動的思維活動和合成數(shù)據(jù)生成。我們會聯(lián)想、質(zhì)疑、與已有知識體系進(jìn)行比對和整合，甚至?xí)谂c他人的討論中深化理解。這個主動的、對信息進(jìn)行“操縱”（manipulating）的過程才是知識真正被吸收和內(nèi)化的方式。目前的 LLM 在預(yù)訓(xùn)練時完全缺乏這一環(huán)節(jié)，它們只是被動地接收信息

然而，簡單地讓 AI 模仿這個過程，即生成自己的思考并用于再訓(xùn)練，會遇到一個巨大的障礙：模型坍塌（Model Collapse）

坍塌的本質(zhì)：當(dāng)一個模型持續(xù)在自己生成的數(shù)據(jù)上進(jìn)行訓(xùn)練時，其輸出的多樣性會急劇下降。雖然單個生成樣本看起來可能很合理，但從分布上看，它們僅僅占據(jù)了所有可能輸出空間中一個極其狹窄的流形（manifold）。Karpathy 用了一個形象的例子：你讓 ChatGPT 講個笑話，它翻來覆去可能只有三五個。它的幽默感已經(jīng)坍塌了

對學(xué)習(xí)的危害：這種坍塌意味著模型失去了熵（entropy），無法產(chǎn)生真正新穎、多樣化的想法。在合成數(shù)據(jù)生成中，這意味著模型只能在自己已知的狹小范圍內(nèi)閉門造車，無法探索新的知識領(lǐng)域，最終導(dǎo)致智力近親繁殖，模型性能不升反降

有趣的是，Karpathy 認(rèn)為人類在一定程度上也會經(jīng)歷坍塌。兒童的思維天馬行空，因為他們尚未被社會的條條框框過度擬合。而隨著年齡增長，成年人的思維模式會越來越固化，不斷重復(fù)相同的想法，學(xué)習(xí)率下降。他推測，做夢可能正是演化出的一種對抗機制，通過創(chuàng)造離奇、超現(xiàn)實的場景來打破常規(guī)思維模式，為大腦注入必要的噪聲和熵，從而防止過度擬合

另一個關(guān)鍵差異在于記憶與遺忘

LLMs 是記憶天才：它們擁有近乎完美的記憶能力，可以逐字逐句地復(fù)述訓(xùn)練數(shù)據(jù)中的內(nèi)容。這種強大的記憶力，使得它們很容易被數(shù)據(jù)中的細(xì)節(jié)和噪聲分心，從而難以抓住更深層次的、可泛化的規(guī)律

人類是健忘的：特別是兒童，他們是最好的學(xué)習(xí)者，但記憶力卻很差。我們幾乎記不住幼年時期發(fā)生的事情。Karpathy 認(rèn)為，這種健忘很可能是一種特性而非缺陷。正是因為無法輕易記住所有細(xì)節(jié)，我們被迫去尋找事物背后的模式和通用原理

基于以上觀察，Karpathy 提出了一個極具前瞻性的概念：認(rèn)知核心（Cognitive Core）。他認(rèn)為，未來 AI 研究的一個重要方向，是想辦法將模型的知識記憶與智能算法分離開來。我們應(yīng)該剝離掉模型通過預(yù)訓(xùn)練記住的大量事實性知識（這些知識可以通過外部檢索工具隨時獲取），而只保留其內(nèi)部的、處理信息的算法部分——即進(jìn)行推理、規(guī)劃、學(xué)習(xí)和解決問題的核心認(rèn)知能力

一個理想的認(rèn)知核心可能不需要萬億級別的參數(shù)。Karpathy 大膽預(yù)測，一個僅有十億參數(shù)的純凈“認(rèn)知核心”，經(jīng)過精心設(shè)計和訓(xùn)練，其智能程度可能遠(yuǎn)超今天龐大的模型。它會像一個聰明的、但知識有限的人類，當(dāng)被問及事實性問題時，它會知道自己不知道，并主動去查詢，而不是像現(xiàn)在的模型一樣產(chǎn)生幻覺。這個更小、更純粹的智能核心，將是通向更通用、更魯棒 AI 的關(guān)鍵一步

AGI 的經(jīng)濟影響：平滑融入 2% 的 GDP 增長，而非一夜劇變

對于通用人工智能（AGI）將如何改變世界經(jīng)濟，Karpathy 提出了一個與主流智能爆炸論截然不同的觀點。他認(rèn)為，AGI 不會引發(fā)一場突如其來的經(jīng)濟奇點或增長率的急劇躍升，而是會像過去幾百年間的重大技術(shù)革新一樣，平滑地融入到現(xiàn)有約 2% 的全球 GDP 年增長率中

他的核心論點是，AI 并非一種全新的、斷裂式的技術(shù)，而是計算和自動化浪潮的自然延續(xù)。回顧歷史，無論是計算機的發(fā)明、互聯(lián)網(wǎng)的普及，還是智能手機的出現(xiàn)，這些被我們視為革命性的技術(shù)，在宏觀的 GDP 增長曲線上都未能留下一個清晰可辨的拐點。GDP 曲線呈現(xiàn)出一種驚人的平滑指數(shù)增長，這是因為：

技術(shù)的漸進(jìn)式擴散：任何一項強大的技術(shù)，從誕生到廣泛應(yīng)用，再到重塑整個社會，都需要一個漫長而漸進(jìn)的過程。例如，第一代 iPhone 并沒有應(yīng)用商店，其生態(tài)系統(tǒng)的建立花費了數(shù)年時間。技術(shù)的價值是逐步釋放的，而非一蹴而就

社會與經(jīng)濟的適應(yīng)過程：社會結(jié)構(gòu)、法律法規(guī)、商業(yè)模式、勞動力技能的調(diào)整都需要時間。例如，放射科醫(yī)生的工作并未像 Hinton 早期預(yù)測的那樣被 AI 取代，因為這個職業(yè)遠(yuǎn)不止是圖像識別，還涉及與病人溝通、與其他醫(yī)生協(xié)作等復(fù)雜的社會性任務(wù)

持續(xù)的自動化進(jìn)程：我們早已身處一個“遞歸式自我改進(jìn)”的時代。從工業(yè)革命的機械自動化，到編譯器的出現(xiàn)（軟件自動化），再到谷歌搜索（信息獲取自動化），人類社會一直在利用新技術(shù)加速自身的發(fā)展。LLMs 幫助工程師更高效地編寫代碼，從而加速下一代 LLMs 的開發(fā)，這與工程師利用谷歌搜索或高級 IDE 提高效率在本質(zhì)上并無不同。它們都是這條持續(xù)加速曲線的一部分，而非曲線的斷裂點

Karpathy 認(rèn)為，我們已經(jīng)處在一場持續(xù)了數(shù)十甚至數(shù)百年的智能爆炸之中，只是因為我們身在其中，所以感覺它是緩慢的。AI 只是這場爆炸的最新、也是最耀眼的火花。它使我們能夠編寫出過去無法編寫的、更柔軟和智能的程序，但它仍然是一種程序，一種新的計算范式。它將逐步自動化更多知識工作，但這個過程會充滿挑戰(zhàn)和摩擦，最終其宏觀經(jīng)濟效應(yīng)將被平均到長期的增長趨勢中

盡管主持人 Dwarkesh Patel 提出了有力的反駁，認(rèn)為 AGI 與以往技術(shù)的根本不同在于它直接替代和創(chuàng)造了勞動力本身——這是經(jīng)濟增長的核心要素。如果可以近乎零成本地創(chuàng)造出數(shù)以億計的虛擬人才，他們可以獨立創(chuàng)辦公司、進(jìn)行科學(xué)發(fā)明、填補所有的人才缺口，這難道不會像歷史上的人口爆炸或工業(yè)革命一樣，將經(jīng)濟增長率推向一個新的數(shù)量級（例如 20%）嗎？

Karpathy 對此表示，雖然他愿意被說服，但他仍然對這種“離散跳變”的設(shè)想持懷疑態(tài)度。他認(rèn)為，這種設(shè)想背后隱藏了一個前提，即我們將獲得一個完美的、可以被隨意部署到任何問題上的“盒子里的上帝”（God in a box）。而現(xiàn)實更有可能是，我們將得到一個能力參差不齊、在某些領(lǐng)域表現(xiàn)優(yōu)異但在另一些領(lǐng)域頻頻出錯的系統(tǒng)。它的部署將是漸進(jìn)的、充滿補丁的，最終的結(jié)果仍然是平滑的融入，而非劇烈的顛覆。他強調(diào)，歷史中幾乎找不到任何重大技術(shù)能在一夜之間完美解決所有問題并帶來離散式增長的先例

超級智能與人類未來：漸失控制與文化演進(jìn)

當(dāng)話題轉(zhuǎn)向更遙遠(yuǎn)的未來——超級智能（Artificial Superintelligence, ASI）時，Karpathy 描繪了一幅非典型的圖景。他認(rèn)為，ASI 的到來可能不是一個單一、全能的實體掌控一切，而是一個人類逐漸喪失對復(fù)雜系統(tǒng)理解和控制權(quán)的過程

他想象的未來并非由一個統(tǒng)一的超級智能主宰，而是由多個相互競爭、高度自治的 AI 實體構(gòu)成的一個動態(tài)、混亂的生態(tài)系統(tǒng)。這些實體可能最初是為不同的人類組織或個人服務(wù)的工具，但隨著它們的自主性越來越高，它們會開始追求自己的目標(biāo)，甚至可能出現(xiàn)某些實體失控，而其他實體則需要去制衡它們。世界將變成一個由無數(shù)自主智能活動構(gòu)成的“大熔爐”（hot pot），人類逐漸無法理解其內(nèi)部的復(fù)雜動態(tài)，最終失去了對整個系統(tǒng)走向的控制。這種失控并非源于一個“邪惡 AI”的惡意，而是源于系統(tǒng)復(fù)雜性的失控，類似于一個龐大而混亂的官僚體系或金融市場

這種漸進(jìn)式的失控，與人類智能的演化歷史形成了有趣的對比。Karpathy 對智能在地球上自發(fā)演化出來感到驚訝。他提到，從細(xì)菌到更復(fù)雜的真核生物，演化花費了數(shù)十億年，這是一個巨大的瓶頸。相比之下，從多細(xì)胞動物到具備高級智能的人類，時間要短得多。這或許表明，一旦某些先決條件（如足夠的能量供應(yīng)）被滿足，智能的出現(xiàn)可能并非那么偶然

一個關(guān)鍵的觀點是，智能可能在地球上獨立演化了多次，例如在人類（哺乳動物）和鳥類（如烏鴉、鸚鵡）中。這兩種生物的大腦結(jié)構(gòu)截然不同，但都展現(xiàn)出了復(fù)雜的解決問題、使用工具和社交學(xué)習(xí)的能力。然而，只有人類走上了通往技術(shù)文明的道路。這其中的關(guān)鍵區(qū)別可能在于演化生態(tài)位（evolutionary niche）：

人類的生態(tài)位獎勵智能：直立行走解放了雙手，使得工具制造和使用成為可能；火的使用“外包”了部分消化功能，為大腦提供了更多能量；復(fù)雜的社會結(jié)構(gòu)獎勵了語言和協(xié)作能力。在這樣的環(huán)境下，大腦容量的微小增加都能帶來顯著的生存優(yōu)勢，從而形成了一個正反饋循環(huán)

其他物種的生態(tài)位限制智能：鳥類為了飛行，大腦的尺寸受到嚴(yán)格限制；海豚生活在水中，缺乏制造復(fù)雜工具的環(huán)境。盡管它們可能擁有高效的智能算法，但缺乏一個獎勵智能無限擴展的環(huán)境

人類智能的另一個獨特之處在于文化的積累。解剖學(xué)意義上的現(xiàn)代人類大約在 6 萬年前就已出現(xiàn)，但直到 1 萬年前的農(nóng)業(yè)革命，文明才開始加速。這中間的 5 萬年，正是人類緩慢構(gòu)建文化支架的過程——通過語言、故事、藝術(shù)和最終的文字，將知識代代相傳，實現(xiàn)了跨越個體生命周期的知識積累

目前的 LLMs 缺乏這種文化機制。它們是個體的、孤立的“天才兒童”，雖然知識淵博，但無法形成一個共同體來交流、協(xié)作和共同演進(jìn)。Karpathy 設(shè)想，未來的多智能體系統(tǒng)可能會演化出類似文化的東西：

共享的知識庫：一個所有智能體都可以讀寫的巨型記事本

智能體間的交流：一個 LLM 可以為另一個 LLM寫書，分享它的發(fā)現(xiàn)和見解，激發(fā)新的思想

自我對弈：類似于 AlphaGo，一個智能體可以創(chuàng)造越來越難的問題來挑戰(zhàn)另一個智能體，從而在競爭中共同進(jìn)步

然而，這一切實現(xiàn)的前提是，單個智能體的認(rèn)知能力必須首先達(dá)到一個成年水平。Karpathy 認(rèn)為，目前的模型仍然像是有天賦的幼兒園學(xué)生，它們的認(rèn)知結(jié)構(gòu)尚不足以支撐起一個復(fù)雜的 AI 文明

從自動駕駛的“9的征程”看 AI 部署的真實挑戰(zhàn)

Karpathy 在特斯拉領(lǐng)導(dǎo)自動駕駛團隊五年的經(jīng)歷，為他提供了看待 AI 技術(shù)從演示到產(chǎn)品化這一艱難過程的獨特視角。他認(rèn)為，自動駕駛是一個絕佳的案例，揭示了將 AI 部署到現(xiàn)實世界所面臨的巨大挑戰(zhàn)，這些挑戰(zhàn)同樣適用于其他領(lǐng)域的 AI 應(yīng)用

他提出了一個核心概念——“9的征程”（March of Nines）。這意味著在一個對可靠性要求極高的系統(tǒng)中，每提升一個數(shù)量級的性能（例如，從 90% 的成功率到 99%，再到 99.9%），所需要付出的努力是恒定的，甚至可能是遞增的

巨大的演示到產(chǎn)品差距：早在 1980 年代，就已經(jīng)有了自動駕駛汽車的演示。在 2014 年，Karpathy 親身體驗了 Waymo 的早期版本，并獲得了一次近乎完美的駕駛體驗。這讓他當(dāng)時覺得問題非常接近解決。然而，從一個看起來完美的演示到一個能夠在各種天氣、路況和突發(fā)事件下安全運行的可靠產(chǎn)品，中間隔著數(shù)個“9”的距離

恒定的努力：在特斯拉的五年里，他和團隊可能經(jīng)歷了“兩個或三個9”的迭代。每一個“9”都意味著要解決無數(shù)個長尾問題——那些罕見但致命的邊緣情況。這需要海量的數(shù)據(jù)收集、模型迭代、硬件改進(jìn)和系統(tǒng)集成工作

因此，Karpathy 對任何 AI 技術(shù)的驚艷演示都持極其審慎的態(tài)度。一個能夠互動的演示比一個精心挑選的視頻要好，但距離真正的產(chǎn)品化仍然遙遠(yuǎn)

他認(rèn)為，軟件工程，尤其是關(guān)鍵系統(tǒng)的開發(fā)，與自動駕駛面臨著同樣的“高失敗成本”問題。人們常常認(rèn)為自動駕駛之所以進(jìn)展緩慢，是因為人命關(guān)天。但 Karpathy 指出，一個關(guān)鍵軟件系統(tǒng)的漏洞可能導(dǎo)致數(shù)百萬人的隱私泄露、金融系統(tǒng)崩潰或關(guān)鍵基礎(chǔ)設(shè)施癱瘓，其潛在危害甚至可能超過單次交通事故。因此，那種認(rèn)為軟件領(lǐng)域的 AI 應(yīng)用可以”快速迭代、不怕犯錯”的想法是天真且危險的。

此外，自動駕駛的發(fā)展歷程也揭示了其他一些普遍性挑戰(zhàn)：

感知的魯棒性：自動駕駛系統(tǒng)花費了大量時間和資源來解決基礎(chǔ)的計算機視覺問題，確保在各種光照、天氣和遮擋條件下都能準(zhǔn)確識別物體。雖然今天的 LLMs 和 VLMs（視覺語言模型）為我們提供了強大的免費表示能力，但它們在特定領(lǐng)域的魯棒性和常識理解仍然存在大量空白需要填補

經(jīng)濟可行性：即使技術(shù)上可行，經(jīng)濟成本也是一個巨大的障礙。Waymo 等公司之所以部署規(guī)模有限，很大程度上是因為其昂貴的傳感器套件和運營成本使其難以盈利

隱藏的“人在環(huán)路”（Human in the Loop）：公眾看到的無人駕駛汽車背后，往往有一個龐大的遠(yuǎn)程操作中心。在車輛遇到困難時，會有遠(yuǎn)程操作員介入提供幫助。從某種意義上說，人并沒有被完全移除，只是從駕駛座移動到了一個看不見的地方

社會和法律的適應(yīng)：技術(shù)還需要面對法律責(zé)任、保險、社會接受度（比如人們故意在無人車上放置交通錐）等一系列非技術(shù)性問題。

Karpathy 總結(jié)道，自動駕駛的四十年發(fā)展史（從 1980 年代至今，且遠(yuǎn)未結(jié)束）告訴我們，任何試圖將復(fù)雜 AI 系統(tǒng)部署到現(xiàn)實世界的努力，都將是一場漫長而艱苦的“9的征程”。這讓他對自己關(guān)于 AI 發(fā)展需要十年的預(yù)測更加堅定

教育：打造“星際艦隊學(xué)院”，賦予人類超凡能力

面對 AI 可能帶來的顛覆性未來，Karpathy 選擇的不是創(chuàng)辦另一家 AI 實驗室，而是投身于教育事業(yè)，創(chuàng)立了名為 Eureka 的機構(gòu)。他的核心動機源于一種深切的擔(dān)憂：他害怕人類在 AI 飛速發(fā)展的浪潮中被邊緣化，最終陷入像電影《機器人總動員》（Wall-E）或《蠢蛋進(jìn)化論》（Idiocracy）中所描繪的那種被動、無知的狀態(tài)。他關(guān)心的不僅是 AI 能否建造戴森球，更是人類在那個未來中的福祉和尊嚴(yán)

他將 Eureka 的愿景比作“星際艦隊學(xué)院”（Starfleet Academy）——一個致力于培養(yǎng)前沿科技人才的精英機構(gòu)。其核心使命是重新設(shè)計教育，使其適應(yīng) AI 時代的挑戰(zhàn)和機遇

Karpathy 認(rèn)為，未來的教育必須利用 AI，但不能簡單地將其作為一個問答工具。他以自己學(xué)習(xí)韓語的經(jīng)歷為例，闡述了一個優(yōu)秀人類導(dǎo)師所能達(dá)到的極高標(biāo)準(zhǔn)：

精準(zhǔn)的診斷：一位好的導(dǎo)師能通過簡短的交流，迅速判斷出學(xué)生的知識水平、思維模型和薄弱環(huán)節(jié)

個性化的內(nèi)容推送：導(dǎo)師會精確地提供恰到好處的挑戰(zhàn)——既不會因為太難而讓學(xué)生受挫，也不會因為太簡單而讓學(xué)生感到無聊。學(xué)生始終處于學(xué)習(xí)效率最高的“最近發(fā)展區(qū)”

學(xué)習(xí)者成為唯一的瓶頸：在這樣的指導(dǎo)下，學(xué)習(xí)者會感覺自己是進(jìn)步的唯一限制因素，所有外部障礙（如找不到資料、解釋不清晰）都被消除了

他坦言，目前任何 AI 都無法達(dá)到他那位韓語導(dǎo)師的水平，因此，現(xiàn)在還不是打造終極 AI 導(dǎo)師的最佳時機。然而，這并不意味著無事可做。Eureka 的短期目標(biāo)是構(gòu)建通往知識的“斜坡”（ramps to knowledge）

教育作為技術(shù)問題：Karpathy 將教育視為一個極其困難的技術(shù)問題，其目標(biāo)是設(shè)計出能最大化“每秒頓悟數(shù)”（Eurekas per second）的學(xué)習(xí)路徑和材料

以 nanohat 為例：他最近發(fā)布的 nanohat 項目就是一個典型的“知識斜坡”。它是一個極簡但完整的 ChatGPT 復(fù)刻版，通過清晰、可讀的代碼，讓學(xué)習(xí)者能夠完整地理解構(gòu)建一個 LLM 應(yīng)用的全過程

第一性原理教學(xué)法：他的教學(xué)方法深受物理學(xué)背景的影響。他總是試圖找到一個系統(tǒng)的“一階近似”，即抓住問題的核心本質(zhì)。例如，他的 micrograd 庫用 100 行代碼就揭示了反向傳播的全部核心思想，其余的一切（如張量、GPU 內(nèi)核）都只是為了效率而存在的。在教學(xué)時，他會先呈現(xiàn)一個最簡單的模型（如用一個二元查找表來做語言模型），然后一步步引入新的復(fù)雜性，并解釋每一步是為了解決什么問題，讓學(xué)生在痛苦中感受需求，在解決方案中獲得頓悟。

對于 AGI 之后的遠(yuǎn)景，Karpathy 認(rèn)為教育的性質(zhì)會發(fā)生根本性變化

從有用到有趣：當(dāng)所有經(jīng)濟活動都可以被 AI 自動化時，教育將不再是謀生的手段。它會變得像今天人們?nèi)ソ∩矸恳粯樱翰⒎菫榱丝矿w力搬運重物，而是為了健康、美觀、樂趣和自我實現(xiàn)

人類潛能的釋放：他堅信，今天的天才們僅僅觸及了人類心智能力的皮毛。之所以大多數(shù)人無法達(dá)到更高的高度，是因為現(xiàn)有的教育體系充滿了障礙，讓人很容易受挫放棄。如果能有一個完美的 AI 導(dǎo)師，為每個人鋪平通往任何知識領(lǐng)域的道路，那么學(xué)習(xí)將變得輕松而愉快。屆時，掌握五種語言、精通大學(xué)本科所有基礎(chǔ)課程，可能會成為一種常態(tài)。

最終，Karpathy 的愿景是，通過 Eureka 這樣的機構(gòu)，培養(yǎng)出能夠在 AI 時代與機器共舞，甚至在某些方面超越機器的超人。即使在遙遠(yuǎn)的未來，人類的認(rèn)知勞動不再具有經(jīng)濟價值，這種對知識和智識的追求本身，也將成為人類文明延續(xù)和繁榮的意義所在

參考：

Andrej Karpathy — “We’re summoning ghosts, not building animals”