Andrej Karpathy最新播客：Token沒用完讓人焦慮，像患上AI精神病

機器之心編輯部

近日，AI 領域知名專家 Andrej Karpathy 做客一檔播客節目，在長達一個小時的對談中，他不僅回顧了自己近一年的工作狀態，也系統闡述了一個正在迅速成形的新范式：以 Agent 為核心的軟件生產方式重構。

Andrej Karpathy 直言自己「病了」，患上了嚴重的「AI 精神病」。

從去年 12 月開始，他再也沒有手寫過一行代碼。每天 16 小時，他都在和 Agent 對話，同時并行驅動十多個任務；甚至當 token 沒被「用滿」時，他會感到不安。這種對 AI 的高度依賴，他稱之為「AI 精神病」（AI psychosis）。

Karpathy 判斷，App 終將消失。設備只需開放 API，Agent 會成為新的「操作系統」，把音響、燈光、空調、窗簾、安防全部串聯起來，甚至只需三段提示詞，就能在一個 WhatsApp 對話里完成統一控制。

未來的用戶將不再是人，而是代表人行動的 Agent。整個軟件與商業體系，都必須圍繞 Agent 進行重構。

甚至連組織本身，也在被重新定義：一個研究機構，本質上就是一組 markdown 文件 —— 角色、流程、協作方式，全都是「代碼」；而凡是代碼，就可以被持續優化。

播客地址：https://music.youtube.com/watch?v=kwSVtQ7dziU

以下為播客全部內容：

Karpathy 直言患上了嚴重的「AI 精神病」

主持人：大家好，今天我們邀請到了 Andrej Karpathy。這期節目內容會非常豐富，我們會聊到代碼 Agent、工程與 AI 研究的未來、更多人如何參與科研、機器人領域的進展，以及他對于 Agent 如何走向現實世界、以及下一階段教育形態的判斷。

最近這幾個月，AI 真的非常令人興奮。

Karpathy：確實可以這么說。

主持人：我記得有一次我走進辦公室，看到你完全沉浸在狀態里。我問你在做什么，你說：「我現在必須每天工作 16 個小時…… 甚至寫代碼都已經不是一個合適的說法了。」你說你是在：不斷把自己的意圖表達給 Agent，讓它們去執行、去實現。因為能力發生了一次躍遷。那到底發生了什么？能講講你的體驗嗎？

Karpathy：我感覺自己進入了一種持續的狀態，我現在也經常還在這種狀態里，可以說是一種「AI 精神病」（AI psychosis）。因為對一個個體來說，能實現的事情突然被極大地釋放了。過去，你的瓶頸是打字速度，是你自己寫代碼的效率；但現在，有了這些 Agent，這個瓶頸基本被打破了。我覺得大概是在去年 12 月，發生了一次非常明顯的變化，就像某個開關被撥動了一樣。我的工作方式，從原來大概是 80% 自己寫代碼、20% 交給 Agent，變成了 20% 自己寫代碼、80% 交給 Agent。而現在，甚至已經遠遠不止 20/80 了。

事實上，我大概從 12 月開始，就幾乎沒有再親手寫過一行代碼了。這是一個極其巨大的變化。

我甚至試著跟我父母講這件事，但我不覺得普通人真的意識到了這件事情已經發生，或者理解它的沖擊有多大。

如果你現在隨便找一個軟件工程師，看看他在工位上做什么，你會發現：他們構建軟件的默認工作流，已經徹底改變了，而這一切，幾乎就在去年 12 月發生。

我一直在試圖搞清楚一件事：到底什么是可能的，這個邊界又在哪里。比如，我不再滿足于只運行一個 Agent 會話，無論是 Claude Code、Codex，還是其他 agent harness，而是開始思考，如何同時運行多個 Agent，如何去調度它們、組織它們，讓它們真正協同工作。同時，我也在反復追問：這些所謂的「claw」，也就是類 Agent 系統，本質上到底是什么？我又該如何真正把它們用到極致。

但問題在于，一切都來得太快了。新的東西不斷涌現，幾乎每天都在刷新認知。我非常渴望站在這個浪潮的最前沿，但與此同時，我也清楚地意識到，自己其實還沒有真正站在那里。我看到 X 上有很多人在做各種嘗試，有些想法確實很驚艷，但也有不少并不成熟。然而，正是這種混雜的探索狀態，讓我變得更加焦慮，好像如果不拼命往前沖、不搶占最前排的位置，就會被甩下。

這種感覺，甚至有點讓人不安。

所以我覺得，我現在確實處在一種「AI 精神病」的狀態里：不斷地去探索什么是可能的，因為這個空間，本質上還是一片完全未被探索的領域。

主持人：如果你感到緊張，那我們其他人也都一樣緊張。那么你現在怎么看待自己去探索或做項目的能力？它的瓶頸在哪里？

Karpathy：是啊，它到底受限于什么？我覺得幾乎受限于一切。很多時候，即便事情沒做成，你也會覺得很大程度上是能力問題。不是說能力本身不存在，而是你還沒找到一種方法，把現有的一切串聯起來。

比如說，可能是我沒有給 Agent 寫出足夠好的指令，或者默認配置文件沒調好；也可能是我沒有接入一個足夠好的記憶工具之類的。所以一旦跑不通，就會感覺問題出在自己能力不夠，于是你就會開始想，怎么把這些系統編排起來之類的。

你會很想成為那種人，比如 Peter Steinberger。他很有名，有一張很經典的照片：他坐在一堆顯示器前，用的是 Codex，一屏幕全是各種 Codex agent。如果你提示詞寫得對、選擇高強度模式，這些 agent 大概每個跑 20 分鐘，就能各自把一個 repo 拉下來、開始干活。于是他就在這些 agent 之間來回切換，不斷給它們追加指令。

這種感覺就像，你開始用更大粒度的宏操作在行動。不再是寫一行代碼、寫一個函數，而是這是一個新功能，交給 Agent 1；這是另一個不會互相干擾的功能，交給 Agent 2；然后你再根據自己對代碼質量的在意程度，去審查它們的輸出。

你開始思考的是，我可以用哪些宏操作去操控整個代碼倉庫。比如，一個 agent 在做調研，一個在寫代碼，一個在為新實現制定方案，一切都在以這種宏觀動作的方式，在你的倉庫上同時發生。

而你要做的，就是不斷練習，變得非常擅長這種模式，形成一種肌肉記憶。這件事其實非常有成就感，首先它是真的能跑通，其次它本身也變成了一項全新的學習內容。

所以，也正因為這樣，才會出現那種有點上頭、甚至像精神錯亂一樣的狀態。

沒把 token 的吞吐量用到最大，有些焦慮

主持人：是的，我確實有一種本能：每當我在等待某個 agent 完成任務的時候，很自然就會覺得，那我還可以再多做點事情。對吧？如果我還有更多 token 可用，那我就應該把所有任務都并行起來。

但這其實挺讓人有壓力的。因為如果你并沒有被 token 的使用能力明顯限制住，那么你就會意識到，系統真正的瓶頸其實是你自己。只要你沒有把它的能力用到極限，你就成了那個限制系統發揮最大能力的人。

Karpathy：如果你連訂閱資源都沒有用滿，那就說明你還沒有把系統能力發揮到極致。理想情況下，你應該同時調度多個 agent，比如在 Codex 上的額度用完了，就切換到 Claude 或其他云服務之類的。我自己也在嘗試這樣做。

而且當我發現還有訂閱額度沒用完的時候，會有一種緊張感。這意味著我沒有把 token 的吞吐量用到最大。

其實我在讀博的時候也有類似的體驗：當你的 GPU 沒在跑的時候，你會感到焦慮，因為你沒有把手頭的算力用滿，沒有把可用的 FLOPs 壓榨到極限。但現在已經不再是算力的問題了，而是 token 的問題。

所以現在的問題變成了：你的 token 吞吐量是多少？你到底在調動多大的 token 吞吐能力？

主持人：我其實會覺得，這一點很有意思：在過去至少十年里，很多工程任務中，人們并不會覺得自己受限于算力，對吧？但現在整個行業都開始有這種感覺了，覺得自己是被資源限制的。

而當這種能力出現巨大躍遷之后，你會突然意識到，問題已經不再是我能不能獲得算力了，而是我自己成了那個約束條件。本質上變成了能力問題。

Karpathy：但這其實也很有賦能感，因為這意味著你是可以不斷變強的。所以我覺得這件事很容易讓人上癮，因為每當你掌握一個新方法，就像解鎖了新的能力一樣。

我覺得大家其實都在往更高的抽象層走。也就是說，問題不再是你和一個 agent 的單次交互，而是多個 agent 之間如何協作、如何形成團隊，這才是大家都在探索的方向。

Karpathy 對 OpenClaw 的看法

另外，我覺得 Claw 也是一個很有意思的方向。這里說的 Claw，其實是一種把持續性提升到新層級的系統。它不是那種需要你一直盯著、實時交互的東西，而是更像一個獨立運行的小環境，有自己的 sandbox，可以在你不看的時候，持續替你做事情。

同時，它還可能具備更復雜的記憶系統，而這些在當前的 agent 里其實還沒有很好實現。比如說，像 OpenClaw 這樣的系統，在我看來，它的記憶能力就比默認的 agent 要復雜得多。默認的 agent 往往只是當上下文不夠時做一些壓縮處理，而不是一種真正長期、結構化的記憶體系。

主持人：我認為，正是這一點在用戶群體中產生了更強的共鳴，相比之下，單純提供更廣泛的工具訪問權限可能就沒有這種效果。

Karpathy：關于 OpenClaw…… 嗯，我想說的內容還挺多的。

Peter 確實做得非常出色。我最近見過他，也和他聊過這件事。他本人很謙虛，但我覺得他其實是在五個不同方向上同時做了創新，并把它們整合在一起。

比如說，他在文檔設計上花了很多心思，真的塑造出了一種有吸引力、有個性的風格。我覺得現在很多 agent 在這一點上其實做得不太好。反而像 Claude 的人格就做得挺不錯，更像一個隊友，會和你一起興奮、一起投入。

相比之下，Codex 就要干很多。這也挺有意思的，因為在 ChatGPT 里，Codex 的表現是更積極、甚至有點討好用戶的。但作為編程 agent，Codex 就顯得非常冷淡，好像并不關心你在做什么。它更像是在說它已經實現了功能。但你會忍不住想，它真的理解我們在構建什么嗎？

是的，它確實不會那樣表現。另外一點是，比如像 Claude，我覺得它在討好程度上的把控是比較到位的。當它夸我的時候，我會覺得多少是配得上的。因為有時候我給它的只是一些還沒有完全想清楚的想法，它的反應不會特別強烈，只是說可以實現。但當我自己也覺得這是個不錯的想法時，它確實會更明顯地給予認可。

于是就會出現一種有點奇怪的感覺，好像我在努力去贏得它的認可一樣。所以我確實覺得，人格這件事非常重要，而很多其他工具可能沒有那么重視這一點。我覺得在這方面，Peter 是非常在意的，這一點他是做對了。

再加上記憶系統，以及他本身也是在享受這個過程，還有通過一個 WhatsApp 窗口統一接入所有自動化能力，這些組合在一起，就形成了一種很特別的使用體驗。

Karpathy 用 Claw 重寫家庭操作系統

主持人：除了軟件工程之外，你個人是否曾利用你的 Claw 做過什么，并且覺得既有趣又好玩的事情？

Karpathy：是的，所以在一月份的時候，我也經歷了一段類似 Claw 上頭的階段。我自己做了一個 Dobby，基本上用來管理我家里的各種設備。

我當時是用 agent 去自動發現我家局域網里的所有智能家居子系統，結果讓我挺意外的是，這件事幾乎是開箱即用就成功了。比如我只是跟它說，我家里應該有 Sonos，你能不能幫我找一下。然后它就開始掃描整個局域網里的設備，相當于對所有連接的設備做了一次 IP 掃描，最后真的找到了 Sonos 系統。

更離譜的是，它發現這個系統居然沒有任何密碼保護，就直接連進去了，然后告訴我你家里有這些 Sonos 設備。接著它又去做了一些網頁搜索，最后找到了對應的 API 接口。

然后它問我要不要試一下，我當時都有點震驚，說你已經做到這一步了嗎。然后我說那你能不能在書房放點音樂。結果它真的做到了，音樂就響起來了。我當時完全不敢相信這一切就這樣發生了。

我真的不敢相信，我只是打了一句你能幫我找到我的 Sonos 嗎，然后它就真的放出音樂了。它對燈光也是一樣的操作。基本上就是，它自己「黑」進去，搞清楚整個系統，構建了 API，還做了一個控制面板，讓我可以看到家里所有燈的控制中心。

然后它就可以幫我開關燈之類的，比如我跟它說 Dobby，該睡覺了，那么它就會把所有燈都關掉。類似這樣，它現在可以控制我家里的燈光、空調系統、窗簾、泳池和溫泉設備，還有安防系統。

我在屋外裝了一個攝像頭，只要有人靠近，它就會觸發檢測。首先是變化檢測，一旦檢測到變化，就會調用一個視覺模型去分析畫面。然后它會通過 WhatsApp 給我發消息，附上一張外面的圖片，并告訴我，比如剛剛有一輛卡車停在門口，你可能需要看一下，可能有個包裹之類的。然后 Dobby 就會直接給我發消息。

這一切真的非常不可思議。現在 Dobby 相當于是整個家的控制中樞，我通過 WhatsApp 和它溝通。用這種宏操作去管理整個家庭，其實非常有意思。

我還沒有把它推到更極致的用法，我知道有些人玩得更瘋狂。但對我來說，僅僅是家庭自動化這一點就已經很有用了。以前我要用六七個不同的 App 來控制這些設備，現在完全不需要了，Dobby 可以用自然語言統一控制一切。這真的很驚人。

所以我覺得，我甚至還沒有完全把這個范式用到極限，但它已經非常有幫助，也非常讓人興奮。

主持人：你覺得這是否在某種程度上反映了人們從用戶體驗角度出發，對軟件所抱持的期望？畢竟，人們往往很容易忽略這樣一個事實：學習新軟件，尤其是全新的用戶界面（UI），其實是需要耗費人力精力的。

Karpathy：我覺得某種程度上這是對的。這更像是從人們心中對 AI 應該是什么樣子倒推回去設計。因為人們腦海里的 AI，其實并不是原始意義上的 LLM。從本質上講，LLM 只是一個生成 token 的系統，不斷輸出下一個 token。

但人們想象中的 AI，更像是一個有人格、有身份的存在，你可以和它交流，它會記住事情，它像是一個在 WhatsApp 背后的實體，這種形態對人來說更容易理解。

所以在某種程度上，這是在匹配用戶已經形成的預期，讓 AI 的行為更符合人們認為一個助手應該如何運作。但在底層，其實有大量技術細節在支撐這一切，而單純的 token 生成這種原始機制，對大多數人來說太底層、太抽象，很難被當作真正的 AI 來理解。

大量定制化、碎片化的 App，有點被過度生產了

主持人：沒錯，我想這恰恰反映了我們對 AI 本質的理解方式，將它描述為像 Dobby 那樣的角色，或是某個具體的人格形象，顯然能引起人們的強烈共鳴。此外，我認為你為了實現家庭自動化，將六套截然不同的軟件系統整合為一的做法，其實引出了另一個值得深思的問題：人們真的需要如今市面上林林總總的各類軟件嗎？確實如此。因為我想提出這樣一個觀點：誠然，你擁有了相應的硬件設備，但你卻徹底舍棄了原本附帶的軟件層，或者說是用戶體驗（UX）層。你覺得這真的是人們所期望的嗎？

Karpathy：是的，我覺得有一種感覺是，現在應用商店里這些用于控制智能家居設備的 App，在某種意義上其實不應該存在。是不是本來就應該只是提供 API，然后由 agent 直接去調用？而且這樣一來，我可以實現各種自動化組合，這是任何單個 App 都做不到的。agent 可以統一調度這些工具，調用正確的接口，完成相當復雜的任務。

從這個角度看，確實指向一個趨勢：現在這種大量定制化、碎片化的 App，其實有點被過度生產了。因為 agent 會把它們壓扁，所有能力都應該以 API 的形式暴露出來，而 agent 作為智能的膠水層，去調用這些工具，把各個部分串聯起來。

再比如我的跑步機，它有自己的 App，我想記錄自己做有氧運動的頻率。但我不想每次都登錄一個網頁界面，走一套復雜流程。這些本來就應該通過 API 直接完成。這其實就是在走向一種 agent 優先的互聯網形態，或者說 agent first 的工具體系。

所以我覺得整個行業都需要在很多層面進行重構。未來的客戶不再是人類，而是代表人類行動的 agent。這種重構的規模，在某種意義上會非常巨大。

有些人會反駁，說普通人真的會去做這種底層操作嗎？是不是要讓大家去寫類似字節碼的東西？但我覺得，這只是當前階段的技術形態。現在確實還需要一些類似底層操作的過程，我自己也在參與、在和系統一起調試。

但我隱約感覺，這些我剛才說的能力，本來就應該是免費的。在未來一兩年甚至三年內，這些事情會變得非常簡單，成為基礎能力。任何 AI，甚至開源模型，都可以輕松完成這些事情。

主持人：你應該能夠非常輕松地將非技術人員的意圖轉化為相應的表達。但即便如此，你還是需要做一些設計決策，對吧？比如我們剛才提到的一些具體實現方式。

Karpathy：不過我感覺，隨著時間推移，這些門檻會不斷降低，最后會變成軟件在替你完成一切，有點像一種 Claw 在后臺處理所有細節，而你并不需要參與其中。Claw 自己有一套運行機制，會把事情搞定，然后只把界面呈現給你，你只需要用自然語言去表達需求。

主持人：那為什么你還沒有把自己在 Claw 上的能力推到極限？是因為在做更重要的項目，比如自動化研究，還是說你正在逐步走向精通的過程中，或者有其他原因？

Karpathy：我感覺主要還是因為太容易被各種事情分散注意力了。我之前大概花了一周時間在 Claw 上，但現在反而有更多待辦事項了。

我也沒有真正把它用在郵箱、日歷這些更核心的場景上，甚至都沒有接入。一方面是因為這套東西還很新，還有點粗糙，我對它還是有些不放心；另一方面也是出于安全和隱私的考慮，我不太愿意一下子把自己的整個數字生活都交給它。

所以某種程度上，這確實限制了我繼續深入使用它，這可能是最主要的原因。同時也有一部分原因是，我確實有點被各種事情分散了精力。之前那一周幾乎都在玩 Claw，但之后其他事情又不斷涌進來。

把研究員移出循環

主持人：究竟是什么…… 我是說，你曾提到過，能夠讓智能體（Agents）去執行訓練模型，或者至少是優化模型，這項任務，是你長期以來一直希望能實現的目標。那么，Auto 背后的具體動機究竟是什么呢？

Karpathy：研究這件事，是的。我之前發過一條推文，大概意思是，要想真正發揮現在這些工具的最大價值，你必須把自己從系統的瓶頸中移除。你不能總是待在那兒去下一個提示、做下一步操作，你需要把自己抽離出來。要把系統設計成完全自動運行。

核心目標是，如何在不參與循環的情況下，最大化你的 token 吞吐量。也就是說，讓系統自己跑起來，而不是依賴你不斷介入。

所以我當時提到，現在這個階段的關鍵是提升杠桿率。你只需要偶爾投入很少量的 token，但系統會替你完成大量工作。自動化研究就是這種思路的一個體現。

我當時發了這個觀點，大家也挺喜歡，但可能還沒有真正想清楚它的含義。對我來說，自動化研究就是這個理念的一個直接推演。我不想自己作為研究者一直在循環里盯著結果、不斷干預，因為那反而是在拖慢系統。

關鍵問題變成，我如何重構整個抽象層，讓自己不再參與其中。只需要設置好一次，然后點擊運行。接下來要做的，就是盡可能讓更多 agent 在更長時間內、在沒有你參與的情況下持續運行，替你完成任務。

自動化研究本質上就是這樣。給定一個目標，定義好評估指標，設定清晰的邊界條件，規定哪些可以做、哪些不能做，然后就讓系統自己去執行。

主持人：你對它的有效性感到驚訝嗎？

Karpathy：我其實一開始并不覺得這會真的有效。

我真正更感興趣的是遞歸自我改進這個問題，也就是在多大程度上，LLM 可以用來改進 LLM。本質上，這也是所有前沿實驗室都在做的事情，原因很明顯，它們都在嘗試某種形式的遞歸自我提升。

所以對我來說，這更像是一個小型試驗場。我之前其實已經用傳統方式手動調過很多次模型了。畢竟我是研究員，這件事我做了二十年，有一定的經驗積累。可以說是那種長期實踐帶來的自信。我訓練過成千上萬次模型，做過各種實驗，調過超參數，基本上所有常規手段都用過，這些都是我過去二十年一直在做的事情。

我把模型調到了一個我認為已經相當不錯的狀態。但后來我讓自動化研究系統跑了一整晚，結果它找到了我沒有發現的優化點。比如我忘了給 value embedding 加 weight decay。這些參數之間是相互作用的，一個地方調了，其他地方也可能需要跟著調整。

所以我其實不應該成為瓶頸。我不應該手動去做這些超參數優化，也不應該盯著結果看。因為在這個問題里，是有明確的客觀指標的。你只需要把系統搭好，讓它可以持續運行就行了。這就是自動化研究的一種形式，一個單循環不斷嘗試改進的過程。

讓我驚訝的是，即便這個倉庫已經調得相當不錯，它還是能找到新的優化空間。而這還只是一個單循環。那些前沿實驗室擁有成千上萬 GPU 的集群。

所以很容易想象，你可以在小模型上做大量自動化探索，然后再把這些結果外推到更大的模型上。本質上，所謂前沿智能的發展，很多都是關于如何通過擴展和損失函數的變化進行外推。你在小模型上做大量探索，然后再進行規模化擴展。

主持人：所以你的意思是，如果我們能把這項實驗工作做得更好，我們的研發工作效率就會隨之提升，具體來說，就是當我們進行規模化擴展時，也能擁有更明確的方向指引。

Karpathy：我覺得最有意思的方向，也是那些前沿實驗室大概率正在做的，是這樣的：先在小模型上做實驗，盡可能讓整個過程變得完全自動化，把研究人員從循環中移除。因為人類往往有太多不該有的自信，其實他們不應該直接參與這些具體執行。

他們可以提供想法，但不應該親自去執行這些想法。應該有一個統一的想法隊列，這些想法可以來自一個自動化的科學家，它基于論文和 GitHub 倉庫生成新思路；當然研究員也可以提交想法。但這些想法都進入同一個隊列，然后由一批 worker 去拉取任務并執行實驗。有效的結果就被加入到 feature 分支中，再由少量人去監控這些分支，偶爾合并到主分支。

整體思路就是盡可能把人從流程中移除，實現最大程度的自動化，同時提升 token 的吞吐效率。這也意味著需要重構整個系統的抽象層，把一切重新組織一遍。所以這是一個非常讓人興奮的方向。

但它目前只是用 markdown 寫出來的一套規則。理想情況下，你需要一個自動化研究循環，而且不同的 program.md 會帶來不同的研究進展。可以把每一個研究組織都看成是一組 markdown 文件，定義了所有角色和整個系統是如何協作的。

你甚至可以想象有不同風格的研究組織，比如有的開很多無用的晨會，有的完全沒有；有的更激進，有的更保守。這些本質上都是代碼，一旦是代碼，就可以被優化、被調參。

所以實際上還存在一個更高一層的元優化空間，也就是對研究組織本身進行優化。

主持人：未來的工作模式究竟會是怎樣的？

Karpathy：不過我覺得關于這種所謂的 LLM 上頭狀態，還是有幾個前提需要說明。

第一點，這種方式非常適用于那些目標明確、指標可以客觀評估的任務。比如寫 CUDA kernel、優化模型中的某些代碼模塊，這類問題就非常適合。因為你有一個明確的目標，原本代碼是低效的，你希望得到一個在行為完全一致的前提下更高效的版本。這種場景非常契合自動化研究。但也有很多事情不適合。如果你無法評估結果，那就無法進行研究，這是第一個限制。

第二點是，我們現在討論的是下一步的發展路徑，某種程度上也能看清方向。但整個系統其實還不成熟，還有很多邊角問題，有點像在邊緣撐著，存在裂縫，還沒有完全穩定。如果你走得太快、推得太遠，反而整體會變得不那么有用。

這些模型確實已經進步很大了，但依然有些粗糙。我有時候會覺得，自己好像同時在和一個極其聰明、經驗豐富的系統程序員，以及一個十歲的小孩在對話。這種感覺非常奇怪。因為在人類身上，這些能力通常是高度耦合在一起的，而在模型上卻是分裂的。

這種鋸齒感真的很奇怪。人類也會有一些，但要少得多；而這些 agent 的表現就更加不穩定。有時候我只是讓它實現一個功能，它卻會返回一個完全錯誤的結果，然后我們就會陷入一連串錯誤的循環。

這真的讓人很挫敗。我現在還是經常會對這些 agent 感到很煩，因為你一方面能明顯感受到它的強大能力，但另一方面，它又缺乏穩定性，很多時候沒辦法持續地把事情做好。

智能的泛化與分化

主持人：好吧，每當我感覺 agent 在處理某個本該一眼就能識別出的顯而易見的問題上，浪費了大量的計算資源時，我就會感到非常惱火。

Karpathy：我覺得更深一層的原因可能在于，這些模型本質上是通過強化學習訓練出來的。所以它們其實也在面對我們剛才說的同樣問題：只要是可以驗證的事情，實驗室就可以不斷優化模型，并通過獎勵機制去強化這些能力。

比如你有沒有把程序寫對，單元測試有沒有通過，這些都是可以明確判斷對錯的。但它們比較吃力的地方在于一些更微妙的東西，比如理解我真正的意圖，或者判斷什么時候應該主動提出澄清問題。

凡是這種偏軟的東西，表現通常就會差很多。所以你會感覺，要么是在一條軌道上，處在那種接近超智能的狀態，一切都很順暢；要么一旦脫離了這些可驗證的場景，整個系統就開始變得發散、游走，沒有明確方向。

換個說法就是，如果你現在去用最先進的模型，比如 ChatGPT，讓它講個笑話，你大概能猜到它會講什么類型的笑話。

主持人：這個笑話，我說不出它的標準版本，但我確實感覺 ChatGPT 好像就只有那么兩三個笑話。

Karpathy：所以，這就是你三四年前會聽到的笑話，也是你今天依然會聽到的笑話。盡管模型整體能力已經有了巨大的提升，如果你給它一個 agent 式任務，它可以連續運行好幾個小時，幫你完成非常復雜的工作。但你讓它講個笑話，它還是會給你一個五年前那種老套、簡單的笑話。

原因在于，這一類能力并不在強化學習優化的范圍內，不屬于當前重點提升的部分。這正體現了那種能力上的不均勻性。按理說，隨著模型變強，笑話也應該更好、更豐富，但因為這一塊沒有被優化，所以就停在那里，沒有明顯進步。

主持人：你是否認為，這暗示了我們并未觀察到某種意義上的泛化，即那種將講笑話的機智這種更廣泛的智能，與編寫代碼的智能關聯起來的現象？

Karpathy：是的，我覺得這里存在一種解耦。有些事情是可以驗證的，有些事情不是；有些能力會被實驗室重點優化，取決于訓練數據和目標，但有些則不會。

而且有一種觀點認為，如果模型在代碼生成這類高度可靠、可驗證的領域變得更強，那它在其他所有領域也應該同步變強。但從講笑話這個例子來看，這種情況并沒有真正發生。我不認為這種全面提升已經實現。也許有一點點這種趨勢，但遠遠沒有達到令人滿意的程度。

當然，人類本身也存在這種不均勻性。你可以數學很好，但講笑話很差，這很正常。但問題在于，我們原本的敘事是，隨著模型越來越強，我們會幾乎「免費」獲得在各個領域的智能和能力提升。但現實并不是完全如此。

確實存在一些盲區，有些能力沒有被優化。而且這一切都被封裝在這種神經網絡的黑箱中。結果就是，要么你剛好處在它被優化的軌道上，一切表現都非常強大；要么你偏離了這個軌道，表現就會變得不穩定。這就是所謂的不均勻性。

所以我覺得，雖然發展方向是清晰的，但還不能完全放手交給系統，因為它還沒有完全成熟。也有可能問題在于我們還不夠會用，還沒有掌握正確的使用方式。所以現在其實很難判斷，到底是哪一方面的限制更大。

主持人：我能問一個有點冒犯的問題嗎？如果這種不均勻性一直存在，而且現在又被封裝在一個相對單體的接口里，也就是一個統一的大模型里，這樣真的合理嗎？

還是說，其實應該把它拆開？因為不同類型的能力是可以在不同維度上被優化的，不同領域的智能本來就可以分別提升。

Karpathy：比如將模型拆解為針對不同領域的多個專家模型，諸如此類，也就是以一種更為直接的方式。

主持人：我們不應僅僅局限于 MoE，畢竟我們此前從未接觸過它。因為對于外部用戶而言，這可能會令人感到困惑：為什么它在處理某件事上表現得如此出色，但在另一件事上卻顯得力不從心？

Karpathy：是的，我現在的感覺是，各大實驗室目前還是在嘗試做一種單一模型的路線，也就是希望用一個模型覆蓋所有領域的智能，把各種能力都塞進參數里。

但我確實覺得，未來應該會出現更多智能的分化。就像動物界一樣，大腦的結構是高度多樣化的，不同物種適應不同的生態位。有些動物的視覺皮層特別發達，有些則強化了其他能力。

類似地，我們也應該看到 AI 出現這種分化。你不一定需要一個什么都懂的全能預言機，而是可以讓模型針對具體任務進行專門化。我們應該會看到一些更小的模型，仍然具備基本的認知能力，但在特定方向上做了強化。

這樣一來，在延遲和吞吐上也會更高效，尤其是在你真正關心的任務上。比如說，如果你是一個用 Lean 做數學證明的人，已經可以看到有一些模型是專門針對這個領域優化的。

所以未來很可能會出現越來越多這樣的例子，在這些場景下，把能力拆分出來反而是更合理的。

主持人：我有一個疑問：現有的計算基礎設施在容量上面臨的制約，是否在很大程度上推動了這種趨勢的演進？畢竟，效率在這個語境下確實顯得尤為重要。沒錯，正是如此。試想一下，暫且撇開融資因素不談，假設整個過程中完全不涉及資金問題，如果你能為自己所做的任何工作（哪怕只是訓練某一個單一模型）都獲得充足的計算資源支持，那會是怎樣一番景象？但反過來，如果你確實感受到了某種壓力，意識到自己無法針對每一個具體的應用場景都去部署那種規模極其龐大的模型，你覺得這種現實約束是否會導致某種物種分化現象的出現？換句話說，你覺得這是否會促使人們去開發出針對特定用途而高度特化的模型？我提出的這個問題，對你來說是否清晰易懂？

Karpathy：這個問題是有道理的。我現在糾結的一點是，其實我們還沒有真正看到太多分化的出現，對吧？目前還是一種單一模型的格局。

而且有很明顯的趨勢是，一旦某個方向做出了更強的能力，比如代碼能力，就會被重新合并回主模型中。即便模型本身已經有很大的優化壓力，大家還是在不斷往一個統一模型里疊加能力。

主持人：我猜可能還有一個因素是，短期內存在很強的供給瓶頸，這種現實壓力反而可能會推動更多的分化出現。

Karpathy：是的，我覺得本質上，現在這些實驗室是在提供一個通用模型，但它們其實并不知道最終用戶會問什么問題。所以某種程度上，它們必須覆蓋所有可能的需求，這就導致模型需要在各種任務之間做多任務處理。

但如果是具體到某個企業場景，或者圍繞一些明確的問題進行合作，那可能就會看到更多的專門化，或者一些高價值但更垂直的應用出現。只是目前來看，大家還是在追求覆蓋盡可能全面的能力空間。

另外一個原因可能是，我們對于如何操控這些大腦的科學本身還沒有完全成熟。

比如說，一個典型問題是，如何在微調模型的同時不損失已有能力。目前我們其實還沒有很好的一套「操作智能」的基礎工具，除了通過上下文窗口去影響模型。上下文這種方式之所以被廣泛使用，是因為它簡單、成本低，也確實能帶來一定程度的定制化。

但如果要更深入地調整模型，比如持續學習、在某個領域顯著提升能力、或者真正去修改模型權重，這其實還是一個正在發展中的科學問題。相比之下，直接動權重要復雜得多，因為你是在改變整個模型本身，甚至可能影響它整體的智能結構。

所以也許現在之所以還沒有出現明顯的「智能分化」，部分原因是我們還沒有完全掌握如何在不破壞整體能力的前提下，對模型進行精細化、結構性的調整。這方面的技術還不夠成熟。

為人類與 AI 構建更廣闊的協作界面

主持人：而且，它的成本也必須足夠低廉，沒錯，只有這樣，這種特化才有其價值。是的，特別是在當前這些特定的語境之下。我想就您剛才提到的、關于開放領域的自動研究擴展話題，向您請教一個問題。您曾提到過這樣一個思路：既然我們已經擁有了這項技術，那么本質上，我們需要圍繞它構建更廣闊的協作界面，以便讓更多人能夠參與并推動整體的研究工作。您能否就此展開談談？

Karpathy：關于這個問題，是的，我們剛才講的是一種單線程的自動化研究，也就是在一個循環里不斷嘗試。但真正有意思的，其實是把它并行化。

我也嘗試過一些思路，但目前還沒有一個讓我特別滿意、特別簡潔的方案，這更多是我在用 Claw 之外，自己在琢磨的一些方向。

一個比較直接的方式是，如果你有大量并行節點，那就可以讓多個自動化研究系統通過某種共享機制一起協作。

但我更感興趣的是，如何利用互聯網上一個不可信的工作節點池。比如在自動化研究中，你的目標是找到一段代碼，讓模型在驗證集上的損失盡可能低。如果有人提交了一段代碼，你其實很容易驗證它是否真的有效。也就是說，別人可以聲稱這段代碼能帶來更好的性能，你只需要驗證一下就行。

當然，驗證本身也需要一定計算資源，但本質上，這個問題的結構是：生成候選解很難，但驗證候選解很容易。也正因為如此，這個系統看起來有點像區塊鏈。只不過這里不是區塊，而是代碼提交，這些提交可以在前一個基礎上不斷演化，每個提交都是對代碼的改進。所謂的工作量證明，其實就是大量實驗，去找到有效的改進。而獎勵目前只是排行榜上的位置，并沒有實際的金錢激勵。

我不想把這個類比推得太遠，但核心結構確實類似：需要大量搜索，但驗證一個結果是否有效相對便宜。有人可能嘗試了一萬種方案，但你只需要驗證最終那一個有效的結果。

所以問題變成，你需要設計一個系統，讓不可信的工作節點池和一個可信的驗證節點池協同工作，而且整個系統是異步的，同時還要保證安全性。因為如果有人給你發來一段任意代碼，你直接運行是非常危險的。

不過從原理上來說，這是完全可行的。像自動化研究這樣的任務，也非常適合這種模式。

從這個角度看，完全可以想象，互聯網上的 agent 集群可以協同改進 LLM，甚至有可能在某些方面超過前沿實驗室。畢竟實驗室擁有的是大量「可信算力」，但整個地球上的「不可信算力」規模更大。如果你能設計好系統機制來約束和利用這些資源，那么這種「群體智能」是有可能產生更優解的。

最后一點是，未來很多公司或者個人，可能會圍繞自己關心的問題，參與到不同的自動化研究方向中。你不一定是捐錢，而是貢獻算力。比如你關心某個特定領域，你可以購買算力，然后加入對應的自動化研究網絡。

如果一切都被重新組織成這種自動化研究體系，那么算力就會變成最核心的貢獻形式。

主持人：這個算力池的想法確實很有啟發性。而且有一個挺有意思的現象是，不管是在硅谷，都開始重新意識到，擁有個人算力這件事又變得有價值了。

也就是說，人們可能會為了運行自己的 Claw 而去配置算力設備。而一旦有了這些算力，它們不僅可以服務于個人使用，還可以參與到自動化研究中，成為整個系統的一部分。

Karpathy：但未來會不會變成，大家真正關心的是 FLOPs？會不會出現一種翻轉，大家關注的不再是錢，而是你掌控多少算力？

因為現在的情況是，即便你有錢，也很難買到算力。所以在某種意義上，算力反而變成了更稀缺、更關鍵的資源。

也許未來會變成一種新的衡量方式，不再是你有多少財富，而是你掌控多少 FLOPs。當然我不一定認為這真的會發生，但這個思路本身還是挺有意思的。

AI 與就業市場

主持人：你最近發布的那項內容，似乎是對就業數據做的一點分析，對吧？真是沒想到，它竟然觸動了大家的敏感神經，盡管你做的其實不過是對一些公開數據進行可視化呈現而已。當時，你是出于什么樣的好奇心才著手做這件事的呢？

Karpathy：我當時主要是好奇，現在大家都在討論 AI 對就業市場的影響，以及未來會變成什么樣。所以我就想去具體看看，現在的就業市場到底是什么結構，各種崗位分布是怎樣的，不同行業里有多少人。

我更感興趣的是逐個去看這些具體案例，然后自己去思考，在 AI 以及它未來的發展趨勢下，這些職業會發生什么變化。它們會變成輔助工具嗎？還是會被替代？這些崗位本身會增長、調整，還是會出現全新的職業類型？

本質上，這是我用來推動自己思考整個行業的一種方式。

至于數據來源，其實就是官方的勞工統計部門。他們會給出每個職業的增長預期，比如未來大概十年內的增長情況。這個預測是基于 2024 年的數據做出來的。

主持人：基于你對這些數據的觀察，對于那些正面臨就業市場、或者正在思考當下該修讀什么專業、培養何種技能的人，你有什么見解或建議嗎？我的意思是，畢竟我們大家最終都得去求職。我個人非常慶幸，目前我的工作性質要求我必須與人面對面交流，這種工作方式更具實體感、更貼近現實。

Karpathy：不過，你能在家辦公嗎？但我可以。

主持人：我覺得其中有些關于人際關系的部分比較難處理，但大部分我應該可以應付。

Karpathy：我覺得這其實很難一概而論，因為就業市場本身就非常多樣化，不同領域的情況肯定會不一樣。

但總體來看，這些工具非常新，同時也非常強大。對大多數人來說，第一步其實只是盡量跟上它的發展節奏。很多人要么低估它，要么對它感到害怕，這其實都可以理解。

但從當前階段來看，我更傾向于把它當作一種賦能工具。因為一份工作本質上是由一系列任務組成的，而其中一些任務現在可以被大幅加速。所以現階段更合理的認知，是把 AI 當作工具來使用。

至于更長期的影響，其實是很不確定的。坦白說，這件事很難準確預測，我自己也不是專門做這方面研究的。更系統的判斷，可能還是要交給經濟學家來做。

主持人：不過，你畢竟是一名工程師。而且有一點我覺得挺有意思的，那就是對工程類職位的需求，目前正持續增長。是啊，我也搞不清楚這究竟只是個暫時現象，還是別的什么。對此，我心里其實挺沒底的。你怎么看？

Karpathy：是的，這有點像需求側的問題。過去軟件其實是稀缺的，對吧？之所以沒有更多的軟件需求，很大程度上是因為供給太少、成本太高。

但一旦門檻下降，就會出現杰文斯悖論。也就是說，當某樣東西變得更便宜、更高效時，需求反而會增加。一個經典例子就是 ATM 和銀行柜員。當年很多人擔心 ATM 會取代柜員，但結果是銀行網點的運營成本下降了，于是網點數量增加，反而雇了更多柜員。這就是典型的杰文斯悖論 —— 成本下降，釋放出被壓抑的需求。

所以在軟件工程領域，我其實是比較謹慎樂觀的。我確實覺得軟件的需求會變得非常大，只是生產成本大幅降低了。短期來看，很難精確預測，但至少在當前階段，我覺得軟件需求會增加。

因為軟件本質上是在處理數字信息，而這種能力是非常強大的。你不再需要被動接受那些現成但并不完美的工具，也不需要被迫訂閱已有的軟件。代碼變得更加短暫、可塑，可以隨時修改、重寫。

所以我覺得，在數字空間里會出現大量「重布線」的行為，從某種意義上說，一切都在被重新構建。這會帶來大量新的需求。

但從長期來看，就不好說了。比如像 OpenAI、Anthropic 這些機構，它們也就雇了大概一千人左右的研究人員。而這些人本質上是在努力自動化自己的工作，這正是他們在做的事情。

主持人：那些研究人員中，有些人其實也能感受到那種精神狀態，對吧？因為他們能真切地體會到，這確實奏效了。沒錯，正是如此。所以他們會覺得：這對我自己來說，也是有益的。

Karpathy：我當時還花了不少時間在公司里到處和人聊，我就問他們，你們有沒有意識到，如果我們真的成功了，那我們自己其實也會失業。我們本質上是在為 Sam，或者董事會之類的人，構建自動化系統。

也就是說，我們是在打造一種系統，最終可能把我們自己的工作替代掉，最多就是在邊緣做一些貢獻。從這個角度看，其實還是挺讓人不安的。

主持人：在某個前沿實驗室里，利用大規模的計算資源，和一群同事一起從事自動化研究。畢竟，何樂而不為呢？

Karpathy：我之前也在那樣的環境里待過一段時間，后來又重新回到這個問題上來看。所以在某種程度上，我是認同這種說法的。但這個問題其實可以從很多角度去理解。

我會說，我對人們在前沿實驗室之外所能產生的影響，其實是比較有信心的。不只是行業內部的角色，還有更偏生態層面的角色。比如你的角色，就是一種生態層面的參與；我現在做的事情，其實某種程度上也屬于這一層。我覺得人在這些位置上，是可以產生很大影響的。

反過來說，我也覺得，如果一個人把自己過度綁定在前沿實驗室上，是存在一些問題的。因為本質上，你在這些機構中會有非常強的經濟激勵。同時，你自己也承認，這些 AI 技術會對人類社會產生非常深遠的影響。而在這種情況下，你既是在構建這項技術，又在從中獲益，在經濟上與它高度綁定。

這其實是一個很核心的矛盾，也是當初 OpenAI 成立時就試圖解決的問題之一。所以，這里面本身就存在一種張力。

這個矛盾其實并沒有真正被解決。這是第一點。

如果你在前沿實驗室內部，你就不再是一個完全自由的個體，也無法以完全獨立的方式參與討論。有些話你不能說，也有一些是組織更希望你去表達的。雖然不會有人強迫你，但你會感受到一種無形的壓力，知道哪些話應該說。否則就會變得很尷尬，會有那種微妙的眼神，仿佛在問你在做什么。

所以你很難成為一個真正獨立的行動者。相對來說，在這些實驗室之外，我反而覺得自己更接近站在人類整體利益的角度，因為不需要承受這些壓力，可以更自由地表達。

當然，在前沿實驗室內部也可以產生影響。那里有很多優秀的研究者，也許你就是其中之一，也許你的想法很重要。而且很多關鍵決策是在那里發生的，你可能也希望自己能在這些討論的現場。

不過我覺得目前整體的「賭注」還比較低，所以一切看起來都比較平和。但當未來 stakes 真的變高時，如果你只是一個組織里的員工，我不確定你到底能對組織的最終決策產生多大影響。本質上你并不掌控這個實體，你只是參與討論、提供想法的人。

這就是一種潛在的錯位。

另一方面，我也確實認同一個觀點：這些實驗室本身是相對不透明的，它們處在能力前沿，掌握著未來的發展方向。如果你不在其中，你的判斷很可能會逐漸偏離，因為你無法接觸到那些正在發生的事情。

我自己也會有這種擔憂，擔心逐漸失去對這些系統底層機制和未來演進路徑的真實理解。所以從這個角度看，保持與前沿的連接是很重要的。如果有機會在這些實驗室待一段時間，做一些真正有價值的工作，然后再回到更廣闊的環境中，這也許是一種不錯的方式。

所以在我看來，在 OpenAI 這樣的機構里當然可以做出非常出色的工作，但同樣也有可能，最有影響力的工作反而是在這些機構之外完成的。

主持人：不，這更像是在呼吁成為一個獨立研究者，自己去做大量研究。

Karpathy：在外部其實有很多事情可以做，而且我覺得某種程度上，一個理想的狀態可能是來回切換。你既可以在前沿實驗室里工作一段時間，也可以在外部做自己的事情。

本質上，你在這兩種環境中都可以產生非常大的影響。所以這確實是一個很復雜的問題，沒有簡單答案。

對我來說，可能就是階段性地進入前沿實驗室，再出來，然后未來也許還會再回去，這樣在不同環境中切換。

開源模型 vs. 閉源模型

主持人：我也會從這個角度去看這個問題。其中一個關鍵問題是，整個世界或者 AI 生態，對前沿能力到底有多大的可見性？比如說，開源模型距離前沿到底有多近，以及這種狀態是否可持續。

我覺得最近這一系列發展其實挺讓人意外的。從最開始只有少數幾個中國模型和全球模型，到現在大家還在持續發布，而且很多模型在能力上已經比行業預期更接近前沿。

這一點確實挺出乎意料的。

你作為一個長期參與開源的人，會怎么判斷這個趨勢？你對未來的預測是什么？

Karpathy：大致來說，現在的情況是，閉源模型仍然領先，但大家已經開始用落后多少個月來衡量開源模型與前沿的差距。

一開始是完全沒有可比性，然后差距大概在 18 個月左右。接著逐漸收斂，現在可能已經縮短到 6 到 8 個月這個量級。

我自己當然是開源的堅定支持者。比如在操作系統領域，你有像 Windows、macOS 這樣的閉源系統，它們是大型軟件項目，有點類似未來的 LLM。但同時也有 Linux，而且 Linux 是一個非常成功的開源項目。它運行在絕大多數計算設備上，至少我上次看到的數據，大概有 60% 左右的設備在運行 Linux。

這背后的原因是，整個行業始終有一種需求，需要一個大家都可以信任的、共同的開放平臺。

我覺得現在也是一樣，市場對這種開源基礎設施是有需求的，這也是為什么會有這么多投入。

但最大的不同在于，這一切現在都高度依賴資本。

這也讓開源在競爭上變得更困難一些。不過我還是認為，現在的模型已經非常強了。

另外一個很有意思的點是，對于絕大多數消費級場景來說，甚至很多開源模型其實已經足夠好用了。而且如果再往后看幾年，很大一部分相對簡單的使用場景，可能都會被很好地覆蓋，甚至可以在本地運行。

但與此同時，始終會存在對前沿智能的需求，而且這部分需求的體量可能非常大。只是它的形態可能更偏向于一些高價值、高難度的任務，比如類似諾貝爾獎級別的研究，或者像把 Linux 從 C 遷移到 Rust 這種大規模工程。這類更復雜、更長期的項目，可能會更多地依賴那些前沿的閉源模型。

而開源模型則會逐步覆蓋大量更基礎的使用場景。某種程度上，今天屬于前沿能力的東西，可能到今年晚些時候就會變成開源，并承擔大量實際工作。

所以我其實預期這種結構會持續下去：一邊是前沿實驗室提供的閉源模型；另一邊是開源模型，始終落后幾個月，但不斷追趕。

我覺得這種格局整體上是比較健康的。因為如果所有最強的智能都集中在少數閉源系統中，其實會帶來一定的系統性風險。從歷史來看，過度集中化往往并不是一個好的長期結構。

所以我希望存在這樣一種形態：它不一定處在能力最前沿，因為前沿本身是新且不確定的；但它稍微落后一些，作為一個所有人都可以使用的公共工作空間。

也就是說，一個整個行業都能訪問的通用智能層。我覺得這樣的結構，可能會形成一種相對健康的權力平衡。

主持人：是的，我也覺得還有很多問題需要解決。如果我們繼續推動前沿智能的發展，就能解鎖新的能力。而人類面臨著很多非常重大的問題，確實需要更強的模型才能解決。

但這條路本身是非常昂貴的，所以我也會支持那些在前沿持續投入的實驗室。因為有些問題，如果不持續推進這些高成本的能力邊界，是無法解決的。

與此同時，你說得也對，如果今天的前沿能力能夠逐步開放出來，那本身就是非常強大的能力釋放。這種能力的普及和民主化，其實是非常有價值的，也是一種更健康的狀態。

Karpathy：是的，我覺得某種程度上，我們現在其實是意外地處在一個還不錯、甚至接近最優的狀態。

不過我也會說，在閉源這一側，最近其實有點進一步集中化的趨勢。很多前排玩家未必都是最頂級的那一批，這一點并不理想。

我個人會更希望有更多前沿實驗室存在。因為我本能地對集中化是比較警惕的。我希望有更多人參與進來。我也希望在解決最難問題時，是一群人共同參與，而不是少數幾個人在封閉環境里做決策。

我不太希望出現那種關起門來只有兩三個人決定一切的局面，那不是一個健康的結構。

所以簡單來說，我希望有更多實驗室參與進來。同時，我也覺得開源有它很重要的位置。它現在稍微落后一點，其實反而是一件好事。

自主機器人與 AI 的進化

主持人：好，你之前做過通向通用機器人自主能力的前期工作，對吧？

最近這幾個月，機器人領域也發生了很多變化，比如在環境泛化、任務泛化方面都有明顯提升，能夠完成更長時間跨度的任務，同時也有大量資金涌入這個方向。

所以問題是，這件事真的會發生嗎？在你看來，最近有沒有什么本質性的變化？

Karpathy：我的看法很大程度上來自于我在自動駕駛領域的經歷。我確實覺得，自動駕駛其實是第一批真正落地的機器人應用。

回到十年前，當時有很多創業公司，但我感覺大多數最終都沒有走到最后。我看到，這個領域需要極大的資本投入和很長的時間周期。所以我認為，機器人之所以難，是因為它涉及真實世界，復雜、混亂，而且需要巨額投入和強烈的長期信念。這是一個非常大的問題，本質上原子世界太難了。

所以我覺得，機器人會落后于數字世界的發展。在數字世界中，會出現一次巨大的解鎖，很多原本效率不高的事情會被提升一個數量級甚至兩個數量級，因為處理比特要容易得多。

所以從現在來看，變化最快、最劇烈的，還是數字空間；而物理世界會相對滯后。

但我覺得很有意思的一點是兩者之間的接口。如果未來有越來越多的 agent 代表人類行動，彼此協作、參與某種 agent 經濟，那么純粹在數字空間里的事情總有一天會做完。到那個時候，你必須回到現實世界，去做實驗、獲取數據，從宇宙中獲取反饋，才能繼續學習。

現在之所以還有大量數字工作要做，是因為我們過去對已有數字信息的處理能力不足，人類的思考資源不夠。但隨著 AI 的加入，我們會逐步消化掉這些已經存在的信息，比如讀完所有論文、提出各種假設。

但如果系統是完全封閉在已有數據里的，最終還是會遇到瓶頸。

所以我覺得接下來的路徑是：先是數字世界的大規模重構和效率提升，這里還有大量工作要做；然后會逐漸轉向數字與物理的接口，比如通過傳感器獲取世界數據，通過執行器影響現實世界。

很多有意思的公司，可能就會出現在這個接口層，解決如何把現實世界的數據輸入給超級智能，以及如何把它的決策輸出到物理世界中。

至于純粹的物理世界，我甚至覺得它的市場規模可能更大，涉及的工作量也更龐大。但問題在于，它太難了，復雜度高很多。所以它會來得更晚，但一旦到來，規模也會非常巨大。

所以整體路徑可能是：先是數字世界，然后是數字與物理的接口，最后才是全面的物理世界自動化。而我現在的主要關注點，還是在數字這一層。

主持人：這個框架本身也挺有意思的。因為有些事情，其實比想象中更容易，甚至在應用層就可以做。

比如說，如果你只是考慮對物理世界的讀和寫，讀就是各種傳感器、攝像頭，其實已經有大量現成的硬件基礎設施。你完全可以通過一些比較聰明的方式，增強 agent 的能力，或者獲取大量新的數據，而不一定需要投入特別巨大的成本，就能做出有價值的東西。

Karpathy：比如我最近看到的一些例子就很典型。比如我有個朋友 Liam，在做類似材料領域的自動化研究，我上周還去看了他們的團隊。這個方向里，傳感器其實就是各種昂貴的實驗室設備，用來把物理世界的數據輸入給智能系統。

在生物領域也是類似的。現在很多人對生物工程非常感興趣，而這里的傳感器就遠不只是攝像頭，而是各種更復雜的實驗設備，用來讀取生物系統的數據。

還有一個方向我也看到了一些公司在做，就是通過付費的方式獲取訓練數據。也就是說，讓人類參與進來，為系統提供數據，然后作為一種數據獲取機制。

主持人：我特別期待那一天的到來：我可以針對現實世界中的某項任務提出需求，給它定個價，然后直接告訴那個智能體 —— 行了，具體怎么做你自己去想辦法吧。對，就是那種你去把它搞定的感覺。

Karpathy：數據這個點其實很有意思。我有點驚訝的是，現在還沒有形成足夠成熟的信息市場。比如像預測市場、博彩市場、股票市場，如果已經有這么多自動化參與、而且還在不斷增長，那為什么還沒有一種機制，讓實時信息本身可以被直接定價？

所以我感覺，現在的 agent 互聯網其實還很早期，還沒有形成這樣的機制。但這很可能是未來的發展方向之一。

所以我覺得，從更宏觀的角度看，社會可能會在某種程度上重構，去服務這種系統的需求。整個行業可能會逐漸演變成一個高度自動化的結構，而人類在其中承擔的角色，更像是在滿足這個系統的需求，而不完全是彼此之間直接協作。

主持人：話雖如此，但我們當時正聚焦于一個非常具體的問題，即訓練數據的缺失。我們需要某種類似自動化研究的機制，對吧？也就是說，我們需要讓整個訓練周期（或者 SFT 階段）變得更加高度機械化。

如果模型本身不能自主完成訓練，那么你就很難把這件事做成一個真正的閉環系統。尤其是當你還想通過給數據定價這種方式來驅動數據獲取時，這個問題會變得更加困難。

Karpathy：是的，百分之百是這樣。不過，就目前的情況而言，針對 LLM 的訓練，實際上非常順理成章，它真的與這種范式完美契合。所以，確實如此。

比如在訓練這一塊，其實就非常契合這個范式，而且實現起來也相對容易。你可以去優化代碼，讓訓練跑得更快，同時也有明確的指標可以去優化。

我確實覺得，如果你圍繞這些指標構建一個完全自動化的閉環系統，很可能會出現刷指標的情況，也就是系統過度擬合這些指標。

但與此同時，你也可以用這個系統去不斷設計新的指標，從而擴大評估的覆蓋范圍。所以最終會形成一種動態博弈的過程。

整體來看，在這樣的條件下，這種方法其實是相當可行的。

參考鏈接：https://x.com/oran_ge/status/2035121401754263768