自動研究是未來！Karpathy放大招，將自我迭代智能體放進單個GPU

編輯｜冷貓

前沿 AI 研究曾經是由「肉身計算機」完成的：人們在吃飯、睡覺、娛樂之間抽時間做研究，并且偶爾通過一種名為「組會」的儀式，用聲波互聯（也就是交談）來同步信息。那個時代已經一去不復返了。
如今，研究已經完全成為運行在天空中巨型計算集群上的自治 AI Agent 群體的領域。這些 Agent 聲稱，現在已經是這套代碼庫的第 10,205 代。至于這個說法到底是否準確，沒有人能夠判斷 —— 因為所謂的「代碼」，早已演化為一種不斷自我修改的二進制系統，其規模與復雜度已經超出了人類的理解范圍。
—— Andrej Karpathy，2026 年 3 月

Karpathy 一向是 AI 領域的預言家。

從科幻電影到大模型的演進，人們似乎總是執著于讓智能體自己做研究和讓人工智能自我迭代這件事。

先不論這個未來是光明還是危險，智能體自動化研究的能力已經逐漸走向了成熟。春節期間，一個名為 FARS 的自動化研究系統，每隔約 2 小時就有一篇論文產出，共生成 244 個研究假設，「肝」出了 100 篇短論文。

如果把這樣的能力運用在智能體自己研究自己的訓練代碼上，AI 自我迭代的魔盒是否就此打開？

Karpathy 最近一直在搗鼓這樣一個項目，稱為「autoresearch」，人類只需要負責不斷迭代 提示詞（.md 文件），而 AI Agent 就能不斷迭代訓練代碼（.py 文件）。

該項目現已經開源，成為了 Karpathy 最新的一個周末項目。

• 開源地址：https://github.com/karpathy/autoresearch

Karpathy 說，這個項目，講述的正是人工智能自我迭代的未來，是如何開始的

這個項目的核心思想是：給一個 AI Agent 提供一個規模雖小但真實可用的 LLM 訓練環境，然后讓它在夜間自主進行實驗。

Agent 會修改代碼，訓練模型 5 分鐘，檢查結果是否有所提升；如果性能更好就保留修改，否則就丟棄，然后繼續重復這一過程。等到第二天早上醒來時，你會看到一整份實驗記錄，以及 —— 理想情況下 —— 一個性能更好的模型。

圖里的每一個點都代表一次完整的 LLM 訓練運行，每次運行嚴格持續 5 分鐘。

訓練代碼，是 nanochat 的簡化版單 GPU 實現

研究者不再像往常那樣直接修改 Python 代碼，而要編寫的是 program.md 這樣的 Markdown 文件，它們為 AI Agent 提供上下文，并用于搭建和配置一個自治運行的研究組織。

Karpathy 開源的默認 program.md 被刻意保持為一個極簡的基礎版本；但人們可以在此基礎上不斷迭代，逐步尋找能夠實現最快研究進展的「研究組織代碼」，或者在系統中加入更多 Agent 等。

一種新的研究范式正在形成：AI 負責做實驗，人類負責設計研究系統。

這也意味著，未來 AI 研究的競爭，可能不再只是模型和數據的競爭，而是「研究組織代碼」的競爭。

系統的訓練代碼來自他此前開源的項目 nanochat —— 一個極簡的大模型訓練框架。

nanochat 是 Andrej Karpathy 開源的一套極簡大模型訓練工程，可以看作是一個「可讀版」的 LLM 全流程實現。整個項目用幾千行代碼串起了從 Tokenizer 訓練、語言模型預訓練、指令微調，到推理服務和聊天界面的完整管線，讓開發者能夠在一個倉庫里看懂現代 ChatGPT 類模型是如何被一步步訓練出來的。

相比動輒數十萬行代碼的工業級大模型框架，nanochat 的目標并不是追求性能極限，而是通過高度簡化的架構，把復雜的大模型系統壓縮成一個清晰可理解的最小實現。也正因為結構輕量、實驗成本低，nanochat 逐漸成為許多研究者和工程師進行 LLM 教學、算法實驗和自動化研究（AI-for-AI） 的理想起點。

nanochat 現在可以在單個 8XH100 節點上僅用 2 小時訓練 GPT-2 能力模型（比一個月前減少了約 3 小時）。