北京
聞樂 克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
大神Karpathy又開源了新項目——一個能夠自主進化的AI科研循環系統
這個項目名叫autoresearch，主打讓智能體完全自主地搞科研，只要在Markdown文檔里寫好指令，剩下的流程全都由AI自動完成。
而且整個框架十分精簡，一共只有630行代碼，單個GPU就能跑得動
它每5分鐘就會跑一輪測試，并根據驗證結果決定是保留還是丟棄改動，就像一個24小時從不休息且能自我進化的虛擬研究員。
Karpathy還希望，未來能讓成千上萬個智能體在海量分支里異步協作，不再受限于單一的master分支，從而通過群體智慧實現科研效率的爆發。
發布才不到兩天，autoresearch斬獲的星標數就已經超過了9.5k。
在X上，Karpathy的帖子也有580多萬次圍觀。
Shopify CEO看了Karpathy的項目之后表示膜拜，直言這個項目實在是太瘋狂了。
5分鐘自動化實驗
autoresearch這個項目的思路非常簡單，就是把AI訓練的循環試錯自動化。
AI自己修改代碼、跑5分鐘的短實驗、看效果好不好再決定下一步怎么走。
基于nanochat模型訓練核心，定了兩條鐵律：
一是每次實驗的純訓練時間固定為5分鐘，避免因為不同改動下的訓練時長不同而影響結果；
二是只看val_bpb，這個指標的數值越低，就代表模型效果越好，而且它和模型的大小無關。
這樣就把訓練邏輯濃縮成了單GPU就能跑的版本，代碼也就630行。
一眼看過去，整個代碼庫就靠三個核心文件——
設置好后全程不用動的prepare.py；需要AI自己改的train.py；只有人類能改的program.md。
prepare.py用于定義訓練的固定常量，比如模型基礎維度、下載模型訓練需要的原始數據、訓練適配的分詞器等，同時還提供實驗過程中需要的工具。
train.py是AI唯一可以編輯、修改的文件，相當于AI的實驗筆記本。
這里面裝著模型訓練的所有核心內容，有完整的GPT架構、訓練用的優化器以及整個訓練循環邏輯。
AI能在這個文件里改的內容包括模型的層數、訓練的批次大小、學習率、權重衰減等等。
所有和訓練相關的調整，都集中在這個文件里，既然AI的修改范圍可控，也方便人類后續回看到底改了哪里。
program.md是一個純文本文件，由人類編寫修改，里面是給AI的基線指令，比如研究方向、實驗規則、參考依據等。
AI啟動實驗之前，會先讀取這個文件的指令，再開始修改train.py跑實驗。
如果想換研究方向，也不用去碰復雜的訓練代碼，只需要更新這個文件里的指令就行。
搞懂了核心原理和3個文件，就很容易理解autoresearch的工作流程了。
整個過程就是AI按照人類的指令，在5分鐘實驗規則下，反復完成修改、訓練、評估、決策。
人類在program.md里寫好實驗指令，然后啟動框架，AI會首先讀取這些指令，在train.py里做針對性的修改，通常每次只改1到2個地方。
修改完成后，AI會自動啟動訓練程序，嚴格遵守框架設定的規則，純訓練時間固定為5分鐘，時間一到，訓練結束，框架會自動用val_bpb指標給這次的模型打分。
根據打分結果作出決策，如果這次的val_bpb分數更低，說明模型進步了，AI就會保留這次對train.py的修改，把這個版本作為下一次實驗的基礎；
如果數值變高了，說明這次的修改是無效的，甚至起了反作用，AI就會果斷放棄這次的改動，回到上一個表現最好的版本，重新思考改動方向。
完成這一輪判斷后，它會立刻開始下一次實驗。
按照5分鐘一次計算，AI一小時能完成10來組實驗，這個效率是人類手搓達不到的。
上圖展示了一次近250輪的自主探索，AI最終篩選并保留了29次有效的優化改進。
圖中灰色點代表被AI判定為無效而舍棄的實驗結果，雖然沒有帶來提升，但也提供了避坑經驗。
下一步：模擬整個博士社群
把autoresearch公開出來之后，卡帕西還在X上暢享了下一步的發展方向。
他借用UC伯克利在1999年發起的SETI@home項目表示，autoresearch未來的目標不僅是模擬一個博士生的科研過程，還要模擬整個博士生研究社群
SETI@home全稱為“Search for Extraterrestrial Intelligence at Home”，核心目標是通過分析射電望遠鏡收集到的海量無線電信號，尋找可能存在的地外文明跡象。
由于分析這些數據需要極其龐大的計算量，遠超當時科研機構所能負擔的計算機成本，項目組由此開創了分布式計算的新模式。
在這個模式下，全球各地的志愿者只需在自己的電腦上安裝一個特定的屏保程序，系統就會在計算機閑置時利用其剩余的CPU算力來處理從阿雷西博天文臺傳回的數據片段。
Karpathy之所以拿它作比喻，正是看中了這種“大規模、分布式、異步”的特質，這種去中心化的智慧集成正是未來AI社區的雛形。
他認為，現在的研究Agent依然局限在單一的、同步發展的線性思路之中，但這種模式極大限制了AI的潛力。
在他的理想當中，autoresearch的發展路徑應該是讓原始代碼倉庫像種子一樣，向各個不同的研究方向和計算平臺伸展出無數分支，形成像SETI@home一樣的分布式、群體式的探索態勢。
Karpathy進一步指出，這種局限性在很大程度上源于我們對Git和GitHub的使用慣性。
具體而言，現有的版本管理系統幾乎都建立在一個默認假設之上，即必須存在一個絕對權威的master分支，而所有的branch和PR都只是暫時的偏離，最終其宿命都是要merge回主干。
這種設計邏輯在管理軟件代碼時固然高效，但在面對需要海量、非線性探索的自動化研究時，卻成了一種制度性的束縛。
因為它強行要求所有多樣化的研究路徑最終必須歸于一個唯一的標準答案。
為了驗證打破這種僵局的可能路徑，Karpathy進行了一些實驗性的探索。
他嘗試讓智能體在完成通宵運行后，將研究總結發布在GitHub的Discussion板塊，或者通過PR提交精確的commits變動。
他在實驗中意識到，這些PR可能永遠不需要被正式merge，但它們作為獨立的研究分支有效地積累了下來。
在這一流程中，智能體還會利用GitHubCLI讀取已有的討論和記錄來獲取靈感，再將新的發現反饋回社區。
總之，比起強行維護一個完美的master分支，讓智能體在無數個branch中自由探索、互相啟發并沉淀結果，可能才是更符合AI特性的科研姿態。
這本質上是在探索一種更適合AI高頻產出的協作方式，讓科研過程從傳統的“寫軟件”邏輯，轉向更靈活的“攢經驗”邏輯。
— 完 —
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
