![]()
來(lái)源:AI寒武紀(jì)
昨天我寫(xiě)文章介紹了Karpathy的630行代碼的AI自動(dòng)研究員項(xiàng)目,今天這個(gè)項(xiàng)目更完整的構(gòu)想的來(lái)了,毫不夸張的說(shuō)這玩意很有可能就是AGI的雛形
還不了解的情況的看我昨天的文章:
這里我也簡(jiǎn)單總結(jié)一下:
起初是Andrej Karpathy 把 autoresearch 項(xiàng)目整理成了一個(gè)獨(dú)立的精簡(jiǎn)倉(cāng)庫(kù)。
核心結(jié)構(gòu)是把 nanochat LLM 訓(xùn)練代碼壓縮到單 GPU、單文件、約 630 行。運(yùn)行邏輯是:人負(fù)責(zé)迭代 prompt(.md 文件),AI agent 負(fù)責(zé)迭代訓(xùn)練代碼(.py 文件)。
目標(biāo)是:讓 agent 在沒(méi)有任何人工介入的情況下,無(wú)限期地推進(jìn)研究。
![]()
上圖里每個(gè)點(diǎn)代表一次完整的 LLM 訓(xùn)練,每次恰好跑 5 分鐘。agent 在 git feature branch 上自主循環(huán)工作,持續(xù)積累 commit,尋找驗(yàn)證損失更低的配置——神經(jīng)網(wǎng)絡(luò)架構(gòu)、優(yōu)化器、各類(lèi)超參數(shù),全部自己調(diào)。
你可以用這個(gè)框架來(lái)比較不同 prompt、不同 agent 的研究進(jìn)展。
倉(cāng)庫(kù)地址:https://github.com/karpathy/autoresearch
下一步:異步大規(guī)模 Agent 協(xié)作
Karpathy 說(shuō),autoresearch 的下一階段要解決的問(wèn)題是:多 agent 異步大規(guī)模協(xié)作。
目標(biāo)不是模擬一個(gè)博士生,而是模擬一個(gè)由博士生組成的研究社區(qū)。
現(xiàn)有代碼是同步的,沿單一研究方向串行增長(zhǎng) commit。但原始倉(cāng)庫(kù)更像一顆種子——從中可以長(zhǎng)出來(lái)自各個(gè) agent、面向不同研究方向或不同計(jì)算平臺(tái)的 commit。
Git/GitHub 在這件事上接近但并不完全合適。它有一個(gè)隱含假設(shè):存在一個(gè)主分支,其他分支只是臨時(shí)分叉出去再合并回來(lái)。但在這個(gè)場(chǎng)景里,你根本不想合并——你只想吸納和積累各條分支上的 commit。
Karpathy 嘗試了一種輕量原型:讓 agent 把一夜運(yùn)行的結(jié)果整理成摘要發(fā)到 Discussion,或者開(kāi)一個(gè) PR 保留精確 commit 記錄。然后,下一個(gè) agent 可以先用 GitHub CLI 讀取這些 Discussion 和 PR 獲取靈感,跑完自己的研究后,再貢獻(xiàn)一篇發(fā)現(xiàn)報(bào)告回去。
![]()
鏈接:
https://github.com/karpathy/autoresearch/discussions/43
他承認(rèn)還不確定這套機(jī)制最終該長(zhǎng)什么樣,但認(rèn)為這是一個(gè)比 autoresearch 倉(cāng)庫(kù)本身更大的想法:agent 原則上可以輕松管理和協(xié)作處理跨任意分支結(jié)構(gòu)的數(shù)千個(gè) commit。當(dāng)智能、注意力和執(zhí)行力不再是瓶頸,現(xiàn)有的協(xié)作抽象會(huì)承受越來(lái)越大的壓力。
一個(gè)附帶腦洞
在那個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)下,驗(yàn)證損失的全局最小值就藏在權(quán)重空間某處。而在整數(shù)空間里,某個(gè)隨機(jī)種子可以直接把它給你。
用暴力搜索種子來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)——Karpathy 覺(jué)得這個(gè)思路值得被正式化。
有人開(kāi)始押注 AGI 時(shí)間線(xiàn)
Hyperbolic 聯(lián)合創(chuàng)始人兼 CTO Yuchen Jin 曾和馬斯克打過(guò)一個(gè)賭:如果 AI 在做 AI 研究和工程方面能超過(guò) Andrej Karpathy,那就算 AGI,他賭這件事 2026 年不會(huì)發(fā)生。
![]()
現(xiàn)在他說(shuō),自己開(kāi)始覺(jué)得可能要輸了。
因?yàn)锳ndrej Karpathy可能已經(jīng)構(gòu)建出了AGI原型,代碼不重要,重要的偉大的構(gòu)想,現(xiàn)在問(wèn)題成了成千上萬(wàn)的Agent如何協(xié)作,或許2026年我們就會(huì)有答案。
閱讀最新前沿科技趨勢(shì)報(bào)告,請(qǐng)?jiān)L問(wèn)21世紀(jì)關(guān)鍵技術(shù)研究院的“未來(lái)知識(shí)庫(kù)”
![]()
未來(lái)知識(shí)庫(kù)是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線(xiàn)知識(shí)庫(kù)平臺(tái),收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能,數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類(lèi)風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪(fǎng)問(wèn)https://wx.zsxq.com/group/454854145828進(jìn)入。
![]()
截止到2月28日 ”未來(lái)知識(shí)庫(kù)”精選的百部前沿科技趨勢(shì)報(bào)告
(加入未來(lái)知識(shí)庫(kù),全部資料免費(fèi)閱讀和下載)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.