近日,在 OpenAI 發(fā)布的機(jī)器學(xué)習(xí)工程師基準(zhǔn)測(cè)試(MLE-bench)中,一個(gè)名為 AIBuildAI 的智能體系統(tǒng)以 63.11% 的整體得分穩(wěn)居第一。
AIBuildAI 是一個(gè)可以自動(dòng)構(gòu)建 AI 模型的 AI 智能體。這意味著,你只需給它一個(gè)自然語言任務(wù)描述和數(shù)據(jù)文件夾,它就能在一天內(nèi)獨(dú)立完成模型設(shè)計(jì)、代碼生成、模型訓(xùn)練、超參數(shù)調(diào)優(yōu)、性能評(píng)估,并持續(xù)迭代改進(jìn)模型性能。
![]()
(來源:受訪者提供)
這個(gè)“AI 工程師”背后的主要負(fù)責(zé)人,正是加州大學(xué)圣地亞哥分校(UCSD)電氣與計(jì)算機(jī)工程系副教授謝澎濤(Pengtao Xie)。他擁有卡內(nèi)基梅隆大學(xué)機(jī)器學(xué)習(xí)系博士背景,研究方向聚焦人類學(xué)習(xí)技能啟發(fā)的機(jī)器學(xué)習(xí),并將其應(yīng)用于大語言模型、基礎(chǔ)模型以及生物醫(yī)學(xué)領(lǐng)域。
據(jù)謝澎濤介紹,AIBuildAI 的誕生,最初是為了解決實(shí)驗(yàn)室內(nèi)部一個(gè)非常現(xiàn)實(shí)的困境。
“我們團(tuán)隊(duì)有兩類學(xué)生。一類是生物醫(yī)學(xué)背景的,他們希望用 AI 預(yù)測(cè) RNA 功能、蛋白質(zhì)結(jié)構(gòu)等具體問題,但缺乏建模和編程能力;另一類是 AI 方法背景的,雖然能自己寫代碼,卻要花好幾天甚至幾周反復(fù)實(shí)驗(yàn)。”謝澎濤告訴 DeepTech。
“如果有一個(gè)智能體,能讓用戶只用自然語言描述任務(wù),后續(xù)所有步驟——模型架構(gòu)設(shè)計(jì)、代碼編寫、訓(xùn)練、超參數(shù)調(diào)優(yōu)、性能評(píng)估、甚至自我復(fù)盤改進(jìn)——全部自動(dòng)完成,那對(duì)兩類學(xué)生都是巨大解放。”他補(bǔ)充道。
于是,AIBuildAI 項(xiàng)目正式啟動(dòng)。“智能體本身大約做了半年,但底層的推理、合成數(shù)據(jù)等技術(shù)我們已經(jīng)積累了好幾年。”謝澎濤透露,團(tuán)隊(duì)對(duì)于這款智能體的定位也十分明確:基于成熟 AI 模塊組合設(shè)計(jì)模型,解決落地性強(qiáng)的常規(guī)任務(wù)。
據(jù)悉,AIBuildAI 是一套模塊化、可閉環(huán)運(yùn)行的 AI 智能體系統(tǒng),整體分為三層,各司其職又深度聯(lián)動(dòng),實(shí)現(xiàn)從任務(wù)理解到模型交付的全流程無人干預(yù)。
頂層是任務(wù)理解與決策層。當(dāng)用戶輸入“預(yù)測(cè) RNA 功能”或“蛋白質(zhì)酶分類”等自然語言指令時(shí),這一層負(fù)責(zé)解析意圖、判斷任務(wù)類型并拆解執(zhí)行步驟。它是整個(gè)系統(tǒng)的“指揮中心”,決定了建模的方向和邏輯。
在這一核心中樞的選擇上,團(tuán)隊(duì)選用了 Claude-Opus-4.6 大模型。“我們測(cè)試對(duì)比了多個(gè)模型,雖然 GPT-5 在某些設(shè)計(jì)思路上表現(xiàn)出色,但在智能體最關(guān)鍵的環(huán)節(jié)——‘寫代碼’上,Claude 的穩(wěn)定性、長(zhǎng)流程邏輯理解和結(jié)構(gòu)化指令執(zhí)行力是最適配建模場(chǎng)景的。”
中層是推理與代碼生成層,也是 AIBuildAI 的技術(shù)核心,搭載團(tuán)隊(duì)自研的 Dream PRM(過程獎(jiǎng)勵(lì)模型)、Dream ORM(結(jié)果獎(jiǎng)勵(lì)模型)推理模塊,負(fù)責(zé)模型設(shè)計(jì)、代碼編寫、迭代復(fù)盤。PRM 負(fù)責(zé)步驟級(jí)精準(zhǔn)推理,ORM 負(fù)責(zé)結(jié)果校驗(yàn)與優(yōu)化建議,雙重保障每一步執(zhí)行不出錯(cuò),避免“一步錯(cuò)、全流程崩”的問題,也是實(shí)現(xiàn)自動(dòng)復(fù)盤改進(jìn)的關(guān)鍵。
底層是執(zhí)行與訓(xùn)練層,其承接中層生成的代碼和方案,自動(dòng)完成數(shù)據(jù)加載、模型訓(xùn)練、超參數(shù)調(diào)優(yōu)、性能評(píng)估、結(jié)果輸出,同時(shí)管控硬件資源和算力消耗。這一層把上層的“設(shè)計(jì)思路”轉(zhuǎn)化為可運(yùn)行、可部署的實(shí)際模型。
![]()
(來源:受訪者提供)
為了驗(yàn)證 AIBuildAI 的能力,團(tuán)隊(duì)在 MLE-bench 的 75 個(gè)任務(wù)(涵蓋醫(yī)療、物理、生物等多個(gè)學(xué)科)中進(jìn)行了測(cè)試。MLE-Bench 是 OpenAI 推出的全球頂尖的全自動(dòng)機(jī)器學(xué)習(xí)測(cè)評(píng)平臺(tái),專門考核 AI 智能體 “獨(dú)立構(gòu)建有效 AI 模型” 的能力,測(cè)評(píng)覆蓋簡(jiǎn)單(Low)、中等(Medium)、高難度(High) 三類真實(shí) AI 任務(wù),最終按整體準(zhǔn)確率排名,是行業(yè)內(nèi)公認(rèn)的“全自動(dòng) ML 能力試金石”。
AIBuildAI 在這個(gè)測(cè)評(píng)中交出了亮眼的成績(jī),在無測(cè)試數(shù)據(jù)泄露的前提下排名第一。其中簡(jiǎn)單任務(wù)準(zhǔn)確率77.27%;中等任務(wù)準(zhǔn)確率 61.40%;高難度任務(wù)準(zhǔn)確率 46.67%;整體綜合準(zhǔn)確率 63.11%。
以“蛋白質(zhì)酶類別預(yù)測(cè)”為例,該任務(wù)基于發(fā)表在 Science 論文的數(shù)據(jù)集,AIBuildAI 自動(dòng)構(gòu)建的模型,效果完全對(duì)標(biāo)論文成果,普通用戶借助簡(jiǎn)化數(shù)據(jù)集就能快速?gòu)?fù)現(xiàn)。
“對(duì)比學(xué)生手動(dòng)寫代碼需要好幾天,AIBuildAI 十幾分鐘就能完成代碼編寫,大多數(shù)數(shù)據(jù)量不大的任務(wù),一天內(nèi)就能落地。”謝澎濤介紹道。
目前,AIBuildAI 已深度融入團(tuán)隊(duì)實(shí)驗(yàn)室工作,主要服務(wù)生物醫(yī)學(xué)背景的研究者,完美適配分類、回歸、序列分析等單模態(tài)任務(wù),無論是生物信息數(shù)據(jù)分析,還是產(chǎn)業(yè)界的預(yù)測(cè)建模需求,都能輕松勝任。但對(duì)于 AI方向博士生的前沿研究、多模態(tài)融合任務(wù),目前仍無法完全滿足,團(tuán)隊(duì)仍在持續(xù)迭代優(yōu)化。
針對(duì)用戶關(guān)心的系統(tǒng)適配問題,謝澎濤表示,現(xiàn)階段 AIBuildAI 僅支持 Linux 系統(tǒng),暫無適配 Mac、Windows 的計(jì)劃。“AI 模型訓(xùn)練依賴 GPU,而 99% 的 GPU 環(huán)境都部署在 Linux 上,足以覆蓋絕大多數(shù)使用場(chǎng)景。”
據(jù)悉,AIBuildAI 已開啟中小企業(yè)試用,收獲了不少真實(shí)反饋,也明確了下一步優(yōu)化方向。用戶反饋的核心問題集中在兩點(diǎn):數(shù)據(jù)處理能力不足,難以應(yīng)對(duì)缺失值、標(biāo)注混亂等問題;對(duì)用戶意圖理解不夠精準(zhǔn)。
謝澎濤坦言,數(shù)據(jù)處理的技術(shù)難點(diǎn)并不大,通過增加數(shù)據(jù)質(zhì)量檢查工具就能逐步優(yōu)化,但現(xiàn)實(shí)場(chǎng)景中數(shù)據(jù)問題繁雜,實(shí)現(xiàn)泛化適配仍有挑戰(zhàn)。這也是團(tuán)隊(duì)接下來的重點(diǎn)攻堅(jiān)方向。
對(duì)于 AIBuildAI 的長(zhǎng)遠(yuǎn)未來,謝澎濤有著更宏大的構(gòu)想:讓智能體具備自我學(xué)習(xí)、自我進(jìn)化的能力。“未來它能主動(dòng)閱讀最新論文,歸納新知識(shí)、轉(zhuǎn)化為自身技能,不用人工干預(yù)就能實(shí)現(xiàn)能力升級(jí)。”
1.https://pengtaoxie.github.io/
2.https://github.com/aibuildai/AI-Build-AI
3.https://github.com/openai/mle-bench/pull/126
4.https://www.science.org/doi/10.1126/science.adf2465
運(yùn)營(yíng)/排版:何晨龍
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.