從物競天擇到智能進(jìn)化，首篇自進(jìn)化智能體綜述的ASI之路

近年來，大語言模型（LLM）已展現(xiàn)出卓越的通用能力，但其核心仍是靜態(tài)的。面對日新月異的任務(wù)、知識領(lǐng)域和交互環(huán)境，模型無法實時調(diào)整其內(nèi)部參數(shù)，這一根本性瓶頸日益凸顯。

當(dāng)我們將視野從提升靜態(tài)模型的規(guī)模，轉(zhuǎn)向構(gòu)建能夠?qū)崟r學(xué)習(xí)和適應(yīng)的動態(tài)智能體時，一個全新的范式——自進(jìn)化智能體（Self-evolving Agents）——正引領(lǐng)著人工智能領(lǐng)域的變革。

然而，盡管學(xué)術(shù)界與工業(yè)界對自進(jìn)化智能體的興趣與日俱增，但整個領(lǐng)域仍缺乏一個系統(tǒng)性的梳理與頂層設(shè)計。多數(shù)研究將「演化」作為智能體整體框架的一個子集，未能深入回答該領(lǐng)域三個最根本的問題：智能體的哪些部分應(yīng)該演化（What）？演化何時發(fā)生（When）？以及，演化如何實現(xiàn)（How）？

為應(yīng)對上述挑戰(zhàn)，普林斯頓大學(xué)聯(lián)合多所頂尖機構(gòu)的研究者們聯(lián)合發(fā)布了首個全面且系統(tǒng)的自進(jìn)化智能體綜述。該綜述旨在為這一新興領(lǐng)域建立一個統(tǒng)一的理論框架和清晰的路線圖，最終為實現(xiàn)通用人工智能（AGI）乃至人工超級智能（ASI）鋪平道路。

• 論文標(biāo)題：A Survey of Self-Evolving Agents: On Path to Artificial Super Intelligence
• 論文地址：
• https://arxiv.org/pdf/2507.21046
• GitHub：
• https://github.com/CharlesQ9/Self-Evolving-Agents
• X (Twitter)：
• https://x.com/JiahaoQiu99/status/1950093150003089823

自進(jìn)化智能體的形式化定義

為確保研究的嚴(yán)謹(jǐn)性，該綜述首先為「自進(jìn)化智能體」提供了一套形式化的定義，為整個領(lǐng)域的研究和討論奠定了數(shù)學(xué)基礎(chǔ)。

• 環(huán)境（Environment）：智能體所處的環(huán)境被定義為一個部分可觀察馬爾可夫決策過程（POMDP）。這個環(huán)境包含了智能體需要實現(xiàn)的潛在目標(biāo)（Goals）、環(huán)境的內(nèi)部狀態(tài)（States）、智能體可以執(zhí)行的動作（Actions，如文本推理、工具調(diào)用）、狀態(tài)轉(zhuǎn)移概率，以及用于評估的反饋/獎勵函數(shù)（Reward Function）。智能體無法完全觀測到環(huán)境的全部狀態(tài)，只能接收到觀測（Observations）。

• 智能體系統(tǒng)（Agent System）：一個智能體系統(tǒng)（Π）被解構(gòu)為四個核心組成部分：

• 架構(gòu)（Γ）：決定了系統(tǒng)的控制流程或多智能體間的協(xié)作結(jié)構(gòu)。
• 模型（{ψi}）：底層的語言模型或多模態(tài)模型。
• 上下文（{Ci}）：包含提示（Prompts）和記憶（Memory）等信息。
• 工具集（{Wi}）：智能體可用的工具或 API 集合。

• 自進(jìn)化策略（Self-evolving Strategy）：這是定義的核心。一個自進(jìn)化策略被形式化為一個轉(zhuǎn)換函數(shù)。該函數(shù)接收當(dāng)前智能體系統(tǒng)（Π）、其在任務(wù)中生成的軌跡（τ）以及獲得的反饋（r）作為輸入，然后輸出一個全新的、經(jīng)過演化的智能體系統(tǒng)（Π'）。這個過程精確地描述了「進(jìn)化」這一行為。
• f
• Π' = f(Π, τ, r)

• 終極目標(biāo)（Objective）：自進(jìn)化智能體的設(shè)計目標(biāo)，是構(gòu)建一個最優(yōu)的自進(jìn)化策略，使得智能體在一系列連續(xù)任務(wù)上的累積效用（Cumulative Utility）最大化。這為所有演化方法提供了一個統(tǒng)一的優(yōu)化方向。
• f

核心框架：四大維度定義智能體演化

該綜述的核心貢獻(xiàn)是圍繞「What、When、How、Where」四個維度，構(gòu)建了一個用于分析和設(shè)計自進(jìn)化智能體的完整框架，并系統(tǒng)梳理了相關(guān)的前沿技術(shù)。

What to Evolve?（演化什么？）

此維度明確了智能體系統(tǒng)中可以進(jìn)行自我提升的四大核心支柱：

• 模型（Models）：這是智能體認(rèn)知能力的核心。演化可以發(fā)生在兩個層面：一是決策策略（Policy）的優(yōu)化，例如通過自我生成挑戰(zhàn)性任務(wù)（如 SCA）或利用自然語言反饋進(jìn)行在線微調(diào)（如 SELF、TextGrad），直接更新模型參數(shù)；二是經(jīng)驗（Experience）的積累與學(xué)習(xí)，智能體通過與環(huán)境交互（如 Reflexion 的自我反思機制、RAGEN 的強化學(xué)習(xí)框架）將成功或失敗的經(jīng)驗轉(zhuǎn)化為學(xué)習(xí)信號，驅(qū)動迭代改進(jìn)。

• 上下文（Context）：這是塑造智能體行為的動態(tài)信息流。演化體現(xiàn)在兩個方面：一是記憶（Memory）的演化，智能體需要學(xué)會動態(tài)管理其長期記憶，例如通過 Mem0 框架中的 ADD/MERGE/DELETE 機制來保持記憶的一致性，或像 Expel 一樣從經(jīng)驗中提煉出可泛化的規(guī)則和見解；二是指令提示（Prompt）的自動化優(yōu)化，從簡單的候選提示生成（如 APE），到將整個工作流視為可微分程序進(jìn)行聯(lián)合優(yōu)化的復(fù)雜框架（如 DSPy），再到面向多智能體系統(tǒng)的通信模式優(yōu)化（如 MASS）。

• 工具（Tools）：這是智能體與外部世界交互的橋梁，也是能力拓展的關(guān)鍵。其演化路徑可分為三步：首先是新工具的自主創(chuàng)造（Creation），智能體或通過探索式學(xué)習(xí)（如 Voyager），或通過響應(yīng)式代碼生成（如 Alita）來彌補能力短板；其次是已有工具的精通（Mastery），通過自我糾錯循環(huán)（如 LearnAct）來修復(fù)和完善工具的功能與文檔；最后是管理與選擇（Management & Selection），當(dāng)工具庫變得龐大時，智能體需要高效地檢索和組合工具，例如 ToolGen 將工具調(diào)用轉(zhuǎn)化為生成問題，而 AgentSquare 則通過元學(xué)習(xí)自動尋找最優(yōu)的組件配置。

• 架構(gòu)（Architecture）：這是智能體系統(tǒng)的頂層設(shè)計。演化既可以針對單智能體，例如優(yōu)化其內(nèi)部固定的工作流節(jié)點（如 TextGrad），甚至賦予其重寫自身源代碼的能力（如 Darwin G?del Machine）；也可以針對多智能體系統(tǒng)，例如通過蒙特卡洛樹搜索等方法自動發(fā)現(xiàn)最優(yōu)的協(xié)作流程（如 AFlow），或利用多智能體強化學(xué)習(xí)（如ReMA）來共同演化出高效的協(xié)同策略。

When to Evolve?（何時演化？）

演化的時機決定了學(xué)習(xí)與任務(wù)執(zhí)行的關(guān)系，主要分為兩大模式，每種模式下都可以運用上下文學(xué)習(xí)（ICL）、監(jiān)督微調(diào)（SFT）和強化學(xué)習(xí)（RL）等范式。

• 測試時自進(jìn)化（Intra-test-time Self-evolution）：這指的是在任務(wù)執(zhí)行期間發(fā)生的實時適應(yīng)。當(dāng)智能體在解決某個特定問題時遇到障礙，它會即時啟動學(xué)習(xí)機制。例如，AdaPlanner 通過 ICL 在執(zhí)行中動態(tài)修正計劃；一些前沿工作探索了利用「self-edits」指令觸發(fā)即時 SFT 來更新模型權(quán)重；而 LADDER 框架則通過 RL 機制實現(xiàn)了「即時技能獲取」，在遇到難題時當(dāng)場進(jìn)行針對性訓(xùn)練。

• 測試間自進(jìn)化（Inter-test-time Self-evolution）：這是在任務(wù)執(zhí)行之后發(fā)生的、更主流的演化模式。智能體利用已完成任務(wù)的經(jīng)驗積累，對自身能力進(jìn)行迭代更新，為未來任務(wù)做準(zhǔn)備。例如，STaR 和 SiriuS 等方法通過 SFT 范式，讓模型從自己成功或失敗的推理鏈中生成新的訓(xùn)練數(shù)據(jù)，實現(xiàn)「自舉式」提升；而 RAGEN 和WebRL等框架則利用 RL，在任務(wù)間歇期通過大量與環(huán)境的交互來優(yōu)化策略。

How to Evolve?（如何演化？）

實現(xiàn)演化的具體方法論，即智能體如何將經(jīng)驗和反饋轉(zhuǎn)化為能力提升，主要分為三大范式。

• 基于獎勵的演化（Reward-based Evolution）：這是最核心的演化驅(qū)動力，通過設(shè)計不同形式的獎勵信號來引導(dǎo)智能體。獎勵信號可以是非常豐富的：

• 文本反饋（Textual Feedback）：利用自然語言提供詳細(xì)、可解釋的改進(jìn)建議，比單一的標(biāo)量獎勵更具指導(dǎo)性（如 Reflexion）。
• 內(nèi)部獎勵（Internal Rewards）：利用模型自身的置信度或不確定性作為獎勵，實現(xiàn)無外部監(jiān)督的自我評估與校準(zhǔn)（如 CISC）。
• 外部獎勵（External Rewards）：來自環(huán)境的直接反饋（如工具執(zhí)行成功/失敗）、多數(shù)投票或顯式規(guī)則。
• 隱式獎勵（Implicit Rewards）：從沒有明確標(biāo)記為「獎勵」的信號中學(xué)習(xí)，例如直接從模型 logits 中提取內(nèi)生的獎勵函數(shù)。

• 模仿與演示學(xué)習(xí)（Imitation & Demonstration Learning）：智能體通過學(xué)習(xí)高質(zhì)量的范例來提升能力，尤其適用于有充足專家數(shù)據(jù)或可以自生成高質(zhì)量軌跡的場景。學(xué)習(xí)來源可以是自我生成的演示（如 STaR）、跨智能體的演示（如從共享的經(jīng)驗庫中學(xué)習(xí)），或是兩者的混合。

• 基于種群的演化方法（Population-based & Evolutionary Methods）：這種方法借鑒生物進(jìn)化思想，同時維護多個智能體變體或團隊，通過選擇、變異、競爭等機制并行探索廣闊的解空間，從而發(fā)現(xiàn)傳統(tǒng)優(yōu)化方法難以觸及的新穎策略與架構(gòu)。其演化對象可以是單個智能體（如 Darwin G?del Machine 的開放式代碼進(jìn)化），也可以是多智能體系統(tǒng)（如EvoMAC的「文本反向傳播」機制）。

Where to Evolve?（在何處演化？）

此維度明確了自進(jìn)化智能體的應(yīng)用場域，展示了其在不同類型任務(wù)中的演化路徑。

• 通用領(lǐng)域演化（General Domain Evolution）：這類智能體旨在成為多才多藝的數(shù)字助手，其演化目標(biāo)是拓展在廣泛任務(wù)上的通用能力。實現(xiàn)這一目標(biāo)的機制包括：

• 記憶機制：智能體通過總結(jié)歷史成敗經(jīng)驗，形成可復(fù)用的知識（如 Tips、Shortcuts），以應(yīng)對未來的新任務(wù)。
• 模型-智能體協(xié)同進(jìn)化：智能體與其輔助模型（如獎勵模型、世界模型）共同進(jìn)化，通過相互促進(jìn)來提升整體性能和泛化能力。
• 課程驅(qū)動訓(xùn)練：系統(tǒng)能夠根據(jù)智能體的表現(xiàn)自動生成難度適宜的任務(wù)，形成一個自適應(yīng)的「課程表」（如 WebRL），引導(dǎo)智能體由易到難地擴展能力。

• 特定領(lǐng)域演化（Specialized Domain Evolution）：這類智能體則專注于在某一垂直領(lǐng)域內(nèi)「深耕」，通過演化成為該領(lǐng)域的專家。論文展示了其在多個領(lǐng)域的應(yīng)用潛力：

• 編碼（Coding）：智能體可以自主修改代碼庫（如 SICA），或通過多智能體協(xié)作進(jìn)行代碼生成、測試和優(yōu)化。
• 圖形用戶界面（GUI）：智能體通過與桌面、網(wǎng)頁和移動應(yīng)用的真實交互來學(xué)習(xí)，從失敗軌跡中反思，或自動從界面中挖掘功能，實現(xiàn)對圖形界面的精準(zhǔn)操控。
• 金融（Financial）：智能體通過在模擬和真實環(huán)境中進(jìn)行交易，不斷迭代和優(yōu)化其量化策略與領(lǐng)域知識庫（如QuantAgent）。
• 醫(yī)療（Medical）：智能體在模擬醫(yī)院中「行醫(yī)」以提升診斷能力（如 Agent Hospital），或作為虛擬生物學(xué)家進(jìn)行藥物靶點發(fā)現(xiàn)（如 OriGene）。
• 教育（Education）：智能體可以作為個性化導(dǎo)師，根據(jù)學(xué)生的反應(yīng)調(diào)整教學(xué)策略（如 PACE），或作為教師助手，通過多智能體對抗來優(yōu)化課程計劃。

評估、挑戰(zhàn)與未來展望

除了構(gòu)建核心理論框架，該綜述還詳細(xì)探討了自進(jìn)化智能體的評估范式。評估自進(jìn)化智能體不能再局限于靜態(tài)的準(zhǔn)確率，而必須考察其動態(tài)能力。

論文提出了五大評估目標(biāo)：適應(yīng)性（Adaptivity）、知識保留（Retention）、泛化性（Generalization）、效率（Efficiency）和安全性（Safety），并將其評估模式分為靜態(tài)評估、短時程自適應(yīng)評估和長時程終身學(xué)習(xí)評估，為衡量這一新物種的能力提供了標(biāo)尺。

最后，該綜述為領(lǐng)域的未來發(fā)展指明了方向，包括個性化 AI 智能體、提升泛化與跨域適應(yīng)能力、構(gòu)建安全可控的智能體、以及探索多智能體生態(tài)系統(tǒng)等關(guān)鍵挑戰(zhàn)。

通過這份全面的綜述，研究者和開發(fā)者可以獲得一個結(jié)構(gòu)化的視角，來理解、比較并設(shè)計下一代更強大、更魯棒的自適應(yīng)智能體系統(tǒng)。正如文中所指出的，自進(jìn)化智能體的發(fā)展是通往人工超級智能（ASI）的關(guān)鍵基石，而解決好其在演化過程中的安全性、泛化性與可控性等挑戰(zhàn)，將是未來研究的重中之重。