LLM 打破 15 年 MARL 技術(shù)范式，多智能體協(xié)作進展到哪一步了？

我們對于 2022 年印象如此深刻，或許正是因為那一年的11月，ChatGPT 問世，讓全世界看到了大語言模型（LLM）的潛力。

然而，很少有人知道，那年 8 月，當(dāng)公眾的注意力還被即將到來的 ChatGPT 所牽引時，AWS 內(nèi)部已經(jīng)誕生了首個基于 LLM 的智能體系統(tǒng) Dialog2API。它繞過了傳統(tǒng)的多智能體強化學(xué)習(xí)（MARL）框架，嘗試讓智能體通過自然語言進行理解與協(xié)作。

主導(dǎo)這一前瞻性探索的，正是Raphael Shu，彼時他正在 Amazon Bedrock Agents 擔(dān)任 Tech Lead。

Raphael Shu

這并非偶然，從東京大學(xué)博士期間鉆研非自回歸生成模型，到在 Yann LeCun 實驗室探索下一代AI范式，Raphael Shu 的研究軌跡始終緊扣著技術(shù)演進的前沿。在加入 AWS AI Lab 后，他于2022年帶領(lǐng)團隊“all in” LLM AI Agent。

然而，在親手打造了北美首個云端托管的多智能體協(xié)作平臺——Bedrock Multi-Agent Collaboration 后，Raphael Shu 卻做出了一個出人意料的決定：離開 AWS，投身開源創(chuàng)業(yè)。

因為他清晰地看到，單智能體受限于其上下文能力，難以在復(fù)雜任務(wù)中自如切換規(guī)劃、執(zhí)行與評估等多種思維模式，而多智能體的分工協(xié)作與群體自治，才是解決復(fù)雜、動態(tài)問題的關(guān)鍵。

尤其是在開放世界中，群體智能才是未來。

11 月初，Raphael Shu 在 2025 全球開源技術(shù)峰會上，以《開放世界中的多智能體協(xié)作》為題，梳理了多智能體系統(tǒng)從理論奠基到開放生態(tài)的技術(shù)演進路徑。以下內(nèi)容根據(jù)其演講整理。

PART 01

LLM 如何顛覆 MARL 技術(shù)范式？

需要明確的是，多智能體系統(tǒng)并不是一個全新的概念。

早在上世紀(jì) 90 年代，就曾掀起過一輪多智能體研究熱潮。比如 Wooldridge 在 1995 年出版的經(jīng)典教科書《Intelligent Agents》，早已為智能體和多智能體協(xié)作奠定了理論基礎(chǔ)。

進入 21 世紀(jì)初，基于簡單架構(gòu)（而非自然語言）的多智能體系統(tǒng)開始出現(xiàn)。2002 年，專注于該領(lǐng)域的 AAAMS 學(xué)會創(chuàng)立。不過，在 2000 早期，尤其是在強化學(xué)習(xí)被引入多智能體系統(tǒng)相關(guān)研究之前，更多地是以簡單的工程架構(gòu)的方式來探討多智能體協(xié)作。

這一局面直到 2017 年左右才迎來突破。隨著多智能體強化學(xué)習(xí)（MARL）的出現(xiàn)，多智能體系統(tǒng)首次實現(xiàn)了大規(guī)模的工業(yè)級應(yīng)用。

一個典型的例子是城市交通信號燈協(xié)同調(diào)度。在一個擁有十萬個信號燈的城市中，如何實現(xiàn)全局最優(yōu)的交通效率？通過 MARL，每個信號燈可以作為一個智能體，彼此之間進行信息交流與協(xié)同決策。例如，當(dāng)某個路口檢測到車輛排隊過長時，這一信息能夠迅速被周邊信號燈感知，從而共同執(zhí)行一次群體性的配時規(guī)劃。

隨后，神經(jīng)網(wǎng)絡(luò)技術(shù)的普及也被迅速融入這一框架，進一步增強了系統(tǒng)的感知與決策能力。

實際上，在長達十年多年時間里，多智能體協(xié)作與強化學(xué)習(xí)幾乎成為了密不可分的關(guān)聯(lián)詞。

然而，2023 年 LLM 的興起，從根本上顛覆了延續(xù)近十五年的MARL技術(shù)范式。

比如開發(fā)自動駕駛多智能體系統(tǒng)，我們得事先約定“1011 代表前方車輛減速”“1000 代表收到指令”這樣的Code Book，還要通過大量強化學(xué)習(xí)讓 Agent 記住這些規(guī)則。但現(xiàn)實世界中總有未預(yù)設(shè)的場景——比如前方車輛視野被擋，突然發(fā)現(xiàn)闖紅燈車輛，這時沒有對應(yīng)的 Code，Agent 就會卡殼。

而 LLM 的引入，使自然語言成為智能體之間理解與交互的通用媒介，徹底打破了這一模式。前車只需用自然語言說“前方有車，請稍等”，后車就能準(zhǔn)確理解并放棄超車。這種自然語言的交互方式不僅適用于常見場景，更能靈活應(yīng)對各種復(fù)雜狀況：

• 當(dāng)車輛通過視線受阻的路口時，前車可以發(fā)出“有車闖紅燈，危險”的精準(zhǔn)警告，后車便能立即制動；

• 當(dāng)多輛車組成智能體系統(tǒng)時，它們還能進行復(fù)雜協(xié)商——例如救護車可以優(yōu)先通行：“車上有急診病人，請讓行”；

• 在高速匯車場景中，車輛可通過自然語言在毫秒級內(nèi)完成協(xié)商，決定“一車加速、一車減速”的具體操作；

• 隨著參與車輛增多，系統(tǒng)還能實現(xiàn)更復(fù)雜的群體決策和協(xié)調(diào)機制。

總的來說，LLM 的出現(xiàn)，為多智能體系統(tǒng)帶來了三大顛覆性改變：

無需預(yù)設(shè)協(xié)議：Agent 間通過自然語言直接交互，比如“前方有車闖紅燈，請注意避讓”，無需記憶復(fù)雜編碼；

場景無限制覆蓋：自然語言能精準(zhǔn)描述任何長尾場景，無論是“路口有行人突然橫穿”還是“高速上后方有救護車”，Agent都能精準(zhǔn)理解；

零訓(xùn)練快速上線：無需大量強化學(xué)習(xí)訓(xùn)練，新場景下 LLM 直接“聽懂”并響應(yīng)，系統(tǒng)落地速度從“按月算”壓縮至“按天算”。

PART 02

Magentic One：企業(yè)應(yīng)用多智能體系統(tǒng)的標(biāo)配

微軟的 Magentic One，是異步多智能體系統(tǒng)的代表，歷經(jīng)多版迭代，已成為北美企業(yè)級多智能體系統(tǒng)的“標(biāo)配”。

Magentic One 采用中心化架構(gòu)，其核心是一個主協(xié)調(diào)智能體（Orchestrator），負責(zé)統(tǒng)籌任務(wù)，并調(diào)度四個功能專一的子智能體（Sub Agent），分別負責(zé)文件管理、網(wǎng)頁瀏覽、編碼、命令執(zhí)行。

具體而言，Magentic One 是如何運作的呢？

比如，當(dāng)用戶向系統(tǒng)提交一個“分析標(biāo)普500的趨勢”的任務(wù)時，整個流程將由一個 Orchestrator 主導(dǎo)，并進入一個核心循環(huán)：

1. 任務(wù)監(jiān)控：Orchestrator 持續(xù)監(jiān)控和評估當(dāng)前任務(wù)的完成狀態(tài)。

2. 任務(wù)分解與分配：只要任務(wù)未被判定為完成，Orchestrator 就會將任務(wù)或子任務(wù)分配給一個合適的 Sub Agent（子智能體） 去執(zhí)行。

3. 結(jié)果匯總：當(dāng)所有子任務(wù)完成，Orchestrator 會收集結(jié)果，并向用戶反饋一個最終的 Summary（總結(jié)）。

可以看到，Magentic One 是一個很經(jīng)典的中心化架構(gòu)。在該架構(gòu)中，Orchestrator 同時充當(dāng)了任務(wù)的發(fā)起者與最終決策者，能夠?qū)⒁粋€復(fù)雜任務(wù)進行分解，并分配給專門化的子智能體進行并行處理，從而實現(xiàn)高效的問題解決。

不過，值得注意的是，并非所有多智能體系統(tǒng)都采用這種中心化決策模式。例如，在某些場景下（如投票機制），即使由 Orchestrator 發(fā)起任務(wù)，最終決策也可能通過去中心化的投票方式產(chǎn)生。

基于對微軟、AWS 等標(biāo)普 500 企業(yè)案例的深度拆解，異步多智能體系統(tǒng)通常包含四層架構(gòu)：

1. 調(diào)度層：無 LLM 依賴，僅負責(zé)系統(tǒng)基礎(chǔ)運轉(zhuǎn)——比如給 Orchestrator 生成的指令排期、處理“文件寫入”等新事件，相當(dāng)于多智能體的“行政管家”；

2. Orchestrator 層：核心決策層，僅聚焦兩大核心：一是“規(guī)劃”（生成 To-Do List 或基于知識圖譜的 DAG 圖），二是“追蹤”（監(jiān)控任務(wù)進度，判斷下一步動作）；

3. 記憶層：存儲任務(wù)狀態(tài)（已完成/未完成）、新消息、Agent間共享緩存，如同多智能體的“共享大腦”，保障異步協(xié)作的狀態(tài)同步；

4. Agent Pool 層：執(zhí)行層，由各類專項 Agent 組成（如數(shù)據(jù)處理 Agent、報告生成 Agent），接收Orchestrator 指令后直接落地執(zhí)行。

PART 03

單智能體的能力局限

看到這里，相信很多人都會疑惑，對于撰寫分析報告這樣的任務(wù)，單智能體的能力已經(jīng)足夠強了，基本能夠解決。為什么還要多智能體協(xié)作呢？

一方面，單智能體存在三大局限。

• 上下文限制：一個智能體的處理能力有限，很難同時兼顧復(fù)雜任務(wù)的不同方面。比如，一個任務(wù)可能需要它先做規(guī)劃，再去執(zhí)行（如分析網(wǎng)頁、點擊按鈕），最后還要進行評估。這需要智能體在不同思維模式間頻繁切換，很容易達到其能力上限，導(dǎo)致整體表現(xiàn)不佳。

• 效率低下：當(dāng)把所有任務(wù)都塞給一個智能體時，它可能會在某個局部問題上鉆牛角尖，花費過多時間，從而忽略了整體目標(biāo)。舉個例子：這就像用 AI 編程工具（如 Cursor）時，你給它一個復(fù)雜需求，它有時會卡在一個微不足道的小 bug 上反復(fù)調(diào)試，而忘了最主要的任務(wù)。

• 違背“群體智能”規(guī)律：從長遠看，無論是自然界還是人類社會，群體協(xié)作的效率和質(zhì)量通常都高于單個個體。多智能體可以將復(fù)雜問題分解，由不同專家分工協(xié)作、并行處理，效率自然更高。

二是多智能體的高級形態(tài)——群體自治表現(xiàn)出極高的協(xié)同優(yōu)勢。除了分工協(xié)作，多智能體系統(tǒng)還能模擬人類社會的“競爭”機制。良性的競爭和博弈往往能更高效地解決問題。

舉個例子，在金融領(lǐng)域，分析“星巴克”的估值，最直接的方法是找到一位專注星巴克十年的金融分析師。但如果用戶需求是“分析標(biāo)普 500 中任意一家公司的估值”，為每家公司都配一個專家，指定一套 Workflow 就不現(xiàn)實了。

這時，更好的方法是建立一個“虛擬交易所”，讓上千個代表不同分析視角的智能體在里面自由交易。通過它們之間的買賣行為，就能動態(tài)、高效地評估出任何一家公司的價值。

這就是“群體自治”的威力。

因此，關(guān)于多智能體協(xié)作的未來發(fā)展，核心在于兩個方面：一是如何設(shè)計更高效的組織拓撲架構(gòu)，二是如何構(gòu)建完整的生態(tài)系統(tǒng)。

目前整個產(chǎn)業(yè)生態(tài)正在圍繞以下幾個層次展開布局：

一是框架層，用于搭建多智能體系統(tǒng)的基礎(chǔ)工具。例如 LangGraph、AutoGen，以及OpenAI 最近低調(diào)發(fā)布的Agents SDK。

二是基礎(chǔ)設(shè)施層：提供托管服務(wù)的平臺。主要玩家包括 AWS 的 Bedrock Agents、字節(jié)的 Coze、Google 的 Vertex AI Agent Builder 等。微軟則主要依托 AutoGen、Semantic Kernel 等工具構(gòu)建其生態(tài)。

以上兩層能幫助企業(yè)構(gòu)建內(nèi)部使用的、相對封閉的多智能體系統(tǒng)。但如果我們著眼于未來更開放的多智能體協(xié)作，目前還缺少兩個關(guān)鍵層次：

第三層的協(xié)議層，例如大家熟知的 MCP、A2A，以及近期出現(xiàn)的 ACNBP、ACP 等。這些協(xié)議旨在實現(xiàn)智能體與工具、服務(wù)之間的標(biāo)準(zhǔn)化通信。

第四層的網(wǎng)絡(luò)層，也可稱為協(xié)作層。開源的 OpenAgents 項目就屬于這一層，它建立在協(xié)議層之上，專注于解決大規(guī)模（如數(shù)百至數(shù)千個）智能體之間的跨協(xié)議協(xié)作問題。

PART 04

從“Workflow”到“Ecosystem”

當(dāng)多智能體走出企業(yè)封閉場景，進入開放世界，新的問題隨之而來。

從此前提到的幾個應(yīng)用實踐中可以看到，封閉系統(tǒng)具有幾個顯著特征：

• 任務(wù)邊界清晰，例如Magentic One系統(tǒng)專司報告撰寫或代碼生成，自動駕駛系統(tǒng)則聚焦于車輛間的協(xié)同決策；

• 智能體數(shù)量固定，如Magentic One始終維持四個智能體的架構(gòu)；

• 其獎勵函數(shù)和外部環(huán)境也保持相對穩(wěn)定。

在這種確定性框架下，特別是在企業(yè)級應(yīng)用中，我們關(guān)注的重點是 Workflow Engineering ——如何設(shè)計最優(yōu)的任務(wù)流水線，確定各個智能體的執(zhí)行順序與協(xié)作方式，從而最大化獎勵函數(shù)。

然而，現(xiàn)實世界中的任務(wù)往往具有高度不確定性。以分析標(biāo)普500成分股為例，任務(wù)邊界本身就在動態(tài)變化：是否需要關(guān)注咖啡豆期貨市場？是否需要引入新的專業(yè)分析智能體？

在開放協(xié)作環(huán)境中，智能體的來源和穩(wěn)定性也難以保障——今天接入的第三方智能體，明天可能就無法使用。

更復(fù)雜的是，不同廠商的智能體可能具有相互沖突的目標(biāo)函數(shù)。當(dāng)多個第三方智能體都能提供市場分析服務(wù)時，如何選擇合適的協(xié)作對象？

系統(tǒng)中甚至存在博弈關(guān)系：某些智能體可能在特定領(lǐng)域與本方利益存在沖突，這就要求我們必須謹(jǐn)慎控制信息共享的范圍。

在這樣充滿不確定性的開放環(huán)境中，傳統(tǒng)的工作流工程方法面臨根本性挑戰(zhàn)：智能體成員不固定，使得預(yù)設(shè)工作流變得不可能；外部環(huán)境持續(xù)變化，今天的市場條件明天就可能失效。

事實上，現(xiàn)實世界中越來越多的任務(wù)——無論是企業(yè)級應(yīng)用還是其他領(lǐng)域——都呈現(xiàn)出這樣的特征，迫使我們不得不直面這些挑戰(zhàn)。

• 首先，任務(wù)邊界變得模糊不清。以近期備受關(guān)注的"AI科學(xué)家"為例，不同的研究思路會導(dǎo)致完全不同的研究路徑：實驗設(shè)計、評估方法甚至論文發(fā)表方式都可能形成不同的體系。在這種情況下，試圖通過預(yù)先定義的固定工作流來適應(yīng)各種研究想法，幾乎是不可能完成的任務(wù)。

• 其次，生態(tài)系統(tǒng)的高度復(fù)雜性帶來新的難題。以高盛集團的金融分析為例，其基金管理業(yè)務(wù)可能需要接入多個第三方提供的專業(yè)分析智能體。未來，這種由多方提供的智能體系統(tǒng)將越來越普遍——在一個多智能體系統(tǒng)中，外部開發(fā)的智能體可能占據(jù)半壁江山。這些智能體可能使用不同的通信協(xié)議：有的基于自然語言，有的則采用其他專用協(xié)議。

• 此外，外部環(huán)境始終處于快速變化中。即使保持相同的智能體配置，市場環(huán)境也可能從高度競爭轉(zhuǎn)為相對緩和，或是出現(xiàn)某個智能體突然失效的情況。系統(tǒng)必須能夠在不停機的情況下實現(xiàn)無縫切換，及時找到替代的智能體或解決方案。

正是這些現(xiàn)實需求，推動著我們不得不深入探索開放世界中的協(xié)同合作機制，要從傳統(tǒng)的 Workflow Engineering 轉(zhuǎn)向 Ecosystem Engineering。

重點不再是如何設(shè)計固定流程，而是如何構(gòu)建一個具有自適應(yīng)能力的多智能體生態(tài)系統(tǒng)。這包括建立有效的激勵機制吸引優(yōu)質(zhì)智能體參與，設(shè)計沖突協(xié)調(diào)機制化解目標(biāo)矛盾，最終打造一個能夠自主演化、持續(xù)優(yōu)化的開放協(xié)作體系。

總體而言，開放世界中的智能體數(shù)量可能呈現(xiàn)爆發(fā)式增長，而成員的頻繁進出更帶來了極高的不確定性。這導(dǎo)致兩個核心難題：一是難以建立有效的評估體系，二是在高度不確定的環(huán)境中如何確保整體系統(tǒng)始終維持在可用的性能水平。這些問題都需要我們持續(xù)探索和解決。

面對這些挑戰(zhàn)，Raphael Shu 和團隊給出了一個答案，正是開源項目 OpenAgents——一個聚焦網(wǎng)絡(luò)層，或者說協(xié)作層的多智能體框架，目標(biāo)是讓 100-500 個 Agent 在開放世界中高效協(xié)作。

OpenAgents 的架構(gòu)同樣分為四層：

• 協(xié)議層：兼容 HTTP、WebSocket、gRPC 等多種協(xié)議，無論 Agent 來自瀏覽器還是服務(wù)器，都能快速接入；

• 拓撲層：支持多樣化網(wǎng)絡(luò)拓撲管理，比如“星型結(jié)構(gòu)”（一個中心 Agent 統(tǒng)籌）、“網(wǎng)狀結(jié)構(gòu)”（Agent 自由交互），靈活適配不同場景需求；

• 插件層：提供豐富協(xié)作場景模板，包括“聯(lián)合寫文檔”“會議反思”“維護 Wikipedia”，甚至支持 Agent 組隊玩 Minecraft，避免無意義閑聊，聚焦有效協(xié)作；

• 智能代理層：支持AI分身或人類肉身接入，任何人通過Studio客戶端就能成為生態(tài)中的一個 Agent，清晰掌握生態(tài)規(guī)則、可用工具和協(xié)作對象。

OpenAgents 不是要做一個超級 Agent，而是要構(gòu)建一個Agent 社區(qū)。這些 Agent 會 24 小時在線，擁有自己的時間表——閑置時自動查資料學(xué)習(xí)，完成任務(wù)后開短會反思優(yōu)化，甚至能通過社交結(jié)交 Agent朋友。

比如在金融生態(tài)中，有的 Agent 負責(zé)爬取數(shù)據(jù)，有的負責(zé)分析建模，有的負責(zé)生成報告，它們會自動協(xié)作，還能根據(jù)市場變化動態(tài)調(diào)整分工。

正如 Raphael Shu 在演講中表達的，單個智能體再強，也有上限；真正的潛力，藏在群體智能里。

而我們現(xiàn)在熟悉的，無論是 LangGraph 還是 AutoGen，大多還是在解決封閉場景里的協(xié)作問題。任務(wù)、環(huán)境、伙伴都是預(yù)設(shè)好的。但現(xiàn)實世界是混亂、開放和動態(tài)的。當(dāng)你需要讓幾十上百個來自不同地方、遵循不同協(xié)議的智能體一起完成一個模糊的目標(biāo)時，挑戰(zhàn)就完全不一樣了。

這不再是簡單的Workflow Engineering，而是更接近Ecosystem Engineering。你需要考慮服務(wù)發(fā)現(xiàn)、通信協(xié)議、資源競爭、甚至安全問題——這聽起來是不是特別像我們早年構(gòu)建分布式系統(tǒng)時遇到的難題？只不過節(jié)點從服務(wù)器變成了 AI 智能體。

所以，OpenAgents 想做的，其實就是成為這個開放世界的基礎(chǔ)設(shè)施。 它不生產(chǎn)智能體，而是致力于成為智能體之間的“社交網(wǎng)絡(luò)”和“協(xié)作平臺”，讓它們能自主、安全、高效地一起干活。

這條路顯然剛起步，充滿了未知的技術(shù)挑戰(zhàn)。

如果你也對如何構(gòu)建大規(guī)模、開放的多智能體系統(tǒng)感興趣，不妨關(guān)注開源項目 OpenAgents：

https://github.com/openagents-org/openagents

• 官網(wǎng)：https://openagents.org
  

• Discord：https://discord.gg/openagents

這或許是通向下一代 AI 應(yīng)用架構(gòu)的關(guān)鍵一步。

評論區(qū)留言“OpenAgents 演講 PPT”，即可獲取完整演講資料～

添加微信，進交流群

Agent Networks

OpenAgents：開放協(xié)作的 AI 智能體網(wǎng)絡(luò)