上交大54頁(yè)綜述講透Agent認(rèn)知外部化的演進(jìn)之路

換了最新的基座模型，Agent 的表現(xiàn)卻沒(méi)有質(zhì)的飛躍；反過(guò)來(lái)，給同一個(gè)模型加上持久化記憶、可復(fù)用的技能文檔和標(biāo)準(zhǔn)化的工具接口，效果立竿見(jiàn)影——做過(guò) Agent 工程的人，對(duì)這種「模型之外的東西比模型本身更重要」的體感多半不會(huì)陌生。但這個(gè)現(xiàn)象背后有沒(méi)有一個(gè)統(tǒng)一的解釋框架？上海交大團(tuán)隊(duì)的一篇 54 頁(yè)綜述給出了回答：外部化（Externalization）。

近日，上海交通大學(xué)聯(lián)合中山大學(xué)、上海創(chuàng)智學(xué)院、卡內(nèi)基梅隆大學(xué)及 OPPO 等機(jī)構(gòu)，于 2026 年 4 月 9 日在 arXiv 提交綜述論文，首次以「外部化」為統(tǒng)一視角，系統(tǒng)梳理了 LLM Agent 的記憶、技能、協(xié)議與 Harness 工程四大支柱。核心觀點(diǎn)：Agent 的實(shí)際進(jìn)展，越來(lái)越取決于模型之外的外部認(rèn)知基礎(chǔ)設(shè)施，而非模型本身的能力提升。

• 論文標(biāo)題：Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering
• 作者單位：上海交通大學(xué)、中山大學(xué)、上海創(chuàng)智學(xué)院、卡內(nèi)基梅隆大學(xué)、OPPO
• 論文鏈接：https://arxiv.org/abs/2604.08224（2026 年 4 月 9 日提交）
• 本文第一作者為上海交通大學(xué)博士生周宸宇。通訊作者包括 OPPO 研究院王俊博士，以及上海交通大學(xué)劉衛(wèi)文、林江浩、張偉楠教授。

圖 1：外部化作為 LLM Agent 設(shè)計(jì)的組織原則。上方：人類認(rèn)知外部化歷史弧線；中間：LLM Agent 外部化弧線——記憶、技能、協(xié)議到 Harness；下方：文獻(xiàn)全景圖

模型已經(jīng)很強(qiáng)，但 Agent 還是不夠可靠

矛盾出在哪？

過(guò)去兩年，大模型的參數(shù)規(guī)模和推理能力持續(xù)攀升。但熟悉 Agent 落地的工程師都有一個(gè)共同體驗(yàn)：換更強(qiáng)的基座模型，往往不如改進(jìn)外部基礎(chǔ)設(shè)施帶來(lái)的提升顯著。持久化記憶、可復(fù)用技能、標(biāo)準(zhǔn)化工具接口、沙箱約束、執(zhí)行日志……這些「不屬于模型」的東西，越來(lái)越?jīng)Q定著 Agent 能不能真正好用。

論文把這個(gè)現(xiàn)象歸結(jié)為三個(gè)結(jié)構(gòu)性錯(cuò)配：

• 連續(xù)性錯(cuò)配：上下文窗口有限且短暫，模型無(wú)法跨會(huì)話穩(wěn)定保持狀態(tài)。每次會(huì)話都是全新開(kāi)始，之前積累的上下文需要從頭重建。
• 一致性錯(cuò)配：復(fù)雜的多步驟流程往往被重新推導(dǎo)，而不是被穩(wěn)定執(zhí)行。同樣的任務(wù)，不同時(shí)機(jī)調(diào)用，執(zhí)行路徑和質(zhì)量難以保證一致。
• 協(xié)調(diào)性錯(cuò)配：與工具、服務(wù)和其他 Agent 的交互依賴臨時(shí)約定，脆弱且不可移植。接口一旦變動(dòng)，整條調(diào)用鏈路可能同步失效。

論文借鑒認(rèn)知科學(xué)家 Don Norman 的「認(rèn)知工件（Cognitive Artifacts）」理論來(lái)解釋這一現(xiàn)象。例如，購(gòu)物清單不是擴(kuò)展了人的記憶容量，而是把「回憶」問(wèn)題變成了「識(shí)別」問(wèn)題；地圖不是讓人導(dǎo)航變強(qiáng)，而是把空間關(guān)系從隱性變成可見(jiàn)。外部工件的力量，在于表征變換（Representational Transformation）——它重新組織了問(wèn)題的形式，讓主體用現(xiàn)有能力更可靠地解決它。

同樣的邏輯正在 LLM Agent 上發(fā)生。論文的核心主張是：外部化才是理解近年 Agent 架構(gòu)演進(jìn)的統(tǒng)一邏輯，而不只是各種工程技巧的堆砌。

從 Weights 到 Harness：

能力載體的三次外移

圖 2：社區(qū)主題在三個(gè)能力層上的演化（2022–2026）。關(guān)注重心從參數(shù)知識(shí)和提示工程，逐步外移到 Harness 層級(jí)的基礎(chǔ)設(shè)施。

權(quán)重層（2022–2023）：能力幾乎等同于模型參數(shù)，擴(kuò)展定律主導(dǎo)敘事。奠定了基礎(chǔ)，但知識(shí)難以選擇性更新，行為難以審計(jì)，個(gè)性化幾乎無(wú)從實(shí)現(xiàn)。

上下文層（2023–2024）：Prompt 工程、CoT、RAG 興起，模型保持凍結(jié)，提示模板快速迭代。困難的「回憶」問(wèn)題被部分轉(zhuǎn)化為「識(shí)別」問(wèn)題，但狀態(tài)短暫，跨步驟協(xié)調(diào)始終脆弱。

Harness 層（2024 至今）：可靠性依賴外部記憶、工具注冊(cè)、協(xié)議、沙箱與編排。「Agent 工程越來(lái)越體現(xiàn)為 Harness 工程」——OpenHands、SWE-agent、Deep Research 等皆遵循這一模式。

殊途同歸：

記憶、技能、協(xié)議、Harness都是外部化

回顧近年 Agent 領(lǐng)域的技術(shù)進(jìn)展，記憶系統(tǒng)、技能系統(tǒng)、協(xié)議標(biāo)準(zhǔn)化，乃至 Harness 工程本身，看似四條獨(dú)立的研究路線，各自解決不同的問(wèn)題。但論文指出，它們本質(zhì)上做的是同一件事——將特定層面的認(rèn)知負(fù)擔(dān)從模型內(nèi)部遷移到外部結(jié)構(gòu)中。這不是巧合，而是 Agent 走向可靠部署的必然收斂。四條路線的交匯點(diǎn)，正是外部化。

記憶外部化狀態(tài)，將「回憶」轉(zhuǎn)化為「檢索」，解決連續(xù)性錯(cuò)配；技能外部化專業(yè)知識(shí)，將「即興生成」轉(zhuǎn)化為「組合復(fù)用」，解決一致性錯(cuò)配；協(xié)議外部化交互結(jié)構(gòu)，將「臨時(shí)約定」轉(zhuǎn)化為「結(jié)構(gòu)化契約」，解決協(xié)調(diào)性錯(cuò)配。而 Harness 外部化的是更根本的東西——Agent 的認(rèn)知環(huán)境本身：原本隱含在每次模型調(diào)用過(guò)程里的執(zhí)行流、沙箱、觀測(cè)、權(quán)限，都被顯式地抽出來(lái)，成為可檢視、可配置、可治理的基礎(chǔ)設(shè)施。

記憶：外部化的狀態(tài)

圖 3：記憶作為外部化狀態(tài)的全流程——從原始上下文到四層記憶內(nèi)容，經(jīng)由記憶系統(tǒng)架構(gòu)（單體式→分層編排→自適應(yīng)），最終與 Harness 集成。

論文將 Agent 記憶組織為四個(gè)層次：工作上下文（當(dāng)前任務(wù)狀態(tài)、打開(kāi)的文件、部分完成的計(jì)劃）、情景經(jīng)驗(yàn)（過(guò)去的運(yùn)行記錄和失敗軌跡）、語(yǔ)義知識(shí)（領(lǐng)域事實(shí)、用戶偏好、通用啟發(fā)）和個(gè)性化記憶（特定用戶的習(xí)慣與約束）。

記憶架構(gòu)隨需求而演進(jìn)：從將全部歷史塞入提示的單體式，到主動(dòng)狀態(tài)加外部存儲(chǔ)的檢索式，再到按語(yǔ)義或時(shí)序分層編排的分層架構(gòu)，最終走向基于反饋動(dòng)態(tài)調(diào)整檢索策略的自適應(yīng)記憶系統(tǒng)。核心效果始終是同一個(gè)：模型不再需要從權(quán)重中「回憶」，而是從持久化存儲(chǔ)中「檢索」。

技能：外部化的專業(yè)知識(shí)

圖 4：技能作為外部化專業(yè)知識(shí)的全流程——從獲取（人工編寫、蒸餾、發(fā)現(xiàn)、組合）到技能工件，經(jīng)由激活管線（注冊(cè)、漸進(jìn)披露、組合），最終綁定到運(yùn)行時(shí)。

技能系統(tǒng)將可復(fù)用的程序性專業(yè)知識(shí)打包為顯式工件。一個(gè)完整的技能包含三個(gè)組成部分：操作程序（任務(wù)骨架和分解步驟）、決策啟發(fā)（分支決策的局部策略）、規(guī)范約束（合規(guī)、安全和操作邊界）。

技能有四條生成路徑：人工編寫（專家手工編寫 SKILL.md 等指令文件）、軌跡蒸餾（從歷史運(yùn)行記錄中提取可復(fù)用程序）、自主發(fā)現(xiàn)（Agent 在環(huán)境中探索并歸納，如 Voyager）、組合構(gòu)建（由已有低層技能組裝高階能力）。技能從「發(fā)現(xiàn)」到「執(zhí)行」經(jīng)過(guò)注冊(cè)、漸進(jìn)式披露（按需從摘要擴(kuò)展到完整細(xì)節(jié)）、組合等階段，最終在運(yùn)行時(shí)綁定到具體工具、API 和協(xié)議。

核心效果：模型不再需要每次從零「即興生成」工作流，而是從預(yù)驗(yàn)證的組件中「組合」。

協(xié)議：外部化的交互結(jié)構(gòu)

圖 5：協(xié)議在 Harness 工程中的演進(jìn)——從孤立模型調(diào)用到標(biāo)準(zhǔn)化協(xié)議再到去中心化 Agentic Web。Harness 通過(guò)協(xié)議管理三類交互：與工具交互、感知環(huán)境、與 Agent 和人類協(xié)作。

協(xié)議將交互結(jié)構(gòu)固定為機(jī)器可讀的契約，外部化了四類負(fù)擔(dān)：調(diào)用語(yǔ)法（參數(shù)格式與類型）、生命周期語(yǔ)義（狀態(tài)轉(zhuǎn)換與完成條件）、權(quán)限與信任邊界（授權(quán)規(guī)則）、以及發(fā)現(xiàn)元數(shù)據(jù)（可用能力的聲明）。

論文梳理了三類主要協(xié)議族：

• Agent-Tool 協(xié)議（如 MCP）：通過(guò) JSON-RPC 標(biāo)準(zhǔn)化工具發(fā)現(xiàn)與調(diào)用，使工具可以動(dòng)態(tài)注冊(cè)、模塊化擴(kuò)展。
• Agent-Agent 協(xié)議（如 A2A）：定義任務(wù)委托、進(jìn)度交換和能力發(fā)現(xiàn)的結(jié)構(gòu)化語(yǔ)義，支持開(kāi)放 Agent 生態(tài)的互操作。
• Agent-User 協(xié)議（如 AG-UI）：以類型化執(zhí)行事件和狀態(tài)流的形式使運(yùn)行時(shí)可觀測(cè)、可移植，讓用戶界面能夠?qū)崟r(shí)跟蹤 Agent 行為。

核心效果：臨時(shí)約定變?yōu)榻Y(jié)構(gòu)化契約，跨系統(tǒng)協(xié)調(diào)從脆弱變得可治理。

Harness：統(tǒng)一的認(rèn)知環(huán)境

圖 6：外部化 Agent 的整體架構(gòu)。Harness 居于中心，Memory、Skills、Protocols 三大外部化維度環(huán)繞其外，沙箱、可觀測(cè)性、壓縮、評(píng)估、審批回路等操作元素在中間層協(xié)調(diào)運(yùn)作。

Harness 外部化的是前三者賴以運(yùn)行的認(rèn)知環(huán)境本身。原本隱含在每次模型調(diào)用過(guò)程里的執(zhí)行流、沙箱、觀測(cè)、權(quán)限，被顯式地抽出來(lái)，成為可檢視、可配置、可治理的基礎(chǔ)設(shè)施——這既是容納記憶、技能、協(xié)議的運(yùn)行時(shí)，也是讓整套系統(tǒng)從「黑箱」變成「白箱」的關(guān)鍵。論文從六個(gè)設(shè)計(jì)維度分析其構(gòu)成：

1. Agent 循環(huán)與控制流— 感知-檢索-規(guī)劃-執(zhí)行-觀察的完整周期，管控終止條件、遞歸邊界和資源消耗
2. 沙箱與執(zhí)行隔離— 文件系統(tǒng)隔離、網(wǎng)絡(luò)限制、云端沙箱，既是安全邊界，也是認(rèn)知邊界
3. 人類監(jiān)督與審批門控— 執(zhí)行前審批、執(zhí)行后審查和升級(jí)觸發(fā)，自主性作為可配置參數(shù)
4. 可觀測(cè)性與結(jié)構(gòu)化反饋— 工具調(diào)用的結(jié)構(gòu)化日志、連接動(dòng)作與前因的執(zhí)行溯源，支持調(diào)試、審計(jì)和內(nèi)部反饋回路
5. 配置、權(quán)限與策略編碼— 用戶、項(xiàng)目、組織三級(jí)分層約束，以聲明式規(guī)則在運(yùn)行時(shí)強(qiáng)制執(zhí)行
6. 上下文預(yù)算管理— 歷史摘要、優(yōu)先級(jí)驅(qū)動(dòng)的內(nèi)容淘汰、技能分階加載，平衡三大維度對(duì)窗口的競(jìng)爭(zhēng)

三大維度在 Harness 內(nèi)部形成自我強(qiáng)化的循環(huán)：記憶經(jīng)驗(yàn)蒸餾為技能，技能執(zhí)行軌跡沉淀回記憶；協(xié)議規(guī)范了技能的調(diào)用方式，也將結(jié)構(gòu)化結(jié)果寫入持久狀態(tài)；更豐富的記憶帶來(lái)更好的技能，更好的技能產(chǎn)生更豐富的執(zhí)行軌跡，依次循環(huán)。

一個(gè)場(chǎng)景：不換模型，只改「外部環(huán)境」

讓一個(gè)軟件工程 Agent 在大型代碼倉(cāng)庫(kù)里實(shí)現(xiàn)新功能、運(yùn)行測(cè)試、提交 PR——論文用這個(gè)例子直接說(shuō)明了外部化的意義。

• 沒(méi)有外部化時(shí)。模型需要把倉(cāng)庫(kù)結(jié)構(gòu)、項(xiàng)目約定、工作流狀態(tài)和工具交互全部塞進(jìn)一個(gè)脆弱的提示窗口。任何一處出錯(cuò)，整個(gè)流程需要重來(lái)。隨著任務(wù)復(fù)雜度增加，提示模板的管理成本以超線性速度上升。
• 有了外部化之后。持久化的項(xiàng)目記憶提供跨會(huì)話上下文；可復(fù)用的技能文檔編碼項(xiàng)目約定和工作流；協(xié)議化的工具接口確保調(diào)用格式始終正確；Harness 負(fù)責(zé)步驟排序、輸出驗(yàn)證和失敗恢復(fù)。

基座模型可以完全不變，改變的是它所面對(duì)任務(wù)的表示方式。這也是整篇論文的核心論點(diǎn)：Agent 可靠性的提升，越來(lái)越不來(lái)自更強(qiáng)的推理器，而來(lái)自被更好地組織起來(lái)的認(rèn)知系統(tǒng)。衡量一個(gè) Agent 系統(tǒng)的問(wèn)題，也從「模型有多強(qiáng)？」變成了「哪些負(fù)擔(dān)已經(jīng)被外部化，讓模型不再需要每次從頭解決？」

未來(lái)方向

論文最后指出了六個(gè)前沿方向：

• 外部化邊界的擴(kuò)展— 規(guī)劃目標(biāo)、驗(yàn)證邏輯、編排策略本身都在成為 Harness 對(duì)象，而非只是被 Harness 執(zhí)行的內(nèi)容
• 從數(shù)字到具身— 具身 Agent 正在經(jīng)歷相同的外部化模式。高層規(guī)劃器與低延遲執(zhí)行模塊的分離，正是外部化邏輯在物理系統(tǒng)中的映射
• 自演化 Harness— 通過(guò)強(qiáng)化學(xué)習(xí)、程序合成或模仿學(xué)習(xí)讓基礎(chǔ)設(shè)施自動(dòng)更新，前景廣闊，但治理風(fēng)險(xiǎn)同步放大
• 安全與治理— 記憶投毒、惡意技能注入、協(xié)議欺騙等新型攻擊面值得專門關(guān)注，強(qiáng)制審查門控與來(lái)源溯源是成熟系統(tǒng)的必要保障
• 共享基設(shè)與多智能體生態(tài)— 當(dāng)記憶、技能、協(xié)議可以跨 Agent 共享，集體學(xué)習(xí)和勞動(dòng)分工成為可能，同時(shí)帶來(lái)基礎(chǔ)設(shè)施漂移等治理難題
• 外部化的評(píng)估— 現(xiàn)有 Benchmark 對(duì)基礎(chǔ)設(shè)施貢獻(xiàn)的度量嚴(yán)重不足，可遷移性、可維護(hù)性、上下文效率等新維度有待建立

從記憶到技能到協(xié)議再到 Harness，這篇綜述的價(jià)值不在于羅列技術(shù)細(xì)節(jié)，而在于提供了一個(gè)系統(tǒng)級(jí)的解釋框架。一句話概括：更好的 Agent 不只是更好的推理器，而是被更好地組織起來(lái)的認(rèn)知系統(tǒng)。