斯坦福最新研究：AI 的上下文比參數(shù)重要，無需重訓(xùn)、不再微調(diào)

大數(shù)據(jù)文摘出品

近日，斯坦福大學(xué)與 SambaNova Systems 合作發(fā)表了論文《Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models》。

該論文提出了一個(gè)名為ACE（Agentic Context Engineering）的框架，可以讓AI在不重新訓(xùn)練權(quán)重的前提下，實(shí)現(xiàn)自我改進(jìn)。

論文鏈接： http://arxiv.org/abs/2510.04618v1

論文的核心思想是，大模型的能力，并非僅由參數(shù)決定，更取決于“上下文的質(zhì)量”。換句話說，誰能構(gòu)建出最優(yōu)的上下文，誰就能讓模型更聰明。

ACE的核心思想，是讓模型不再依賴“靜態(tài)提示（prompt）”，而轉(zhuǎn)向一種動(dòng)態(tài)、結(jié)構(gòu)化、可進(jìn)化的“知識劇本”（playbook）。

這些劇本記錄了模型在任務(wù)執(zhí)行中積累的策略、規(guī)則、模板和修正規(guī)則。每一次失敗或成功，都會(huì)被轉(zhuǎn)化為一條“增量更新”（delta）。

與傳統(tǒng)的“重寫提示”不同，ACE通過小步安全更新不斷改進(jìn)劇本，而不是一次性推倒重來。

這種機(jī)制意味著，AI可以在運(yùn)行中學(xué)習(xí)、記憶、改進(jìn)，而不需任何參數(shù)微調(diào)。

ACE框架

研究者指出，這一機(jī)制能避免兩種致命問題：一是簡化偏差（brevity bias），即在追求簡潔的優(yōu)化中丟失關(guān)鍵細(xì)節(jié)；二是上下文崩塌（context collapse），即重寫導(dǎo)致的知識損毀。

論文舉例稱，在實(shí)驗(yàn)中，一個(gè)AI代理積累了1.8萬token的上下文，表現(xiàn)良好。但當(dāng)模型試圖“總結(jié)壓縮”它時(shí)，劇本被削減至僅122個(gè)token，性能瞬間跌至57.1%。

研究者直言：“模型擅長使用知識，但不擅長整理知識。一次錯(cuò)誤的重寫，就可能摧毀全部積累。”

論文稱ACE解決了這種“自毀式學(xué)習(xí)”的結(jié)構(gòu)性風(fēng)險(xiǎn)。

圖注：ACE 框架在三類任務(wù)（智能體操作、領(lǐng)域知識、數(shù)值推理）上都顯著優(yōu)于其他方法，準(zhǔn)確率提升最明顯。

三角色協(xié)作：生成、反思、策展

ACE體系建立在一個(gè)極簡哲學(xué)上：不要重寫知識，要管理知識。

整個(gè)系統(tǒng)被拆解為三個(gè)互補(bǔ)的角色。

第一個(gè)是生成器（Generator）。它負(fù)責(zé)執(zhí)行任務(wù)，與環(huán)境交互，生成推理過程、代碼或操作序列。

第二個(gè)是反思器（Reflector）。它分析生成器的行動(dòng)軌跡，識別成功與失敗的原因，提取“可操作的教訓(xùn)”。這些反饋信號可能來自代碼錯(cuò)誤、執(zhí)行結(jié)果或外部標(biāo)簽。

第三個(gè)是策展器（Curator）。它將這些經(jīng)驗(yàn)提煉為結(jié)構(gòu)化條目（delta context），并通過確定性規(guī)則（非語言模型決策）整合進(jìn)主劇本。

這樣的三層循環(huán)——行動(dòng)、反思、整合構(gòu)成了ACE的學(xué)習(xí)閉環(huán)。

每次更新都只影響局部條目，不觸碰整體文本。這種局部增量機(jī)制，讓知識庫既能不斷擴(kuò)展，又不會(huì)坍塌。

劇本本身被設(shè)計(jì)為項(xiàng)目化結(jié)構(gòu)：包含策略規(guī)則、API調(diào)用模板、調(diào)試經(jīng)驗(yàn)、常見錯(cuò)誤解決方案等。每條條目附帶使用計(jì)數(shù)與正負(fù)反饋元數(shù)據(jù)。

反思器會(huì)根據(jù)這些記錄判斷哪些規(guī)則有效、哪些無用。策展器再據(jù)此修改或刪除。

論文稱，這種方式讓AI的知識“像Git倉庫一樣演化”，能安全地生長、細(xì)致地修剪、透明地追溯。

研究者強(qiáng)調(diào)，ACE的復(fù)雜度并非負(fù)擔(dān)，而是一種結(jié)構(gòu)化的安全機(jī)制，以微小的系統(tǒng)開銷換取知識的穩(wěn)定積累。

小模型“越級打怪”：DeepSeek擊敗GPT-4.1

在復(fù)雜的AppWorld代理任務(wù)中，ACE框架帶來了+10.6%的平均性能提升，并將適應(yīng)延遲降低86.9%。

研究團(tuán)隊(duì)特別提到，這一提升并非依賴更大的模型，而是源于更好的上下文管理。

一個(gè)典型例子是：DeepSeek V3.1，參數(shù)量低于GPT-4.1。但在ACE框架下，它在AppWorld基準(zhǔn)測試中，竟能與GPT-4.1代理（IBM CUGA）持平，甚至在更復(fù)雜的測試集上反超。

研究者指出，這一結(jié)果說明，“上下文工程”已成為新的算力平權(quán)器。

更重要的是，ACE的效率優(yōu)勢驚人。在多輪任務(wù)學(xué)習(xí)中，它的更新延遲減少82%~91%，token成本下降83.6%。

圖注：在金融分析任務(wù)中，ACE 框架顯著提升模型表現(xiàn)（平均提升約 8.6%），即使沒有真實(shí)標(biāo)簽也能保持穩(wěn)定表現(xiàn)。

論文認(rèn)為，這讓“在線持續(xù)學(xué)習(xí)”從概念變?yōu)楝F(xiàn)實(shí)。AI不再需要頻繁微調(diào)，而可以在運(yùn)行中自我優(yōu)化。

同時(shí)，ACE的結(jié)構(gòu)化劇本讓學(xué)習(xí)過程可解釋、可審計(jì)、可撤回。

如果某條規(guī)則被發(fā)現(xiàn)過時(shí)、偏頗或違規(guī)，系統(tǒng)可以精準(zhǔn)刪除對應(yīng)條目，實(shí)現(xiàn)“選擇性遺忘”。

注：頭圖AI生成

作者長期關(guān)注 AI 產(chǎn)業(yè)與學(xué)術(shù)，歡迎對這些方向感興趣的朋友添加微信Q1yezi，共同交流行業(yè)動(dòng)態(tài)與技術(shù)趨勢！

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！