剛剛，騰訊姚順雨署名首篇論文發(fā)布，「下半場」先搞上下文學(xué)習(xí)

機(jī)器之心編輯部

不久前在 AGI-Next 前沿峰會(huì)上，姚順雨曾分享過一個(gè)核心觀點(diǎn)：模型想要邁向高價(jià)值應(yīng)用，核心瓶頸就在于能否「用好上下文（Context）」。

這與最近 OpenAI Jiayi Weng 在訪談中的看法不謀而合。Jiayi Weng 認(rèn)為，上下文決定了模型和人類認(rèn)知的邊界。只要信息足夠?qū)Φ龋胀ㄈ舜蟾乓材茉?OpenAI 勝任工作，人和人的差距往往只是源于信息的不對(duì)稱。

而近日，混元團(tuán)隊(duì)和復(fù)旦聯(lián)合團(tuán)隊(duì)發(fā)布了首篇論文《CL-bench》，在「重視上下文」的基礎(chǔ)上又往前推了一大步。

值得一提的是，這也是姚順雨加入騰訊后首次署名的研究論文。

• 論文題目：CL-bench: A Benchmark for Context Learning
• 項(xiàng)目主頁：www.clbench.com

論文證實(shí)了一個(gè)更棘手的問題：即便抹平了上下文帶來的信息差，模型也未必能解決問題。這說明模型在上下文利用上，依然存在顯著的能力短板。

具體來說，作者認(rèn)為上下文「給到位了」并不等同于任務(wù)就能「做對(duì)」。這中間考驗(yàn)的是模型的學(xué)習(xí)能力：就像兩個(gè)學(xué)習(xí)天賦不同的人，讀的是同一本武功秘籍，有人能瞬息間領(lǐng)悟招式精髓，有人卻始終不得要領(lǐng)。

這種差異的本質(zhì)在于模型的上下文學(xué)習(xí)能力不同。 如果模型缺乏從上下文中學(xué)習(xí)新知識(shí)、掌握新技能的能力，哪怕解決任務(wù)所需的邏輯和范例都近在咫尺，它也依然無從下手。

本文將結(jié)合騰訊混元官網(wǎng)首次發(fā)表的技術(shù)博客《Learning from context is harder than we thought》的中文版，聊聊在上下文學(xué)習(xí)這件事上，模型面對(duì)的真實(shí)困境。

• 博客鏈接：https://hy.tencent.com/research

從上下文中學(xué)習(xí)，遠(yuǎn)比我們想象的要難

我們需要 AI 成為「上下文學(xué)習(xí)者」（Context learners）

過去幾年，大語言模型的進(jìn)化速度快得令人驚嘆。如今的前沿模型，已經(jīng)是頂級(jí)的「做題家」：它們能解開奧數(shù)級(jí)別的難題，能推演復(fù)雜的編程邏輯，甚至能通過那些人類需要苦讀數(shù)年才能拿下的專業(yè)資格考試。

然而，這些耀眼的成績單可能掩蓋了一個(gè)真相：能在考場拿滿分的學(xué)生，未必能勝任真實(shí)世界的工作。

回看我們?nèi)祟惖娜粘９ぷ鳎洪_發(fā)者掃過從未見過的工具文檔，就能立刻開始調(diào)試代碼；玩家拿起新游戲的規(guī)則書，在實(shí)戰(zhàn)中邊玩邊學(xué)；科學(xué)家從復(fù)雜的實(shí)驗(yàn)日志中篩選數(shù)據(jù)，推導(dǎo)出新的結(jié)論和定律。我們發(fā)現(xiàn)在這些場景中，人類并不只依賴多年前學(xué)到的「死知識(shí)」，而是在實(shí)時(shí)地從眼前的上下文中學(xué)習(xí)。

三個(gè)人類日常生活和工作場景的例子。這三個(gè)例子分別為：（1）面對(duì) SkyNet 無人機(jī) SDK 文檔 (~70K 字)，將自然語言所表達(dá)的飛行請(qǐng)求轉(zhuǎn)成安全、合規(guī)的 SDK 偽代碼； （2）直接上手玩一款游戲：給定一款新游戲的完整規(guī)則 (~15K 字)，分析隱藏房間場景并給出可能結(jié)果；（3）分析 300 份原始實(shí)驗(yàn)日志，驗(yàn)證數(shù)據(jù)、推導(dǎo)關(guān)系式并估計(jì)共振常數(shù)。

然而，今天的語言模型并非如此。它們主要依賴「參數(shù)化知識(shí)」—— 即在預(yù)訓(xùn)練階段被壓縮進(jìn)模型權(quán)重里的靜態(tài)記憶。在推理時(shí)，模型更多是在調(diào)用這些封存的內(nèi)部知識(shí)，而不是主動(dòng)從當(dāng)前輸入的新信息中汲取營養(yǎng)。

這揭示了當(dāng)前模型的訓(xùn)練范式和在真實(shí)場景中應(yīng)用之間是不匹配的：我們優(yōu)化出的模型擅長對(duì)自己「已知」的事物進(jìn)行推理，但用戶需要的，卻是讓模型解決那些依賴于雜亂、動(dòng)態(tài)變化的上下文的任務(wù)。

簡而言之：我們?cè)斐隽艘蕾嚒高^去」的參數(shù)推理者，但世界需要的是能吸收「當(dāng)下」環(huán)境的上下文學(xué)習(xí)者。要彌合這一差距，我們必須從根本上改變模型的優(yōu)化方向。

語言模型的范式轉(zhuǎn)變。

CL-bench: 衡量模型的上下文學(xué)習(xí)能力

為了衡量現(xiàn)有模型距離真正的「上下文學(xué)習(xí)者」還有多遠(yuǎn)，我們構(gòu)建了CL-bench。這是一個(gè)專門評(píng)測語言模型能否從上下文中學(xué)習(xí)新知識(shí)并正確應(yīng)用的基準(zhǔn)。

CL-bench 包含由資深領(lǐng)域?qū)＜揖闹谱鞯?500 個(gè)復(fù)雜上下文、1899 個(gè)任務(wù)和 31607 個(gè)驗(yàn)證標(biāo)準(zhǔn)。CL-bench 只包含一個(gè)簡單但苛刻的要求：解決每個(gè)任務(wù)要求模型必須從上下文中學(xué)習(xí)到模型預(yù)訓(xùn)練中不存在的新知識(shí)，并正確應(yīng)用。

模型需要學(xué)習(xí)的知識(shí)非常廣泛。它包括新的領(lǐng)域知識(shí)、不熟悉的規(guī)則系統(tǒng)、復(fù)雜的產(chǎn)品工作流，甚至是必須從實(shí)驗(yàn)數(shù)據(jù)中推導(dǎo)歸納出的定律或結(jié)論。

所有這些知識(shí)要么是由領(lǐng)域?qū)＜彝耆聵?gòu)建的，要么是取自那些不太可能出現(xiàn)在當(dāng)前前沿模型訓(xùn)練數(shù)據(jù)中的小眾、長尾來源。因此，模型無法通過回憶靜態(tài)的參數(shù)化知識(shí)來解決任務(wù)，都要求模型從提供的上下文進(jìn)行學(xué)習(xí)并應(yīng)用。

具體來說，CL-bench 涵蓋了四種廣泛的現(xiàn)實(shí)世界上下文學(xué)習(xí)場景：

CL-bench 的上下文分類體系。

1. 領(lǐng)域知識(shí)推理：上下文提供特定的領(lǐng)域知識(shí)（例如 虛構(gòu)的法律體系、創(chuàng)新的金融工具或小眾專業(yè)知識(shí)）。模型需要利用這些知識(shí)來推理并解決具體問題。
2. 規(guī)則系統(tǒng)應(yīng)用：上下文提供新定義的正式系統(tǒng)（例如 新的游戲機(jī)制、數(shù)學(xué)形式體系、編程語法或技術(shù)標(biāo)準(zhǔn)）。模型必須理解并應(yīng)用這些規(guī)則來執(zhí)行任務(wù)。
3. 程序性任務(wù)執(zhí)行：上下文提供復(fù)雜的過程系統(tǒng)（例如 工作流、產(chǎn)品手冊(cè)和操作指南）。模型必須理解并應(yīng)用這些程序性信息來完成任務(wù)。
4. 經(jīng)驗(yàn)發(fā)現(xiàn)與模擬：上下文提供復(fù)雜系統(tǒng)內(nèi)的實(shí)驗(yàn)數(shù)據(jù)、觀測記錄或模擬環(huán)境。與前幾類涉及演繹推理不同，這一類專注于歸納推理，也是最具挑戰(zhàn)性的。模型必須從數(shù)據(jù)中發(fā)現(xiàn)潛在的定律或結(jié)論，并應(yīng)用它們來解決任務(wù)。

CL-bench 示例。解決這些任務(wù)要求語言模型從提供的上下文中學(xué)習(xí)。圖中這四個(gè)案例分別是：（1）在一部長達(dá) 2.3 萬字、剛剛生效的新法律下判一起真實(shí)糾紛；（2）基于一門新設(shè)計(jì)的教育編程語言規(guī)范，實(shí)現(xiàn)一個(gè)帶有時(shí)間條件終止的周期性程序；（3）在一套從未見過的編程框架中執(zhí)行代碼；（4）在給定技術(shù)規(guī)格和長期環(huán)境政策情景的條件下，模擬關(guān)鍵技術(shù)金屬的可持續(xù)全球供應(yīng)。

這些類別包含了大部分現(xiàn)實(shí)世界工作中常見的演繹推理和歸納推理任務(wù)，能充分衡量模型的上下文學(xué)習(xí)能力。關(guān)于 CL-bench 的更多細(xì)節(jié)，請(qǐng)參閱我們的論文 [1]。

CL-bench 的設(shè)計(jì)原則和特性

CL-bench 圍繞一個(gè)簡單但嚴(yán)格的設(shè)計(jì)原則構(gòu)建：每個(gè)任務(wù)都必須要求從上下文中學(xué)習(xí)新知識(shí)。CL-bench 中的每個(gè)上下文都是完全自包含（Self-contained）的。解決任務(wù)所需的所有信息都顯式地提供在上下文本身之中：不需要外部檢索，也不允許隱藏假設(shè)。

解決CL-bench 中的任務(wù)需要模型從相應(yīng)的 context 中學(xué)習(xí)新知識(shí)。

為了確保性能真正反映上下文學(xué)習(xí)，而不是記憶或數(shù)據(jù)泄露，CL-bench 采用了無污染（Contamination-free）設(shè)計(jì)：

1. 虛構(gòu)創(chuàng)作：專家創(chuàng)作完全虛構(gòu)的內(nèi)容，例如為虛構(gòu)國家設(shè)計(jì)一套完整的法律體系（包括新穎的判例和法律原則），或創(chuàng)建具有獨(dú)特語法和語義的新編程語言。
2. 現(xiàn)有內(nèi)容的修改：專家修改現(xiàn)實(shí)世界的內(nèi)容以創(chuàng)建變體，例如更改歷史事件、改變科學(xué)和數(shù)學(xué)定義，或修改技術(shù)文檔和標(biāo)準(zhǔn)。
3. 整合小眾和新興內(nèi)容：專家納入了在預(yù)訓(xùn)練數(shù)據(jù)集中代表性極低的小眾或近期新興內(nèi)容，如前沿研究發(fā)現(xiàn)、新發(fā)布的產(chǎn)品手冊(cè)或技術(shù)文檔，以及來自專門領(lǐng)域的特定知識(shí)。

在不提供任何上下文的情況下，最先進(jìn)的模型GPT-5.1 (High)僅能解決不到 1%的任務(wù)。這有力地證明了數(shù)據(jù)是無污染的，模型若不從上下文中學(xué)習(xí)，幾乎完全無法解決這些任務(wù)。

此外，CL-bench 的設(shè)計(jì)具有高復(fù)雜性和序列依賴性。51.1% 的任務(wù)需要序列依賴，意味著后續(xù)任務(wù)的解決方案取決于早期交互的結(jié)果。這種多輪次設(shè)計(jì)顯著增加了任務(wù)難度。平均而言，領(lǐng)域?qū)＜一ㄙM(fèi)約20 小時(shí)標(biāo)注每個(gè)上下文，以確保任務(wù)構(gòu)建的質(zhì)量和深度。

CL-bench 中的每個(gè)任務(wù)都是完全可驗(yàn)證的。平均而言，每個(gè)上下文關(guān)聯(lián)63.2個(gè)驗(yàn)證標(biāo)準(zhǔn)，每個(gè)任務(wù)包含 16.6 個(gè)評(píng)估標(biāo)準(zhǔn)。每個(gè)任務(wù)的正確性都從多個(gè)角度進(jìn)行評(píng)估，確保了評(píng)估的全面性。

部分實(shí)驗(yàn)發(fā)現(xiàn)

我們?cè)?CL-bench 上評(píng)估了十個(gè)最先進(jìn)的語言模型。結(jié)果揭示了清晰且一致的差距。

表：十個(gè)前沿模型在 CL-bench 上的任務(wù)解決率。所有模型均在推理模式下進(jìn)行評(píng)估，結(jié)果報(bào)告為三次運(yùn)行的平均值 ± 標(biāo)準(zhǔn)差 (%)。

平均而言，模型僅解決了17.2%的任務(wù)。即便是表現(xiàn)最好的模型GPT-5.1 (High)，也僅達(dá)到了23.7%。換句話說，盡管上下文中擁有解決每個(gè)任務(wù)所需的全部信息，模型在絕大多數(shù)任務(wù)上都失敗了。這表明當(dāng)前的 SOTA 模型幾乎不會(huì)從上下文中學(xué)習(xí)。

還有幾個(gè)額外的現(xiàn)象值得注意：

• 忽略或誤用上下文是導(dǎo)致失敗的主要原因。許多錯(cuò)誤并非源于信息缺失，而是源于模型忽視了上下文中的關(guān)鍵細(xì)節(jié)，或錯(cuò)誤地應(yīng)用了它們。在許多情況下，模型只會(huì)利用預(yù)訓(xùn)練學(xué)習(xí)到的靜態(tài)知識(shí)來解決任務(wù)，即使上下文明確定義了新的規(guī)則、概念或程序，模型也不會(huì)學(xué)習(xí)和利用。

表：各模型錯(cuò)誤類型的分布（因?yàn)橐粋€(gè) solutions 可能有多種錯(cuò)誤原因，所以每行錯(cuò)誤率總和大于 100%）。

• 長上下文推理和指令遵循是必要的，但不是充分條件。案例分析表明，那些難以跨長上下文追蹤依賴關(guān)系或難以精確遵循約束的模型，往往表現(xiàn)得更差。然而，即使是能夠處理長輸入并可靠遵循指令的模型，仍然在許多任務(wù)上失敗。上下文學(xué)習(xí)需要的能力，遠(yuǎn)不止長上下文理解和指令遵循能力。
• 從實(shí)驗(yàn)數(shù)據(jù)和環(huán)境模擬中進(jìn)行歸納推理比演繹應(yīng)用更困難。演繹任務(wù)讓模型根據(jù) context 中明確給出的規(guī)則和流程進(jìn)行應(yīng)用，而經(jīng)驗(yàn)發(fā)現(xiàn)和環(huán)境模擬類任務(wù)則要求 歸納推理 —— 從數(shù)據(jù)中總結(jié)規(guī)律或在虛擬環(huán)境中探索。模型在這類任務(wù)上的表現(xiàn)明顯較差，任務(wù)解決率通常低于 10%，且結(jié)果波動(dòng)大。這表明發(fā)現(xiàn)規(guī)律遠(yuǎn)比應(yīng)用規(guī)則更具挑戰(zhàn)性。

GPT-5.1 在高 / 低推理強(qiáng)度設(shè)置下，各子類別表現(xiàn)對(duì)比。

• 更高的推理強(qiáng)度通常能提升 context 學(xué)習(xí)效果。對(duì)部分模型來說，增加 推理強(qiáng)度 可以改善表現(xiàn)，使模型更深入地理解復(fù)雜 context 。例如，GPT-5.1 在管理類和實(shí)驗(yàn)數(shù)據(jù)類任務(wù)上的表現(xiàn)提升約 6%。但其他模型提升有限甚至可能下降，說明單靠更多推理并不足夠，模型還必須能夠正確吸收和組織 context 信息。

不同輸入長度下模型上下文學(xué)習(xí)表現(xiàn)的變化趨勢。（不同 context 下模型的表現(xiàn)變化呈現(xiàn)相似趨勢。）

• Context 學(xué)習(xí)的難度與 context 長度相關(guān)，但短 context 也可能很復(fù)雜。較長的 context 通常讓所有模型的任務(wù)更難，這驗(yàn)證了長 context 處理仍是關(guān)鍵瓶頸。然而，即使是短 context ，如果包含信息密集、規(guī)則隱含、依賴復(fù)雜或約束嚴(yán)格的內(nèi)容，也依然很具挑戰(zhàn)性，說明 context 學(xué)習(xí)的難度不僅僅來源于長度，也來自于其復(fù)雜度。

更多發(fā)現(xiàn)請(qǐng)參見我們的論文 [1]。綜上所述，CL-bench 揭示了一個(gè)不能被忽視的現(xiàn)象：當(dāng)今的前沿語言模型還仍然不會(huì)利用上下文，從上下文中學(xué)習(xí)。

CL-bench 充分解釋了語言模型在真實(shí)場景中為什么經(jīng)常出錯(cuò)：即使有了上下文工程，給模型準(zhǔn)備好了所需的上下文，模型也會(huì)失敗。如果模型不能真正從中學(xué)習(xí)，僅僅提供上下文是不夠的。上下文學(xué)習(xí)作為一項(xiàng)模型基礎(chǔ)的學(xué)習(xí)能力，很大程度上被忽視了。

展望未來

如果上下文學(xué)習(xí)顯著提升，人類在 AI 系統(tǒng)中的角色將發(fā)生變化：我們不再是主要的數(shù)據(jù)提供者（training data provider），而變成了 context 提供者（context provider）。競爭的焦點(diǎn)將從 “誰能把模型訓(xùn)練得更好”，轉(zhuǎn)向 “誰能為任務(wù)提供最豐富、最相關(guān)的 context ”。

但其實(shí)這里還有一個(gè)挑戰(zhàn)。即便上下文學(xué)習(xí)足夠強(qiáng)大，它目前依然是臨時(shí)性的（Ephemeral）：模型的上下文窗口一旦清空，學(xué)到的知識(shí)隨之消失。因此，我們還要關(guān)注如何讓從上下文中習(xí)得的知識(shí)持久化？這種知識(shí)不僅是事實(shí)，還包括能幫助模型跨任務(wù)遷移的技能、經(jīng)驗(yàn)和模式等。

記憶鞏固是語言模型通過上下文學(xué)習(xí)經(jīng)驗(yàn)的關(guān)鍵

因此，如何記憶很可能成為 2026 年的另一個(gè)核心主題。 要充分發(fā)揮語言模型的潛力，可能需要新的架構(gòu)、新的優(yōu)化方式來決定「該保留什么」。

一旦上下文學(xué)習(xí)與記憶變得可靠，模型或許就能實(shí)現(xiàn)自主學(xué)習(xí)：它們將自主準(zhǔn)備上下文，從中學(xué)習(xí)并自我鞏固。

這聽上去多么令人興奮！但當(dāng)下我們的目標(biāo)很明確：讓「上下文學(xué)習(xí)」真正走向現(xiàn)實(shí)！

寫于 2026 年 1 月，正值新年來臨之際。

[1] CL-bench: A Benchmark for Context Learning