北京
想象一下，你在教一個學生寫作文。
傳統(tǒng)做法是：你給他十篇范文，讓他照著學。
這叫“模仿學習”。
但很快你發(fā)現——當他真正面對一個沒見過的題目時，立刻就懵了。
于是你換了種方法。讓他自己寫，然后你在旁邊指出每一個句子的優(yōu)劣、邏輯是否通順、語氣是否合適。
這種“邊寫邊教”的方式，更像真正的學習。
這，正是 Thinking Machines Lab 最新研究《On-Policy Distillation》的核心靈感所在。（原文鏈接：https://thinkingmachines.ai/blog/on-policy-distillation/）它提出了一種全新的 AI 訓練方式——讓模型在“自己行動”的軌跡上，被實時指導、被動態(tài)優(yōu)化。
這聽起來簡單，卻可能改寫整個大模型的訓練范式。
1
一、為什么是他們：從 OpenAI 走出的“思考機器”
Thinking Machines Lab 是 Mira Murati（前 OpenAI CTO）離職后創(chuàng)辦的新實驗室。
她和團隊成員 John Schulman、Barret Zoph 都是推動 ChatGPT 與強化學習革命的關鍵人物。
他們的研究方向有一個共同點：讓模型更懂得“如何學習”。
這篇論文的作者 Kevin Lu、John Schulman、Horace He 等人，延續(xù)了他們在 RLHF（人類反饋強化學習）和蒸餾訓練上的積累。
他們在問一個根本問題——“AI的學習方式是不是錯了？”
1
二、舊方法的瓶頸：AI其實是在“死記硬背”
當我們說“訓練一個大模型”，其實是兩步：
讓模型看大量人類寫的文本（稱為 SFT：監(jiān)督微調）。
再通過 RLHF（強化學習）讓它學會“人類喜歡的回答方式”。
問題在于——這兩步并不協(xié)調。
SFT 教的是“模仿舊答案”；RLHF 強調“探索新答案”。
前者像“死記硬背”，后者像“自我實踐”。
模型經常在兩者之間搖擺：要么過度順從人類樣本，要么冒進地亂試。
1
三、新方法：讓模型“邊干邊學”
Thinking Machines Lab 提出的 On-Policy Distillation（政策內蒸餾），是想把這兩種學習方式“融合”成一種更自然的狀態(tài)。
傳統(tǒng)蒸餾（Distillation）是：
老師（大模型）寫出一份完美答案，學生照著學。
而他們的新方法是：
學生自己先寫一遍，老師實時給出每一步的分數、建議、改進方向。
這個過程在強化學習里叫 On-Policy——模型在“自己生成的軌跡”上學習，而不是在別人給的現成答案上學習。
于是，模型學到的不再是“理想的句子”，而是“如何自己到達理想的句子”。
可以把它理解為：不再教模型“結論”，而是教它“思考的路徑”。
1
四、核心創(chuàng)新：從“獎勵”到“打分”
RLHF 的本質是“獎勵”（Reward）：模型生成一整段答案，評審模型給它一個分。
但這有個問題——只有整段結束后才能反饋，太慢了。
On-Policy Distillation 把反饋粒度縮小到“每個token”（每一個生成的字詞）。
就像作文老師不再只給你打總分，而是逐句標注“這里句式優(yōu)美”“這里邏輯混亂”。
這種“密集監(jiān)督”（dense supervision）方式讓學習效率成倍提升。
論文作者形象地稱之為“用微鏡頭監(jiān)督AI的思考過程”。
1
五、結果：更快、更穩(wěn)、更便宜
他們用這個方法訓練模型后，在 AIME’24 數學基準測試上，性能超過了傳統(tǒng) RLHF 模型。
同時算力需求更低、訓練更穩(wěn)定、結果更可復現。
一句話總結就是：以前我們靠“懲罰與獎勵”教AI做人，現在我們靠“示范與糾錯”教AI成長。
1
六、為什么重要：AI 訓練的“學習論轉向”
在更宏觀的層面，這篇論文揭示的是 AI學習方式的哲學轉折。
過去幾年我們用海量數據喂模型，希望它靠統(tǒng)計規(guī)律“模仿人類”。但 Thinking Machines 團隊認為，真正的智能不在模仿，而在于反思自己的行為。
“On-Policy Distillation” 讓 AI 有機會在自己的軌跡上打磨自己——
這讓“自我改進型智能體”（self-improving agent）成為現實的一步。
未來，當你的AI助手能在每天的任務中積累經驗、吸收教訓、變得越來越懂你，也許正是這種“on-policy”學習在默默起作用。
1
七、所以呢？
在AI訓練的世界里，思維方式的改變往往比算力更值錢。
Thinking Machines Lab 的這篇論文不是在造一個更大的模型，而是在重新定義“學習”這件事的意義。
當AI開始自己教自己，我們也許正見證著“智能的第二次覺醒”——第一次是機器學會說話，第二次，是它學會思考“我為什么這么說”。
整理：周華香
點個“愛心”，再走 吧
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
