中科大與阿里通義實驗室：揭秘大語言模型訓練中"熵動力學"密碼

這項由中國科學技術大學和阿里巴巴通義實驗室共同開展的研究于2025年發表，研究編號為arXiv:2602.03392v1，為理解大語言模型強化學習微調過程中的熵動力學提供了重要的理論框架。

一、初識"熵"這個神秘概念

當我們訓練一個大語言模型時，就像是在教一個聰明的學生如何更好地回答問題。在這個過程中，有一個叫做"熵"的概念扮演著關鍵角色。熵聽起來很學術，但其實可以理解為模型回答問題時的"創造性程度"。

回到一個具體場景：假設你問一個剛開始學習的模型"天空是什么顏色的？"，一開始它可能會給出各種各樣的答案——藍色、紅色、綠色、紫色等等，這時候它的"創造性"很高，也就是熵很高。經過訓練后，它學會了大多數情況下應該回答"藍色"，這時它的答案變得更加確定，創造性降低了，熵也就降低了。

研究團隊發現，在強化學習微調過程中，模型的熵變化遵循著一定的規律，就像水從高處流向低處一樣自然而必然。他們觀察到一個普遍現象：當模型接受強化學習訓練時，它往往會快速失去創造性，變得過于"保守"，總是給出最安全、最常見的答案。這就像一個原本富有想象力的學生，經過應試教育后變得只會標準答案一樣。

這種現象并非偶然。研究團隊通過深入分析發現，模型在訓練過程中會逐漸偏向于產生高概率的"安全"回答，因為這樣做更容易獲得獎勵。然而，這種趨勢如果不加控制，會導致模型失去探索新答案的能力，最終變得創造力匱乏。就好比一個廚師如果總是做最受歡迎的幾道菜，雖然不會出錯，但也失去了創新菜品的機會。

二、破解熵變化的數學密碼

研究團隊就像數學偵探一樣，試圖找出控制這種創造性變化的精確規律。他們建立了一套理論框架，能夠準確預測在訓練過程中模型的創造性會如何變化。

這個理論的核心是一個叫做"判別分數"的概念。可以把這個分數想象成一個"創造力指示器"。當模型考慮某個詞匯時，這個指示器會告訴我們：如果選擇這個詞，模型的整體創造性會增加還是減少。

具體來說，研究團隊發現了一個重要的數學關系：熵的變化等于負的判別分數乘以更新強度。這聽起來很抽象，但可以用一個烹飪的比喻來理解。假設你在調制一道湯的口味，判別分數就像是你的味覺評判——它告訴你某種調料會讓湯變得更復雜還是更單調。更新強度則像是你加調料的分量。如果判別分數是正的（意味著會增加復雜性），但你的操作是減少這個調料（負的更新），那么湯的復雜性就會降低。

研究團隊進一步將這個理論擴展到實際的訓練算法中。他們分析了一種名為GRPO的訓練方法，這是目前廣泛使用的強化學習算法之一。通過數學推導，他們得出了一個優雅的結論：在理想的訓練條件下，所有詞匯對創造性的凈貢獻平均來說是零。這意味著，如果訓練過程完全隨機和平衡，模型的創造性理論上應該保持穩定。

然而，現實往往不是這樣。在實際訓練中，模型傾向于獲得正向獎勵的高概率詞匯，這打破了理想的平衡狀態。就像一個天平，如果一邊放的砝碼總是比另一邊重，天平就會持續傾斜。這種不平衡導致了普遍觀察到的熵快速下降現象。

三、設計熵控制的實用方法

基于理論分析的深入理解，研究團隊提出了兩種實用的方法來控制模型訓練過程中的創造性變化，就像為失控的汽車安裝了剎車系統。

第一種方法叫做"批次歸一化熵判別器裁剪"。這個名稱聽起來復雜，但原理相當直觀。在每個訓練批次中，研究團隊會計算所有詞匯的判別分數，然后找出那些會對創造性產生極端影響的"異常詞匯"。就像在一群學生中找出那些特別調皮或特別內向的孩子一樣，這些異常詞匯要么會過度增加模型的隨機性，要么會過度降低它的創造性。

這種方法的具體操作是：首先計算批次中所有詞匯判別分數的平均值和標準差，然后設定一個閾值，只保留那些判別分數在正常范圍內的詞匯進行訓練，而忽略那些過于極端的詞匯。這樣做的效果就像是在合唱團中，讓音調過高或過低的聲音暫時靜音，確保整體和諧。

第二種方法更加精確，叫做"詞匯歸一化熵判別器裁剪"。這種方法不僅考慮詞匯在當前批次中的表現，還考慮它在整個詞匯表中的相對位置。就像評判學生成績時，不只看這次考試的表現，還要考慮他在全班中的排名一樣。這種方法通過計算每個詞匯的判別分數與整個詞匯分布期望值的差異，更精確地識別那些會破壞創造性平衡的詞匯。

實驗驗證顯示，這兩種方法都能有效地穩定模型訓練過程中的創造性水平。更重要的是，它們不僅防止了創造性的過度喪失，還提升了模型的實際性能。在數學推理、編程和工具使用等任務上，使用這些方法訓練的模型都表現出了更好的探索能力和解決問題的多樣性。

四、重新理解現有訓練方法的奧秘

有了這套理論框架，研究團隊回過頭來重新審視現有的各種訓練方法，就像有了新的透鏡重新觀察熟悉的景象，發現了許多之前不為人知的內在機制。

以前，研究人員在訓練大語言模型時會使用各種技巧和方法，但大多數時候他們并不完全理解這些方法為什么有效。這就像是按照祖傳秘方做菜，知道步驟但不知道每一步的科學原理。現在，通過熵動力學的理論框架，這些"秘方"的科學依據終于被揭示出來。

研究團隊將現有的熵控制方法歸類為三大類。第一類是"裁剪機制"，這類方法通過限制模型參數的更新幅度來穩定訓練過程。過去人們知道這樣做有效，但不知道為什么?，F在理論分析表明，裁剪機制實際上是在防止那些概率較低的詞匯對熵產生過度影響。當一個詞匯的概率發生劇烈變化時，就像琴弦突然繃得太緊或太松，會破壞整個樂曲的和諧。裁剪機制就像是給琴弦加裝了限制器，防止過度的調節。

第二類是"熵正則化"方法。這類方法直接在訓練目標中加入熵相關的獎懲機制，就像在考試評分標準中加入了"創新性"這一項。研究發現，這些方法的有效性來自于它們能夠識別和獎勵那些有助于保持模型創造性的詞匯選擇。通過理論分析，研究團隊解釋了為什么只對具有高熵值的前20%詞匯進行訓練會帶來性能提升——這些詞匯恰好是那些能夠增加模型創造性的關鍵元素。

第三類是"概率加權更新"方法。這類方法根據詞匯的概率高低給予不同的訓練權重。理論分析揭示，這種方法的本質是在重新平衡創造性增強和創造性抑制之間的力量對比。低概率詞匯通常與創造性增強相關，而高概率詞匯則與創造性抑制相關。通過調整它們的訓練權重，可以有效控制整體的創造性變化趨勢。

這種統一的理論視角不僅解釋了為什么這些看似不同的方法都能起作用，還為未來設計更有效的訓練策略提供了指導原則。就像發現了萬有引力定律后，人們不僅理解了蘋果為什么會落地，還能預測行星的運行軌跡一樣。

五、實驗證實理論的威力

理論的價值最終要通過實踐來檢驗。研究團隊設計了一系列精心控制的實驗，就像科學家驗證新發現的物理定律一樣嚴謹。

首先，他們驗證了判別分數確實能夠準確預測創造性的變化方向。在實驗中，他們故意只訓練那些判別分數為正的詞匯，結果發現模型的創造性確實按照理論預測的方向變化。當他們只訓練判別分數為負的詞匯時，創造性的變化方向完全相反。這就像按照新配方調制雞尾酒，每一種配料都按照預期改變了飲品的最終口感。

接下來，他們在實際的數學推理任務上測試了新提出的兩種控制方法。實驗使用了多個具有挑戰性的數學數據集，包括AIME24、AIME25和DAPO500。結果顯示，使用熵控制方法訓練的模型不僅在準確率上有所提升，更重要的是在解題的多樣性上有了顯著改善。

具體來說，在7B參數的Qwen2.5模型上，批次歸一化方法將AIME24的準確率從16.88%提升到19.69%，AIME25從15.42%提升到16.35%。雖然數字看起來提升幅度不大，但在這些極具挑戰性的數學競賽題目上，每一個百分點的提升都代表著模型能力的顯著進步。

更令人興奮的是，研究團隊分析了模型在不同問題上的表現分布，發現了訓練方法對模型行為模式的深層影響。傳統的訓練方法會導致模型在某些問題上完全無法求解，而在另一些問題上則能夠百分之百正確。這種兩極分化的表現模式反映了模型過度偏向安全策略的傾向。

相比之下，使用新方法訓練的模型表現出更加均衡的問題解決能力。它們很少出現完全無法解決的問題，同時也避免了過度依賴記憶化答案的傾向。這種變化類似于一個學生從只會做標準題型轉變為具備舉一反三能力的過程。

研究團隊還在不同規模的模型和不同類型的任務上驗證了方法的通用性。從4B參數的小模型到14B參數的大模型，從數學推理到代碼生成，新方法都展現出了一致的改善效果。這證明了理論框架的普遍適用性，就像發現了一個能夠解釋多種現象的統一原理。

六、探索與利用的微妙平衡藝術

在機器學習領域，有一個經典的哲學問題：模型應該更多地"探索"新的可能性，還是"利用"已知的有效策略？這個問題就像人生中的選擇一樣——是冒險嘗試新事物，還是堅持做擅長的事情？

研究團隊通過詳細分析發現，熵動力學為理解這種探索與利用的平衡提供了新的視角。傳統的強化學習訓練往往過分偏向利用策略，導致模型變得過于保守。這就像一個投資者因為害怕風險而只購買最穩妥的理財產品，雖然不會虧損，但也錯過了更大的收益機會。

新提出的熵控制方法實際上是在重新校準這種平衡。通過識別和保護那些促進探索的詞匯選擇，同時抑制過度保守的傾向，模型學會了在安全性和創新性之間找到最佳平衡點。

實驗數據生動地展示了這種平衡的改善效果。研究團隊統計了模型在處理不同難度問題時的成功率分布。傳統訓練方法下的模型表現出明顯的兩極化：要么完全解決不了（成功率為0），要么輕松解決（成功率為100%），中等難度問題的表現相對較少。

使用新方法訓練的模型則表現出更加合理的能力分布曲線。它們在各個難度層次的問題上都有相對均衡的表現，這表明模型學會了根據問題的復雜程度調整自己的策略，而不是簡單地采用一刀切的方法。

這種改進不僅體現在量化指標上，還體現在模型生成內容的質量上。研究團隊觀察發現，使用新方法訓練的模型在解決數學問題時會嘗試多種不同的解題路徑，即使最終答案相同，解題過程也展現出更多的創造性和邏輯性。這種多樣化的問題解決方式正是人類專家所具備的重要特征。

七、理論框架的廣泛啟示

這項研究的影響遠不止于提出了幾個新的訓練技巧。它建立的理論框架為整個大語言模型訓練領域提供了新的思考方式，就像牛頓力學為物理學奠定基礎一樣重要。

從更廣的角度來看，熵動力學理論揭示了人工智能訓練過程中的一個根本性問題：如何在優化性能的同時保持系統的多樣性和適應性。這個問題不僅存在于語言模型中，在其他類型的AI系統中同樣普遍存在。

研究團隊的理論分析表明，導致創造性喪失的根本原因在于訓練過程的不對稱性。當模型因為產生"正確"答案而獲得獎勵時，它會逐漸學會避免那些可能導致錯誤的探索性行為。這種學習模式在短期內確實能夠提升性能，但長期來看會限制模型的適應能力。

這個發現對于AI安全和可控性研究也具有重要意義。過度訓練可能會讓模型變得過分保守，在面對新型問題或異常情況時缺乏必要的靈活性。就像一個只會按照固定程序工作的機器人，在遇到程序中沒有覆蓋的情況時就會束手無策。

更有趣的是，研究團隊發現的數學規律具有出人意料的普遍性。無論是在7B參數的小模型還是14B參數的大模型上，無論是處理數學問題還是編程任務，熵動力學的基本原理都保持一致。這暗示著可能存在某種支配AI學習過程的基礎性數學定律，就像熱力學定律支配著物理世界的能量轉換一樣。

研究結果還對AI系統的可解釋性研究提供了新的工具。通過監控訓練過程中的熵變化，研究人員可以更好地理解模型的學習狀態和潛在問題。這就像給醫生提供了一個新的診斷指標，能夠更早地發現和預防訓練過程中的"病癥"。

八、面向未來的技術展望

基于這項研究建立的理論基礎，未來的大語言模型訓練技術有望獲得更多突破性進展。研究團隊已經證明，通過精確控制訓練過程中的熵動力學，可以顯著改善模型的性能和行為特征。

展望未來，這種理論指導的訓練方法可能會發展出更多精細化的變種。比如，針對不同類型的任務設計專門的熵控制策略，或者開發能夠自適應調整控制參數的智能算法。就像現代醫學從"千人一藥"發展到個性化治療一樣，AI訓練也可能向更加個性化和精準化的方向發展。

另一個有前景的發展方向是將熵動力學理論擴展到多模態模型的訓練中。目前的研究主要關注文本生成，但同樣的原理可能適用于圖像生成、音頻處理等其他AI任務。這將為構建更加通用和靈活的人工智能系統提供理論支撐。

研究團隊還指出，當前的工作只是揭示了熵動力學的冰山一角。在實際的大規模模型訓練中，參數之間的相互作用遠比單詞匯層面的分析更加復雜。未來的研究需要開發更加精密的數學工具來描述這些高維度的相互作用模式。

從實用角度來看，這項研究為AI公司和研究機構提供了立即可用的改進方法。相比于需要大量計算資源的架構創新，熵控制方法的計算開銷相對較小，可以在現有的訓練流程中輕松集成。這使得這項技術有望快速在工業界得到應用。

更重要的是，這種基于理論分析的方法學為AI研究提供了新的范式。過去，很多AI技術的改進依賴于經驗試錯和直覺判斷?，F在，研究人員可以基于數學理論預測和設計改進方案，這將大大提高研究效率和成功率。

說到底，這項由中科大和阿里通義實驗室聯合完成的研究不僅解決了大語言模型訓練中的一個具體問題，更重要的是為這個快速發展的領域提供了新的理論基礎和方法論指導。它告訴我們，即使在看似復雜的AI系統中，依然存在可以被數學精確描述和控制的基本規律。

對于普通人來說，這項研究意味著未來的AI助手將變得更加聰明和有用。它們不再是只會給出標準答案的機器，而是能夠在安全性和創造性之間找到完美平衡的智能伙伴。無論是幫助學生解決復雜的數學問題，還是協助程序員開發創新的代碼方案，這些經過改進訓練的AI模型都將展現出更加出色的表現。

歸根結底，這項研究向我們展示了科學理論的強大力量：通過深入理解現象背后的數學原理，我們不僅能夠解釋已知的問題，還能夠預測和創造更好的解決方案。在人工智能這個日新月異的領域中，這樣的理論突破將為未來的技術發展指明方向，讓AI系統變得更加智能、可靠和有用。

有興趣深入了解這項研究技術細節的讀者，可以通過論文編號arXiv:2602.03392v1查詢獲取完整的研究論文。

Q&A

Q1：什么是大語言模型訓練中的熵動力學？

A：熵動力學是指在大語言模型強化學習訓練過程中，模型輸出多樣性（創造性）的變化規律。就像訓練會讓學生的答題方式從多樣化逐漸變得標準化一樣，模型在訓練中也會失去創造性，變得過于保守。研究團隊通過數學理論精確描述了這種變化過程。

Q2：為什么大語言模型在訓練后會變得缺乏創造性？

A：這是因為模型在訓練中傾向于選擇那些更容易獲得獎勵的"安全"答案，就像學生為了考試高分而只背標準答案一樣。研究發現，模型會逐漸偏向產生高概率的常見回答，雖然這樣做不容易出錯，但也失去了探索新穎解決方案的能力。

Q3：中科大和阿里提出的熵控制方法如何改善模型性能？

A：他們提出了兩種裁剪方法來識別和控制那些對創造性產生極端影響的詞匯。就像在合唱中讓音調過高或過低的聲音暫時靜音一樣，這些方法能夠過濾掉會破壞創造性平衡的異常詞匯，從而讓模型在保持準確性的同時維持適度的探索能力，最終提升解決復雜問題的多樣性和效果。