多獎勵場景全面領先！清華新作高熵驅動，強化學習效率飆升

新智元報道

編輯：LRST

【新智元導讀】面對流模型強化學習中獎勵信號稀疏、歸因模糊的核心痛點，清華大學團隊提出熵感知的E-GRPO框架，通過合并低熵步驟、聚焦高熵探索，在單獎勵與多獎勵場景下均實現性能突破，相比主流方法HPS指標提升10.8%，ImageReward指標最高提升32.4%，為視覺生成的人類偏好對齊提供了更高效的解決方案。

近年來，擴散模型與流匹配模型等生成式 AI 技術在視覺內容創作領域取得突破性進展，從藝術設計到醫療成像，應用場景不斷拓展。而強化學習從人類反饋（RLHF）技術的引入，更是讓生成模型能夠精準對齊人類偏好，大幅提升內容質量。

然而，當前基于分組相對策略優化（GRPO）的流模型強化學習方法，在多步去噪過程中面臨嚴重的獎勵信號稀疏與歸因模糊問題，低熵步驟的探索價值有限，卻占用大量計算資源，導致模型優化效率低下、偏好對齊效果不佳。

近日，清華大學團隊提出熵感知分組相對策略優化（E-GRPO）框架，通過深入分析去噪步驟的熵特性，創新性地將連續低熵步驟合并為高熵有效步驟，同時保留確定性ODE采樣的穩定性，成功解決了獎勵歸因模糊難題，實現了更高效的探索與更精準的偏好對齊。

論文地址：https://arxiv.org/abs/2601.00423v1

代碼地址：https://github.com/shengjun-zhang/VisualGRPO

模型地址：https://huggingface.co/studyOverflow/E-GRPO

E-GRPO研究背景

主流GRPO-based方法在流模型訓練中，會對所有去噪時間步進行均勻優化，但清華大學團隊通過實驗發現，不同去噪步驟的探索價值存在顯著差異：

高熵步驟具有更大的探索空間，能夠生成多樣性豐富、獎勵差異明顯的樣本，是模型優化的核心驅動力；

低熵步驟的樣本差異極小，獎勵信號區分度低，類似給最終圖像添加10%隨機噪聲的效果，不僅難以引導有效優化，還會因累積隨機性導致獎勵歸因模糊 —— 某一步的有效探索可能被后續軌跡偏差「懲罰」，使模型優化方向跑偏。

實驗數據顯示，僅優化前8個高熵步驟的模型性能，顯著優于優化全部16個步驟的模型，證實了低熵步驟的「無效性」。如何充分利用高熵步驟的探索價值，同時避免低熵步驟帶來的干擾，成為提升流模型強化學習效率的關鍵。

熵對采樣步驟的影響

E-GRPO框架通過熵驅動的步驟合并策略與多步分組歸一化優勢估計兩大核心創新。

1. 熵驅動自適應步驟合并：低熵「打包」，高熵聚焦

團隊設計了自適應熵閾值，將所有去噪步驟劃分為高熵組與低熵組。對于連續的低熵步驟，通過合并形成單一高熵有效步驟，在保留總擴散效果的前提下，將多個低熵 SDE 步驟轉化為一個高熵 SDE 步驟，其余步驟則采用確定性 ODE 采樣。

這種合并策略不僅大幅減少了無效計算，還通過擴大單一步驟的探索范圍提升了熵值，同時避免了多步 SDE 采樣帶來的累積隨機性，讓獎勵信號能夠精準歸因到有價值的探索步驟上。

2. 多步分組歸一化優勢：獎勵信號更密集、更可靠

針對合并后的高熵步驟，E-GRPO引入多步分組歸一化優勢估計方法。在每個合并步驟對應的樣本組內，直接計算組內相對優勢，確保獎勵信號能夠一致歸因到合并步驟，避免了跨步驟的獎勵混淆。這種設計讓模型獲得了更密集、更可靠的反饋信號，能夠快速鎖定優化方向，提升訓練效率與穩定性。

E-GRPO采樣策略

性能亮點

在HPD數據集上，以FLUX.1-dev為骨干模型，在單獎勵和多獎勵兩種設置下，對E-GRPO進行了全面評估，結果顯示其性能超越現有主流方法。

E-GRPO數值結果測評

單獎勵設置下，E-GRPO的HPS指標達到0.391，相比DanceGRPO提升10.8%，ImageScore指標達到1.324，穩居同類方法第一；多獎勵設置下（有效避免獎勵作弊），E-GRPO不僅保持HPS指標領先，還在跨域指標上實現突破：ImageReward提升32.4%，PickScore提升4.4%，展現出更強的泛化能力。

訓練獎勵曲線

E-GRPO的訓練獎勵曲線呈現更快的早期增長與更平滑的收斂趨勢，相比基線方法能夠更快達到穩定性能，同時因減少了無效步驟的計算，降低了訓練成本。

可視化結果

在定性對比中，E-GRPO生成的內容更精準貼合文本提示，兼具語義一致性與細節豐富度：

對于「裝扮成水手的木瓜」提示，E-GRPO成功將木瓜結構與人形服飾自然融合，而基線方法或生成「手持木瓜的人」，或出現視覺邏輯混亂；對于「帶眼睛和微笑的勺子」提示，E-GRPO在保留勺子金屬質感的同時，生成了表情生動、視覺協調的擬人化效果，其他方法則存在面部融合不自然或材質失真問題。

總結與展望

E-GRPO通過深入挖掘去噪步驟的熵特性，創新性地提出步驟合并與分組優勢估計方法，成功解決了流模型強化學習中獎勵稀疏與歸因模糊的核心痛點，為視覺生成模型的人類偏好對齊提供了更高效、更穩定的解決方案。

未來研究將聚焦于更魯棒的獎勵模型設計。當前獎勵模型仍存在「獎勵作弊」風險，模型可能通過獎勵函數漏洞獲取高分，而非真正滿足人類偏好。開發能夠精準捕捉審美、語義一致性、上下文適配性等復雜人類偏好的獎勵模型，將是視覺生成強化學習的重要發展方向。

E-GRPO的提出，不僅為流模型的優化提供了新范式，也為其他生成模型的強化學習訓練提供了重要啟發：基于熵等物理特性引導探索，或許是提升AI模型效率的關鍵路徑。

參考資料：

https://arxiv.org/abs/2601.00423v1