難樣本篩選破局SFT依賴，GRPO-only斬獲感知推理雙最優

中興通訊AIM團隊 投稿
量子位 | 公眾號 QbitAI

一組被AAAI 2026接收的新實驗，一口啃向了多模態大模型后訓練的硬骨頭

在視覺推理與視覺感知兩大類基準測試上，只用中等+困難樣本訓練、且完全不做SFT的GRPO-only范式，反而拿下幾乎所有最優成績。

MathVista最高68.3、OCRBench達77.8、MMMU提升0.107、MMStar提升0.083，相比全量數據訓練大幅躍升，甚至全面超越傳統的“SFT+RL”雙階段范式。

結論直截了當：

• 多模態后訓練環節里，樣本難度比訓練范式更關鍵，而SFT并非RL的必要前置步驟。

這項由中南大學&中興通訊團隊完成的新研究，為多模態大模型找到了可量化、可操作的“難度采樣”標準，并第一次系統性驗證了一個過去被視為“不可能有效”的訓練路線，即僅靠RL強化策略（GRPO），就能獨立完成多模態能力的優化。

而研究切入點，正是多模態后訓練長期卡住的兩個老問題。

第一，缺乏可量化的樣本難度指標。

多模態數據包含視覺與文本雙重特征，文本模態難度常無法直接表征多模態樣本整體難度（如OCR、目標檢測等任務），因此無法沿用純文本數據的難度劃分方式，導致難以篩選對模型優化具有高價值的訓練樣本。

第二，訓練范式無法協同優化感知與推理能力。

現有方法多采用“監督微調+強化微調”的固定流程，且大多數研究側重于提升模型的推理性能，但多模態場景常常既包含視覺推理類（數學、科學、圖表分析等），又包含視覺感知類（目標檢測、目標定位、計數、OCR等），單一范式可能無法適配兩類數據的訓練需求，導致模型在感知或推理任務中出現性能偏科。

針對這些痛點，團隊從模態內敏感性與跨模態交互復雜度雙重視角，提出PISM（漸進式圖像語義掩碼）與CMAB（跨模態注意力平衡）兩種難度量化策略，并設計分層訓練框架，驗證了強化學習獨立優化多模態能力的可行性，為多模態后訓練提供全新技術路徑。

核心方法：難度感知采樣策略與訓練框架

研究人員提出了2種互補的難度量化策略，分別從視覺敏感性與跨模態注意力平衡維度來實現樣本難度分層。

漸進式圖像語義掩碼（PISM）

下面是漸進式圖像語義掩碼（PISM，Progressive Image Semantic Masking）方法示意圖。

從無掩碼（mask_ratio = 0.0）到重度掩碼（mask_ratio > 0.7），研究團隊漸進式地對圖像的不同部分進行掩碼操作。

每張掩碼圖像通過隨機隱藏一定比例的像素區域，該過程模擬了不同程度的視覺信息損失。

隨后在這些掩碼圖像上評估模型性能，以了解模型為了準確推理對視覺細節的依賴程度。

如圖所示，PISM基于“難樣本對視覺信息損失更敏感”的核心假設，通過系統的圖像退化實驗量化樣本難度，具體流程如下：

1、掩碼設計。

對圖像-文本樣本對s=(I，Q)，設置掩碼比例序列Λ={λi|λi=0.0,0.1,…,0.9}，模擬從無退化(λ=0.0)到重度退化(λ=0.9)的視覺信息損失場景。

2、性能評估。

對每個掩碼比例λi

，生成擾動圖像

（M(·)

為隨機像素掩碼操作），輸入模型得到預測結果

，通過二元指標

（1表示預測正確，0表示錯誤）評估性能。

3、魯棒性計算。

為降低隨機性影響，每個掩碼比例重復實驗K=10次，計算魯棒準確率

4、難度劃分。

定義失敗閾值

，據此將樣本分為4類：

跨模態注意力平衡（CMAB）

下面是跨模態注意力平衡（CMAB，Cross-Modality Attention Balance）方法示意圖。

對于每個生成token，我們計算其在所有Transformer層上對輸入文本token和圖像token的平均注意力分數，然后對所有生成的token的這些分數取平均值。

(N) 代表Transformer的總層數。

如上圖所示，CMAB通過分析模型生成響應時對文本和對圖像的注意力之比，評估跨模態交互復雜度，具體邏輯如下：

1、注意力分解。

對輸入的圖像

與文本

計算模型生成每個響應token y

t

時，在第l層Transformer的跨模態注意力權重

，并分解為圖像注意力總和

與文本注意力總和

2、注意力平衡比計算。

定義跨層的token級注意力平衡比

，為降低層間噪聲，排除首末層（主要負責輸入編碼與輸出解碼），計算幾何均值

（ε≈10

-8避免數值不穩定）。

3、樣本級平衡比。

對所有響應token取算術平均，得到樣本級注意力平衡比

4、難度劃分。

基于

區分樣本難度：

分層訓練框架與實驗設計

基于PISM與CMAB的難度分層結果，設計兩種后訓練范式進行對比。

第一種，GRPO-only范式。

直接對難度分層后的樣本（為中等+困難樣本）應用組相對策略優化（GRPO，Group Relative Policy Optimization,），無SFT預處理。

第二種，SFT+GRPO范式。

先對篩選后的樣本（如困難樣本、中等樣本）進行SFT，再對目標樣本應用GRPO，并測試SFT階段樣本難度順序（如SFT(困難)+GRPO(中等)、SFT(中等)+GRPO(困難)）對模型性能的影響。

實驗配置如下：

• 基礎模型：Qwen2.5VL-7B（多模態大模型，支持視覺-文本聯合推理）；
• 硬件環境：5個節點（每節點8×80GB NVIDIA A800 SXM4 GPU）+2個節點（每節點8×96GB NVIDIA H20 GPU）；
• 框架工具：SFT基于LLaMA-Factory實現，GRPO基于Swift框架實現，評估基于OpenCompass框架，采用GPT-4o-mini作為統一評分器；
• 基準數據集：涵蓋6類通用場景的多模態任務。

實驗結果與分析

PISM策略下的性能對比（以視覺推理數據集為例）

下表展示了PISM分層后，不同訓練范式在視覺推理數據集上的性能。

（注：表1，通過PISM在視覺推理數據集上使用SFT+GRPO和僅使用GRPO的訓練結果比較，*表示次優結果，加粗表示最優結果）

從表中可觀察到——

第一，GRPO-only(中等+困難)范式優勢顯著。

在MathVista（68.300）、OCRBench（77.800）、MMMU（0.547）、MMStar（0.639）4項指標上均取得最優，較全量數據GRPO-only提升幅度最大（MathVista提升14.9分，MMMU提升0.107）；

第二，SFT階段未帶來增益。

所有SFT+GRPO范式的性能均低于GRPO-only(中等+困難)，且SFT階段樣本難度順序對結果影響較?。ㄈ鏢FT(中等)+GRPO(困難)與SFT(困難)+GRPO(中等)性能接近），說明SFT可能引入“偽思維鏈”（Pseudo-CoT），限制模型真實推理能力；

第三，隨機樣本性能有限。

GRPO-only(隨機樣本)雖在部分指標（如MMVet）表現較好，但整體低于中等+困難樣本訓練結果，驗證了難度分層對樣本質量篩選的有效性。

CMAB策略下的性能對比（以視覺感知數據集為例）

下表展示了CMAB分層后，不同訓練范式在視覺感知數據集上的性能。

（注：表2，通過CMAB在視覺感知數據集上對采用SFT+GRPO和GRPO-only兩種訓練方式的結果對比，*表示次優結果，加粗表示最優結果）

從表中可觀察到CMAB在推理任務中優勢凸顯——

GRPO-only(中+困難)在MathVista（68.300）、MMVet（50.367）、MMMU（0.550）、MMStar（0.629）上表現最優，尤其在需要跨模態深度融合的任務中（如MathVista），較SFT+GRPO范式提升1.5-2.5分，驗證了CMAB對跨模態交互復雜度評估的有效性。

推翻“SFT是RL后訓練必要前提”的傳統認知關鍵結論

通過以上實驗，研究團隊得出了一系列結論。

首先，難度感知采樣是核心。

無論PISM還是CMAB，基于中等+困難樣本的GRPO-only訓練均顯著優于全量數據、隨機樣本及SFT+GRPO范式，證明“數據質量（難度分層）比數量更重要”。

其次，GRPO-only范式可行。

實驗推翻了“SFT是RL后訓練必要前提”的傳統認知，GRPO-only在排除SFT后，極大地簡化了訓練流程，提高了模型后訓練效率，為多模態模型通用訓練提供新思路。

該研究提出多模態樣本難度量化標準，首次從視覺敏感性與跨模態注意力平衡兩個維度，建立可量化的多模態樣本難度評估體系，解決了多模態數據“難篩選”問題。

通過聚焦多模態后訓練的“樣本篩選”核心問題，為多模態大模型性能提升提供了全新技術路徑，也為后續研究打開了“數據驅動優化”的新視角。

最后，研究團隊還提出了三個未來研究方向：

1. 動態難度調整：當前難度評估為靜態，未來可結合模型訓練過程動態更新樣本難度，實現自適應課程學習；
2. 多策略融合：探索PISM與CMAB的聯合采樣策略，進一步提升樣本篩選精度；
3. 更大模型驗證：在百億參數級多模態模型上驗證方法有效性，探索難度感知采樣在更大尺度模型中的泛化性。

目前，研究代碼已開源，擴展版本包含詳細實驗配置，為后續研究提供可復現的技術基礎。

期待更多研究者基于此方法，推動多模態AI在醫療、教育、自動駕駛等領域的實際應用。

arXiv：
https://arxiv.org/abs/2511.06722
GitHub：
https://github.com/qijianyu277/DifficultySampling