這題是否需要用圖思考？自適應(yīng)思考模式切換助力通用視覺推理提升

本文來自復(fù)旦大學(xué)和阿里巴巴未來生活實(shí)驗(yàn)室，已中稿 ICLR 2026。

目前的視覺推理方法衍生出了多種思考模式，主要有和 LLM 一致的純文本思考模式以及更加貼近圖片的用圖思考。兩種推理模式在不同的領(lǐng)域各有所長，但現(xiàn)有的工作聚焦于單個(gè)思考模式，無法充分利用兩個(gè)模式之間的互補(bǔ)性。

因此，本文提出了 mixture-of-visual-thoughts，一種自適應(yīng)的推理范式：目標(biāo)是將不同推理模式整合到一個(gè)模型內(nèi)部并引導(dǎo)其進(jìn)行自適應(yīng)的模式選擇。為了讓模型學(xué)習(xí)這樣的推理范式，研究者引入了一個(gè)兩階段的學(xué)習(xí)框架 AdaVaR，通過 SFT 學(xué)習(xí)不同的推理模式，并設(shè)計(jì)了一個(gè)專門的 AdaGRPO 算法來在強(qiáng)化學(xué)習(xí)設(shè)定下引導(dǎo)模型學(xué)習(xí)如何根據(jù)問題選擇合適的推理模式。

• 論文標(biāo)題：Mixture-of-Visual-Thoughts:Exploring Context-Adaptive Reasoning Mode Selection for General Visual Reasoning
• 論文鏈接：https://arxiv.org/pdf/2509.22746
• 代碼鏈接：https://github.com/Future-Living-Lab/mixture-of-visual-thoughts
• 3B & 7B模型：https://huggingface.co/collections/ZejunLi/adavar-models

背景：視覺推理的不同思考模式

目前對于 LVLM (large vision-language model) 的視覺推理方法已經(jīng)有了大量的探索，其中主流推理范式包括以下兩種：

圖 1: 兩種推理模式的直觀對比。

1. 純文本思考模式：和 LLM 一樣，直接用自然語言描述推理過程；

2.Visually-Grounded 思考模式：通過結(jié)構(gòu)化的信息（主要是 bounding box 等坐標(biāo)）將推理路徑中的關(guān)鍵概念與圖片中的區(qū)域?qū)?yīng)起來，進(jìn)一步還可以將對應(yīng)局部區(qū)域進(jìn)一步裁剪縮放后輸入給模型，幫助其利用局部的信息，即 GPT-o3 中提到的 thinking with images 的概念。

這兩種思考模式不同的設(shè)計(jì)也讓它們在不同領(lǐng)域上有不同的優(yōu)劣表現(xiàn)，以下圖幾個(gè)基于 Qwen2.5-VL-7B 的推理模型為例（正數(shù) / 負(fù)數(shù)代表相對基座模型有提升 / 下降）：

圖 2: 基于 Qwen2.5-VL-7B 的不同推理模式模型相對于基座的提升 / 下降。

1.文本思考模式更善于抽象的視覺問題，比如數(shù)學(xué)幾何題，但可能會(huì)帶來幻覺，也在視覺搜索的 V * 上表現(xiàn)不佳（存在過度思考和language bias的問題）；

2.Grounded 模式則更善于定位和利用視覺信息，抑制幻覺，但是在抽象的數(shù)學(xué)問題上提升不明顯（對于抽象的概念，比如角度，大小等，模型對其進(jìn)行 grounding 來提供有效的信息）

受啟發(fā)于此，本文希望探索這樣的一個(gè)問題：“我們是否可以博采眾長，將不同思考模式在不同領(lǐng)域上互補(bǔ)的優(yōu)勢整合起來，來幫助提升通用的視覺推理能力呢？”

Mixture-of-Visual-Thoughts：

自適應(yīng)的視覺推理范式

基于這樣的想法，本文提出了 Mixture-of-Visual-Thoughts（簡稱 MoVT），一種自適應(yīng)的視覺推理范式：我們希望一個(gè)統(tǒng)一個(gè)推理模型（1）能夠具有不同思考模式；（2）同時(shí)能夠根據(jù)問題自適應(yīng)地選擇合適的模式。

本文也基于 MoVT 的范式進(jìn)行了初步的探索，我們提出了 AdaVaR 學(xué)習(xí)框架，通過兩個(gè)階段的訓(xùn)練來構(gòu)建出具有 MoVT 自適應(yīng)推理能力的模型：

1. 我們在推理序列的開始給不同模式引入了對應(yīng)的特殊 prefix token，比如 < text>,

，作為指示符幫助模型區(qū)分不同的推理模式，然后通過 SFT 整合數(shù)據(jù)幫助模型學(xué)習(xí)不同的思考模式；

2. 我們設(shè)計(jì)了一個(gè) AdaGRPO 的強(qiáng)化學(xué)習(xí)算法來引導(dǎo)模型進(jìn)行模式的選擇。i.通過固定模式 prefix token，我們引導(dǎo)模型對同一個(gè)問題使用不同的思考模式生成推理 rollout，ii. 并設(shè)計(jì)了特殊的 advantage 計(jì)算方法：同時(shí)用 rollout-level advantage 增強(qiáng)模型的推理能力，并計(jì)算思考模式之間相對的mode-wise advantage 來引導(dǎo)模型選擇更優(yōu)的思考模式。

具體方法的介紹和細(xì)節(jié)請感興趣的讀者參閱下面一節(jié)。

我們在多個(gè)場景的多個(gè)數(shù)據(jù)集上進(jìn)行了評測，如圖 2 所示，不同于單模式的模型只是在特定場景表現(xiàn)突出，我們的 AdaVaR 模型在多個(gè)任務(wù)上都有一致的提升。從 8 個(gè)數(shù)據(jù)集的平均性能來看，我們的 AdaVaR-3B 能夠媲美 Qwen2.5-VL-7B，AdaVaR-7B 甚至要超越 GPT-4o 的性能。

AdaVaR：思維模式的整合和訓(xùn)練方法

通過 Prefix Token 統(tǒng)一不同思考模式

首先我們希望讓多個(gè)思考模式在同一個(gè)模型內(nèi)共存。為此，我們設(shè)計(jì)了一種統(tǒng)一的推理序列形式，通過特殊的 mode prefix token 來區(qū)分不同模式：

藍(lán)色部分就是mode prefix token，紅色部分則是對應(yīng)的思考過程?；谧曰貧w的生成設(shè)定，我們發(fā)現(xiàn)生成這樣的推理序列相當(dāng)于在一次生成中先后完成了（1）根據(jù)問題生成 prefix token，完成模式選擇；（2）根據(jù)選擇的模式進(jìn)行對應(yīng)的思考。

mode prefix token 的引入幫助模型區(qū)分了不同的模式，也支持了后續(xù) RL 算法中對于思考模式的干預(yù)。

基于這樣統(tǒng)一的形式，我們對兩種模式收集了對應(yīng)的數(shù)據(jù)來進(jìn)行 SFT，這樣模型就具有了以兩種模式思考的能力。

AdaGRPO：引導(dǎo)模型進(jìn)行模式選擇

之后我們希望模型能夠自適應(yīng)地根據(jù)問題選擇合適的推理模式。我們在強(qiáng)化學(xué)習(xí)的環(huán)境下進(jìn)行這樣的學(xué)習(xí)，其核心想法是：對同一個(gè)問題，模型會(huì)分別用兩種模式推理 n 次，與其他方法類似，我們以結(jié)果的正確性為導(dǎo)向，基于規(guī)則判斷答案的正確與否作為獎(jiǎng)勵(lì)函數(shù)。然后基于 rollout 之間，模式之間的比較，設(shè)計(jì)雙層次的 advantage 計(jì)算方式鼓勵(lì)模型生成更好的推理路徑，同時(shí)選擇更優(yōu)的思考模式。

圖 3: AdaGRPO 和 GRPO 的比較。

為此我們設(shè)計(jì)了 AdaGRPO，對 GRPO 做出了如下的優(yōu)化：

1.Prefix-guided Exploration：GRPO 中的 rollout 生成過程是自由的，可能導(dǎo)致模式之間的不均勻探索，比如對同一個(gè)問題生成的 2n 條思考過程都是同一個(gè)模式。所以 AdaGRPO 中，我們通過固定 mode prefix，讓模型前 n 條 和 后 n 條 rollout 分別來自文本思考和 grounded 思考模式；

2.Adaptive Advantage：GRPO 中只計(jì)算了 rollout-level advantageA_i = (r_i - Mean) / Std來提升推理能力，而且給 rollout 里所有的 token 都賦予同樣的 advantage。為了顯式地引導(dǎo)模式的選擇：

a.AdaGRPO 中以相對勝率刻畫了兩個(gè)模式之間相對的優(yōu)勢A_t 和 A_v（A_t = 對于該問題，用文本推理模式得到的 reward 要高于 Grounded 模式的概率，反之亦然）;

b. 如上一節(jié)中設(shè)計(jì)的推理序列形式，mode prefix token 和思考過程承擔(dān)了不同的作用，于是我們也將不同的 advantage賦予不同的 token，將 A_t 和 A_v 賦予 mode prefix token 來鼓勵(lì)模式的選擇，將 A_i 賦予思維過程的 token 來提升模型的推理能力

除此之外我們還設(shè)計(jì)了一個(gè)課程學(xué)習(xí)的數(shù)據(jù)構(gòu)造方法。開始時(shí)模型在簡單混合的數(shù)據(jù)上學(xué)習(xí)（包括幾何題和物體計(jì)數(shù)任務(wù)）；后續(xù)則在多個(gè)任務(wù)混合的數(shù)據(jù)上學(xué)習(xí)。題目也會(huì)從簡單到難，讓模型逐步學(xué)習(xí)從簡單到難的推理以及模式選擇。

實(shí)驗(yàn)結(jié)果

我們基于 Qwen2.5-VL-3B/7B 構(gòu)造了我們的 AdaVaR-3B/7B，在 8 個(gè)數(shù)據(jù)集上與其他基于 Qwen2.5-VL 的推理模型進(jìn)行了比較：

表 1: 不同模型之間的性能。黃色底代表文本推理模型，綠色底為 Grounded 推理，藍(lán)色底為本文的 AdaVaR 模型。

1. 首先評測的結(jié)果也支持了之前背景里提到的論述 --只基于單思考模式的推理模型通常是特定領(lǐng)域的專家，很難有通用的提升，具體來說：i. 文本推理模型，比如 VLAA-Thinker-3B 和 OVR-7B，主要在數(shù)學(xué)任務(wù)上表現(xiàn)好，但是物體相關(guān)問題回答不好；ii. Grounded 推理模型則在 V * 和 POPE 上都表現(xiàn)不錯(cuò)，但數(shù)學(xué)任務(wù)上不理想，只有 DeepEyes 有提升，其他都很難保持基座模型的數(shù)學(xué)推理能力；

2. 而 AdaVaR-3B 和 AdaVaR-7B 是僅有的在所有任務(wù)上都優(yōu)于 Qwen2.5-VL 基座的模型，甚至在 MathVista，WeMath，POPE 上都是最優(yōu)，MMStar 和 MathVision 也是最優(yōu) / 次優(yōu)的表現(xiàn)。

3. 從平均準(zhǔn)確率刻畫的總體性能來看，AdaVaR-3B/7B 都是在對應(yīng)組別最優(yōu)的模型。AdaVaR-3B 是唯一一個(gè)達(dá)到了 Qwen2.5-VL-7B 水平的 3B 模型，而 AdaVaR-7B 甚至要比 GPT-4o 還好。

深入分析自適應(yīng)推理的機(jī)制

進(jìn)一步我們還深入探究了自適應(yīng)推理中的機(jī)制，希望能回答：

表 2: 對于不同模式，不同階段模型的性能。下標(biāo) T 和 G 分別代表固定使用 text 和 grounded 模式。GRD% 代表自適應(yīng)的模型選擇 grounded 模式的比例。

Q1: 在一個(gè)模型內(nèi)是否可以，以及如何學(xué)習(xí)到不同的模式？

首先我們從表 2 可以看到 AdaVaR 模型在 SFT 和 RL 階段上，從性能來看，兩個(gè)模式就展現(xiàn)出了截然不同的表現(xiàn)，類似之前提到的文本模式數(shù)學(xué)能力強(qiáng)，Grounded 模式善于處理物體導(dǎo)向的問題。

Q1.1: 只用一個(gè)模式，提高數(shù)據(jù)的 diversity 是不是就夠了？

A1.1: No。我們用 AdaVaR 相同的數(shù)據(jù)訓(xùn)練了兩個(gè)單思考模式的 baselines，Grounded-SFT-RL 和 Text-SFT-RL。兩個(gè)模型的性能都沒有 AdaVaR 好，說明 MoVT 整合兩種模式的想法是非常有效的。

Q1.2: 兩個(gè)模式在同一個(gè)模型內(nèi)部是否會(huì)互斥？

A1.2: No。同樣比較 Grounded-SFT-RL 和 Text-SFT-RL 和 AdaVaR 的兩個(gè)模式，我們發(fā)現(xiàn)整體上差異并不大，也都相較 SFT 階段有明顯的提升，說明整合到一個(gè)模型內(nèi)并不會(huì)抑制單個(gè)思考模式的提升。

Q1.3: 是否需要 Mode prefix 來區(qū)分不同模式？

A1.3: Yes。參見表 2 的 Mix-SFT-RL baseline，我們?nèi)サ袅?mode prefix，直接混合兩個(gè)模式的數(shù)據(jù)。這樣做的性能甚至要比單模式推理的模型還差，說明顯式的模式區(qū)分是必要的，而且顯式的區(qū)分支持了后續(xù)在 AdaGRPO 里 prefix-guided exploration 對于模式探索的干預(yù)。

Q1.4: 兩個(gè)模式是否是互補(bǔ)的？

A1.4: Yes。表 2 中還計(jì)算了 AdaVaR 的 Upper Bound，即任意一個(gè)模式做對的準(zhǔn)確率，我們可以看到對于所有數(shù)據(jù)集，即使是數(shù)學(xué)題這種文本模式明顯占優(yōu)的，Upper Bound 也要明顯高于文本模式，這也展示了后續(xù) MoVT 范式的巨大潛力。

Q2: 模型能學(xué)到合理的模式選擇能力嗎，怎么學(xué)習(xí)到的？

對比表 2 中的單模式和自適應(yīng)模式的表現(xiàn)，我們發(fā)現(xiàn)：

1.SFT 以后的模型對于模式的選擇并不是最優(yōu)，比如 MathVista 上文本模式明顯更好，但是 AdaVaR-SFT 還是選擇了 31% 的 grounded 模式，說明SFT 階段很難控制模式的選擇；

2. 但是 RL 以后，AdaVaR 的模式選擇就比較合理，在數(shù)學(xué)問題上選擇文本模式，V * 和 POPE 上選擇 grounded 模式，同時(shí) AdaVaR 在所有任務(wù)上，自適應(yīng)模式都要優(yōu)于文本 /grounded 的單模式推理，說明了RL 階段模型學(xué)到了合理的模式選擇能力。

Q2.1: 模型是怎么學(xué)習(xí)到這樣的能力的？

圖 4: 數(shù)學(xué)問題上的 (a) 訓(xùn)練 reward 曲線；(b) MathVista 上的表現(xiàn)。

A2.1: 如圖 4 所示，以數(shù)學(xué)問題為例，我們可以看到，圖 (a) 中兩個(gè)模式相對的 reward 高低（表現(xiàn)好壞）引導(dǎo)了圖 (b) 中 GRD% 曲線（模式選擇）的變化。大概可以分為三個(gè)學(xué)習(xí)階段：

1. 初期探索階段：剛開始，因?yàn)閮蓚€(gè)模式之間的相對好壞還不穩(wěn)定，此時(shí) GRD 模式甚至在一段時(shí)間內(nèi)更優(yōu)，導(dǎo)致一開始存在一定的波動(dòng)；

2. 穩(wěn)定階段：在 500 步開始，TXT 模式要明顯優(yōu)于 GRD 模式，模型的選擇也逐步穩(wěn)定到以 TXT 模式為主，但此時(shí)自適應(yīng)的 ADA 模式要比文本模式還弱，說明模型還沒有學(xué)習(xí)到具體哪些題目應(yīng)該使用 GRD 模式

3. 微調(diào)階段：在 1500 步后，因?yàn)槲覀兪褂昧朔植几鼜V的數(shù)據(jù)，幫助模型學(xué)習(xí)到了更佳精細(xì)的推理和模式選擇能力，兩個(gè)模式都在提高，并且 ADA 模式最終要優(yōu)于兩個(gè)單模式。

Q2.2: 對于模式選擇的關(guān)鍵因素？

A2.2: 我們還發(fā)現(xiàn)，AdaGRPO 中的關(guān)鍵機(jī)制，包括 prefix-guided exploration，Adaptive advantage，以及數(shù)據(jù)的 diversity 和課程學(xué)習(xí)都非常重要，具體的實(shí)驗(yàn)比較可以參見原論文的 Table 3。

結(jié)論與未來展望

本文說明了 MoVT 這樣，整合多個(gè)推理模式的方式能夠是一種構(gòu)建通用推理能力的可行思路，而 AdaGRPO 則是能夠有效學(xué)習(xí)模式選擇的算法。更一般來看，MoVT 相當(dāng)于從思考模式的角度提升了模型生成推理 Rollout 的豐富度，促進(jìn)了 RL 過程中的 exploration。本文對于自適應(yīng)推理的探索也存在一定的局限性，希望未來能有相關(guān)工作進(jìn)行研究：

• 為了保持兩種模式 Rollout 的一致性，本文中探索的 Grounded 思考模式并未像一些現(xiàn)有的工作額外引入局部的視覺特征，后續(xù)如何在統(tǒng)一的框架里整合差異更明顯的思考模式同樣值得探索；

• 本文目前僅考慮了兩種推理模式，但 MoVT 的框架也可以容納更多的模式，也可以用于學(xué)習(xí)目前主流關(guān)心的思考 / 不思考的自適應(yīng)切換能力，甚至區(qū)分長思考，短思考，是否使用工具等等；

• 對于未來更多種類的思考模式，勢必會(huì)面對更加嚴(yán)峻的 exploration-exploitation tradeoff：模式越多，為了平衡模式之間的探索，單個(gè)模式的推理數(shù)量勢必更少，也會(huì)進(jìn)一步抑制各個(gè)模式內(nèi)部的提升；

• 目前 MoVT 采取的是并行的模式選擇范式，進(jìn)一步還可以結(jié)合搜索機(jī)制，考慮線性的模式切換，比如先進(jìn)行短思考，再考慮是否進(jìn)行長思考等等更復(fù)雜的邏輯，來提升推理模型的上限。