Parallel-Probe問世，并行推理效率提升35.8%

當(dāng)大模型推理進(jìn)入Parallel Thinking時(shí)代，一個(gè)關(guān)鍵問題隨之出現(xiàn)：

模型在并行推理的過程中，究竟發(fā)生了什么？多條推理路徑同時(shí)展開，看似為模型帶來了更強(qiáng)的能力，卻也引入了一個(gè)長(zhǎng)期被忽視的問題——大量計(jì)算是否正在被浪費(fèi)在已經(jīng)「沒有必要繼續(xù)」的思考上？

為了回答這一問題，來自馬里蘭大學(xué)、圣路易斯華盛頓大學(xué)、北卡羅來納大學(xué)教堂山分校等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了Parallel-Probe。不同于直接從算法設(shè)計(jì)出發(fā)，該研究首先通過引入2D Probing，對(duì) online 并行推理過程中的全局動(dòng)態(tài)性進(jìn)行了系統(tǒng)性刻畫。研究發(fā)現(xiàn)，并行推理并非一個(gè)「算得越多越好」的過程：全局共識(shí)往往在所有分支結(jié)束之前就已提前穩(wěn)定，而少數(shù)冗長(zhǎng)的長(zhǎng)尾路徑卻持續(xù)占據(jù)大量計(jì)算資源，成為并行推理效率的主要瓶頸。

基于這些關(guān)鍵發(fā)現(xiàn)，研究團(tuán)隊(duì)進(jìn)一步提出了一個(gè) training-free 的并行推理控制算法 Parallel-Probe，能夠在不犧牲核心準(zhǔn)確率的前提下，顯著減少無效計(jì)算，將推理延遲降低35.8%，總 token 成本降低25.8%。

• 論文名稱：Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing
• 論文鏈接：
  
• https://arxiv.org/pdf/2602.03845
• Code：
  
• https://github.com/zhengkid/Parallel-Probe
• Online Judge：
• https://huggingface.co/spaces/EfficientReasoning/efficient_reasoning_online_judgement

核心痛點(diǎn)：孤立的

「并行路徑」到底帶來了什么？

目前的并行推理方法（如多數(shù)投票機(jī)制）存在一個(gè)顯著缺陷：各推理分支彼此獨(dú)立。這意味著，即使大部分分支已經(jīng)達(dá)成了共識(shí)，系統(tǒng)仍需等待所有分支（包括那些冗余的長(zhǎng)尾路徑）全部生成完畢。

研究人員提出，這種「局部視角」導(dǎo)致了嚴(yán)重的效率低下。通過系統(tǒng)2D 探測(cè)接口，研究團(tuán)隊(duì)揭示了并行推理的三大底層動(dòng)態(tài)特征：

• 非單調(diào)縮放：準(zhǔn)確率并非隨著算力投入單調(diào)增加，而是取決于「寬度」與「深度」的精細(xì)平衡（Figure (a)）。
• 路徑長(zhǎng)度不均：并行分支的生成長(zhǎng)度差異極大，計(jì)算資源往往被少數(shù)「長(zhǎng)尾」路徑占據(jù)（Figure (b)）。
• 共識(shí)提早穩(wěn)定：全局共識(shí)往往在所有分支結(jié)束前就已經(jīng)達(dá)成（平均共識(shí)達(dá)成率僅為 0.31）（Figure (c)）。

技術(shù)突破：基于全局信號(hào)的

「外科手術(shù)式」 2D Budget Control

即插即用：Parallel-Probe 是一種模型無關(guān)的方法，可直接適配各種現(xiàn)成的開源或閉源大語(yǔ)言模型。

針對(duì)上述發(fā)現(xiàn)，Parallel-Probe采用了一種 Training-Free 的輕量級(jí)控制器，通過兩個(gè)核心機(jī)制優(yōu)化同時(shí)從寬度和深度優(yōu)化在線并行思考：

• 基于共識(shí)的早期停止（Consensus-based Early Stopping）：該機(jī)制周期性地從各分支中提取中間結(jié)果。一旦探測(cè)到全局多數(shù)答案在連續(xù)幾個(gè)周期內(nèi)保持穩(wěn)定，控制器將直接終止整組推理，避免后續(xù)冗余步驟。

• 基于偏差的分支剪枝（Deviation-based Branch Pruning）：實(shí)時(shí)監(jiān)控每一條路徑。如果某條路徑顯著偏離了當(dāng)前的全局大趨勢(shì)（即出現(xiàn)異常），系統(tǒng)會(huì)果斷對(duì)其進(jìn)行「剔除」，將資源傾注在更有潛力的路徑上。

實(shí)驗(yàn)結(jié)果：刷新帕累托前

研究團(tuán)隊(duì)在Qwen3系列模型（0.6B 至 8B）上進(jìn)行了廣泛測(cè)試，涵蓋了 AIME 2024/2025 和 HMMT 2025 等高難度競(jìng)賽題庫(kù)。

實(shí)驗(yàn)結(jié)果表明，Parallel-Probe 在性能、成本效率和延遲效率之間建立了更優(yōu)的平衡點(diǎn)，系統(tǒng)性地優(yōu)于現(xiàn)有的 ESC 和 SC 等基準(zhǔn)方法。

基礎(chǔ)設(shè)施貢獻(xiàn)：SCOUT 測(cè)試床

為了推動(dòng)該領(lǐng)域的持續(xù)研究，團(tuán)隊(duì)還推出了SCOUT（順序與并發(fā)離線利用測(cè)試床）。該平臺(tái)實(shí)現(xiàn)了推理生成與控制策略的解耦，允許開發(fā)者在極低開銷下模擬各種縮放策略，極大提升了測(cè)試效率。

代碼及 Online Judge 平臺(tái)已開源：

• GitHub：
  
• https://github.com/zhengkid/Parallel-Probe
• 平臺(tái)：Efficient Reasoning Online Judge

本文作者

鄭童，馬里蘭大學(xué)計(jì)算機(jī)科學(xué)系二年級(jí)博士生，研究方向聚焦于Reasoning尤其是Parallel Thinking（并行思考）。他的研究關(guān)注如何打破傳統(tǒng)順序推理在效率與魯棒性上的瓶頸，使大語(yǔ)言模型能夠以更結(jié)構(gòu)化、更高效的方式進(jìn)行并行推理。代表性工作包括Parallel-R1，該工作首次提出基于強(qiáng)化學(xué)習(xí)的框架，在真實(shí)世界推理任務(wù)中自適應(yīng)地激勵(lì)并行思考行為；以及MoT（Mixture of Thoughts），系統(tǒng)性地構(gòu)建多推理模態(tài)的并行思考機(jī)制，在訓(xùn)練與推理階段統(tǒng)一整合自然語(yǔ)言、代碼與符號(hào)推理等不同模態(tài)，從而實(shí)現(xiàn)更高效、更具表達(dá)力的并行推理。