擴散LLM推理新范式：打破生成長度限制，實現動態(tài)自適應調節(jié)

隨著 Gemini-Diffusion，Seed-Diffusion 等擴散大語言模型（DLLM）的發(fā)布，這一領域成為了工業(yè)界和學術界的熱門方向。但是，當前 DLLM 存在著在推理時必須采用預設固定長度的限制，對于不同任務都需要專門調整才能達到最優(yōu)效果。

為了解決這一本質的問題，香港中文大學 MMLab，上海 AI 實驗室等提出 DAEDAL，賦予 DLLM 可以根據問題的具體情況自主調整回答長度的能力，彌補了 DLLM 與自回歸 LLM 的關鍵差距，為更靈活、高效、強大的擴散大語言模型打下了基石。

• 論文標題：Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models
• 論文地址：https://arxiv.org/abs/2508.00819
• 代碼地址：https://github.com/Li-Jinsong/DAEDAL

DAEDAL 作為一種 Training Free 的去噪策略，從一個統(tǒng)一且很短的初始長度開始，讓模型根據自己的需求在生成中調節(jié)長度，動態(tài)擴展，達到了和現有去噪策略在每個評測基準上精心調整生成長度得到的最佳性能相當的表現，有時甚至更勝一籌。

圖 1 (a) DAEDAL 使用統(tǒng)一且很短的初始長度，在多個基準上取得了與精心調優(yōu)的固定長度基線相當甚至更優(yōu)的性能。(b) DAEDAL 能夠根據每個問題，在生成過程中自適應地動態(tài)調整長度，相比之下，現有方法則對所有問題都只能采用單一的固定長度。

DAEDAL 介紹

擴散大語言模型（DLLM）潛力巨大，但其現有推理流程存在一個關鍵的問題：需要預定義的，固定的生成長度。與能夠邊思考邊決定 “說” 多少的人類和自回歸模型不同，現有的 DLLM 需要預先設定確切的輸出長度。這導致了一個兩難的困境：設置太短，模型在復雜問題上難以發(fā)揮全部實力，可能導致做錯；設置太長，則會浪費大量的計算資源，同時，實驗中還發(fā)現過長的生成長度可能導致性能下降。

作者在探索中發(fā)現，這一問題的解決方案就蘊藏在模型自身之中。DLLM 在生成時會不斷地全局規(guī)劃其整體輸出，而它的預測置信度正是其內部狀態(tài)的強大信號。作者發(fā)現了兩種關鍵信號：

• DLLM 在序列末端生成序列結束符 (EOS) 的意愿直接反映了其對全局預算的規(guī)劃。當預設長度充足時，模型會自信地在末尾規(guī)劃出結束區(qū)域，從而高置信度地預測 EOS。反之，當長度不足時，模型會試圖利用所有可用空間來完成核心內容，因而抑制了在末尾生成 EOS 的置信度。
• 在去噪過程中，對某個特定詞元的極低預測置信度，則可作為一種局部信號，這不僅代表了模型對該詞元的不確定性，更深層次地，它表明當前的局部上下文過于受限，不足以支撐一個復雜的邏輯步驟或細節(jié)的展開，或是需要插入空間對過去生成的內容進行補充和修正。

圖 2 該熱力圖展示了在對一個長度為 128 的全掩碼輸入進行首次預測后，于序列末端測得的平均 EOS 詞元置信度之差。該差值的計算方式為：用 “長度充足” 問題（在少于 128 長度的 setting 下被正確回答）的平均置信度減去 “長度不足” 問題（僅在長度更長的 setting 才能被正確回答）的平均置信度。圖中大面積的綠色（差值 > 0）表明，對于長度充足的問題，結尾 EOS 序列置信度更高，驗證了文中的核心發(fā)現。

基于發(fā)現，作者提出了 DAEDAL，一種無需訓練的兩階段推理策略，利用這些內部信號，賦予 DLLM 根據每個問題的具體情況，動態(tài)自主調整回答長度的能力。

圖 3 DAEDAL 與現有基線方法流程對比

1. 初始長度調整 (Initial Length Adjustment): 在去噪流程開始前，DAEDAL 從一個統(tǒng)一的很短初始長度出發(fā)。它會通過檢測序列末端的 EOS 序列平均置信度來衡量：“對于這個任務，當前分配的長度是否充足？”。如果置信度很低，即模型規(guī)劃充分利用全部長度，就表明模型認為長度預算不足。此時，DAEDAL 會通過增加 [MASK] 詞元來擴展序列長度，并重復此過程，直到模型確信長度預算充足。這為任務設定了一個合理的全局規(guī)劃長度。

2. 迭代式掩碼插入 (Iterative Mask Insertion): 在逐步去噪的過程中，DAEDAL 會持續(xù)監(jiān)控模型的置信度。如果它發(fā)現模型對某個 [MASK] 位置極不確定，便會將其標記為 “擴展點”。DAEDAL 通過將這個單個 [MASK] 替換為由多個 [MASK]，動態(tài)且精準地在模型最需要的地方為序列注入 “思考空間”，以便其在回復中進行補充修補，或是有足夠空間去進行更復雜的思考。

通過結合這兩個階段，不需要進行任何訓練，DAEDAL 使得 DLLM 能夠根據每個問題的具體情況自主調整其回答的長度，展現了強大的效果。

實驗結果

圖 4 DAEDAL 在 4 個基準測試上與基線方法性能對比以及生成長度可視化

DAEDAL 使用統(tǒng)一的短初始長度即可取得強大性能。 實驗結果清晰地展示了 DAEDAL 的優(yōu)越性能。盡管 DAEDAL 默認從一個較短的初始長度開始，但其兩階段的長度調整與擴展機制，不僅使其性能顯著優(yōu)于使用相同短初始長度的基線方法，更能達到與基線方法在所有固定長度中精心調優(yōu)后的峰值性能相當、甚至在某些情況下超越后者的水平。

這一發(fā)現凸顯了 DAEDAL 的有效性，并揭示了固定長度范式的內在不便之處，因為基線方法的最佳長度因不同基準而異，這更強調了動態(tài)長度適應的必要性。為了直觀展示這種動態(tài)適應性，圖 3 對比了 DAEDAL 所用總生成長度（N_token）的分布與基線方法所用的單一最佳長度。

DAEDAL 能自適應地找到最佳生成長度。 進一步的分析表明，DAEDAL 能智能地預估并生成恰當長度的回答。在多數情況下，DAEDAL 產生的有效詞元數（E_token）與基線方法在最佳性能配置下的有效詞元數相當。這表明 DAEDAL 能自適應地找到模型內在的、針對特定任務所需詞元長度的 “舒適點”。基線方法的行為也印證了這一點：當設置的長度過長時，即使有效詞元數可能繼續(xù)增加，性能反而可能會下降。DAEDAL 的自適應特性有效避免了這種因過度擴展導致的性能下降。

DAEDAL 能夠提升計算資源利用率。在取得優(yōu)越準確率的同時，DAEDAL 生成的總詞元數（N_token）通常低于基線方法在最佳性能 setting 下的總詞元數。相近的有效詞元數和更低的總詞元數帶來了更高的有效詞元利用率（E_ratio）。這大大地提升了計算資源的利用率。

總結

DAEDAL 通過其初始長度調整（Initial Length Adjustment）和迭代式掩碼插入（Iterative Mask Insertion）機制，不僅在多個基準上取得了與精心調優(yōu)的固定長度基線相當甚至更優(yōu)的性能，還能為每個任務自適應地分配合適的長度。這使得模型在性能和計算效率上都取得了實質性的提升。DAEDA 彌補了擴散大語言模型與自回歸大語言模型在核心能力上的一個關鍵差距，為更靈活、高效、強大的擴散大語言模型打下了基石。

作者介紹

本文第一作者是香港中文大學 MMLab 的博士生李勁松，導師林達華教授，主要研究方向是多模態(tài)大模型和大語言模型。曾在 NeurIPS，ECCV，ACL 等頂級會議發(fā)表多篇論文，Google 學術引用超 1400 次。