微信煉出擴(kuò)散語言模型，vLLM部署AR模型3倍加速，低熵場景超10倍

騰訊微信 AI 團(tuán)隊提出 WeDLM（WeChat Diffusion Language Model），通過在標(biāo)準(zhǔn)因果注意力下實(shí)現(xiàn)擴(kuò)散式解碼，在數(shù)學(xué)推理等任務(wù)上實(shí)現(xiàn)相比 vLLM 部署的 AR 模型 3 倍以上加速，低熵場景更可達(dá) 10 倍以上，同時保持甚至提升生成質(zhì)量。

引言

自回歸（AR）生成是當(dāng)前大語言模型的主流解碼范式，但其逐 token 生成的特性限制了推理效率。擴(kuò)散語言模型（Diffusion LLMs）通過并行恢復(fù)多個 mask token 提供了一種替代方案，然而在實(shí)踐中，現(xiàn)有擴(kuò)散模型往往難以在推理速度上超越經(jīng)過高度優(yōu)化的 AR 推理引擎（如 vLLM）。

問題的關(guān)鍵在于：大多數(shù)擴(kuò)散語言模型采用雙向注意力機(jī)制，這與標(biāo)準(zhǔn)的 KV 緩存機(jī)制不兼容，導(dǎo)致并行預(yù)測的優(yōu)勢無法轉(zhuǎn)化為實(shí)際的速度提升。

近日，騰訊微信 AI 團(tuán)隊提出了WeDLM（WeChat Diffusion Language Model），這是首個在工業(yè)級推理引擎（vLLM）優(yōu)化條件下，推理速度超越同等 AR 模型的擴(kuò)散語言模型。

• 論文標(biāo)題：WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference
• 論文作者：劉璦瑋、何明樺、曾少勛、張思鈞、張林昊、武楚涵、賈巍、劉源、周霄、周杰（騰訊微信 AI）
• 項目主頁：https://wedlm.github.io
• GitHub：https://github.com/tencent/WeDLM
• 模型權(quán)重：https://huggingface.co/collections/tencent/wedlm

以下是模型效果：

上圖展示了vLLM 部署的 Qwen3-8B-Instruct（左） 與 WeDLM-8B-Instruct（右） 在相同 prompt 下的實(shí)時生成對比。可以直觀看到，WeDLM 的生成速度明顯更快。

核心思路：讓擴(kuò)散解碼兼容 KV 緩存

WeDLM 的核心洞察是：mask 恢復(fù)并不需要雙向注意力。擴(kuò)散式解碼只需要讓每個 mask 位置能夠訪問所有已觀測的 token，這完全可以在標(biāo)準(zhǔn)因果注意力下實(shí)現(xiàn)。

研究團(tuán)隊提出了一個關(guān)鍵指標(biāo) ——前綴可緩存性（Prefix Cacheability）：在 KV 緩存解碼中，只有形成連續(xù)左到右前綴的 token 才能被緩存復(fù)用。因此，真正影響推理效率的不是「每步預(yù)測多少 token」，而是「有多少預(yù)測能夠轉(zhuǎn)化為可緩存的前綴」。

圖：WeDLM-8B 在數(shù)學(xué)推理任務(wù)上實(shí)現(xiàn)約 3 倍加速，同時在準(zhǔn)確率和推理速度上顯著超越 LLaDA、Dream 等擴(kuò)散模型。

技術(shù)方案

拓?fù)渲嘏判颍═opological Reordering）

WeDLM 通過拓?fù)渲嘏判蛟诒３忠蚬⒁饬Φ耐瑫r，讓 mask 位置能夠訪問完整的觀測上下文。具體而言，將所有已觀測 token 移動到物理序列的前端，同時通過 RoPE 位置編碼保留其邏輯位置。這樣，在標(biāo)準(zhǔn)因果 mask 下，每個待預(yù)測位置都能看到所有已知信息。

雙流掩碼（Dual-Stream Masking）

為縮小訓(xùn)練與推理的分布差異，WeDLM 設(shè)計了雙流訓(xùn)練策略：構(gòu)建一個干凈的「記憶流」和一個帶 mask 的「預(yù)測流」，兩者共享位置編碼。預(yù)測流中的每個 block 從記憶流獲取干凈的歷史上下文，而非可能帶噪的中間預(yù)測結(jié)果。

流式并行解碼（Streaming Parallel Decoding）

推理階段，WeDLM 采用流式并行解碼策略：

• 距離懲罰機(jī)制：優(yōu)先解碼靠左的位置，促進(jìn)左到右的前綴增長
• 即時緩存：在因果注意力下，已解碼 token 立即成為有效緩存
• 動態(tài)滑動窗口：持續(xù)填充新的 mask 位置，避免 block 邊界的等待開銷

圖：傳統(tǒng) block 解碼需要等待整個 block 完成才能提交，而 WeDLM 的流式解碼可以即時提交已解析的前綴。

實(shí)驗結(jié)果

生成質(zhì)量

WeDLM 基于 Qwen2.5-7B 和 Qwen3-8B 進(jìn)行訓(xùn)練，使用 100B token 進(jìn)行繼續(xù)預(yù)訓(xùn)練，10B token 進(jìn)行 SFT。

在 base 模型評測中，WeDLM-8B 平均得分 74.72，超越 Qwen3-8B（72.61）2.1 個點(diǎn)。在數(shù)學(xué)推理任務(wù)上提升尤為顯著：GSM8K 提升 4.2 個點(diǎn)，MATH 提升 2.8 個點(diǎn)。

在 instruct 模型評測中，WeDLM-8B-Instruct 平均得分 77.53，超越 Qwen3-8B-Instruct（75.12）2.4 個點(diǎn)，也領(lǐng)先于 SDAR-8B-Instruct（74.22）等擴(kuò)散模型。

推理速度

關(guān)鍵亮點(diǎn)：所有速度對比均基于 vLLM 部署的 AR 模型基線，而非未優(yōu)化的實(shí)現(xiàn)。

研究團(tuán)隊在論文中展示了不同熵值場景下的速度差異：

• 低熵場景（如計數(shù)任務(wù)）：由于輸出高度可預(yù)測，模型可以大膽并行預(yù)測并接受多個 token，實(shí)測達(dá)到 1673.3 tokens/s
• 中熵場景（如數(shù)學(xué)推導(dǎo)）：結(jié)構(gòu)化的推理步驟仍然具有較好的可預(yù)測性，實(shí)測 745.2 tokens/s
• 高熵場景（如開放問答）：語義多樣性高，并行接受率下降，實(shí)測 197.8 tokens/s

快速上手

安裝方式非常簡單，只需通過 pip 從 GitHub 安裝即可。安裝完成后，可使用 Python API 快速調(diào)用模型進(jìn)行推理。詳細(xì)的使用文檔和示例代碼請參見項目 GitHub 主頁。

總結(jié)

WeDLM 的貢獻(xiàn)可以歸納為：

• 因果擴(kuò)散框架：在標(biāo)準(zhǔn)因果注意力下實(shí)現(xiàn) mask 恢復(fù)，天然兼容 KV 緩存和現(xiàn)有推理基礎(chǔ)設(shè)施（FlashAttention、PagedAttention、CUDA Graphs 等）
• 流式并行解碼：通過距離懲罰和動態(tài)滑動窗口，最大化前綴提交率
• 首次在速度上超越工業(yè)級推理引擎部署的 AR 模型：在 vLLM 優(yōu)化條件下的公平對比中，數(shù)學(xué)推理實(shí)現(xiàn) 3 倍以上加速，低熵場景超過 10 倍

研究團(tuán)隊指出，這項工作表明「前綴可緩存性」應(yīng)當(dāng)作為并行文本生成的一等設(shè)計目標(biāo)。未來的擴(kuò)散語言模型應(yīng)更多地被視為高效的多 token 預(yù)測機(jī)制 —— 并行生成 token 的價值，取決于這些 token 能多快地轉(zhuǎn)化為可緩存的前綴。