Being-VL的視覺BPE路線：把「看」和「說」真正統一起來

在多模態模型里，CLIP-style encoder往往把視覺表征過早地拉近到文本空間：對于抽象層面的問答，如總結圖片大致內容，這樣的表征其實是沒有什么問題的，但一旦追問與語言無強依賴的細節，模型就更易出現幻覺。根本原因之一，是在文本空間對齊之前，原生視覺結構已被不可逆地壓縮 / 丟失，而語言模型不得不「二次解碼」來自他模態的 embedding，導致對齊脆弱、推理鏈條變長。

為此，北大、UC San Diego 和 BeingBeyond 聯合提出一種新的方法——Being-VL 的視覺 BPE 路線。Being-VL 的出發點是把這一步后置：先在純自監督、無 language condition的設定下，把圖像離散化并「分詞」，再與文本在同一詞表、同一序列中由同一 Transformer 統一建模，從源頭縮短跨模態鏈路并保留視覺結構先驗。

Being-VL 的實現分為三步。首先用 VQ（如 VQ-GAN）把圖像量化為離散VQ tokens；隨后訓練一個視覺版 BPE，不只看共現頻次，還顯式度量空間一致性，以優先合并那些既常見又在不同圖像中相對位置穩定的 token 對，得到更具語義與結構的BPE tokens；最后把視覺 tokens 與文本 tokens 串成同一序列，進入同一個自回歸 LLM 統一建模，不再依賴額外 projector 或 CLIP 對齊。整個 BPE 詞表學習僅依賴圖像統計，不看文本，真正把「語言對齊」留到后續階段。

• 論文鏈接：https://arxiv.org/abs/2506.23639
• 項目主頁：
• https://beingbeyond.github.io/Being-VL-0.5
• GitHub：
• https://github.com/beingbeyond/Being-VL-0.5

與「把視覺直接投到文本空間」有何本質不同？

傳統做法讓 LLM 去再解釋外部視覺 encoder 的連續 embedding；即便 encoder 學到了豐富模式，沒有對應解碼器，LLM也要額外學習如何「讀懂」其他模態，這會放大模態鴻溝并誘發幻覺。Being-VL 把視覺提前離散化為可組合的 tokens，并在序列里與文本統一建模，減少表征形態錯位，縮短跨模態因果鏈條，從而在保持感知細節與高層語義的同時，降低「想象成分」。

針對視覺場景設計的 BPE tokenizer：頻次 × 空間一致性

文本大模型中的 BPE 只看「誰和誰經常相鄰」。在視覺里，如果只按頻次去合并，容易破壞結構。Being-VL 因此提出Priority-Guided Encoding：基于 score P (a,b)=F (a,b)+α?S (a,b) 進行 BPE 詞表構建，其中 F 為鄰接頻次，S 衡量在不同圖像中的相對位置一致性，相似度用高斯核對齊。這樣得到的視覺詞表既覆蓋高頻模式，又保留空間結構。并且這個過程完全不依賴文本。

三階段訓練：從 VQ/BPE embeddings 到 LLM backbone 的漸進解凍

為了讓統一的離散表示平滑接入語言模型，Being-VL 采用三階段（3-stage）訓練并顯式控制解凍順序：

• Stage-1 / Embedding Alignment：只訓練新擴展的視覺 token embeddings（包括 VQ 與 BPE 兩部分），其余參數全部凍結，完成基礎對齊而不擾動原有語言能力。
• Stage-2 / Selective Fine-tuning：解凍 LLM 前若干層（默認約 25%），其余層繼續凍結，讓跨模態交互首先在底層表征中發生。
• Stage-3 / Full Fine-tuning：全量解凍，在更復雜的 reasoning /instruction 數據上收尾，強化高級能力。
• 
  

與解凍節奏配套，數據采用curriculum：從基礎 caption 與屬性識別，逐步過渡到視覺問答與多輪指令，顯式對齊 BPE 的「由局部到整體」的層級特性。消融表明：漸進解凍 + curriculum明顯優于單階段訓練；只用其中任一也不如兩者合用。

實驗與分析

Being-VL 的一系列對照實驗給出一個清晰結論：把圖像先離散化并做視覺 BPE，再與文本在同一序列里統一建模，既穩又有效。相較傳統「先拉到文本空間」的做法，這種統一的離散表示更少丟失原生視覺信息，因而在細節敏感的問答與抗幻覺上更可靠；而一旦移除 BPE，性能與穩健性都會整體下降，說明增益主要來自于把「常見且空間關系穩定」 的視覺模式合成更有語義的 tokens，讓 LLM 在更合適的粒度上推理。

訓練與規模選擇方面也有明確「可執行」的答案。三階段漸進解凍 + curriculum是默認策略：先只對齊VQ/BPE embeddings，再解凍一部分LLM backbone，最后全量微調，能在不擾動語言能力的前提下穩步提升跨模態理解。

Visual BPE Token 激活機制可視化

Embedding 權重的可視化揭示了詞表設計對跨模態表征的影響：在不使用 visual BPE 的基線模型（上圖）中，文本與視覺 token 的權重呈現顯著偏置與分離，體現出明顯的模態隔閡；而引入不同詞表大小的 visual BPE（中、下圖）后，兩類 token 的權重分布趨于均衡與同構，說明 BPE 在更細粒度上對齊了子詞 / 子片段層面的統計與表征空間。由此帶來的直接效應是跨模態注意力的共享基準更一致、梯度信號更可比，從而降低模態間的分布漂移與共現偏差。

詞表大小對訓練效率與擴展潛力的影響

研究進一步考察了 BPE 詞表規模的作用。可視化結果顯示：在訓練資源受限的情形下，與 VQ 等規模的碼本在表達能力與訓練效率之間取得了更佳平衡，處于「甜點區」。當詞表繼續增大（≥16K）時，會出現大量低利用率、呈稀疏分布的 token，導致單位算力的收益下降。不過，這也預示著在數據規模擴張時存在更強的上限潛力。論文提出的方法可在更大的詞表與更多數據的配合下，釋放這部分擴展空間，進一步提升模型表現。

發展與小結（Being-VL-0 → Being-VL-0.5）

Being-VL-0 (ICLR 2025)

• Being-VL-0 給出的是視覺離散化 + BPE 的可行性與動機：從理論分析與 toy 實驗出發，得出結論 BPE-style 合并能把必要的結構先驗灌注進 token，使 Transformer 更易學習；并初步探索了兩階段訓練（PT→SFT）、文本 embedding 凍結策略與數據 scaling 帶來的穩健增益。
• 項目地址：
• https://github.com/BeingBeyond/Being-VL-0
• 
  

Being-VL-0.5 (ICCV 2025 highlight)

• Being-VL-0.5 則把這一路線進一步優化為一個統一建模框架：頻次與空間一致性聯合的 Priority-Guided Encoding、VQ/BPE/LLM 三階段漸進解凍、以及配套的 curriculum 數據策略。
• 項目地址：
• https://beingbeyond.github.io/Being-VL-0.5