全圖與切片并非等價？LLaVA-UHD-v3揭示差異推出高效全圖建模方案

隨著多模態大模型（MLLMs）在各類視覺語言任務中展現出強大的理解與交互能力，如何高效地處理原生高分辨率圖像以捕捉精細的視覺信息，已成為提升模型性能的關鍵方向。

然而，主流的視覺編碼范式往往難以兼顧性能與效率：基于切片的編碼方法雖能降低計算開銷，卻犧牲了全局上下文感知能力；而全局原生分辨率編碼在提升整體性能的同時，又帶來了巨大的計算負擔。同時，現有的視覺壓縮策略與特征提取過程相對獨立，難以在編碼早期有效控制信息冗余，缺乏一個兼顧細粒度建模與計算效率的統一架構。

針對如何在高清原生分辨率下，保持圖像全局理解能力的同時，還能快速推理這一核心問題，來自清華大學、中科院的研究團隊正式發布LLaVA-UHD v3！

• 論文標題：LLAVA-UHD V3: PROGRESSIVE VISUAL COMPRESSION FOR EFFICIENT NATIVE-RESOLUTION ENCODING IN MLLMS
• 論文鏈接：https://arxiv.org/abs/2511.21150
• 代碼鏈接：https://github.com/thunlp/LLaVA-UHD
• huggingface 鏈接：https://huggingface.co/Sishxo/LLaVA-UHD-v3

LLaVA-UHD-v3 提出了全新的漸進式視覺壓縮框架 ——Progressive Visual Compression（PVC），由Refined Patch Embedding（RPE）與Windowed Token Compression（WTC）兩個核心組件構成。該框架在保持全局語義一致性的前提下，顯著減少視覺 Token 數量，從根本上提升原生高分辨率視覺編碼的效率。依托 PVC，LLaVA-UHD-v3 在性能上可與 Qwen2-VL 相媲美，同時實現1.9× 的 TTFT 加速，完整訓練僅需32 張 A100、約 300 小時即可完成。

切片編碼 vs 全圖編碼深入分析

為了公平對比兩種主流視覺編碼方式 —— 基于切片的編碼 (Slice-based Encoding, SBE) 與 全局原生分辨率編碼 (Global Native-Resolution Encoding, GNE) —— 團隊使用相同模型架構 + 相同訓練數據 + 相同評估 protocol。在此基礎上，既在通用多模態 benchmark 上測試，也專門構建了一個合成數據集 ShapeGrid 用于空間感知 / 定位能力分析。

在 ShapeGrid (及其 “Sudoku-style” 子集) 上，GNE 相比 SBE 在空間感知 / 定位任務上的表現有明顯優勢：空間感知能力平均提升約11.0%。

同時，在通用視覺 - 語言理解任務中，GNE 在語義理解表現上也略優于 SBE（平均提升約2.1%）。

更重要的是，通過對比注意力熱圖、激活分布 (attention maps)，研究發現 SBE 在空間定位任務中表現出系統性的方向、結構偏差 (例如水平、垂直方向不均衡) —— 也就是說 SBE 的切片機制破壞了圖像的空間連續性 (spatial continuity 、geometry)，從而削弱了空間理解、定位的可靠性。

因此，該對比實驗清晰地表明：盡管 SBE 在效率上有優勢，但從語義 + 空間 + 幾何一致性 (global context + spatial reasoning) 的角度，GNE 明顯更適合需要空間感知、高分辨率理解與推理的任務。

全圖編碼的高效解決方案

全局原生分辨率編碼帶來了較高的計算成本，這凸顯了迫切需要一種原生且高效的視覺編碼范式。因此，團隊提出了 LLaVA-UHD v3，一種配備了漸進式視覺壓縮（PVC）方法的多模態大模型（MLLM），用于高效的原生分辨率編碼。

PVC 架構由兩個核心模塊組成：

• 精細化 Patch 嵌入 (Refined Patch Embedding, RPE)：通過將圖像劃分為更小尺寸的 patch，并用偽逆 (pseudo-inverse) 方法將預訓練模型原有 embedding 權重轉換為新的、更細粒度的 embedding。這樣，原本粗粒度 patch 的語義信息被近似保留，但實現了更豐富的視覺語義提取建模。
• 窗口化 Token 壓縮 (Windowed Token Compression, WTC)：在 ViT 的中間層，將空間上相鄰的多個 token（例如 2×2 區域）聚合為一個新 token，初期以均勻平均池化 (average pooling) 起步，并通過一個輕量級、零初始化的 MLP 模型學習內容自適應的池化權重，從而逐漸學會對更重要區域賦予更高權重。這樣，隨著網絡深度的推進，token 數量被大幅壓縮，而關鍵語義信息得以保留。

這種 “先細粒度建模 + 再漸進壓縮” 的設計，使得 PVC 在兼顧全局語義 + 局部細節的同時，大幅降低計算量。

實驗驗證：PVC 在推理效率提升的同時保留模型能力

效率方面，在統一的 LLM（Qwen2-7B）框架下，本文提出的 ViT-UHD 編碼器相比 MoonViT 實現了2.4× 加速，相比 Qwen2.5-ViT 也快 1.9×。將其整合到完整的 MLLM 中后，LLaVA-UHD v3 的 TTFT 相較強大的 Qwen2-VL降低 49%（約快 1.9×），甚至比以高效著稱的切片編碼模型 MiniCPM-V2.6 仍然快約 10%。

在性能方面，LLaVA-UHD v3 僅使用約 2000 萬對圖文數據完成訓練，遠低于 Qwen2-VL（約 7 億）和 MiniCPM-V-2.6（約 4.6 億）等商業模型的訓練規模。然而，其在多項視覺語言基準中依舊展現出高度競爭力。同時，它實現了64× 的視覺 Token 壓縮率，遠超對手（Qwen2-VL 約為 4×，MiniCPM-V2.6 為 16×），但在需要細粒度視覺信息的任務上 —— 包括 HallusionBench（幻覺檢測）、CV-Bench（空間推理）以及 OCR&Chart（文字與圖表識別）—— 依然取得了與 SOTA 模型相當甚至更優的表現。

這些結果充分驗證了 PVC 框架的核心價值：在大幅減少視覺 Token 和推理開銷的同時，仍能穩健保留關鍵的細節感知與全局理解能力，實現真正意義上的 “高效而不降級”。

展望

基于對全圖編碼與切片編碼優劣的深入分析，LLaVA-UHD v3 提出了結合兩者優勢的漸進式視覺壓縮全圖編碼方案，在保證模型能力的前提下實現了顯著的推理效率提升，并展現出良好的遷移與泛化能力，為 MLLM 的高精度原生分辨率建模提供了可行路徑。

不過，實驗分析表明，缺失了預對齊階段的 ViT-UHD 性能不佳，這表明引入 PVC 后的視覺編碼器能力仍未達到上限：僅靠當前 MLLM 的標準訓練流程，很難完全挖掘 ViT 的視覺表征潛力，其學習尚未飽和。此外，隨著 Token 數量增大，Transformer 的二次復雜度仍然會帶來成本瓶頸。

未來，仍需要探索更適合多模態任務的視覺編碼預訓練策略，并逐步引入線性復雜度算子替代傳統的二次復雜度注意力機制，從而實現真正可擴展的高效多模態建模。