Qwen團隊發布：視覺語言模型實現25萬字文檔處理能力

這項由阿里巴巴Qwen團隊完成的重磅研究發表于2024年12月，研究團隊發布了目前Qwen系列中最強大的視覺語言模型Qwen3-VL。感興趣的讀者可以通過arXiv:2511.21631v2查詢完整論文。

就在最近，人工智能領域迎來了一個令人矚目的突破。阿里巴巴的Qwen團隊發布了他們最新的視覺語言模型Qwen3-VL，這個模型就像是擁有了超強視力和閱讀能力的AI助手，不僅能看懂圖片，還能理解長達25萬字的文檔，甚至能根據網頁截圖直接寫出完整的代碼。

你可能會好奇，為什么我們需要這樣的AI模型？想象一下，當你面對一份厚厚的技術手冊，既有文字說明又有大量圖表時，傳統的AI要么只能讀文字，要么只能看圖片，很難把兩者結合起來理解。而Qwen3-VL就像是一個既能讀書又能看圖的全能學生，能夠同時處理文字、圖片和視頻，并且理解它們之間的關系。

這項研究的突破性在于幾個方面。首先是上下文長度的革命性提升。傳統的AI模型處理長文檔時就像是近視眼看報紙，只能一小段一小段地閱讀，很容易丟失整體的邏輯脈絡。而Qwen3-VL能夠一次性處理25萬個詞匯，這相當于能夠一口氣讀完一本中等厚度的小說，并且完全理解其中的前后呼應關系。

其次是模型的多樣化配置。研究團隊就像是在開餐廳時提供不同的套餐選擇一樣，推出了從20億參數到2350億參數的多個版本。小的版本就像是便攜式的快餐，處理速度快，適合日常使用；大的版本則像是豪華大餐，功能更強大，適合處理復雜任務。特別值得一提的是，他們還開發了混合專家系統（MoE）版本，這種設計就像是擁有一個專家顧問團，每個專家負責不同的領域，當遇到特定問題時，相應的專家就會被激活來解決問題。

第三個重要突破是模型的多模態理解能力。傳統AI處理圖片和文字時，往往像是兩個不會配合的員工各干各的。而Qwen3-VL則像是一個訓練有素的團隊，能夠同時理解文字說明和配套圖片，甚至能夠處理視頻內容。比如給它一個包含圖表的財務報告，它不僅能讀懂文字說明，還能分析圖表數據，并且理解兩者之間的對應關系。

一、架構創新：三大技術突破讓AI更聰明

Qwen3-VL的技術架構就像是一個精心設計的多功能工作室，包含了視覺編碼器、語言模型和連接兩者的橋梁組件。但真正讓它與眾不同的是三個關鍵創新。

第一個創新是增強版的位置編碼技術，研究團隊稱之為"交錯MRoPE"。要理解這個概念，我們可以把AI處理信息比作組裝一幅巨大的拼圖。傳統的方法就像是把拼圖按照時間、水平位置、垂直位置分別放在三個不同的盒子里，這樣組裝時很難看出整體的圖案。而新的交錯MRoPE就像是把這三種拼圖片均勻混合在一起，讓AI在組裝時能夠更好地理解空間和時間關系，特別是在處理長視頻時效果顯著。

第二個創新是DeepStack融合機制。傳統的視覺語言模型就像是兩個獨立工作的部門，視覺部門負責看圖，語言部門負責理解文字，然后在最后階段才把結果合并。而DeepStack就像是讓這兩個部門的員工在每個工作環節都進行深度合作，視覺信息在多個層次上都會與語言處理過程融合，這樣最終的理解就更加準確和深入。

第三個創新是基于文本的時間對齊技術。在處理視頻時，傳統方法就像是用一個復雜的時鐘系統來標記每一幀畫面的時間，但這種方法在處理長視頻時會變得很混亂。新的方法則像是在每個關鍵場景前放一個簡單的標簽，比如"3.0秒"或"1分30秒"，這樣AI就能更直觀地理解視頻的時間結構。

除了這些架構創新，研究團隊還改進了訓練方法。他們使用了一種叫做"平方根重新加權"的技術，就像是在烹飪時精確控制各種調料的比例，確保文本理解能力和多模態理解能力都能得到均衡發展，不會出現顧此失彼的情況。

二、訓練過程：從基礎學習到專業技能的四階段培養

Qwen3-VL的訓練過程就像是培養一個全才學生的教育歷程，分為預訓練和后訓練兩個大階段，其中預訓練又細分為四個循序漸進的階段。

預訓練的第一階段叫做視覺語言對齊階段，就像是教一個剛入學的孩子認識字母和圖形的對應關系。在這個階段，研究團隊只訓練連接視覺和語言的橋梁部分，而保持視覺編碼器和語言模型不變，用了大約670億個高質量的圖片配文字的樣本。這個過程就像是讓學生先練習看圖說話，建立起圖像和文字之間的基本聯系。

第二階段是多模態預訓練，相當于讓學生開始學習各種科目。在這個階段，所有的模型組件都參與訓練，使用了大約1萬億個詞匯的數據。這些數據就像是一個巨大的圖書館，包含了圖片說明、知識問答、文檔識別等各種類型的內容，還包含了少量的視頻數據來培養時間理解能力。

第三階段專門針對長上下文能力訓練。研究團隊把輸入長度從8192個詞匯擴展到32768個詞匯，就像是讓學生從閱讀短文章過渡到閱讀長篇小說。這個階段同樣使用了1萬億詞匯的數據，但調整了數據構成，增加了純文本數據的比例來提升長文本理解能力，同時加入了更多的視頻和智能代理任務數據。

第四階段是超長上下文適應，把處理長度進一步擴展到256K詞匯，相當于能夠一次性閱讀一本中等厚度的書。這個階段使用了專門篩選的1000億詞匯數據，特別強調長視頻和長文檔理解任務，為模型處理復雜的實際應用場景打下基礎。

后訓練階段則像是專業技能的培訓和實習。首先是監督微調階段，分為32K和256K兩個子階段，就像是從理論學習過渡到實際操作。研究團隊還開發了兩個版本：非思維版本注重快速響應，思維版本則會展示詳細的推理過程，就像是培養出既能快速答題又能詳細解釋的兩類學生。

接下來是強弱蒸餾階段，就像是讓優秀的老師把知識傳授給新學生。研究團隊用強大的教師模型來指導較小模型的學習，這個過程主要使用純文本數據，但同樣能夠顯著提升多模態任務的表現。

最后是強化學習階段，分為推理強化學習和通用強化學習兩部分。推理強化學習就像是專門訓練數學解題能力，涵蓋了數學、編程、邏輯推理等可以自動驗證答案正確性的任務。通用強化學習則像是培養綜合素質，包括指令遵循、偏好對齊等更廣泛的能力。

三、數據構建：打造AI學習的超級教材庫

構建Qwen3-VL使用的訓練數據就像是為一個天才學生準備最全面的教材庫，不僅要涵蓋各個學科，還要確保每本教材都是精心挑選的高質量內容。

在圖像描述和交錯文本圖像數據的構建上，研究團隊就像是在編寫一本圖文并茂的百科全書。他們收集了大量來自網絡的圖片文字配對，但不是簡單地使用原始數據，而是使用專門訓練的Qwen2.5-VL-32B模型來重新撰寫更詳細、更準確的圖片描述。這個過程就像是讓一個經驗豐富的作家重新為每張圖片寫說明文字，不僅描述圖片中的物體，還解釋它們之間的關系和背景信息。

為了確保數據的多樣性，他們使用了聚類技術來識別數據分布中的稀疏區域，然后針對性地增加這些區域的樣本。這就像是在整理圖書館時發現某些學科的書籍太少，于是專門去采購這些領域的書籍來保持藏書的平衡。

對于交錯的文本圖像數據，研究團隊從中英文網站收集了真實的多模態文檔，經過嚴格的領域分類和質量過濾。他們使用微調的Qwen2.5-VL-7B模型進行高精度的多模態解析，準確提取和對齊文本與嵌入的圖表、圖片。為了支持超長上下文建模，他們還將連續的頁面合并成長達256K詞匯的序列，同時保持原有的頁面順序和多模態連貫性。

知識類數據的構建更像是在建設一個專門的博物館。研究團隊圍繞明確定義的實體構建了大規模的預訓練數據集，涵蓋動物、植物、地標、食物等十幾個語義類別。考慮到真實世界實體遵循長尾分布的特點，他們采用了重要性采樣策略，就像是在博物館中給重要展品分配更多的展示空間，同時確保稀有展品也有適當的展示機會。

在OCR和文檔處理方面，研究團隊構建了一個多語言的文字識別訓練集。他們從Qwen2.5-VL支持的10種語言擴展到39種語言，使用粗到精的流水線來完善OCR標注。這個過程就像是培養一個能夠閱讀世界各國語言的翻譯專家，不僅要識別文字，還要理解文檔的整體結構和布局。

對于文檔解析任務，他們收集了來自Common Crawl的300萬份PDF文檔，均勻分布在10種文檔類型中。使用內部的布局模型預測閱讀順序和邊界框，然后用Qwen2.5-VL-72B進行區域特定識別，最后重新組裝成位置感知、布局對齊的解析數據。

在視覺定位和計數能力的數據構建上，研究團隊就像是在訓練一個精準的射手。他們不僅使用了現有的開源數據集，還開發了自動化合成流水線來生成高質量的物體標注。這個流水線分三個步驟：首先從無標簽圖像中提取候選物體，然后使用開放詞匯檢測器和Qwen2.5-VL進行定位和標注，最后通過質量評估過濾掉低置信度的標注。

空間理解和3D識別數據的構建更像是在培養一個立體幾何專家。研究團隊不僅要讓模型理解空間關系，還要能夠估計物體的三維位置。他們構建的數據集包括關系標注（如"筆記本電腦左邊的杯子"）、功能性標簽（如"可抓取"、"可按壓"、"可坐"）和基于動作的查詢，這些訓練使得Qwen3-VL不僅能回答"在哪里"的問題，還能回答"怎么做"和"能做什么"的問題。

四、訓練優化：讓AI學習更高效的秘密武器

在Qwen3-VL的訓練過程中，研究團隊就像是經驗豐富的教練，采用了一系列精妙的策略來確保AI能夠高效學習并保持各項能力的平衡發展。

其中最關鍵的創新是損失函數的改進。傳統的訓練方法就像是按照每個學生回答問題的次數來評分，但這樣容易導致偏向那些話多的學生。新的方法則采用了平方根歸一化的按詞匯計分方式，就像是既考慮答題數量又考慮答題質量，這樣可以更好地平衡文本和多模態數據在訓練中的貢獻，避免某一種能力過度發展而犧牲其他能力。

在基礎設施方面，整個訓練過程在阿里云的PAI-靈駿AI計算服務上進行，采用了基于Megatron-LM框架的混合并行策略。這套系統就像是一個高度協調的工廠流水線，同時運用張量并行、流水線并行、上下文并行、專家并行和數據并行等多種技術，能夠在多達1萬個GPU上實現精細的負載均衡，既保證高硬件利用率又維持高吞吐量和低通信延遲。

為了讓模型能夠處理超長文檔，研究團隊還創新性地采用了漸進式上下文擴展策略。這個過程就像是訓練一個長跑運動員，先從短距離開始訓練，逐步增加距離。模型首先在8K詞匯長度上進行訓練，然后擴展到32K，最后達到256K的超長上下文能力。這種漸進式訓練不僅提高了訓練效率，還確保了模型在各個長度范圍內都能保持穩定的性能。

在后訓練階段，研究團隊特別注重數據質量的把控。他們采用了兩階段過濾流水線：查詢過濾和響應過濾。查詢過濾階段就像是一個嚴格的編輯，利用Qwen2.5-VL來識別和丟棄那些難以驗證的查詢，對含糊不清的指令進行適度修正，同時剔除缺乏實質內容的網絡來源查詢。響應過濾階段則結合了基于規則的過濾和基于模型的過濾，前者像是語法檢查器，后者則像是內容質量評估師，確保最終的訓練數據既符合格式要求又具有高質量的內容。

對于思維模型的訓練，研究團隊構建了專門的長鏈式思維冷啟動數據集。這個數據集就像是為高級數學學生準備的練習冊，專門包含需要復雜推理的問題。他們特別注重多模態必要性過濾，確保保留的視覺語言數學問題確實需要多模態理解，而不是僅憑文本就能解決的問題。

強化學習階段的設計更像是個性化的一對一教學。對于推理強化學習，他們使用了能夠確定性驗證的任務，包括數學、編程、邏輯推理等，就像是有標準答案的考試題目。對于通用強化學習，則更注重指令遵循和偏好對齊，就像是培養學生的綜合素養和社交能力。

五、實驗驗證：全方位測試展現超強實力

為了驗證Qwen3-VL的真實能力，研究團隊進行了一系列全面而嚴格的測試，就像是讓一個全科學生參加各種不同學科的考試來證明自己的實力。

在通用視覺問答能力測試中，Qwen3-VL就像是一個博學的百科全書專家。在MMBench、RealWorldQA、MMStar等標準測試中，特別是在思維模式下，Qwen3-VL-235B-A22B-Thinking在MMStar上達到了78.7分的最高成績。雖然Gemini-2.5-Pro的思維模式整體表現最佳，但Qwen3-VL的表現緊隨其后。在非推理模式的比較中，Qwen3-VL-235B-A22B-Instruct在MMBench和RealWorldQA上分別獲得了89.3/88.9和79.2的最高分數。

更令人印象深刻的是模型的可擴展性表現。從2B參數的小模型到235B參數的大模型，性能呈現出清晰的遞增趨勢，就像是從小學生到博士生的知識水平差異。以MMBench-EN測試為例，在思維模式下，分數從2B模型的79.9分逐步提升到8B模型的85.3分，展現出良好的規模效應。

在多模態推理能力測試中，Qwen3-VL表現得就像是一個數學和邏輯推理的天才。在MMMU、MathVision、MathVista等STEM相關的測試中，flagship模型展現出了卓越的表現。特別值得一提的是，Qwen3-VL-235B-A22B-Instruct在MathVista mini、MathVision、DynaMath等多個測試中都取得了最佳成績，證明了其在數學視覺推理方面的強大能力。

在中等尺寸模型的比較中，Qwen3-VL-32B的表現令人驚訝，consistently超越了Gemini-2.5-Flash和GPT-5-mini。更為重要的是，與上一代Qwen2.5-VL-72B相比，中等尺寸的Qwen3-VL模型在推理任務上已經實現了超越，這突顯了VLM技術的顯著進步。

在對齊和主觀任務測試中，Qwen3-VL就像是一個善于理解復雜指令并避免產生錯覺的智能助手。在HallusionBench測試中，思維版本超越了Gemini-2.5-pro、GPT-5和Claude opus 4.1，分別領先3.0、1.0和6.3分。在MIA-Bench測試中，Qwen3-VL-235B-A22B-Thinking獲得了所有模型中的最佳總分，展現了出色的多模態指令遵循能力。

文檔理解和OCR能力測試中，Qwen3-VL表現得就像是一個精通多種語言的文檔專家。在OCR聚焦的解析測試、綜合OCR測試以及文檔問答測試中，Qwen3-VL-235B-A22B-Instruct模型建立了新的技術標準，甚至在某些測試中超越了其思維版本。研究團隊特別強調了多語言支持的大幅擴展，從Qwen2.5-VL支持的10種非英語/中文語言擴展到39種語言，在32種語言上達到了70%以上的準確率，證明了強大的多語言OCR能力。

在2D和3D定位能力測試中，Qwen3-VL就像是一個精準的導航專家。在referring expression comprehension、開放詞匯目標檢測和計數等測試中，flagship模型實現了state-of-the-art的結果。特別在ODinW-13測試中達到48.6 mAP，展現了在多目標開放詞匯物體定位方面的強大能力。在3D物體定位方面，Qwen3-VL在多個數據集上都表現出色，特別是在SUN RGB-D數據集上，思維版本比Gemini-2.5-Pro領先5.2分。

精細感知能力測試顯示了Qwen3-VL在處理高分辨率輸入和細微視覺差異方面的卓越能力。在V*、HRBench-4k和HRBench-8k測試中，當與工具結合使用時，分別達到了93.7、85.3和82.3的state-of-the-art性能。更為有趣的是，集成外部工具帶來的性能提升consistently超過了簡單增加模型規模的效果，在Qwen3-VL家族中，添加工具的絕對改進在V*測試中consistently為約5分。

六、創新應用：從圖像理解到代碼生成的全能表現

Qwen3-VL不僅在傳統的視覺理解任務上表現出色，在一些新興的應用領域更是展現出了令人驚嘆的能力，就像是一個既能讀書又能動手實踐的全能型人才。

在多圖像理解任務中，Qwen3-VL就像是一個能夠同時關注多個監控屏幕的安保專家。這種能力要求模型不僅要理解單張圖像的內容，還要分析多張圖像之間的關系、對應和差異。在BLINK和MuirBench等評估中，Qwen3-VL展現了出色的跨圖像模式學習能力，包括多圖像referring grounding、視覺對應關系識別和多跳推理。特別是Qwen3-VL-235B-A22B-Thinking在MuirBench上達到了80.1的領先分數，超越了所有其他模型。

在具身和空間理解能力方面，Qwen3-VL表現得就像是一個經驗豐富的室內設計師。通過在高分辨率視覺數據上的訓練，結合精細的pointing、相對位置標注和問答對，模型獲得了深度的空間理解能力。在EmbSpatial、RefSpatial和RoboSpatialHome等測試中，Qwen3-VL-235B-A22B分別獲得了84.3、69.9和73.9的高分。這種能力的獲得主要得益于訓練過程中整合了pointing、grounding和spatio-temporal perception數據，使得模型在ERQA和VSIBench上也取得了52.5和60.0的頂級分數。

視頻理解能力的提升更是令人印象深刻。得益于訓練數據的規模化和關鍵架構增強，Qwen3-VL展現了顯著改進的視頻理解能力。通過interleaved MRoPE的集成、textual timestamps的插入以及temporally dense video captions的規模化，即使是8B版本也能達到與明顯更大的Qwen2.5-VL 72B模型相當的性能。在與state-of-the-art proprietary模型（包括Gemini 2.5 Pro、GPT-5和Claude Opus 4.1）的比較中，Qwen3-VL展現了competitive乃至superior的性能。

在智能代理能力方面，Qwen3-VL就像是一個能夠熟練操作各種軟件界面的技術專家。在GUI grounding任務中，包括ScreenSpot、ScreenSpot Pro和OSWorldG等測試，Qwen3-VL-235B-A22B實現了state-of-the-art的性能，覆蓋了desktop、mobile和PC上的交互界面，展現了exceptional的UI感知能力。在在線環境評估中，Qwen3-VL 32B在OSWorld上得分41，在AndroidWorld上得分63.7，超越了當前的foundation VLMs，展現了exceptional的planning、decision-making和reflection能力。

多模態編程能力或許是最讓人印象深刻的應用之一。Qwen3-VL能夠理解用戶界面的screenshot并生成相應的HTML/CSS代碼，根據圖像生成可編輯的SVG代碼，解決視覺編程挑戰，回答帶有圖像的編程問題，甚至將flowcharts、diagrams和LaTeX公式等視覺表示轉錄成相應的代碼。這種能力就像是擁有了一個能夠看懂設計圖紙就直接編寫程序的程序員。

在文本中心任務的表現同樣值得關注。為了全面評估Qwen3-VL的文本處理能力，研究團隊采用了自動化benchmark測試，涵蓋了知識、推理、代碼、對齊任務、智能代理和多語言等多個維度。結果顯示，Qwen3-VL-235B-A22B-Instruct在保持強大視覺能力的同時，在文本任務上也達到了與純文本模型相當甚至更優的性能，證明了真正意義上的多模態能力整合。

特別值得一提的是"針海撈針"測試，這項測試就像是在圖書館的海量書籍中尋找特定信息。在視頻版本的"針海撈針"測試中，模型需要在長視頻中準確定位和回答關于插入"針"幀的問題。結果顯示，模型在處理長達30分鐘的視頻（對應256K token上下文長度）時達到了完美的100%準確率。更令人驚訝的是，即使在extrapolar到1M tokens（約2小時視頻）時，模型仍然保持了99.5%的高準確率，充分展現了強大的long-sequence建模能力。

七、技術影響：重新定義AI的能力邊界

Qwen3-VL的發布不僅僅是一個新模型的推出，更像是為整個AI領域打開了一扇新的大門，重新定義了我們對人工智能能力邊界的認知。

從技術發展的角度來看，Qwen3-VL實現了幾個重要的突破。首先是超長上下文處理能力的實用化。雖然之前也有模型聲稱支持長上下文，但真正能夠在25萬詞匯的長度下保持高質量理解的模型并不多見。Qwen3-VL不僅實現了這種能力，還證明了在實際應用中的有效性，就像是從理論概念轉化為了實用工具。

其次是真正的多模態融合。傳統的多模態模型往往是將不同模態的信息在最后階段進行簡單拼接，而Qwen3-VL通過DeepStack等技術實現了深層次的多模態融合，讓模型能夠像人類一樣自然地整合視覺和文本信息。這種融合不是表面的，而是深入到了模型處理信息的每一個層次。

第三是從感知到行動的能力跨越。Qwen3-VL不僅能夠理解圖像和文本，還能夠基于視覺輸入生成代碼、操作界面、進行推理等復雜任務。這標志著AI從被動的信息處理者向主動的問題解決者轉變，就像是從一個只會讀書的學生變成了能夠解決實際問題的專家。

從應用前景來看，Qwen3-VL的能力組合開啟了許多新的可能性。在教育領域，它可以同時處理教材中的文字說明和配圖，為學生提供更加生動和準確的解答。在醫療領域，它可以理解包含大量圖表和影像的醫療報告，協助醫生進行診斷。在軟件開發領域，它可以根據UI設計圖直接生成代碼，大大提高開發效率。

特別值得關注的是模型的可擴展性設計。從2B到235B參數的多個版本，以及dense和MoE兩種架構的選擇，為不同場景和需求提供了靈活的解決方案。這就像是提供了從自行車到跑車的全系列交通工具，用戶可以根據自己的需求和資源選擇最合適的版本。

在開放性方面，研究團隊選擇了Apache 2.0許可證發布整個模型家族，這種開放態度為整個AI社區的發展提供了寶貴資源。開放的模型不僅能夠讓更多研究者和開發者受益，還能夠推動整個領域的快速發展，形成良性的技術生態系統。

然而，Qwen3-VL的成功也帶來了一些值得思考的問題。超強的代碼生成能力可能會改變軟件開發的工作模式，強大的文檔理解能力可能會影響傳統的文檔處理流程。這些變化既帶來了提高效率的機會，也需要相關行業做好適應性調整。

從更長遠的角度來看，Qwen3-VL代表了AI發展的一個重要方向：真正的通用人工智能。雖然我們距離完全的AGI還有很長的路要走，但Qwen3-VL在多模態理解、長上下文處理、復雜推理等方面的突破，讓我們看到了這個目標正在變得更加清晰和可達。

歸根結底，Qwen3-VL的發布標志著我們進入了一個新的AI時代。在這個時代里，AI不再局限于單一的任務或模態，而是能夠像人類一樣靈活地處理各種復雜的現實世界問題。雖然技術的進步總是伴隨著挑戰，但毫無疑問的是，這種能力的提升將為人類社會帶來前所未有的便利和可能性。對于那些想要深入了解這項技術細節的讀者，可以通過arXiv:2511.21631v2查詢完整的技術論文。

Q&A

Q1：Qwen3-VL能處理多長的文檔？

A：Qwen3-VL能夠一次性處理25萬個詞匯（256K tokens）的超長文檔，相當于一本中等厚度小說的長度。這種能力讓它能夠理解整個文檔的前后呼應關系，而不是像傳統AI那樣只能一小段一小段地閱讀。

Q2：Qwen3-VL有哪些不同版本可以選擇？

A：Qwen3-VL提供了從2B到235B參數的多個版本，包括密集型（2B/4B/8B/32B）和混合專家系統（30B-A3B/235B-A22B）兩種架構。小版本處理速度快適合日常使用，大版本功能更強大適合復雜任務，用戶可以根據需求和資源選擇合適版本。

Q3：Qwen3-VL的代碼生成能力有多強？

A：Qwen3-VL能夠根據網頁截圖直接生成HTML/CSS代碼，將圖像轉換為SVG代碼，甚至能夠理解流程圖和公式圖片并轉換為相應代碼。這種能力就像擁有了一個能夠看懂設計圖紙就直接編寫程序的程序員。