Jina AI推出2.4B參數(shù)多語(yǔ)言視覺(jué)語(yǔ)言模型：小身材，大本事

這項(xiàng)由德國(guó)柏林Jina AI公司的Andreas Koukounas、Georgios Mastrapas、Florian Honicke等研究團(tuán)隊(duì)完成的突破性研究，發(fā)表于2025年12月的arXiv預(yù)印本平臺(tái)，論文編號(hào)為arXiv:2512.04032v1。有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文。

在人工智能快速發(fā)展的今天，視覺(jué)語(yǔ)言模型就像是給計(jì)算機(jī)裝上了"眼睛"和"嘴巴"，讓它們既能看懂圖片，又能用人類(lèi)語(yǔ)言描述看到的內(nèi)容。然而，目前大多數(shù)優(yōu)秀的視覺(jué)AI助手都有兩個(gè)令人頭疼的問(wèn)題：它們往往只擅長(zhǎng)英語(yǔ)，面對(duì)其他語(yǔ)言時(shí)就像啞巴一樣；同時(shí)，這些AI"大腦"通常非常龐大，運(yùn)行起來(lái)需要消耗大量計(jì)算資源，普通用戶根本用不起。

Jina AI的研究團(tuán)隊(duì)就像是AI界的"節(jié)能專家"，他們開(kāi)發(fā)出了一個(gè)名為jina-vlm的小巧而強(qiáng)大的AI助手。這個(gè)AI助手只有24億個(gè)參數(shù)，相當(dāng)于其他同類(lèi)產(chǎn)品的一半大小，卻能熟練掌握30多種語(yǔ)言，在多語(yǔ)言視覺(jué)問(wèn)答任務(wù)中表現(xiàn)出色。更令人驚喜的是，它在處理英語(yǔ)任務(wù)時(shí)的表現(xiàn)也絲毫不遜色于那些更大的"同行"。

這項(xiàng)研究的核心創(chuàng)新就像是為AI設(shè)計(jì)了一套高效的"信息處理流水線"。研究團(tuán)隊(duì)將SigLIP2視覺(jué)編碼器比作AI的"眼睛"，將Qwen3語(yǔ)言模型比作AI的"大腦"，然后用一種叫做"注意力池化連接器"的技術(shù)將兩者無(wú)縫連接起來(lái)。這種連接方式就像是在眼睛和大腦之間架設(shè)了一條高速通道，不僅傳輸速度快，還能有效壓縮視覺(jué)信息，將原本需要處理的視覺(jué)標(biāo)記數(shù)量減少了四分之三。

在訓(xùn)練這個(gè)AI助手的過(guò)程中，研究團(tuán)隊(duì)采用了一種"兩階段烹飪法"。第一階段就像是讓AI學(xué)習(xí)基礎(chǔ)的"看圖說(shuō)話"技能，使用大量不同語(yǔ)言的圖片描述數(shù)據(jù)來(lái)訓(xùn)練；第二階段則像是進(jìn)行專業(yè)技能培訓(xùn)，教會(huì)AI如何回答各種復(fù)雜的視覺(jué)問(wèn)題。整個(gè)訓(xùn)練過(guò)程巧妙地融入了純文本數(shù)據(jù)，就像是在教AI看圖的同時(shí)，也不忘記保持它原有的語(yǔ)言理解能力。

為了處理不同尺寸的圖片，jina-vlm采用了一種"拼圖"策略。當(dāng)遇到大圖片時(shí)，它會(huì)將圖片切割成多個(gè)重疊的小塊，就像拼圖游戲一樣，每一塊都能被AI的"眼睛"看清楚。同時(shí)，它還會(huì)保留一張縮小的全景圖作為"鳥(niǎo)瞰圖"，確保不會(huì)錯(cuò)過(guò)整體信息。這種處理方式讓AI能夠既看到細(xì)節(jié)，又把握全局。

一、技術(shù)架構(gòu)：像搭積木一樣組裝AI大腦

jina-vlm的整體架構(gòu)就像是一個(gè)精心設(shè)計(jì)的信息處理工廠。在這個(gè)工廠里，原始圖片首先會(huì)被送到"視覺(jué)車(chē)間"進(jìn)行初步處理。這個(gè)車(chē)間使用的是SigLIP2-So400M/14-384視覺(jué)編碼器，它就像一個(gè)有著4億個(gè)神經(jīng)元的超級(jí)"眼睛"，專門(mén)負(fù)責(zé)將圖片轉(zhuǎn)換成計(jì)算機(jī)能夠理解的數(shù)字信息。

這個(gè)視覺(jué)編碼器的工作原理就像是用放大鏡觀察馬賽克畫(huà)。它將每張378×378像素的圖片分解成27×27的網(wǎng)格，每個(gè)小格子代表一個(gè)14×14像素的區(qū)域。通過(guò)27層深度處理，這些視覺(jué)信息會(huì)逐漸從簡(jiǎn)單的像素點(diǎn)組合變成復(fù)雜的語(yǔ)義概念。

接下來(lái)是整個(gè)系統(tǒng)最巧妙的部分——視覺(jué)語(yǔ)言連接器。這個(gè)連接器就像是一個(gè)高效的翻譯官，它不僅要將視覺(jué)信息翻譯成語(yǔ)言模型能夠理解的格式，還要盡可能壓縮信息量以提高處理效率。連接器采用了一種創(chuàng)新的多層特征融合策略，它會(huì)同時(shí)提取視覺(jué)編碼器第18層和第24層的信息，這樣做就像是同時(shí)獲得了"粗略輪廓"和"精細(xì)細(xì)節(jié)"兩種視角。

在信息壓縮環(huán)節(jié)，連接器使用了注意力池化技術(shù)。這種技術(shù)的工作原理就像是用智能相機(jī)拍照時(shí)的自動(dòng)對(duì)焦功能。它會(huì)將每2×2個(gè)相鄰的圖像區(qū)域組合成一個(gè)更大的單元，通過(guò)注意力機(jī)制自動(dòng)判斷哪些信息更重要，然后將重要信息保留下來(lái)，不重要的信息則被過(guò)濾掉。這樣一來(lái)，原本需要處理729個(gè)視覺(jué)標(biāo)記的工作量減少到只需要處理182個(gè)，效率提升了四倍。

最后，處理后的視覺(jué)信息會(huì)被送到語(yǔ)言處理部分。這里使用的是Qwen3-1.7B-Base語(yǔ)言模型，它就像是一個(gè)擁有17億個(gè)神經(jīng)連接的超級(jí)大腦。為了讓視覺(jué)信息和文本信息能夠和諧共處，研究團(tuán)隊(duì)設(shè)計(jì)了三個(gè)特殊的標(biāo)記符號(hào)：和用來(lái)標(biāo)記圖像內(nèi)容的開(kāi)始和結(jié)束，則用來(lái)標(biāo)記圖像網(wǎng)格中每一行的邊界，就像是給AI提供了閱讀圖像的"標(biāo)點(diǎn)符號(hào)"。

二、訓(xùn)練過(guò)程：分階段打造多語(yǔ)言視覺(jué)專家

訓(xùn)練jina-vlm的過(guò)程就像是培養(yǎng)一個(gè)多才多藝的翻譯官，需要分階段進(jìn)行專業(yè)訓(xùn)練。整個(gè)訓(xùn)練過(guò)程巧妙地結(jié)合了約500萬(wàn)個(gè)多模態(tài)樣本和120億個(gè)文本標(biāo)記，涵蓋了30多種語(yǔ)言，其中大約一半是英語(yǔ)內(nèi)容，其余則分布在各種高資源和中等資源的語(yǔ)言中。

第一階段被稱為"對(duì)齊訓(xùn)練"，就像是教一個(gè)剛?cè)雽W(xué)的學(xué)生學(xué)會(huì)基本的"看圖說(shuō)話"技能。在這個(gè)階段，AI主要學(xué)習(xí)如何將看到的圖像內(nèi)容用準(zhǔn)確的語(yǔ)言描述出來(lái)。訓(xùn)練數(shù)據(jù)主要來(lái)自PixmoCap和PangeaIns等數(shù)據(jù)集，這些數(shù)據(jù)集包含了各種各樣的圖片：自然風(fēng)景、文檔資料、信息圖表、技術(shù)圖解等等，就像是一本內(nèi)容豐富的百科全書(shū)。

特別值得一提的是，研究團(tuán)隊(duì)在這個(gè)階段加入了15%的純文本數(shù)據(jù)，這些數(shù)據(jù)來(lái)自PleiAS/common語(yǔ)料庫(kù)。這樣做的目的就像是在教孩子學(xué)畫(huà)畫(huà)的同時(shí)，也不忘記讓他們繼續(xù)練習(xí)寫(xiě)字，確保原有的語(yǔ)言能力不會(huì)因?yàn)閷Ｗ⒂谝曈X(jué)學(xué)習(xí)而退化。

在訓(xùn)練的技術(shù)細(xì)節(jié)上，研究團(tuán)隊(duì)為不同的組件設(shè)置了不同的學(xué)習(xí)速度。視覺(jué)編碼器的學(xué)習(xí)率設(shè)置得比較保守，為6e-6，就像是讓一個(gè)已經(jīng)有基礎(chǔ)的學(xué)生慢慢適應(yīng)新環(huán)境；連接器的學(xué)習(xí)率最高，達(dá)到2e-4，因?yàn)樗侨碌慕M件，需要快速學(xué)習(xí)；語(yǔ)言模型的學(xué)習(xí)率設(shè)置為2e-5，在保持原有能力的同時(shí)適應(yīng)多模態(tài)任務(wù)。整個(gè)第一階段訓(xùn)練了25000步，處理了320萬(wàn)個(gè)樣本，相當(dāng)于100億個(gè)標(biāo)記。

第二階段被稱為"指令微調(diào)"，就像是對(duì)已經(jīng)掌握基本技能的學(xué)生進(jìn)行專業(yè)化訓(xùn)練，教會(huì)他們?nèi)绾位卮鸶鞣N復(fù)雜的問(wèn)題。這個(gè)階段的訓(xùn)練數(shù)據(jù)更加多樣化，包括了LLaVA OneVision、Cauldron、Cambrian、PangeaIns和FineVision等數(shù)據(jù)集，涵蓋了學(xué)術(shù)問(wèn)答、文檔理解、光學(xué)字符識(shí)別、數(shù)學(xué)推理等多個(gè)領(lǐng)域。

在這個(gè)階段，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：由于指令數(shù)據(jù)來(lái)源多樣，不同數(shù)據(jù)源的風(fēng)格差異很大，如果簡(jiǎn)單地將所有數(shù)據(jù)混合在一起訓(xùn)練，效果反而不好。就像是讓學(xué)生同時(shí)學(xué)習(xí)不同老師的教學(xué)風(fēng)格，容易產(chǎn)生混淆。因此，他們采用了一種漸進(jìn)式的訓(xùn)練策略：前30000步使用單一數(shù)據(jù)源的批次進(jìn)行訓(xùn)練，讓AI先熟悉各種不同的任務(wù)風(fēng)格；后30000步再使用混合數(shù)據(jù)源的批次進(jìn)行訓(xùn)練，讓AI學(xué)會(huì)融會(huì)貫通。

整個(gè)第二階段訓(xùn)練了60000步，處理了1530萬(wàn)個(gè)樣本，相當(dāng)于370億個(gè)標(biāo)記。訓(xùn)練過(guò)程中，所有模型組件都保持可更新?tīng)顟B(tài)，沒(méi)有采用凍結(jié)策略，這樣可以讓整個(gè)系統(tǒng)達(dá)到最佳的協(xié)調(diào)狀態(tài)。

三、創(chuàng)新的圖像處理策略：像拼圖專家一樣處理任意尺寸圖片

處理不同尺寸的圖片一直是視覺(jué)AI面臨的一個(gè)技術(shù)難題。傳統(tǒng)的方法就像是用同一個(gè)相框裝所有的照片，要么把大照片強(qiáng)行壓縮變形，要么把小照片拉伸模糊，無(wú)論哪種方式都會(huì)損失重要信息。jina-vlm采用了一種巧妙的"智能拼圖"策略來(lái)解決這個(gè)問(wèn)題。

當(dāng)AI遇到一張大圖片時(shí)，它會(huì)像拼圖愛(ài)好者一樣，將圖片分解成多個(gè)重疊的小塊。每個(gè)小塊的尺寸都是標(biāo)準(zhǔn)的378×378像素，這是視覺(jué)編碼器最擅長(zhǎng)處理的尺寸。相鄰的圖片塊之間會(huì)有一定的重疊，就像拼圖時(shí)相鄰的拼塊會(huì)有重疊的邊緣一樣，這樣可以確保重要信息不會(huì)在分割邊界處丟失。

具體來(lái)說(shuō)，每個(gè)圖像塊之間的重疊寬度是112像素，相鄰塊的中心間距是266像素。這種設(shè)置就像是用步長(zhǎng)為266像素的"滑動(dòng)窗口"在圖片上移動(dòng)，每次移動(dòng)都能捕獲新的圖像區(qū)域，同時(shí)與前一個(gè)區(qū)域保持適度重疊。默認(rèn)情況下，系統(tǒng)最多可以處理12個(gè)圖像塊，這意味著它可以處理分辨率高達(dá)1176×910像素的圖片而不需要縮放。

除了這些詳細(xì)的圖像塊之外，系統(tǒng)還會(huì)生成一張全局縮略圖，將整張?jiān)紙D片壓縮到378×378像素。這張縮略圖就像是拼圖盒子上的完整圖案，為AI提供整體的上下文信息，確保它在關(guān)注局部細(xì)節(jié)的同時(shí)不會(huì)失去全局視野。

在處理這些圖像信息時(shí)，系統(tǒng)會(huì)為每個(gè)圖像塊單獨(dú)進(jìn)行編碼，然后將所有編碼結(jié)果按照空間順序排列。為了幫助AI理解這種空間排列關(guān)系，研究團(tuán)隊(duì)引入了特殊的行分隔符，就像是在給AI讀圖時(shí)加上了"換行"的提示。

這種分塊處理策略的最大優(yōu)勢(shì)是可擴(kuò)展性。如果需要處理更高分辨率的圖片，只需要增加圖像塊的數(shù)量即可，計(jì)算復(fù)雜度與圖像塊數(shù)量呈線性關(guān)系，而不是傳統(tǒng)方法的平方關(guān)系。這就像是雇傭更多工人來(lái)處理更大的拼圖，工作量按比例增加，而不會(huì)出現(xiàn)指數(shù)級(jí)的復(fù)雜度爆炸。

四、性能評(píng)估：在多個(gè)戰(zhàn)場(chǎng)上展現(xiàn)實(shí)力

為了全面驗(yàn)證jina-vlm的能力，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)多維度的測(cè)試體系，就像是給AI安排了一場(chǎng)全科考試。這場(chǎng)考試涵蓋了六個(gè)主要領(lǐng)域：通用視覺(jué)問(wèn)答、多模態(tài)理解、多圖像推理、幻覺(jué)控制、數(shù)學(xué)推理、純文本性能，以及多語(yǔ)言理解能力。

在通用視覺(jué)問(wèn)答測(cè)試中，jina-vlm就像是一個(gè)全能選手，在八個(gè)不同的評(píng)測(cè)基準(zhǔn)上取得了平均72.3分的優(yōu)異成績(jī)，這個(gè)分?jǐn)?shù)在同等規(guī)模的開(kāi)源模型中排名第一。具體來(lái)看，它在圖表理解任務(wù)ChartQA上得到81.9分，在文本識(shí)別任務(wù)TextVQA上得到83.2分，在文檔問(wèn)答DocVQA上更是達(dá)到了90.6分的驚人成績(jī)。

在多模態(tài)理解和真實(shí)世界理解測(cè)試中，jina-vlm表現(xiàn)得像是一個(gè)見(jiàn)多識(shí)廣的專家。它在MME基準(zhǔn)測(cè)試中獲得1965.8分，在MMBench v1.1上得到75.8分，在現(xiàn)實(shí)世界問(wèn)答RealWorldQA任務(wù)中達(dá)到68.2分，這個(gè)成績(jī)?cè)谒袇⑴c比較的模型中排名最高。這說(shuō)明jina-vlm不僅能理解標(biāo)準(zhǔn)的測(cè)試圖片，也能很好地處理真實(shí)世界中復(fù)雜多變的視覺(jué)場(chǎng)景。

在多圖像推理方面，jina-vlm的表現(xiàn)相對(duì)較為保守，平均得分為47.3分。這個(gè)結(jié)果其實(shí)完全在意料之中，因?yàn)橛?xùn)練數(shù)據(jù)中包含的多圖像樣本相對(duì)較少。但是在幻覺(jué)控制測(cè)試中，jina-vlm表現(xiàn)出色，在POPE基準(zhǔn)測(cè)試中獲得了90.3分的最高分。這意味著這個(gè)AI助手很少會(huì)"胡言亂語(yǔ)"，它知道什么時(shí)候說(shuō)"我不知道"，而不是編造一些看起來(lái)合理但實(shí)際上錯(cuò)誤的答案。

數(shù)學(xué)推理是AI能力的一個(gè)重要指標(biāo)，就像是測(cè)試一個(gè)學(xué)生的邏輯思維能力。在這個(gè)領(lǐng)域，jina-vlm的表現(xiàn)中規(guī)中矩，在MathVista測(cè)試中得到59.5分，在MMMU測(cè)試中得到45.6分。雖然這些分?jǐn)?shù)算不上頂尖，但考慮到模型的規(guī)模限制，這樣的表現(xiàn)已經(jīng)相當(dāng)不錯(cuò)了。

在純文本任務(wù)上的表現(xiàn)是衡量多模態(tài)訓(xùn)練是否會(huì)損害原有語(yǔ)言能力的重要指標(biāo)。測(cè)試結(jié)果顯示，jina-vlm在大部分任務(wù)上都能保持與原始語(yǔ)言模型相當(dāng)?shù)男阅堋Ｔ贛MLU測(cè)試中得到56.1分，在GSM-8K數(shù)學(xué)問(wèn)題上得到71.3分，在ARC-C常識(shí)推理測(cè)試中得到77.3分。雖然在一些知識(shí)密集型任務(wù)上略有下降，但在常識(shí)推理和閱讀理解等任務(wù)上甚至有所提升。

最令人印象深刻的是jina-vlm在多語(yǔ)言任務(wù)上的表現(xiàn)。在MMMB多語(yǔ)言基準(zhǔn)測(cè)試中，它取得了78.8分的平均成績(jī)，在所有2B規(guī)模的模型中排名第一。具體到各個(gè)語(yǔ)言，它在阿拉伯語(yǔ)上得到76.9分，在中文上得到80.0分，在英語(yǔ)上得到82.0分，在葡萄牙語(yǔ)上得到79.2分，在俄語(yǔ)上得到79.2分，在土耳其語(yǔ)上得到75.5分。這種均衡的多語(yǔ)言表現(xiàn)就像是一個(gè)真正的國(guó)際翻譯官，無(wú)論面對(duì)哪種語(yǔ)言都能游刃有余。

五、技術(shù)細(xì)節(jié)：精巧設(shè)計(jì)背后的工程智慧

jina-vlm的成功不僅僅在于創(chuàng)新的架構(gòu)設(shè)計(jì)，更在于許多精心考慮的技術(shù)細(xì)節(jié)。這些細(xì)節(jié)就像是精密手表中的每一個(gè)齒輪，看似微小但對(duì)整體性能至關(guān)重要。

在視覺(jué)語(yǔ)言連接器的設(shè)計(jì)中，研究團(tuán)隊(duì)做出了幾個(gè)關(guān)鍵的技術(shù)選擇。首先是多層特征融合策略。傳統(tǒng)做法通常只使用視覺(jué)編碼器最后一層的輸出，但jina-vlm同時(shí)使用了第18層和第24層的特征。第18層的特征保留了更多的空間細(xì)節(jié)信息，就像是一張高清晰度的照片；第24層的特征則包含了更多的語(yǔ)義信息，就像是對(duì)照片內(nèi)容的高級(jí)理解。將這兩種信息結(jié)合起來(lái)，就能夠既看到"是什么樣子"，又理解"是什么意思"。

注意力池化機(jī)制的設(shè)計(jì)也頗具巧思。系統(tǒng)將每2×2個(gè)相鄰的圖像區(qū)域作為一個(gè)鄰域，計(jì)算這四個(gè)區(qū)域特征的平均值作為查詢向量。這個(gè)過(guò)程就像是在做圖像的"局部平均"，既保持了空間結(jié)構(gòu)，又實(shí)現(xiàn)了信息壓縮。通過(guò)自注意力計(jì)算，系統(tǒng)能夠自動(dòng)學(xué)會(huì)哪些空間位置的信息更重要，從而在壓縮過(guò)程中最大化保留關(guān)鍵信息。

在訓(xùn)練策略上，研究團(tuán)隊(duì)采用了差異化的學(xué)習(xí)率設(shè)置。這種設(shè)計(jì)就像是給不同水平的學(xué)生設(shè)置不同的學(xué)習(xí)進(jìn)度。對(duì)于已經(jīng)預(yù)訓(xùn)練好的視覺(jué)編碼器，使用較低的學(xué)習(xí)率（6e-6），讓它慢慢適應(yīng)新任務(wù)而不破壞原有的視覺(jué)理解能力。對(duì)于全新的連接器組件，使用最高的學(xué)習(xí)率（2e-4），讓它快速學(xué)習(xí)如何有效地連接視覺(jué)和語(yǔ)言信息。對(duì)于語(yǔ)言模型，使用中等的學(xué)習(xí)率（2e-5），在保持原有語(yǔ)言能力的基礎(chǔ)上學(xué)會(huì)處理視覺(jué)信息。

數(shù)據(jù)混合策略也體現(xiàn)了研究團(tuán)隊(duì)的深度思考。在對(duì)齊訓(xùn)練階段，他們特意加入了15%的純文本數(shù)據(jù)，這就像是在教學(xué)生新技能的同時(shí)，不忘記讓他們復(fù)習(xí)已經(jīng)掌握的知識(shí)。這種做法有效防止了多模態(tài)訓(xùn)練過(guò)程中常見(jiàn)的"災(zāi)難性遺忘"問(wèn)題，確保AI在學(xué)會(huì)看圖說(shuō)話的同時(shí)，不會(huì)丟失原有的語(yǔ)言理解能力。

在指令微調(diào)階段，研究團(tuán)隊(duì)發(fā)現(xiàn)直接混合不同來(lái)源的數(shù)據(jù)會(huì)導(dǎo)致訓(xùn)練不穩(wěn)定，這是因?yàn)椴煌瑪?shù)據(jù)集的任務(wù)風(fēng)格和數(shù)據(jù)質(zhì)量存在顯著差異。他們采用的解決方案是先進(jìn)行單源訓(xùn)練，再進(jìn)行混合訓(xùn)練，這種漸進(jìn)式的方法就像是讓學(xué)生先分別掌握各門(mén)課程，再學(xué)習(xí)如何融會(huì)貫通。

六、實(shí)驗(yàn)結(jié)果：數(shù)字背后的真實(shí)實(shí)力

通過(guò)大量的實(shí)驗(yàn)和對(duì)比測(cè)試，jina-vlm展現(xiàn)出了令人印象深刻的綜合實(shí)力。這些測(cè)試結(jié)果不僅僅是冰冷的數(shù)字，更是這個(gè)AI助手在各種實(shí)際應(yīng)用場(chǎng)景中表現(xiàn)的真實(shí)寫(xiě)照。

在文檔理解能力測(cè)試中，jina-vlm表現(xiàn)得就像是一個(gè)經(jīng)驗(yàn)豐富的文檔分析專家。在DocVQA任務(wù)中，它能夠準(zhǔn)確地從復(fù)雜的表單和文檔中提取信息，回答諸如"響應(yīng)代碼是什么？"這樣的具體問(wèn)題，準(zhǔn)確率高達(dá)90.6%。在InfoVQA信息圖表理解任務(wù)中，它也達(dá)到了71.6%的準(zhǔn)確率，這意味著它能夠理解圖表、信息圖和各種可視化數(shù)據(jù)表示。

在光學(xué)字符識(shí)別（OCR）相關(guān)任務(wù)上，jina-vlm展現(xiàn)出了出色的文字識(shí)別和理解能力。在TextVQA測(cè)試中得到83.2分，在OCRBench測(cè)試中得到778分（滿分1000分）。這種能力讓它能夠像人類(lèi)一樣閱讀圖片中的文字內(nèi)容，無(wú)論是街頭的招牌、產(chǎn)品的標(biāo)簽，還是文檔中的表格數(shù)據(jù)。

特別值得關(guān)注的是jina-vlm在多語(yǔ)言環(huán)境下的穩(wěn)定表現(xiàn)。在Multilingual MMBench測(cè)試中，它在不同語(yǔ)言上的表現(xiàn)都相對(duì)均衡：阿拉伯語(yǔ)70.0分、中文75.9分、英語(yǔ)78.8分、葡萄牙語(yǔ)74.7分、俄語(yǔ)75.3分、土耳其語(yǔ)71.1分。這種均衡性說(shuō)明模型真正掌握了跨語(yǔ)言的視覺(jué)理解能力，而不是簡(jiǎn)單地依賴某種特定語(yǔ)言的訓(xùn)練數(shù)據(jù)。

在與其他同等規(guī)模模型的直接對(duì)比中，jina-vlm幾乎在所有任務(wù)上都表現(xiàn)出了競(jìng)爭(zhēng)優(yōu)勢(shì)。與Qwen2-VL-2B相比，在八項(xiàng)通用VQA任務(wù)上的平均得分高出近6分；與InternVL3-2B相比，在多語(yǔ)言任務(wù)上的優(yōu)勢(shì)更加明顯，MMMB平均得分高出5.2分。

更重要的是，jina-vlm在保持視覺(jué)性能的同時(shí)，很好地保留了原始語(yǔ)言模型的文本處理能力。在MMLU知識(shí)問(wèn)答測(cè)試中得到56.1分，雖然相比原始的Qwen3-1.7B模型的62.6分有所下降，但這種下降幅度在多模態(tài)模型中是完全可以接受的。在GSM-8K數(shù)學(xué)問(wèn)題和ARC-C常識(shí)推理等任務(wù)上，性能下降更加有限，甚至在HellaSwag閱讀理解測(cè)試中還略有提升。

七、技術(shù)局限與未來(lái)展望：誠(chéng)實(shí)面對(duì)挑戰(zhàn)與機(jī)遇

雖然jina-vlm在多個(gè)方面都表現(xiàn)出色，但研究團(tuán)隊(duì)也誠(chéng)實(shí)地承認(rèn)了當(dāng)前方法的一些局限性，這種科學(xué)態(tài)度反而更加令人信服。

首先是多圖像處理能力的限制。由于訓(xùn)練數(shù)據(jù)中多圖像樣本相對(duì)較少，jina-vlm在需要同時(shí)理解和比較多張圖片的任務(wù)上表現(xiàn)相對(duì)較弱，在多圖像推理測(cè)試中只取得了47.3分的中等成績(jī)。這就像是一個(gè)學(xué)生雖然擅長(zhǎng)分析單個(gè)問(wèn)題，但在處理需要綜合多個(gè)信息源的復(fù)雜問(wèn)題時(shí)還需要更多練習(xí)。

其次是計(jì)算效率的權(quán)衡。雖然多瓦片處理策略能夠很好地處理高分辨率圖像，但隨著圖像分辨率的增加，計(jì)算開(kāi)銷(xiāo)也會(huì)線性增長(zhǎng)。這意味著在處理極高分辨率圖像時(shí)，系統(tǒng)仍然面臨計(jì)算資源的挑戰(zhàn)。這就像是用更多的工人來(lái)處理更大的任務(wù)，雖然可行，但成本也會(huì)相應(yīng)增加。

在安全性和可靠性方面，研究團(tuán)隊(duì)坦率地指出，他們的訓(xùn)練過(guò)程并沒(méi)有專門(mén)強(qiáng)調(diào)安全關(guān)鍵的訓(xùn)練或?qū)R優(yōu)化。這意味著在某些敏感應(yīng)用場(chǎng)景中，模型可能需要額外的安全性評(píng)估和優(yōu)化。這就像是一輛性能優(yōu)秀的汽車(chē)，雖然速度很快，但在特殊路況下可能需要額外的安全措施。

數(shù)學(xué)推理能力也是一個(gè)需要改進(jìn)的領(lǐng)域。雖然jina-vlm在基礎(chǔ)的數(shù)學(xué)問(wèn)題上表現(xiàn)尚可，但在復(fù)雜的數(shù)學(xué)推理任務(wù)上還有提升空間。這反映了當(dāng)前視覺(jué)語(yǔ)言模型在處理需要多步驟邏輯推理的任務(wù)時(shí)面臨的普遍挑戰(zhàn)。

展望未來(lái)，研究團(tuán)隊(duì)提出了幾個(gè)有前景的發(fā)展方向。首先是更高效的分辨率處理方法，可能通過(guò)更智能的圖像分割策略或自適應(yīng)的處理機(jī)制來(lái)減少計(jì)算開(kāi)銷(xiāo)。其次是將這種多語(yǔ)言訓(xùn)練方法擴(kuò)展到更大規(guī)模的模型，驗(yàn)證其在不同模型尺寸下的效果。

另一個(gè)重要的方向是增強(qiáng)多圖像處理能力。通過(guò)收集更多高質(zhì)量的多圖像訓(xùn)練數(shù)據(jù)，或者設(shè)計(jì)更有效的多圖像理解架構(gòu)，可以顯著提升模型在復(fù)雜視覺(jué)推理任務(wù)上的表現(xiàn)。

在應(yīng)用層面，jina-vlm這樣的小規(guī)模高效模型為邊緣計(jì)算和移動(dòng)應(yīng)用開(kāi)辟了新的可能性。未來(lái)可能會(huì)看到更多運(yùn)行在手機(jī)、平板電腦甚至智能家居設(shè)備上的視覺(jué)AI助手，為用戶提供實(shí)時(shí)的多語(yǔ)言視覺(jué)問(wèn)答服務(wù)。

總的來(lái)說(shuō)，jina-vlm的成功證明了小型化、高效率和多語(yǔ)言能力并不矛盾。通過(guò)精心的架構(gòu)設(shè)計(jì)、巧妙的訓(xùn)練策略和大量的工程優(yōu)化，完全可以在有限的資源下構(gòu)建出性能卓越的視覺(jué)語(yǔ)言模型。這不僅為學(xué)術(shù)研究提供了新的思路，也為實(shí)際應(yīng)用中的AI普及化奠定了重要基礎(chǔ)。

研究團(tuán)隊(duì)的工作表明，AI技術(shù)的進(jìn)步不一定意味著模型規(guī)模的無(wú)限擴(kuò)大，通過(guò)聰明的設(shè)計(jì)和優(yōu)化，小而精的模型同樣可以在特定領(lǐng)域達(dá)到甚至超越大型模型的性能。這種發(fā)展路徑對(duì)于推動(dòng)AI技術(shù)的民主化和普及化具有重要意義，讓更多的研究者和開(kāi)發(fā)者能夠參與到AI創(chuàng)新的進(jìn)程中來(lái)。

說(shuō)到底，jina-vlm的成功故事告訴我們，在AI發(fā)展的道路上，并不是只有"大就是好"這一條路可走。通過(guò)深入理解問(wèn)題的本質(zhì)，精心設(shè)計(jì)解決方案，即使是相對(duì)較小的模型也能夠在特定領(lǐng)域表現(xiàn)出色。這種平衡效率和性能的方法論，不僅適用于視覺(jué)語(yǔ)言模型的開(kāi)發(fā)，也為整個(gè)AI領(lǐng)域的可持續(xù)發(fā)展提供了有價(jià)值的啟示。

對(duì)于普通用戶來(lái)說(shuō)，jina-vlm這樣的模型意味著更加便捷和實(shí)用的AI助手正在走近我們的生活。無(wú)論是幫助理解外語(yǔ)圖片內(nèi)容，還是協(xié)助處理日常的文檔和圖表分析，這種多語(yǔ)言、高效率的AI助手都將成為我們數(shù)字生活中不可或缺的工具。隨著技術(shù)的不斷成熟和普及，我們有理由期待一個(gè)更加智能、更加包容的多語(yǔ)言AI時(shí)代的到來(lái)。

Q&A

Q1：jina-vlm相比其他視覺(jué)語(yǔ)言模型有什么優(yōu)勢(shì)？

A：jina-vlm的最大優(yōu)勢(shì)是在保持小體積的同時(shí)實(shí)現(xiàn)了出色的多語(yǔ)言能力。它只有24億參數(shù)，但能熟練處理30多種語(yǔ)言的視覺(jué)問(wèn)答任務(wù)，在多語(yǔ)言基準(zhǔn)測(cè)試中達(dá)到78.8分，是同等規(guī)模開(kāi)源模型中的最高分。同時(shí)它在英語(yǔ)任務(wù)上的表現(xiàn)也不遜色于更大的模型。

Q2：jina-vlm是如何處理不同尺寸圖片的？

A：jina-vlm采用智能分塊策略，將大圖片分解成多個(gè)378×378像素的重疊小塊，每個(gè)小塊間重疊112像素。同時(shí)保留一張全局縮略圖提供整體信息。這樣既能看清局部細(xì)節(jié)，又不會(huì)失去全局視野，最多可處理1176×910分辨率的圖片而無(wú)需壓縮變形。

Q3：普通用戶什么時(shí)候能使用jina-vlm？

A：目前jina-vlm還處于研究階段，論文剛剛在2025年12月發(fā)布。由于它的小型化設(shè)計(jì)，未來(lái)很可能會(huì)被集成到手機(jī)、平板等移動(dòng)設(shè)備中，為用戶提供實(shí)時(shí)的多語(yǔ)言視覺(jué)問(wèn)答服務(wù)。具體的商業(yè)化時(shí)間表需要等待Jina AI公司的進(jìn)一步公告。