港中大攜手美團突破：AI實現圖像視頻雙模態推理覆蓋

這項由香港中文大學MMLab實驗室與美團公司聯合開展的研究發表于2024年12月，研究團隊開發出了一個名為OneThinker的全能AI推理模型。有興趣深入了解技術細節的讀者可以通過論文編號arXiv:2512.03043v2查詢完整論文。

在人工智能的世界里，大多數AI模型就像專業的技術工人——有的只會看圖片回答問題，有的只會分析視頻內容，還有的只擅長在圖片中標記物體位置。這些模型雖然在各自領域表現出色，但就像一個只會做川菜的大廚突然要做法國菜一樣，面對其他任務時往往束手無策。更麻煩的是，當你需要同時處理圖片和視頻時，就得準備好幾套不同的工具，這不僅復雜，還很難讓這些工具之間相互學習和配合。

香港中文大學的研究團隊發現了這個問題的關鍵所在。他們認為，視覺理解本質上應該是統一的——無論是靜態的圖片還是動態的視頻，無論是簡單的問答還是復雜的物體追蹤，都應該能夠用一個"萬能大腦"來處理。這就好比一個真正全能的廚師，不僅能做各種菜系，還能根據食材的特點靈活調整烹飪方法，甚至能夠將不同菜系的技巧融會貫通，創造出更美妙的味道。

于是，OneThinker誕生了。這個"萬能思考家"的名字恰如其分地體現了它的能力——它可以像人類一樣，用同一套思維模式處理各種不同的視覺任務。當面對一張圖片時，它能回答關于圖片內容的問題，能準確定位圖中的物體，甚至能生成詳細的圖片描述。當處理視頻時，它不僅能理解視頻內容，還能追蹤視頻中移動的物體，標記特定事件發生的時間段，甚至能夠同時在時間和空間兩個維度上定位目標。

OneThinker的核心創新在于它采用了一種叫做"強化學習"的訓練方式。可以把這個過程想象成培養一個學徒的過程：首先，研究團隊收集了大約60萬個涵蓋各種視覺任務的訓練樣本，這就像為學徒準備了一本包羅萬象的練習冊。然后，他們讓一個已經很聰明的商業AI模型（Seed1.5-VL）為這些樣本生成詳細的思考過程，就像讓一位經驗豐富的師傅為每道練習題寫下解題思路。

這個思考過程被巧妙地設計成兩個部分：首先是內心的推理過程，被放在特殊的標簽中；然后是最終的答案，同樣用特定格式標記。這就像是讓AI模型學會了"顯示思考過程"的習慣——不僅要給出正確答案，還要展示是如何一步步得出這個答案的。這種設計讓模型的推理過程變得透明可見，也讓它能夠處理更加復雜的推理任務。

一、構建全能數據基礎：從零散素材到系統化知識庫

要訓練一個真正的"萬能思考家"，首先需要為它準備一份內容豐富、涵蓋面廣的"教材"。研究團隊面臨的第一個挑戰就是如何收集和整理這份特殊的教材。

想象一下，如果要培養一個能夠處理各種視覺任務的AI助手，你需要準備什么樣的訓練素材呢？這就像是要開一家能做所有菜系的餐廳，你不能只準備川菜的食譜，還需要粵菜、法菜、日料等各種菜系的制作方法。研究團隊正是基于這樣的思路，精心構建了一個名為OneThinker-600k的大型數據集。

這個數據集就像一個巨大的視覺任務博物館，里面收藏著大約60萬個不同類型的視覺任務樣本。其中，超過一半（55%）的內容專門用于訓練模型的邏輯推理能力，包括選擇題、數學計算、文字識別等任務。這部分就像是基礎的邏輯思維訓練，確保模型能夠進行準確的推理和計算。

除了這些基礎的推理任務，數據集還包含了豐富的時空理解任務。時間定位任務占了14%的比例，這些任務教會模型如何在視頻中準確找到特定事件發生的時間段，就像訓練一個人能夠準確記住故事情節在什么時候發生一樣。開放式問答和圖像描述任務占13%，這部分訓練模型的語言表達能力，讓它能夠用自然語言描述看到的內容。

空間定位、物體追蹤和圖像分割這三類任務各占5%的比例。空間定位訓練模型在圖片中準確標記物體位置的能力，物體追蹤讓模型學會在視頻序列中持續跟蹤移動目標，而圖像分割則培養模型精確區分不同物體邊界的能力。最后，還有3%的任務專門訓練模型的時空聯合定位能力，這是最具挑戰性的任務之一，需要模型同時在時間和空間兩個維度上定位目標。

但僅僅收集這些原始數據還不夠，研究團隊還面臨著一個更重要的挑戰：如何為這些任務生成高質量的"思考過程"標注。這就好比不僅要收集各種菜譜，還要為每道菜詳細記錄下烹飪時的每一個步驟和思考過程。

為了解決這個問題，研究團隊采用了一個巧妙的方法：他們使用了一個名為Seed1.5-VL的強大商業模型來為這些任務生成思考過程。這就像是請了一位經驗豐富的大廚來為每道菜的制作過程寫下詳細的解析和技巧說明。經過嚴格的質量篩選和驗證，最終形成了包含約34萬個高質量樣本的OneThinker-SFT-340k數據集，這些樣本都帶有完整的思考過程標注。

這種設計的巧妙之處在于，它不僅讓模型學會了解決各種視覺任務，更重要的是學會了如何思考和推理。每個訓練樣本都包含兩個部分：首先是模型的內部推理過程，用特殊的標簽包圍起來；然后是針對具體任務的格式化答案。這種結構化的設計讓模型能夠像人類一樣，先進行內心的思考和分析，然后給出最終的答案。

二、創新的多任務獎勵平衡機制：讓AI公平對待每一種技能

在訓練OneThinker這樣的多面手AI模型時，研究團隊遇到了一個有趣而復雜的問題：如何確保模型能夠公平地學習每一種技能，而不是偏愛某些簡單的任務而忽視困難的任務呢？

這個問題就像是在教育一個學生時遇到的挑戰。假設你要培養一個既擅長數學又擅長繪畫的全能學生，但數學題的對錯很容易判斷（對就是100分，錯就是0分），而繪畫作品的評分卻更加細膩和主觀（可能在60-95分之間浮動）。如果簡單地將兩種任務的分數直接相加來評判學生的表現，那么數學成績的巨大波動就會完全掩蓋繪畫能力的細微進步，導致學生只關注數學而忽視繪畫的提升。

OneThinker面臨的正是這樣的困境，但情況更加復雜。在AI模型的訓練過程中，不同任務的獎勵特征截然不同：數學推理任務的獎勵就像開關一樣，要么得到滿分，要么得到零分，波動極大；而物體定位任務的獎勵則像調光燈一樣，會在一個相對較小的范圍內平滑變化。當使用傳統的強化學習方法時，這種差異會導致兩個嚴重的問題。

第一個問題被稱為"任務內不平衡"。傳統的訓練方法會根據每組樣本的標準差來調整學習強度，這就好比根據考試成績的波動幅度來決定給學生多少關注。結果就是，那些成績波動很小的學生（對應簡單任務或者已經掌握得很好的任務）會得到過多的關注，而那些成績波動較大的學生（對應中等難度的任務）反而被忽視了。這種做法顯然不合理，因為中等難度的任務往往是最需要重點訓練的部分。

第二個問題是"任務間不平衡"。如果簡單地移除標準差調整機制，雖然能解決第一個問題，但會帶來新的麻煩：那些獎勵變化幅度大的任務（如數學推理）會完全主導訓練過程，而獎勵變化相對平緩的任務（如物體定位）就會被邊緣化。這就像是一個聲音特別大的學生總能吸引老師的注意，而聲音小的學生就被忽視了。

為了解決這個兩難問題，研究團隊提出了一個巧妙的解決方案：EMA-GRPO算法。這個算法的核心思想是為每種任務維護一個動態調整的"個性化關注度"。

具體來說，EMA-GRPO會為每種任務單獨跟蹤其獎勵變化的歷史模式，并計算出一個專屬的標準化比例。這就像是為每個學生建立一個個人檔案，記錄他們在不同科目上的表現特點，然后據此制定個性化的評估標準。對于獎勵波動較大的數學任務，系統會使用一個較大的標準化比例來"平息"這種波動；而對于獎勵變化平緩的定位任務，系統則使用一個較小的標準化比例來"放大"這種微妙的變化。

這種方法使用了指數移動平均（EMA）技術來平滑地更新每個任務的標準化參數。想象這是一個具有記憶功能的評分系統，它不僅考慮當前的表現，還會參考歷史的表現模式，從而做出更加穩定和公平的判斷。通過這種方式，每種任務都能在一個相對公平的環境中得到適當的關注和訓練。

更重要的是，這種設計確保了不同任務之間能夠相互促進和借鑒。研究團隊發現，當模型在學習物體定位任務時積累的空間理解能力，實際上也會幫助它更好地理解圖像問答任務中的空間關系。同樣，在視頻時間定位任務中培養的時序推理能力，也會提升模型在視頻問答任務中的表現。這種知識的跨任務遷移正是OneThinker能夠成為"萬能思考家"的關鍵所在。

三、統一的任務處理架構：一套語言描述所有視覺任務

OneThinker的另一個創新之處在于它設計了一套統一而巧妙的"任務翻譯系統"。這個系統能夠將各種截然不同的視覺任務都轉化為同一種"語言"，讓模型能夠用相同的思維模式處理所有任務。

想象一下聯合國的同聲傳譯工作：來自不同國家的代表用各自的語言發言，但通過翻譯系統，所有內容都能被轉換成統一的工作語言，讓每個參與者都能理解和參與討論。OneThinker的任務處理架構正是基于類似的理念設計的。

無論面對什么類型的視覺任務，OneThinker都會先在內心進行一番深入思考，這個思考過程被放置在特殊的標簽之間。然后，根據不同任務的特點，模型會用相應的格式給出最終答案。這就像是一個經驗豐富的咨詢師，無論面對什么問題，都會先仔細分析和思考，然后根據客戶的具體需求給出格式化的建議報告。

對于問答類任務，模型的思考過程可能包括對圖像內容的分析、相關知識的回憶、邏輯推理的展開等步驟，最后給出一個清晰的答案。當處理數學問題時，模型會展示完整的計算步驟和邏輯推導過程，確保答案的可靠性和可解釋性。

對于需要精確定位的任務，情況就更加有趣了。模型需要輸出結構化的數據，比如用四個數字表示物體在圖片中的位置，或者用時間段表示事件在視頻中的發生時刻。為了確保這些輸出的準確性，研究團隊設計了專門的獎勵機制。

以物體定位任務為例，模型需要預測一個矩形框來標記目標物體的位置。系統會計算預測框和真實位置之間的重疊程度，重疊度越高，獎勵越高。這就像是在玩"畫圈圈"的游戲，你需要用你畫的圈盡可能準確地圈住目標物體，圈得越準，得分越高。

對于視頻中的時間定位任務，模型需要找到特定事件發生的時間段。系統會比較預測的時間段和實際時間段之間的重疊情況，計算出時間上的"重疊度"。這個過程就像是在一條時間線上標記重要事件，標記得越準確，獎勵就越高。

最具挑戰性的是時空聯合定位任務，模型需要同時在時間和空間兩個維度上定位目標。這相當于在一個四維空間（時間+三維空間，但圖像是二維的，所以實際是三維）中進行精確定位。系統會綜合評估時間定位的準確性和空間定位的準確性，給出一個綜合評分。

對于物體追蹤任務，模型需要在視頻的每一幀中都準確標記目標物體的位置，形成一個連續的軌跡。這就像是用筆在紙上連續畫線跟蹤一個移動的點，線條與實際軌跡重合得越多，得分就越高。

圖像和視頻分割任務則更加復雜。模型不僅要給出目標物體的大致位置，還要提供一些"提示點"——一些明確位于物體內部的正面線索點，以及一些明確位于物體外部的負面線索點。這些提示點會被傳遞給專門的分割模型（如SAM2），由后者生成精確的物體輪廓。這個過程就像是在給別人指路時，你不僅要說出大概的方向，還要指出幾個明顯的地標（正面線索）和幾個需要避開的地方（負面線索），這樣對方就能更準確地找到目的地。

所有這些不同類型的任務都被巧妙地統一在同一個框架下。模型學會了在思考過程中靈活運用不同的推理策略，在輸出格式上適應不同任務的需求，同時在深層的表示學習上共享和遷移知識。這種統一的架構設計是OneThinker能夠成為真正"萬能思考家"的技術基礎。

四、突破性的性能表現：全方位領先的實驗結果

當OneThinker完成訓練后，研究團隊對其進行了全面而嚴格的測試，結果令人印象深刻。這些測試就像是對一個全能學生進行的綜合考試，涵蓋了從基礎知識到高級應用的各個層面。

在圖像問答任務中，OneThinker表現得像一個博學的學者。面對需要深度推理的MMMU測試，它達到了70.6%的準確率，這個分數意味著它能夠正確回答大約七成的復雜學術問題。在數學推理方面，它在MathVerse測試中獲得了64.3%的成績，在MathVista測試中達到77.6%，展現了強大的數學邏輯推理能力。這些成績不僅超越了許多專門針對單一任務訓練的模型，更重要的是證明了統一訓練方法的有效性。

視頻理解能力的測試結果同樣令人矚目。在VideoMMMU測試中，OneThinker達到66.2%的準確率，在處理長視頻推理的LongVideo-Reason測試中更是取得了79.2%的高分。這意味著它不僅能理解短視頻片段的內容，還能在長達數分鐘的視頻中保持清晰的邏輯思維，這對AI系統來說是一個相當大的挑戰。

更令人驚喜的是OneThinker在描述和生成文本方面的能力。無論是為圖片寫描述還是為視頻生成說明文字，它都能產生準確、詳細且富有邏輯性的文本。這種能力的背后反映的是模型對視覺內容的深層理解，不僅僅是簡單的模式識別，而是真正的理解和推理。

在空間定位任務上，OneThinker的表現尤為出色。在RefCOCO系列測試中，它在各個子測試中都達到了88%以上的準確率，最高達到93.7%。這意味著當你用自然語言描述圖片中的某個物體時，OneThinker幾乎總能準確地找到并標記出這個物體的位置。這種能力對于實際應用來說極其寶貴，比如幫助視覺障礙者理解圖像內容，或者在自動駕駛系統中準確識別道路標志。

時間定位能力的測試結果也非常令人滿意。在Charades和ActivityNet等視頻時間定位測試中，OneThinker都取得了顯著的性能提升。它能夠在長達幾分鐘的視頻中準確找到特定事件發生的時間段，這種能力在視頻搜索、內容審核和智能剪輯等應用中具有巨大的價值。

最具挑戰性的時空聯合定位任務測試結果更是證明了OneThinker的強大能力。這類任務要求模型同時在時間和空間兩個維度上定位目標，相當于在四維空間中進行精確導航。OneThinker在STVG測試中的表現大幅超越了之前的專業模型，證明了統一訓練方法在處理復雜任務時的優勢。

物體追蹤測試的結果同樣令人振奮。在GOT-10k測試中，OneThinker達到了73.0的AO分數和84.4的R@0.5分數，這意味著它能夠在視頻序列中非常準確地持續追蹤移動目標。值得注意的是，這些測試使用了32幀的設置，比其他一些模型使用的8幀設置更加困難，但OneThinker仍然表現優異。

在圖像和視頻分割任務中，OneThinker同樣展現了出色的能力。它不僅能夠準確地識別出目標物體的大致位置，還能提供精確的分割提示，使得后續的精細分割算法能夠生成高質量的物體輪廓。這種能力在醫學圖像分析、自動化制造質檢等領域有著重要的應用價值。

更重要的是，研究團隊還發現了一個令人興奮的現象：不同任務之間存在著顯著的知識遷移和相互促進效應。當模型學習空間定位任務時，這種能力會幫助它更好地理解圖像問答中的空間關系問題。同樣，視頻中的時間推理能力也會提升模型在處理靜態圖像中時間相關問題時的表現。這種跨任務的知識遷移正是統一訓練方法的核心優勢，也是OneThinker能夠超越許多專業模型的重要原因。

五、令人驚喜的零樣本泛化能力：舉一反三的智慧

OneThinker最令人印象深刻的能力之一，是它在面對完全陌生的任務時仍能表現出色。這種能力被稱為"零樣本泛化"，就好比一個學生在沒有專門學習某個科目的情況下，僅憑借已有的知識基礎和推理能力，就能在新科目的考試中取得不錯的成績。

為了測試這種能力，研究團隊選擇了一些OneThinker在訓練期間從未見過的視覺任務。這些任務來自MMT-Bench測試集，包括點追蹤、圖像質量評估、工業異常檢測、旋轉物體檢測、圖形用戶界面任務等162種不同的視覺任務。結果顯示，OneThinker在這些陌生任務上的表現顯著超越了基礎模型，證明了它確實具備了真正的理解和推理能力，而不僅僅是記憶訓練數據中的模式。

這種零樣本泛化能力的背后，反映的是OneThinker在訓練過程中學到的更深層次的視覺理解原理。就像一個真正掌握了數學原理的學生，即使面對從未見過的題型，也能運用基本原理推導出解決方案。OneThinker通過多任務統一訓練，學會了視覺理解的通用規律和推理模式，這些能力可以靈活地遷移到新的任務場景中。

六、深入的知識遷移分析：任務間的相互促進

為了更深入地理解不同視覺任務之間的關系，研究團隊進行了一系列精心設計的對比實驗。他們創建了幾個"缺失"版本的OneThinker，每個版本都故意省略了某一類任務的訓練數據，然后觀察這種缺失對其他任務性能的影響。

這些實驗就像是在研究一個樂隊中不同樂器之間的相互作用。當你移除小提琴聲部時，整個樂隊的和諧效果會受到什么影響？當缺少鼓點節拍時，其他樂器的表現又會如何變化？

實驗結果揭示了一些有趣的發現。當移除空間定位訓練數據時，不僅空間定位能力下降，圖像問答和分割任務的性能也明顯受損。這表明空間理解能力是多種視覺任務的基礎，它幫助模型更好地理解圖像中物體的位置關系和空間結構。

同樣，當移除時間定位訓練數據時，視頻問答和物體追蹤任務的性能都出現了顯著下降。這說明時間序列的理解能力對于處理動態視覺內容至關重要，它不僅影響專門的時間定位任務，還會影響其他需要時序推理的任務。

最有趣的發現是，當移除圖像問答訓練數據時，視頻問答任務的性能受到了嚴重影響。研究團隊分析認為，這是因為圖像問答數據通常具有更高的質量和更大的多樣性，它們幫助模型發展了更強的通用推理和語言理解能力，而這些能力可以很好地遷移到視頻理解任務中。

這種跨任務的知識遷移現象證明了視覺理解的整體性。就像人類的視覺認知系統一樣，不同類型的視覺任務在底層共享著許多相同的認知機制和知識結構。通過統一的訓練方法，OneThinker成功地捕獲了這些共享的認知模式，從而實現了真正意義上的多任務協同學習。

七、技術創新的深層意義：走向通用視覺智能

OneThinker的成功不僅僅是一個技術突破，更代表了人工智能發展的一個重要里程碑。它證明了我們可以構建真正通用的視覺智能系統，而不需要為每個具體任務單獨開發專門的模型。

這種統一的方法帶來了多重優勢。首先是效率的提升：以前需要部署多個不同模型來處理不同任務的場景，現在只需要一個OneThinker就能完成所有工作。這不僅節省了計算資源和存儲空間，還大大簡化了系統的部署和維護工作。

其次是性能的提升：通過跨任務的知識共享和遷移，OneThinker在許多任務上的表現都超越了專門針對單一任務訓練的模型。這種"一專多能"的特性在實際應用中具有巨大的價值。

更重要的是，OneThinker展示了人工智能向著更加通用和智能的方向發展的可能性。它不再是一個只會執行特定任務的工具，而是一個具備了多種視覺理解和推理能力的智能助手。這種能力的整合和協同，使得AI系統能夠更好地理解和應對復雜的現實世界場景。

從更廣闊的視角來看，OneThinker的成功也為未來的AI研究指明了方向。它證明了多模態、多任務的統一建模是可行的，這為構建更加通用的人工智能系統提供了重要的技術路徑和實踐經驗。

在實際應用方面，OneThinker具有廣泛的應用前景。在智能監控系統中，它可以同時進行人員識別、行為分析、異常檢測等多種任務。在自動駕駛領域，它能夠處理道路標志識別、車輛追蹤、場景理解等復雜的視覺任務。在醫療圖像分析中，它可以協助醫生進行病變檢測、器官分割、影像報告生成等工作。

說到底，OneThinker的意義遠不止于技術層面的創新。它代表著人工智能向著更加智能化、通用化方向發展的重要步驟，為我們構建真正的人工智能助手提供了新的可能性。雖然距離真正的通用人工智能還有很長的路要走，但OneThinker確實為我們展示了一個充滿希望的未來圖景。

當然，這項研究也存在一些局限性。目前的模型主要專注于視覺任務，還沒有整合其他模態的信息。同時，模型的訓練仍然需要大量的計算資源和高質量的訓練數據。但隨著技術的不斷發展和完善，我們有理由相信，更加強大和通用的AI系統將在不久的將來成為現實。

對于那些希望深入了解技術細節的讀者，可以通過搜索論文編號arXiv:2512.03043v2來獲取完整的研究報告。研究團隊也承諾將開源相關的代碼、模型和數據，這將為整個AI研究社區的發展做出重要貢獻。

Q&A

Q1：OneThinker相比傳統的AI視覺模型有什么優勢？

A：OneThinker最大的優勢是它能用一個模型處理所有類型的視覺任務，包括圖片問答、視頻分析、物體定位、追蹤等，而傳統模型通常只能處理單一任務。更重要的是，不同任務之間還能相互促進學習，使得OneThinker在很多任務上的表現都超越了專門的單任務模型。

Q2：OneThinker的EMA-GRPO算法解決了什么關鍵問題？

A：EMA-GRPO算法主要解決了多任務訓練中的公平性問題。由于不同視覺任務的獎勵特征差異很大（比如數學題非對即錯，而物體定位的準確度是漸變的），傳統方法會導致某些任務被過度關注而其他任務被忽視。EMA-GRPO為每個任務維護個性化的評估標準，確保所有任務都能得到公平的訓練機會。

Q3：OneThinker在實際應用中可以用來做什么？

A：OneThinker在很多實際場景中都有用武之地。在智能監控中，它可以同時識別人員身份、分析行為模式、檢測異常情況；在自動駕駛中，能夠識別交通標志、追蹤其他車輛、理解復雜路況；在醫療領域，可以輔助醫生進行影像診斷、病灶定位、自動生成初步報告。最重要的是，這些功能都集成在一個系統中，大大簡化了部署和維護工作。