南大騰訊聯合提出TimeLens，數據+算法全方位升級

隨著多模態大模型（MLLMs）的飛速發展，模型已經能夠很好地理解視頻中 “發生了什么（What）”，卻無法精準地定位到事件在視頻中 “何時發生（When）”。這種視頻時序定位（Video Temporal Grounding, VTG）能力的嚴重缺陷，已成為制約 MLLM 邁向更精細化的視頻理解的主要瓶頸。

長期以來，大量研究致力于設計復雜的模型結構，卻忽視了兩個關鍵問題：在數據層面，我們依賴的評測基準是否可靠？在算法層面，是否存在一套簡潔通用的最佳實踐？

針對上述痛點，來自南京大學、騰訊 ARC Lab 和上海 AI Lab 的聯合研究團隊提出了TimeLens（時間透鏡），系統性地揭示了現有數據的“評測陷阱”，構建出更可靠的評測基準和高質量訓練數據，并探索出一套簡潔有效的算法優化。得益于這些貢獻，僅8B 參數的 TimeLens 模型成為了開源模型中的新 SOTA，更擊敗了 GPT-5 和 Gemini-2.5-Flash 等閉源巨頭。

• 論文標題：TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs
• 論文鏈接： https://arxiv.org/abs/2512.14698
• 項目主頁： https://timelens-arc-lab.github.io/
• 代碼鏈接： https://github.com/TencentARC/TimeLens

核心洞察：撥開數據質量的迷霧

在深度學習中，“Data is fuel”（數據即燃料）是公認的真理。然而，團隊發現，在 VTG 領域，燃料的質量卻令人擔憂。

1. 現有基準的 “隱形陷阱”

研究團隊通過一套標注流水線，對 Charades-STA、ActivityNet Captions 和 QVHighlights 等主流基準進行了嚴格的人工核驗，發現這些基準數據集中充斥著大量的標注錯誤。許多樣本中的文本描述模糊不清，或是文本描述的事件在視頻中根本未出現。標注方面，也存在大量的時間邊界標注錯誤，或是同一描述對應了視頻中的多個片段卻只標注了其中之一（漏標）。統計數據顯示，這些錯誤在現有基準中的比例極高。

2. TimeLens-Bench：對評估結果的“撥亂反正”

為了解決現有數據集中存在的嚴重錯誤，團隊構建了嚴格的標注準則，對上述三個基準數據集進行了全面的修復和重新標注，推出了TimeLens-Bench。這是一個經過嚴格交叉驗證的高質量評測基準，能夠更真實地反映模型的時序定位能力。

將 TimeLens-Bench 和原始 Benchmark 上的評測結果進行對比，揭露了過往評估結果的不可靠—— 舊基準嚴重高估了開源模型的能力，而掩蓋了前沿閉源模型（如 Gemini）的真實水平。TimeLens-Bench 對這一錯誤進行了撥亂反正，事實上，現有開源模型仍明顯落后于閉源模型。

3. 高質量訓練數據：TimeLens-100K

針對同樣低質量的訓練數據，團隊設計了一套自動化流水線，對訓練數據進行了大規模的清洗和重標，發布了高質量的大型訓練數據集 TimeLens-100K。實驗證明，數據質量的提升能帶來顯著的性能增長。

算法設計的“最佳實踐”

在夯實數據基礎后，TimeLens 進一步對 MLLM 在 VTG 任務上的算法設計進行了全方位的消融實驗，從時間戳編碼到訓練范式，總結出一套簡潔有效的 “最佳實踐”。

1. 簡潔有效的時間戳編碼

時間戳編碼（timestamp encoding）是 VTG 任務中的關鍵模型結構設計，決定了模型能否準確地感知到輸入的每一視頻幀的采樣時間。

團隊全面地對比了各種時間戳編碼方式的優劣。實驗結果表明，最優的時間戳編碼方式是簡單的交錯文本編碼（Interleaved Textual Encoding） 策略，即在每一幀的視覺 Token 前插入文本形式的時間戳 token。這種方法無需修改 LLM 的底層架構，保證了實現上的簡潔，同時還能取得最優的效果。

2. 訓練范式：Thinking-free RLVR 的勝利

隨著 DeepSeek-R1 等一系列工作的提出，帶有可驗證獎勵機制的強化學習（RLVR）范式在提升模型推理能力方面的作用備受關注。而在 VTG 領域，關于訓練范式的幾個關鍵問題尚無定論：

• 有監督微調（SFT）仍是 VTG 領域最為主流的訓練范式，RLVR 范式在同樣的訓練開銷下，是否明顯優于 SFT？
• 時序定位任務是一個以感知 (Perception) 而非推理 (Reasoning) 為主的任務。針對這樣的任務進行 RLVR 訓練時，顯式的思考過程（thinking）是否是必須的？
• SFT+RLVR 的多階段訓練，是否比單階段訓練的效果更好？

TimeLens 對比了多種訓練范式的優劣。結論出人意料且極具啟發性：單階段的 Thinking-free RLVR 訓練范式在計算效率和性能上均取得了最優。該范式直接讓模型輸出定位結果，并根據定位準確率（IoU）給予獎勵。這種方式不需要生成冗長的中間思考過程，訓練和推理效率高于 Thinking-based RLVR 范式和多階段訓練范式，且性能優于 SFT 范式。

這一結果表明，對于時序定位這種偏向感知（Perception-heavy）的任務，顯式的思考過程不是必須的。 模型可以直接學習從任務輸入到輸出的映射，不需要進行復雜的邏輯推理。

3. 關鍵訓練技巧：Early Stopping 與 Difficulty-based Sampling

針對Thinking-free RLVR范式，團隊進行了更加深入的實驗探究，發現了兩個關鍵的訓練技巧。

首先，與 SFT 中 “訓練越久越好” 的共識不同，在 RL 訓練中，當獎勵指標進入平臺期后，就應該采用早停策略（Early Stopping） 立即停止訓練，在該階段之后繼續訓練反而會使得模型的性能下降。

其次，基于難度的數據采樣（Difficulty-based Sampling） 至關重要。即使數據的標注質量有保證，也并非所有的數據都適合用于 RLVR 訓練。需要預先使用待訓練的模型進行推理，評估每個訓練樣本的難度，采樣足夠具有挑戰性的樣本進行 RLVR 訓練，才能最大程度上提升模型的性能。

實驗驗證：8B 模型逆襲閉源巨頭

研究團隊將上述數據和算法層面的所有改進聚合在了一起，每一項技術都帶來了明顯的性能提升，最終得到了 TimeLens 系列模型。

評測結果表明，TimeLens-8B 展現出了驚人的性能，不僅大幅超越了 Qwen3-VL 等開源模型成為新的開源 SOTA，更以 8B 的參數量，在多項核心指標上全面擊敗了 GPT-5 和 Gemini-2.5-Flash 等前沿的閉源模型。

這一結果有力地證明了：在 VTG 任務中，通過系統性地提升數據質量并采用有效的算法設計，開源小尺寸模型完全具備挑戰甚至超越閉源大模型的能力。

總結

TimeLens 的貢獻不止于一個 SOTA 開源模型。團隊在數據和算法雙維度的系統性探索，為后續研究提供了極具參考價值的方法論與設計藍圖。

目前，TimeLens 的代碼、模型、訓練數據和評測基準都已開源，希望能為未來的視頻時序定位研究提供一個更好的起點。