景不動人動，OST-Bench揭示多模態(tài)大模型在線時空理解短板

多模態(tài)大語言模型（MLLMs）已在視覺與語言模態(tài)融合的感知與推理任務中展現(xiàn)出強大能力。而上海人工智能實驗室、上海交通大學、香港大學、香港中文大學的研究者們提出的的 OST-Bench, 則是從智能體探索場景的動態(tài)在線視角出發(fā)，為大模型的能力提出了新的挑戰(zhàn)。

對比離線 / 靜態(tài)的空間智能基準，OST-Bench 更精準地反映了具身感知在真實世界中的核心挑戰(zhàn)。代碼和數(shù)據(jù)均已開源。

• 論文鏈接：https://arxiv.org/abs/2507.07984
• 項目主頁：https://rbler1234.github.io/OSTBench.github.io/
• Hugging Face 數(shù)據(jù)集：https://huggingface.co/datasets/rbler/OST-Bench
• GitHub 代碼庫：https://github.com/InternRobotics/OST-Bench

離線鳥瞰全景 VS 在線移步換景

在現(xiàn)實世界中，我們的視野范圍是有限的，我們的眼睛在某一時刻只能聚焦于一個局部的場景。隨著不斷的探索，移步換景，我們對于全局場景逐步地形成一個更為清晰的認識；與此同時，基于當前以及歷史的觀測，我們也能感知自身的位置變化以及與之前見過的物體的位置關系 (「我離那把椅子越來越遠」「棕色的枕頭現(xiàn)在在我的右后方」)。

和現(xiàn)實中的人類一樣，在真實世界部署的智能體通常無法一次性獲取全局環(huán)境，而是依賴連續(xù)輸入的局部觀測，需要在不斷「移步換景」中完成在線感知、記憶維護與時空推理。這對導航、移動操控等具身任務尤為關鍵：比如在導航中，模型需要在當前時刻判斷「剛才見到的目標現(xiàn)在在我左后方」，并據(jù)此決定行動。

隨著多模態(tài)大模型在各類基準上不斷刷新紀錄，人們開始關注它們在真實世界設定下的表現(xiàn)。在時間維度，希望模型具備在線理解能力；在空間維度，希望模型能夠基于 2d 觀測構建 3d 空間布局認知。

然而，以往的空間智能評測多為離線、固定輸入長度，而涌現(xiàn)的一些在線視頻評測基準往往只考察局部或語義層面的空間感知。OST-Bench 則更貼近真實世界場景，相比以往基準具有兩大核心特點：

1. 在線設定：模型必須在不斷增長的觀測中進行實時感知、記憶與推理；
2. 跨時空理解：需要同時結合當前畫面與歷史信息，完成面向時間跨度的復雜空間推理

視頻演示

正如下圖所示，與傳統(tǒng)離線空間基準相比，在線設定對模型提出了更高、更接近真實世界的要求。

基準介紹：「移步換景」為大模型帶來了哪些新難題？

傳統(tǒng)的靜態(tài)場景理解主要關注物體屬性及其靜態(tài)關系。而探索的智能體中不斷改變自身位置和視角，帶來持續(xù)更新的信息類型與更豐富的問題形態(tài)。研究團隊據(jù)此將動態(tài)場景理解劃分為三大信息類別：智能體空間狀態(tài)、智能體可見信息、智能體 - 物體空間關系。基于這三類信息，研究團隊進一步設計了15 個子任務，覆蓋判斷（JUD）、估算（EST）、計數(shù)（CNT）、時間定位（TEMP）四類題型。基于規(guī)則生成 + 人工篩選，生成了基準的 10k 條測試集數(shù)據(jù) (1.4k 個場景) 以及用于微調的 50k 條訓練集數(shù)據(jù) (7k 個場景)。

實驗結果：大模型的在線場景時空理解答卷

1. 主流大模型陷入困境：當前主流多模態(tài)大模型與人類存在顯著性能差距，暴露出跨時空信息推理的能力短板 (上面表 1 / 表 2)。模型的準確率隨著探索步數(shù)的持續(xù)下降說明現(xiàn)有范式難以適應長時序的在線設定。
2. 空間增強模型能做好嗎？結果可能沒那么樂觀。「空間建模」機制的模型（如 Spatial-MLLM、VLM-3R 和 LLaVA-3D），與其基座模型相比沒有預期的顯著提升，反而在部分任務上明顯退步，并伴隨指令遵循能力的下降。總體來看，空間增強模型雖然在特定數(shù)據(jù)分布中表現(xiàn)良好，但在更開放、更復雜的在線場景中仍難以穩(wěn)健發(fā)揮。這也進一步體現(xiàn)體現(xiàn)了 OST-Bench 在揭示模型真實能力邊界方面的價值。

深入分析：大模型的表現(xiàn)診斷書

1.共性問題聚焦——大模型遇到難題更喜歡走捷徑？

通過錯誤統(tǒng)計我們發(fā)現(xiàn)模型的犯錯集中在推理步驟，而在對錯誤案例的深入分析中，研究團隊發(fā)現(xiàn)一個十分典型的共性現(xiàn)象：在面對復雜時空推理問題時，對比主動回溯歷史信息或檢索關鍵線索，模型更傾向于「就地猜測」—— 僅依據(jù)當前片段中的有限信息做出草率推斷，而非進行真正的時空整合推理。

研究團隊將這種現(xiàn)象稱為「時空推理捷徑（Spatio-temporal Reasoning Shortcut）」：模型看似給出了合理答案，但推理過程并無充分依據(jù)，往往只是 「表面合理」。

綠 / 紅色代表模型推理正確 / 錯誤的地方

2.跨視角推理測評子集——對于 MLLM 的專項補考

為了更精確地定位模型的能力邊界，研究團隊設計了一個針對性子集。和之前的測評不同，這次 (1) 按難度分級：研究團隊按是否需要多步的復雜推理 (如下圖) 以及是否提前提出關鍵幀，將問題劃分為四個難度等級。對比單步關聯(lián)，多步空間關聯(lián)任務要求更強的推理能力；對比只有關鍵幀輸入，全視頻輸入則需在冗長觀察中識別用于解答的關鍵幀。

(2) 補考的結果表明：復雜線索條件下的空間推理能力不足與長期記憶檢索機制薄弱是當前模型在在線時空理解任務中準確率受限的兩大關鍵因素。

3.微調實驗——提前「預習」在 OST-Bench 的幫助有多大？

為了評估模型能力的上限，研究團隊基于來自 7000 個場景的 5 萬條問答數(shù)據(jù)對多種模型進行了微調實驗。所有模型的分數(shù)均提升了超過 10%，證明「提前預習突擊」確實有效。然而，團隊也發(fā)現(xiàn)真正涉及復雜時空推理的任務仍難以突破 50% 的準確率，說明單純微調并不能觸及問題本質；此外，模型在部分題型上呈現(xiàn)出明顯的「背答案」傾向而非真正理解。微調后的模型還容易「變得不聽話」，無法穩(wěn)定遵守格式對自己的答案進行解釋。

現(xiàn)象表明：微調可以帶來提升，但這種提升更像是「題海戰(zhàn)術式的熟練」，而非 「機制上的理解進步」。在這門課上，沒有結構和范式的突破，僅靠刷數(shù)據(jù)是無法真正拿高分的。要攻克 OST-Bench，必須依賴更強的模型設計或訓練策略。

總結

OST-Bench 提出了一個在線的時空場景理解基準，通過對于多個多模態(tài)大模型的評估，揭示了當前模型在面對「在線時空理解」任務時的深層短板，也為未來模型的發(fā)展指明了方向：突破復雜空間推理能力與長期記憶機制，將是下一代多模態(tài)模型邁向真實智能世界的關鍵一步。