從有限視角構(gòu)建空間心理模型

Spatial Mental Modeling from Limited Views

從有限視角構(gòu)建空間心理模型

https://arxiv.org/pdf/2506.21458

重點(diǎn)概述

本文探討了視覺-語言模型（Vision-Language Models, VLMs）如何從有限的視覺輸入中構(gòu)建空間心理模型（Spatial Mental Models），以實(shí)現(xiàn)對(duì)不可見空間、視角轉(zhuǎn)換和動(dòng)態(tài)模擬的推理。論文受認(rèn)知科學(xué)啟發(fā)，認(rèn)為人類通過整合碎片化觀察形成靈活的“認(rèn)知拼貼”（cognitive collages）而非精確地圖，從而在不完整信息下進(jìn)行空間推理。VLMs 在此類任務(wù)上表現(xiàn)極差（接近隨機(jī)），本文通過引入新基準(zhǔn)和認(rèn)知啟發(fā)式支架（scaffolds）來診斷問題并提出改進(jìn)方案。

主要貢獻(xiàn)

1. 提出 MINDCUBE 基準(zhǔn)

   ：一個(gè)專門評(píng)估 VLMs 在有限視圖下空間心理建模能力的基準(zhǔn)數(shù)據(jù)集。

• 位置認(rèn)知映射

  （cognitive mapping）：推理不可見物體位置。

• 朝向與視角采取

  （perspective-taking）：從自身或其他視角描述場景。

• 動(dòng)態(tài)心理模擬

  （mental simulation）：“what-if”場景，如代理旋轉(zhuǎn)或移動(dòng)后可見物體變化。

• 包含976 個(gè)多視圖組、3,268 張圖像、21,154 個(gè)問答題。

• 數(shù)據(jù)來源：ArkitsScenes、DL3DV-10K 和自采集數(shù)據(jù)。

• 問題類型覆蓋：

• 相機(jī)運(yùn)動(dòng)類型：ROTATION（原地旋轉(zhuǎn)）、AMONG（在物體間環(huán)繞）、AROUND（圍繞物體環(huán)繞）。

• 問題涉及遮擋、復(fù)雜關(guān)系（agent-agent、agent-object、object-object）、序列動(dòng)態(tài)等。

• 提供 MINDCUBE-TINY 子集（1,050 個(gè)問題）用于快速實(shí)驗(yàn)。

• 資源公開：網(wǎng)站、代碼、數(shù)據(jù)集（Hugging Face）、模型檢查點(diǎn)。

• 評(píng)估現(xiàn)有 VLMs 的表現(xiàn)

• 測試了 17 個(gè)主流 VLMs（包括開源如 DeepSeek-VL2-Small，閉源如 GPT-4o，專用空間模型如 SpaceMantis）。

• 最佳模型準(zhǔn)確率僅47.62%（DeepSeek-VL2-Small），多數(shù)接近隨機(jī)水平。

• 人類表現(xiàn)：94.55%。

• 分析發(fā)現(xiàn)：遮擋、非線性相機(jī)運(yùn)動(dòng)、高角度視圖等顯著降低性能；純文本描述輸入進(jìn)一步惡化結(jié)果；VLMs 在屬性一致性、數(shù)量推理上不穩(wěn)定。

• 提出三種認(rèn)知啟發(fā)式支架（Scaffolds）

，模擬人類空間認(rèn)知過程：

• 增強(qiáng)版（Augmented CGMap）

  ：包含相機(jī)位置和朝向。

• 簡版（Plain CGMap）

  ：僅物體位置和朝向。

• 視圖插值（View Interpolation）

  ：在輸入視圖間插入合成中間幀（使用 Stable Virtual Camera 等工具），試圖動(dòng)態(tài)更新心理模型。實(shí)驗(yàn)證明幾乎無幫助。

• 自由形式推理（Free-Form Reasoning, Chain-of-Thought）

  ：讓模型逐步推理（先單視圖觀察 → 跨視圖整合 → 問題引導(dǎo)推理）。輕微提升（+2.7%）。

• 認(rèn)知地圖（Cognitive Maps）

  ：讓模型生成結(jié)構(gòu)化 2D 鳥瞰圖（10x10 網(wǎng)格，JSON 格式），記錄物體位置和朝向。

• 關(guān)鍵發(fā)現(xiàn)：單純輸入預(yù)計(jì)算地圖無效；“先地圖后推理”（map-then-reason）組合最有效——模型先生成地圖，再基于地圖進(jìn)行自由推理。

• 模型訓(xùn)練與優(yōu)化

• 獎(jiǎng)勵(lì)設(shè)計(jì)：地圖有效 +1 分，答案正確 +5 分。

• 從 SFT 檢查點(diǎn)啟動(dòng)，進(jìn)一步提升到70.67%（總提升 +32.9% 從基線）。

• 從零開始 RL 效果有限，說明 SFT 初始化至關(guān)重要。

• 使用 10,000 條模板生成的認(rèn)知地圖和 10,000 條推理鏈進(jìn)行訓(xùn)練。

• 單獨(dú)訓(xùn)練地圖或推理效果有限；聯(lián)合“map-then-reason”提升顯著（從 52.28% 到60.76%，+8.48%）。

• 生成地圖質(zhì)量高（相似度 >90%，同構(gòu)率 >89%）。

• 基模型

  ：Qwen2.5-VL-3B-Instruct。

• 監(jiān)督微調(diào)（SFT）

• 強(qiáng)化學(xué)習(xí)（RL，使用 VAGEN + GRPO）

• 瓶頸分析：語言模型部分是主要限制，視覺編碼器微調(diào)無額外增益。

• 凍結(jié)模型下：外部支架（如插值）無效，內(nèi)部生成+推理組合最佳（+3.62%）。

• 訓(xùn)練后：內(nèi)部結(jié)構(gòu)化表示（認(rèn)知地圖）+靈活推理協(xié)同作用遠(yuǎn)超單一方法。

• 地圖評(píng)估指標(biāo)：有效性（Valid Rate）、方向相似度、朝向相似度、整體相似度、同構(gòu)率（Isomorphic Rate）。

• 失敗案例：模型常在復(fù)雜遮擋、旋轉(zhuǎn)敏感性、關(guān)系推理上出錯(cuò)。

• 核心洞見：

• • VLMs 缺乏內(nèi)在空間模型，過度依賴直接視覺輸入。

  • 內(nèi)部自生成表示 + 主動(dòng)推理

    是提升不可見空間理解的關(guān)鍵。

  • 外部輔助（如插值幀或預(yù)計(jì)算地圖）不如讓模型主動(dòng)構(gòu)建內(nèi)部表示有效。

  • 強(qiáng)化學(xué)習(xí)可進(jìn)一步精煉 SFT 學(xué)到的支架。

論文強(qiáng)調(diào)，VLMs 當(dāng)前的空間推理仍遠(yuǎn)低于人類，MINDCUBE 基準(zhǔn)暴露了這一差距。通過讓模型學(xué)習(xí)生成并利用認(rèn)知地圖進(jìn)行推理，可以顯著逼近人類式的空間心理建模。未來方向包括：更大規(guī)模高質(zhì)量地圖/推理數(shù)據(jù)、更好 RL 策略、引入幾何先驗(yàn)等新型范式，實(shí)現(xiàn)“1+1>2”的空間智能涌現(xiàn)。

總體而言，本文將認(rèn)知科學(xué)中的空間心理模型理論成功遷移到 VLMs，提供了診斷工具（基準(zhǔn)）、解釋性分析和實(shí)用改進(jìn)路徑（map-then-reason + SFT/RL），對(duì)多視圖理解、具身智能、3D 推理等領(lǐng)域具有重要參考價(jià)值。

視覺語言模型（VLMs）能否僅從幾個(gè)視角就想象出完整的場景，就像人類一樣？人類會(huì)形成空間心理模型，即對(duì)未見空間的內(nèi)部表征，用于推理布局、視角和運(yùn)動(dòng)。我們的新基準(zhǔn)測試M I N D C U B E包含3,268張圖像上的21,154個(gè)問題，揭示了現(xiàn)有VLMs在這方面的關(guān)鍵差距，其表現(xiàn)近乎隨機(jī)。通過M I N D C U B E，我們系統(tǒng)地評(píng)估了VLMs在構(gòu)建穩(wěn)健空間心理模型方面的能力，包括表示位置（認(rèn)知制圖）、方向（視角轉(zhuǎn)換）和動(dòng)態(tài)（用于“假設(shè)”運(yùn)動(dòng)的心理模擬）。我們還探索了三種方法來幫助VLMs近似空間心理模型，包括未見中間視角、自然語言推理鏈和認(rèn)知地圖。最大的改進(jìn)來自一種協(xié)同方法“先制圖后推理”，該方法聯(lián)合訓(xùn)練模型首先生成認(rèn)知地圖，然后在此基礎(chǔ)上進(jìn)行推理。通過訓(xùn)練模型在這些內(nèi)部地圖上進(jìn)行推理，我們將準(zhǔn)確率從37.8%提高到60.8%（+23.0%）。加入強(qiáng)化學(xué)習(xí)后，性能進(jìn)一步提升至70.7%（+32.9%）。我們的關(guān)鍵見解是，通過積極構(gòu)建和利用內(nèi)部結(jié)構(gòu)化空間表征，并結(jié)合靈活的推理過程來構(gòu)建空間心理模型，可以顯著提高對(duì)不可觀測空間的理解。

1. 引言

為了讓視覺語言模型（VLMs）[1, 2, 3, 4] 超越被動(dòng)感知 [5, 6, 7]，能夠在部分可觀測的環(huán)境中進(jìn)行交互 [8, 9, 10]，從有限視角推斷未見空間關(guān)系是至關(guān)重要的。想想人類是如何輕松地通過幾次以自我為中心的觀察來推斷房間的布局或家具后面的隱藏物體的。例如，如圖1中的第二個(gè)視角所示，人類可以輕松推斷出“植物”后面的未見物體是“紙巾盒”和“洗手液”，包括它們的位置、姿態(tài)以及與不可同時(shí)看見的物體之間的關(guān)系。我們?nèi)祟悤?huì)構(gòu)建并更新周圍環(huán)境的心理模型，即使物體不在視野內(nèi)。這得益于一種核心認(rèn)知功能，稱為空間心理模型 [11, 12]：一種內(nèi)部環(huán)境表征，允許對(duì)空間進(jìn)行連貫的理解和推理，而與當(dāng)前視角無關(guān)。

盡管視覺語言模型取得了令人印象深刻的進(jìn)展，但它們?cè)趶挠邢抟暯蔷C合空間信息、跨視角保持空間一致性以及推理未直接可見的物體方面仍存在困難 [13, 14, 15, 16]。

這一差距需要專門的評(píng)估設(shè)置，必須包括：（a）使用部分觀測進(jìn)行推理，其中物體被遮擋或不在視野內(nèi)（例如圖1中第二個(gè)視角中的“洗手液”）；（b）在變化的視角之間保持跨視角一致性（例如通過錨點(diǎn)物體“植物”）；（c）心理模擬以推斷隱藏的空間關(guān)系（例如“如果向左轉(zhuǎn)并向前移動(dòng)”）。為了填補(bǔ)這一空白，我們引入了M I N D C U B E，它包含21,154個(gè)問題和3,268張圖像，通過各種類型的視角變換（即圖2中的R O T A T I O N、A M O N G、A R O U N D）組織成976個(gè)多視角組。我們專注于在當(dāng)前查詢視角中不可見的物體來標(biāo)注問題。

如圖2所示，我們系統(tǒng)地設(shè)計(jì)了需要從給定視角進(jìn)行“假設(shè)”心理模擬的問題類型（例如“如果向左轉(zhuǎn)”）、視角轉(zhuǎn)換（例如“如果從沙發(fā)的視角看”）以及復(fù)雜關(guān)系推理查詢（涉及代理或其它物體）。

我們對(duì)17種最先進(jìn)的視覺語言模型（VLMs）在M I N D C U B E上的廣泛評(píng)估揭示了一個(gè)事實(shí)：無論是開放權(quán)重模型還是閉源模型，其表現(xiàn)僅略好于隨機(jī)猜測。這種糟糕的表現(xiàn)激發(fā)了一個(gè)核心問題：我們?nèi)绾螏椭鶹LMs從部分觀測中進(jìn)行推理？

受空間認(rèn)知的啟發(fā)，空間認(rèn)知通過視覺圖像、語言推理或明確的認(rèn)知地圖來構(gòu)建不同視角下連貫的空間意識(shí)，我們研究了三種方法，以確定中間表征是否可以幫助VLMs近似心理模型。視圖插值通過記錄的視頻在給定觀測之間生成中間視圖，但出乎意料的是，這種方法并無幫助，這凸顯了直接從有限視角進(jìn)行推理的重要性。自由形式的自然語言推理將心理模擬過程轉(zhuǎn)化為語言表達(dá)，實(shí)現(xiàn)了性能提升（+2.7%）。結(jié)構(gòu)化的認(rèn)知地圖從一個(gè)以自我為中心（鳥瞰）的角度模擬全局空間記憶，并帶有方向和視角增強(qiáng)。有趣的是，直接向模型提供用于回答問題的真實(shí)認(rèn)知地圖并不能帶來顯著改進(jìn)（-5.81%），只有積極地利用地圖進(jìn)行推理才能實(shí)現(xiàn)顯著改進(jìn)（+3.62%）。盡管在地圖上的推理是有效的，但VLMs在準(zhǔn)確構(gòu)建心理模型的內(nèi)在能力上存在顯著瓶頸，這從生成過程中與真實(shí)地圖的同構(gòu)率低（<10%）中得到了證實(shí)。

鑒于這一限制，我們通過構(gòu)建10,000條推理鏈和10,000張真實(shí)認(rèn)知地圖來訓(xùn)練VLMs，研究如何通過注入這些訓(xùn)練信號(hào)來有效地引導(dǎo)它們的思維過程。在認(rèn)知地圖上的自監(jiān)督微調(diào)（SFT）顯著提高了同構(gòu)相似性，從增強(qiáng)設(shè)置的0.1%提升到46.0%，從普通設(shè)置的7.4%提升到73.8%。盡管在自由形式的推理鏈上進(jìn)行SFT被證明更有效，提升了1.2%，但引導(dǎo)模型首先構(gòu)建認(rèn)知地圖，然后在它們之上進(jìn)行自由形式推理，實(shí)現(xiàn)了顯著更好的性能，總提升達(dá)到+8.5%，這證明了通過積極構(gòu)建和利用內(nèi)部結(jié)構(gòu)化空間表征，并結(jié)合靈活的推理過程來構(gòu)建空間心理模型是非常有效的。

我們使用強(qiáng)化學(xué)習(xí)（RL）進(jìn)一步提升SFT后的性能，通過在RL訓(xùn)練之前注入結(jié)構(gòu)化思維來引導(dǎo)模型構(gòu)建和推理認(rèn)知地圖，使用我們的SFT模型。這種方法帶來了顯著的改進(jìn)，將任務(wù)準(zhǔn)確率從37.8%的基礎(chǔ)水平提升到70.7%。我們的實(shí)證證據(jù)證實(shí)了一個(gè)關(guān)鍵發(fā)現(xiàn)：與傳統(tǒng)的視圖插值或外部提供的地圖等方法相比，VLMs在空間推理任務(wù)中表現(xiàn)出色，當(dāng)它們自主生成并利用內(nèi)部心理表征時(shí)。

2. M I N D C U B E基準(zhǔn)測試與評(píng)估 2.1. M I N D C U B E基準(zhǔn)測試

概述
我們介紹了M I N D C U B E，這是一個(gè)用于評(píng)估視覺語言模型（VLMs）在部分觀測和動(dòng)態(tài)視角下的空間推理能力的基準(zhǔn)測試。M I N D C U B E包含多視角圖像組和空間推理問題，能夠?qū)臻g建模性能進(jìn)行細(xì)致分析。它針對(duì)的關(guān)鍵挑戰(zhàn)包括在不同視角下保持物體一致性以及對(duì)被遮擋或不可見元素進(jìn)行推理。表1（左側(cè)）總結(jié)了基準(zhǔn)測試的整體數(shù)據(jù)分布?；鶞?zhǔn)測試的設(shè)計(jì)、分類和策劃的詳細(xì)信息在附錄A和B中提供。

分類
為了對(duì)VLM的空間推理能力進(jìn)行細(xì)致分析，我們引入了一個(gè)分類體系，系統(tǒng)地對(duì)M I N D C U B E中的挑戰(zhàn)進(jìn)行分類（如圖2所示）。該分類體系涵蓋五個(gè)關(guān)鍵維度：1）相機(jī)運(yùn)動(dòng)：我們主要收集了三種類型的相機(jī)運(yùn)動(dòng)：R O T A T I O N（保持原位但旋轉(zhuǎn)以環(huán)顧四周）、A R O U N D（圍繞被評(píng)估物體做圓形運(yùn)動(dòng)）和A M O N G（在被評(píng)估物體之間做圓形運(yùn)動(dòng)）。2）視覺模式：這描述了物體的空間配置，包括空間線性或非線性排列。3）“假設(shè)”動(dòng)態(tài)：對(duì)代理視角應(yīng)用的假設(shè)性變換，例如平移、旋轉(zhuǎn)或它們的組合（同時(shí)和順序）。4）關(guān)系查詢：被查詢的空間關(guān)系類型，包括代理-物體、代理-代理或物體-物體。5）視角轉(zhuǎn)換：空間推理是否基于感知者自身的視角（自我）或涉及采用另一個(gè)實(shí)體的視角（其他）。詳細(xì)定義可在附錄A中找到。

2.2. 數(shù)據(jù)集策劃

M I N D C U B E數(shù)據(jù)集是通過一個(gè)流程創(chuàng)建的：我們首先選擇了符合我們分類體系的運(yùn)動(dòng)模式（圖2）和空間標(biāo)準(zhǔn)的多視角圖像組。然后，我們對(duì)這些圖像組進(jìn)行了關(guān)鍵空間信息的標(biāo)注。最后，我們通過算法生成了與分類體系對(duì)齊的問題，并加入了針對(duì)性的干擾項(xiàng)。詳細(xì)信息包含在附錄A.1中。

3. 哪種框架最適合指導(dǎo)未改變的VLMs進(jìn)行空間思考？

為解決已識(shí)別的差距，我們首先評(píng)估了在有限視角下，通過近似空間心理模型，結(jié)構(gòu)化數(shù)據(jù)形式是否可以作為未改變的VLMs進(jìn)行空間推理的框架。

3.1. 數(shù)據(jù)結(jié)構(gòu)作為空間心理模型的認(rèn)知框架

我們研究了某些數(shù)據(jù)結(jié)構(gòu)是否可以作為認(rèn)知框架，幫助VLMs從有限的視覺觀察中形成空間心理模型。在認(rèn)知科學(xué)中，空間心理模型是內(nèi)部表征，編碼物體和視角的相對(duì)配置。它們并非精確的度量地圖，而是示意性的、可操作的構(gòu)建，支持跨越碎片化觀察和未見視角的推理 [12, 31, 32, 33]。例如，人類可以心理模擬轉(zhuǎn)動(dòng)或推斷背后的東西，這表明這種表征是靈活的、不完整的，但功能上是有效的。借鑒這些文獻(xiàn)，我們?cè)谙旅娑x了三種數(shù)據(jù)結(jié)構(gòu)（詳細(xì)介紹可在附錄C.1中找到），每種結(jié)構(gòu)針對(duì)空間心理模型的不同認(rèn)知屬性（整合、轉(zhuǎn)換、推理），并在圖3中提供了具體示例：

1. 視圖插值。在稀疏的相機(jī)視圖之間進(jìn)行插值，引入了感知連續(xù)性，呼應(yīng)了心理動(dòng)畫的過程 [34]，并支持內(nèi)部轉(zhuǎn)換，例如想象中的旋轉(zhuǎn)。這種結(jié)構(gòu)支撐了空間心理模型的動(dòng)態(tài)更新能力。圖3展示了一個(gè)單幀插入的示例，用以替換原始問題圖像。

2. 增強(qiáng)型認(rèn)知地圖。認(rèn)知地圖是空間中物體布局的二維示意性表征。這種地圖類似于Tversky的認(rèn)知拼貼 [31]，它們捕捉局部連貫但碎片化的結(jié)構(gòu)。最近關(guān)于基于VLM的空間智能的研究 [8, 35] 通常采用一種僅在俯視圖中編碼物體位置的普通形式。我們提出了一個(gè)增強(qiáng)型變體，它結(jié)合了離散視圖，物體和視圖都通過位置和方向進(jìn)行標(biāo)注，從而接近空間心理模型的關(guān)系一致性。

3. 自由形式推理。開放式的、逐步的自然語言推理提供了空間模型構(gòu)建和查詢的過程性近似。與地圖式結(jié)構(gòu)相比，這種推理較為靈活，但它反映了空間心理模型的推理功能，尤其是在模糊或不完整的觀察下 [32]。

我們進(jìn)行控制實(shí)驗(yàn)，使用固定的輸入格式來測試結(jié)構(gòu)化框架是否可以在不重新訓(xùn)練的情況下提供幫助。每種條件引入不同的結(jié)構(gòu)，以支持在有限視角下的內(nèi)部建模。

模型和評(píng)估數(shù)據(jù)
我們使用Qwen2.5-VL-3B-Instruct [3] 進(jìn)行所有實(shí)驗(yàn)。我們的評(píng)估在M I N D C U B E - T I N Y上進(jìn)行，這是從M I N D C U B E中抽樣的一個(gè)診斷子集，總共包含1,050個(gè)問題。詳細(xì)統(tǒng)計(jì)數(shù)據(jù)如下：600個(gè)來自A M O N G，250個(gè)來自A R O U N D，200個(gè)來自R O T A T I O N。

配置
每個(gè)實(shí)驗(yàn)由兩個(gè)正交軸定義：輸入結(jié)構(gòu)（VLMs接收到的空間證據(jù)）和輸出格式（所需響應(yīng)類型）。作為本文的實(shí)驗(yàn)基礎(chǔ)，我們從表2中列出的十種可能配置開始，從中調(diào)查一個(gè)代表性子集。具體來說，我們的增強(qiáng)型認(rèn)知地圖是使用第2.1節(jié)中描述的物體排列注釋生成的，所有配置的示例均在附錄C.3中提供。在未改變的VLMs評(píng)估設(shè)置中，我們排除了Aug-CGMap-Out和Plain-CGMap-Out設(shè)置，因?yàn)榧词贡恢甘静灰煜琕LMs也傾向于將地圖生成與推理混為一談。

評(píng)估指標(biāo)
我們使用問答準(zhǔn)確率來評(píng)估任務(wù)表現(xiàn)。對(duì)于生成的認(rèn)知地圖，我們引入了一套明確定義的圖指標(biāo)：（1）有效認(rèn)知地圖率，表明輸出是否符合預(yù)期的模式；（2）總體相似度，一個(gè)結(jié)合方向一致性和朝向一致性的加權(quán)分?jǐn)?shù)；（3）同構(gòu)率，衡量在最優(yōu)對(duì)齊下，所有成對(duì)物體關(guān)系是否與真實(shí)值匹配。完整定義在附錄C.2中提供。

3.3. 框架能否在無需訓(xùn)練的情況下改善空間推理？

我們?cè)诒?中定義的七種輸入配置下，評(píng)估了這些配置在有限視角下對(duì)VLMs空間推理的支持效果，且不進(jìn)行任何模型更新。結(jié)果如表3（左側(cè)）所示。

僅靠結(jié)構(gòu)能走多遠(yuǎn)？我們從基線開始：原始輸入視圖和直接回答（Raw-QA），其準(zhǔn)確率為37.81%。加入插值視圖，我們希望借此模擬更平滑的感知過渡，但并沒有帶來實(shí)質(zhì)性的提升（↑0.09%）。同樣，將預(yù)先計(jì)算好的增強(qiáng)型認(rèn)知地圖作為直接輸入（Aug-CGMap-In）會(huì)嚴(yán)重降低性能，降至32.00%。相比之下，僅啟用自由形式推理（FF-Rsn）或與其他設(shè)置結(jié)合（Aug-CGMap-FFR-Out、Plain-CGMap-FFR-Out、CGMap-In-FFR-Out）則顯著提升了準(zhǔn)確率，達(dá)到41.33%。這些結(jié)果表明：僅靠結(jié)構(gòu)本身，無論是視覺結(jié)構(gòu)還是空間結(jié)構(gòu)，都是不夠的。如果不進(jìn)行推理，VLMs很難利用即使是良好構(gòu)建的空間線索。

我們能否引導(dǎo)模型進(jìn)行空間思考？答案似乎是肯定的。提示模型在回答之前生成認(rèn)知地圖（Aug-CGMap-FFR-Out、Plain-CGMap-FFR-Out），相較于僅進(jìn)行自由形式推理（FF-Rsn），準(zhǔn)確率從40.48%提升至41.43%。這表明生成地圖可能會(huì)促使模型首先形成對(duì)場景的全局理解，從而支持更結(jié)構(gòu)化的推理。兩種地圖形式都具有很強(qiáng)的格式遵循能力，但在生成準(zhǔn)確地圖方面卻表現(xiàn)不佳?？傮w而言，增強(qiáng)型地圖表現(xiàn)更差。在表3（右側(cè)），盡管兩種格式的地圖在語法上都是有效的，但與真實(shí)地圖的相似度很低（<50%），反映出有限的地圖生成能力。值得注意的是，增強(qiáng)型地圖和平面地圖的同構(gòu)率都很低（0.10%、7.43%）。增強(qiáng)型地圖設(shè)置的同構(gòu)率近乎為零，可能是因?yàn)樘砑拥囊晥D級(jí)細(xì)節(jié)增加了生成錯(cuò)誤。詳細(xì)的案例示例可在附錄D中找到。

4. 我們能否教會(huì)VLMs構(gòu)建和利用空間表征？

到目前為止，通過外部框架（如插值視圖或認(rèn)知地圖）提示凍結(jié)的VLMs只取得了有限的收益。這些技術(shù)未能解決核心限制：VLMs無法有效形成內(nèi)部空間表征或通過空間進(jìn)行推理。為了更進(jìn)一步，我們想知道：監(jiān)督式微調(diào)（SFT）能否教會(huì)VLMs從內(nèi)部構(gòu)建和利用空間模型？

4.1. 設(shè)計(jì)一個(gè)穩(wěn)健的實(shí)驗(yàn)框架

為了確保一致性和可比性，我們繼承了第3.1節(jié)和第3.2節(jié)中詳細(xì)描述的實(shí)驗(yàn)配置。具體來說，我們保留了：（1）兩種有效的數(shù)據(jù)結(jié)構(gòu)——認(rèn)知地圖（僅物體 / 物體 + 相機(jī)）和自由形式推理，（2）基礎(chǔ)模型Qwen2.5-VL-3B-Instruct，（3）評(píng)估基準(zhǔn)M I N D C U B E - T I N Y，以及（4）所有既定的評(píng)估指標(biāo)。由于在早期驗(yàn)證中表現(xiàn)有限，視圖插值被排除在我們的微調(diào)實(shí)驗(yàn)之外。在這一SFT階段的主要修改包括調(diào)整了訓(xùn)練超參數(shù)（詳細(xì)信息見附錄E.2）和輸入輸出配置。

SFT任務(wù)配置
借鑒第3.3節(jié)的見解，我們使用表2中選定的配置來評(píng)估認(rèn)知地圖生成和自由形式推理在SFT中的增量影響。這些配置包括沒有明確推理的基線問答（Raw-QA）、僅由生成的地圖引導(dǎo)的推理（Plain-CGMap-Out、Aug-CGMap-Out）、推理增強(qiáng)提示（FF-Rsn）以及一個(gè)完全集成的設(shè)置，要求VLMs同時(shí)生成地圖和推理（Aug-CGMap-FFR-Out和Plain-CGMap-FFR-Out）。

基于真實(shí)數(shù)據(jù)的認(rèn)知地圖生成
基于真實(shí)數(shù)據(jù)的認(rèn)知地圖不僅在第3.2節(jié)中作為凍結(jié)VLMs的Aug-CGMap-In和CGMap-In-FFR-Out設(shè)置的輸入，而且在SFT中也作為訓(xùn)練和比較數(shù)據(jù)。我們通過基于模板的方法策劃這些基于真實(shí)數(shù)據(jù)的認(rèn)知地圖，始終選擇我們注釋中的前視圖作為“上方”方向。詳細(xì)的注釋算法可在附錄E.1.1中找到。

基于真實(shí)數(shù)據(jù)的自由形式推理鏈生成
我們使用詳細(xì)的圖像注釋和結(jié)構(gòu)化的問題模板設(shè)計(jì)基于真實(shí)數(shù)據(jù)的推理鏈。這些鏈通過基于模板的方法手動(dòng)構(gòu)建，確保邏輯連貫并清晰地基于可觀察的空間關(guān)系（見圖3中的示例）。這產(chǎn)生了精確且可解釋的監(jiān)督信號(hào)，幫助VLMs學(xué)習(xí)穩(wěn)健的空間推理表征。詳細(xì)的基于真實(shí)數(shù)據(jù)的推理數(shù)據(jù)生成流程在附錄E.1.2中展示。

4.2. VLMs是否真正從空間推理的顯式訓(xùn)練中受益？

我們探索了幾種監(jiān)督式微調(diào)（SFT）配置（結(jié)果見表4），這些問題由一系列核心問題指導(dǎo)。直接在原始問答對(duì)上進(jìn)行微調(diào)，而沒有空間監(jiān)督，準(zhǔn)確率從37.81%提升到52.28%。這表明VLMs可以從問答數(shù)據(jù)本身吸收一些空間線索。我們使用這種設(shè)置作為評(píng)估顯式引入空間結(jié)構(gòu)方法的基線。

僅靠心智模型的結(jié)構(gòu)化近似能否顯著提升性能？如表2所示，對(duì)明確的認(rèn)知地圖（無論是增強(qiáng)型還是普通型）進(jìn)行監(jiān)督式微調(diào)，可以顯著提升圖結(jié)構(gòu)的質(zhì)量，在總體相似度和同構(gòu)率方面都有超過30%的提升。然而，對(duì)最終任務(wù)準(zhǔn)確率的影響仍然有限。增強(qiáng)型地圖（54.19%）和平面地圖（54.38%）相比微調(diào)后的原始問答（52.28%）只有小幅提升。同樣，直接進(jìn)行自由形式推理（FF-Rsn）也只帶來了微小的提升（51.09%）。這意味著僅靠框架本身不足以自動(dòng)轉(zhuǎn)化為性能提升。

生成認(rèn)知地圖和自由形式推理是最有效的近似方法。

在所有配置中，生成普通地圖然后進(jìn)行推理的組合（Plain-CGMap-FFR-Out）取得了突出的性能提升（60.76%，相比Raw QA-SFT提升了8.48%），超過了僅依賴地圖生成或單獨(dú)推理的模型。這表明結(jié)構(gòu)化的空間建模與自然語言推理之間存在強(qiáng)大的協(xié)同作用。為什么這種組合效果如此之好？首先，任務(wù)準(zhǔn)確率的提升伴隨著高質(zhì)量的空間表征。例如，表現(xiàn)最佳的Plain-CGMap-FFR-Out模型實(shí)現(xiàn)了出色的地圖質(zhì)量（88.79%的相似度和73.81%的同構(gòu)率），顯示出其增強(qiáng)的準(zhǔn)確率與其內(nèi)部空間模型之間的強(qiáng)關(guān)聯(lián)。此外，訓(xùn)練動(dòng)態(tài)揭示了一個(gè)關(guān)鍵的權(quán)衡，解釋了這種協(xié)同作用。如圖4（b、c）所示，僅在地圖生成上訓(xùn)練的模型（Plain-CGMap-Out）非常迅速地學(xué)會(huì)了目標(biāo)結(jié)構(gòu)，迅速達(dá)到近乎完美的相似度和同構(gòu)率。然而，它們的問答準(zhǔn)確率很快趨于平穩(wěn)（圖4a），這表明模型學(xué)會(huì)了結(jié)構(gòu)，但沒有完全掌握其功能用途。相比之下，表現(xiàn)最佳的Plain-CGMap-FFR-Out模型學(xué)習(xí)地圖結(jié)構(gòu)的速度更慢，且從未達(dá)到相同的結(jié)構(gòu)完美程度。然而，其問答準(zhǔn)確率持續(xù)上升，最終超過了所有其他配置。這表明推理任務(wù)的聯(lián)合壓力迫使模型不僅僅復(fù)制一個(gè)結(jié)構(gòu)，而是構(gòu)建一個(gè)功能有效的空間表征，這種表征是為了下游推理而優(yōu)化的。

關(guān)鍵要點(diǎn)：教會(huì)視覺語言模型（VLMs）進(jìn)行空間推理

• 聯(lián)合認(rèn)知地圖和推理設(shè)置通過協(xié)同效應(yīng)產(chǎn)生最佳性能。

• 推理塑造了空間表征的功能實(shí)用性，而不僅僅是結(jié)構(gòu)上的完美。

• 無論是地圖生成還是推理單獨(dú)進(jìn)行，都未能大幅超越監(jiān)督式微調(diào)問答（SFT QA）的基線。

5. 強(qiáng)化學(xué)習(xí)能否進(jìn)一步優(yōu)化空間思維過程？

雖然監(jiān)督式微調(diào)（SFT）為空間推理建立了強(qiáng)大的基線，但像DeepSeek R1 [36, 37]這樣的模型的新興證據(jù)表明，強(qiáng)化學(xué)習(xí)（RL）可以通過結(jié)果驅(qū)動(dòng)的反饋優(yōu)化行為，從而提供額外的收益。我們提出問題：獎(jiǎng)勵(lì)引導(dǎo)的精細(xì)化能否幫助視覺語言模型（VLMs）構(gòu)建更精確的空間模型并更有效地進(jìn)行推理？

5.1. 實(shí)驗(yàn)設(shè)置

我們采用VAGEN框架[38]進(jìn)行視覺語言模型策略優(yōu)化，使用組相對(duì)策略優(yōu)化（GRPO）[39]作為核心算法。為了管理計(jì)算成本，我們每個(gè)配置只訓(xùn)練0.5個(gè)周期。為了公平比較，RL設(shè)置保留了SFT階段的所有關(guān)鍵組件，包括基礎(chǔ)模型、空間輸入格式、基準(zhǔn)數(shù)據(jù)集（M I N D C U B E - T I N Y）和評(píng)估指標(biāo)，詳見第3.1節(jié)和第3.2節(jié)。更多細(xì)節(jié)見附錄F.1。

任務(wù)配置和獎(jiǎng)勵(lì)設(shè)計(jì)
我們?cè)u(píng)估了三種RL變體：（1）RL-FF-Rsn（從頭開始），訓(xùn)練Qwen2.5-VL-3B-Instruct生成自由形式推理鏈；（2）RL-Aug-CGMap-FFR-Out（從頭開始），訓(xùn)練模型聯(lián)合生成認(rèn)知地圖和推理；（3）RL-Aug-CGMap-FFR-Out（從SFT開始），從最強(qiáng)的SFT檢查點(diǎn)初始化。獎(jiǎng)勵(lì)函數(shù)是稀疏但有針對(duì)性的：結(jié)構(gòu)有效輸出+1分，正確答案+5分。

5.2. 強(qiáng)化學(xué)習(xí)能否釋放近似空間心理建模的力量？

強(qiáng)化學(xué)習(xí)（RL）讓模型通過獎(jiǎng)勵(lì)感受到其空間思維的后果，但僅憑這種反饋是否足以鍛造出真正的“心理地圖”，還是我們必須首先教會(huì)模型地圖的樣子？表5總結(jié)了三個(gè)關(guān)鍵設(shè)置，并分兩部分回答了這個(gè)問題。

在真空中進(jìn)行RL是不夠的。從零開始訓(xùn)練，使用稀疏獎(jiǎng)勵(lì)，對(duì)于構(gòu)建穩(wěn)健的空間表征提供的指導(dǎo)不足。當(dāng)要求模型產(chǎn)生自由形式推理（從零開始的RL-FF-Rsn）時(shí)，模型的整體準(zhǔn)確率僅為50.57%。雖然這個(gè)結(jié)果比初始基線有所提高，但證實(shí)了僅靠任務(wù)級(jí)別的獎(jiǎng)勵(lì)本身過于無結(jié)構(gòu)，無法有效地教授空間抽象。

從頭開始學(xué)習(xí)時(shí)，結(jié)構(gòu)化輸出提供了適度的好處。引入認(rèn)知地圖結(jié)構(gòu)供策略生成，為其推理提供了框架。從頭開始時(shí)，更簡單的RL-Plain-CGMap-FFR-Out配置（53.71%）在問答準(zhǔn)確率上略勝其增強(qiáng)型對(duì)應(yīng)配置（52.19%）。然而，在這兩種情況下，模型都無法學(xué)習(xí)到有意義的幾何結(jié)構(gòu)，相似度得分低，同構(gòu)率接近零。這表明，如果沒有“好”地圖的先驗(yàn)概念，RL很難利用所提供的結(jié)構(gòu)格式，即使它能學(xué)會(huì)有效地填充它。

當(dāng)站在SFT構(gòu)建的框架上時(shí)，RL大放異彩。最顯著的改進(jìn)發(fā)生在從最優(yōu)SFT檢查點(diǎn)熱啟動(dòng)RL時(shí)。RL-Plain-CGMap-FFR-Out（從SFT開始）及其增強(qiáng)版本都達(dá)到了相同的、令人印象深刻的70.67%整體問答準(zhǔn)確率。這代表了比最佳SFT模型絕對(duì)提高了9.91%，比最佳從零開始的RL方法提高了16.96%。至關(guān)重要的是，盡管兩個(gè)模型都達(dá)到了相同的峰值準(zhǔn)確率，但它們潛在的空間表征卻有所不同。Plain-CGMap變體產(chǎn)生了幾何上更優(yōu)越的地圖，具有更高的整體相似度（85.79%）和高得多的同構(gòu)率（71.52%對(duì)比58.86%）。這表明，盡管RL微調(diào)可以引導(dǎo)不同的初始模型達(dá)到相同的推理熟練度，但從更干凈、更簡單的SFT框架（Plain）開始，可以讓RL更好地保留和完善幾何上合理的內(nèi)部地圖。

這些結(jié)果強(qiáng)烈表明，RL在這里的主要作用是（1）打磨和完善在SFT期間學(xué)到的強(qiáng)先驗(yàn)，以及（2）提高SFT的性能上限，使模型能夠突破以前的瓶頸，達(dá)到接近神諭級(jí)別的性能。

關(guān)鍵要點(diǎn)：空間推理的強(qiáng)化學(xué)習(xí)

• 結(jié)合認(rèn)知地圖與推理始終能一致性地改善所有學(xué)習(xí)成果。

• 從頭開始，強(qiáng)化學(xué)習(xí)（RL）對(duì)空間推理僅提供邊際增益；當(dāng)建立在強(qiáng)大的監(jiān)督式微調(diào)（SFT）基礎(chǔ)上時(shí)，其真正力量才會(huì)被釋放。

6. 相關(guān)工作

空間認(rèn)知
空間認(rèn)知包括心理旋轉(zhuǎn)、空間可視化和物體組裝等技能，對(duì)于在二維和三維環(huán)境中感知和操作空間關(guān)系至關(guān)重要 [40, 19, 41]。這些能力的核心是空間心理模型（SMMs）[11, 12]，它們是內(nèi)部表征，允許對(duì)空間有一致的理解。最近，許多努力致力于評(píng)估VLMs中的空間認(rèn)知 [42, 13, 18, 43]。此外，一些方法被提出以增強(qiáng)空間理解，如坐標(biāo)感知提示 [44]、思維鏈（CoT）推理 [10, 45]、顯式空間表征對(duì)齊 [46, 29] 和基于RL的方法 [47]。然而，現(xiàn)有的基準(zhǔn)測試 [18, 42, 48, 49, 43, 13, 17, 50, 51, 8, 52] 和方法往往忽視了支撐人類認(rèn)知的心理層面的空間推理，留下了機(jī)器與人類能力之間的差距。為了彌合這一差距，需要一種新的方法，訓(xùn)練VLMs不僅通過視覺數(shù)據(jù)，而且通過心理層面的空間推理來推理空間，更緊密地與人類空間認(rèn)知對(duì)齊。

多視角理解
多視角空間理解利用多個(gè)視角重建三維結(jié)構(gòu)，克服單視角限制。高效的技術(shù)優(yōu)化視角處理，而重建方法[53, 54, 55, 56]、視角合成方法[57, 58, 59]和多視角等變學(xué)習(xí)[60]增強(qiáng)幾何一致性。拓?fù)浔硎救鏪61]編碼對(duì)象關(guān)系以進(jìn)行整體推理，而框架如[62]通過神經(jīng)場和視覺語言融合，從多視角數(shù)據(jù)中推進(jìn)開放詞匯概念學(xué)習(xí)。增強(qiáng)了多視角輸入的LMMs[63, 30, 64, 65, 18, 66, 67]在空間任務(wù)如幾何理解和視角轉(zhuǎn)換方面表現(xiàn)出顯著的改進(jìn)，但它們?nèi)匀辉诙嘁暯且恢滦岳斫夥矫鎾暝?，由于碎片化推理和二維到三維投影的歧義，留下了穩(wěn)健空間AI的關(guān)鍵差距。

7. 結(jié)論和未來影響

我們引入了M I N D C U B E來研究VLMs如何從有限視角近似空間心理模型，這是在部分可觀測環(huán)境中推理的核心認(rèn)知能力。超越基準(zhǔn)測試，我們探索了如何通過結(jié)構(gòu)化數(shù)據(jù)和推理來支撐內(nèi)部表征。我們的關(guān)鍵發(fā)現(xiàn)是，構(gòu)建和推理自生成的認(rèn)知地圖，而不是依賴視圖插值或外部提供地圖，是在所有引導(dǎo)方法（輸入輸出配置、監(jiān)督式微調(diào)和強(qiáng)化學(xué)習(xí)）中對(duì)空間心理模型最有效的近似。

從一個(gè)訓(xùn)練有素的SFT檢查點(diǎn)初始化RL進(jìn)一步優(yōu)化了這一過程，將空間推理性能推向了新的極限。

未來影響
我們的工作確立了結(jié)合認(rèn)知地圖生成與推理來模擬空間信息是最有效的。我們相信，一旦為認(rèn)知地圖生成和推理建立了高質(zhì)量的SFT數(shù)據(jù)集，就可以利用RL進(jìn)一步推動(dòng)性能邊界。我們期待探索旨在釋放更大協(xié)同效應(yīng)的新型訓(xùn)練范式，從而在空間智能上實(shí)現(xiàn)“1+1>2”的影響。

原文鏈接：https://arxiv.org/pdf/2506.21458