Gemini 3僅得33.6分！清華發(fā)布首個(gè)「約束流形」空間智能基準(zhǔn)

新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】SSI-Bench是首個(gè)在約束流形中評(píng)估模型空間推理能力的基準(zhǔn)，強(qiáng)調(diào)真實(shí)結(jié)構(gòu)與約束條件，通過(guò)排序任務(wù)考察模型是否能準(zhǔn)確理解三維結(jié)構(gòu)的幾何與拓?fù)潢P(guān)系，揭示當(dāng)前大模型在空間智能上嚴(yán)重依賴2D信息，實(shí)際表現(xiàn)遠(yuǎn)低于人類。研究指出，模型需提升三維構(gòu)型識(shí)別和約束推理能力，才能真正理解空間問(wèn)題。

如果你把一個(gè)在空間理解榜單上刷分很高的多模態(tài)大模型，直接丟進(jìn)真實(shí)世界，它很可能會(huì)在看起來(lái)很簡(jiǎn)單的問(wèn)題上翻車。

不是因?yàn)樗粫?huì)「看」，而是因?yàn)樗鼜膩?lái)沒(méi)有被迫真正尊重三維結(jié)構(gòu)的可行性——它可以靠2D相關(guān)性、外觀先驗(yàn)、數(shù)據(jù)集套路，走捷徑拿分。

而現(xiàn)實(shí)世界里，很多空間問(wèn)題的本質(zhì)恰恰相反：能怎么擺、怎么連、怎么受力，不是隨意的；可行解往往只存在于一個(gè)被幾何、拓?fù)?、物理?qiáng)約束「壓扁」的空間里。

為此，清華大學(xué)的研究團(tuán)隊(duì)推出SSI-Bench，從AI與結(jié)構(gòu)工程的交叉視角出發(fā)，為空間智能評(píng)估提供了一種新的場(chǎng)景化思路——將評(píng)測(cè)置于復(fù)雜三維結(jié)構(gòu)的約束流形中，系統(tǒng)檢驗(yàn)多模態(tài)大模型的空間智能表現(xiàn)。

項(xiàng)目主頁(yè)：https://ssi-bench.github.io/

Arxiv論文：https://arxiv.org/abs/2602.07864

Hugging Face數(shù)據(jù)集：https://huggingface.co/datasets/cyang203912/SSI-Bench

Github代碼庫(kù)：https://github.com/ccyydd/SSI-Bench

論文將這種能力明確界定為Constrained-Manifold Spatial Reasoning（CMSR，約束流形空間推理）：

在此類任務(wù)中，潛在三維狀態(tài)并非可被任意「臆測(cè)」，而是受到顯式約束的限定，僅能落在一個(gè)可行解集合內(nèi)——既需要滿足等式約束（如幾何一致性、連接關(guān)系等），也需要滿足不等式約束（如非相交條件、支撐條件與物理可行性等）。

更重要的是，強(qiáng)約束會(huì)顯著收縮可行三維配置空間，使「高度、距離、最短路徑」等空間關(guān)系在不同合理解釋下更具穩(wěn)定性，從而使評(píng)測(cè)結(jié)果具備更好的可量化性與可比性。

SSI-Bench正是在這一背景下提出：它不再將模型置于約束較弱、可自由組合的日常場(chǎng)景中，而是面向復(fù)雜真實(shí)工程結(jié)構(gòu)構(gòu)建評(píng)測(cè)環(huán)境，要求模型形成約束一致的三維結(jié)構(gòu)假設(shè)，并在此基礎(chǔ)上完成空間推理。

聚焦復(fù)雜三維結(jié)構(gòu)

純?nèi)斯び埠舜蛟?/strong>

任務(wù)形式：用排序題「逼出」真3D

SSI-Bench不再讓模型做選擇題，而是統(tǒng)一成排序任務(wù)：每題給出3或4個(gè)候選「構(gòu)件/構(gòu)件組」，要求在指定幾何/拓?fù)錅?zhǔn)則下輸出正確的全排列順序。

覆蓋能力：幾何+拓?fù)?多視角一致性

全基準(zhǔn)共1,000道排序題，任務(wù)分兩大類：

• 幾何類（Geometric）：Ground Height / Ground Angle / Dimension / Relative Distance / Area / Volume；

• 拓?fù)漕悾═opological）：Hop Distance / Cycle Length等圖結(jié)構(gòu)關(guān)系；

并額外引入多視角題目：以兩張圖配合，一張?zhí)峁﹨⒖紭?gòu)件，一張給出待比較目標(biāo)，重點(diǎn)考察跨視角構(gòu)件對(duì)應(yīng)與整體結(jié)構(gòu)一致性。

構(gòu)建過(guò)程：十位研究者耗費(fèi)400+小時(shí)純?nèi)斯ご蚰?/strong>

為了保證數(shù)據(jù)集的質(zhì)量與多樣性，同時(shí)也由于缺乏真實(shí)結(jié)構(gòu)構(gòu)件的標(biāo)注數(shù)據(jù)，SSI-Bench的構(gòu)建流程非?！赣埠恕埂?0位研究者投入超過(guò)400小時(shí)，從大量真實(shí)結(jié)構(gòu)圖片中進(jìn)行人工篩選與題目設(shè)計(jì)：

• 數(shù)據(jù)收集：研究中共計(jì)審閱約20,000張結(jié)構(gòu)相關(guān)圖片，結(jié)構(gòu)形式包括空間網(wǎng)架、鐵塔、斜拉橋、木竹結(jié)構(gòu)、鋼筋籠、管道等，最終保留2,000+候選；主要來(lái)自免版稅來(lái)源（Unsplash / Pexels / Pixabay），多視角部分還補(bǔ)充了自采圖像。

• 任務(wù)設(shè)計(jì)：結(jié)合空間智能需求與結(jié)構(gòu)工程專業(yè)知識(shí)，共精心設(shè)計(jì)2大類、10小類任務(wù)。

• 元數(shù)據(jù)標(biāo)注：判斷每張圖片適用的任務(wù)類型，使用Label Studio提供構(gòu)件定位標(biāo)注；

• 問(wèn)題生成：依據(jù)圖片色彩自動(dòng)選取標(biāo)注顏色，并按構(gòu)件位置自動(dòng)布局標(biāo)注文本；問(wèn)題生成后，由人工復(fù)核清晰度與遮擋情況。

• 質(zhì)量檢驗(yàn)：每題均由獨(dú)立檢查者復(fù)核，若存在分歧則交由第三人裁決。最終共獲得1,000道有效題目。

模型仍在起跑線

人類領(lǐng)先近六成

SSI-Bench系統(tǒng)評(píng)測(cè)了31個(gè)主流VLM，結(jié)論非常直接：人類幾乎「碾壓式領(lǐng)先」。

人類平均91.6%，最強(qiáng)閉源33.6%（Gemini-3-Flash），最強(qiáng)開源22.2%（GLM-4.6V），隨機(jī)猜測(cè)基線12.85%

也就是說(shuō)，哪怕拿到當(dāng)下最強(qiáng)大模型，人類仍然領(lǐng)先58個(gè)百分點(diǎn)（91.6 ? 33.6）。

更為關(guān)鍵的是，即使鼓勵(lì)模型生成更長(zhǎng)的推理過(guò)程，整體提升也多停留在邊際層面，難以觸及問(wèn)題的核心瓶頸。并且在部分高度依賴全局三維一致性的任務(wù)（如Multi-View、Volume）中，過(guò)度推理反而可能在錯(cuò)誤的結(jié)構(gòu)假設(shè)上持續(xù)累積偏差，使結(jié)果進(jìn)一步偏離正確答案。

從結(jié)果到機(jī)制

關(guān)鍵瓶頸在哪里？

論文對(duì)代表模型做了人工復(fù)盤，歸納出四類高頻錯(cuò)誤：

• 構(gòu)件范圍誤判：僅觀察到局部便誤認(rèn)為整體，或?qū)Χ它c(diǎn)位置產(chǎn)生錯(cuò)誤「補(bǔ)全」；遮擋越多，問(wèn)題越突出。

• 構(gòu)件/節(jié)點(diǎn)識(shí)別錯(cuò)誤：混淆不同部件，方向判斷失準(zhǔn)（例如將傾斜構(gòu)件誤判為水平或垂直）。

• 計(jì)算與比較邏輯錯(cuò)誤：在Area/Volume等任務(wù)中計(jì)算方式錯(cuò)誤（例如以2D投影替代3D體積），或采用不成立的簡(jiǎn)化假設(shè)。

• 3D空間邏輯錯(cuò)誤：深度關(guān)系混亂、跨視角對(duì)應(yīng)失敗、關(guān)系組合不穩(wěn)定，進(jìn)而導(dǎo)致整體結(jié)構(gòu)假設(shè)不一致。

這也解釋了SSI-Bench的「硬核」并不在于題目刻意刁鉆，而在于它迫使模型直面并補(bǔ)齊兩項(xiàng)關(guān)鍵短板：三維結(jié)構(gòu)構(gòu)型識(shí)別與約束一致的空間推理。

結(jié)語(yǔ)

SSI-Bench的價(jià)值，并不是再造一個(gè)「更難的VQA」，而是把空間智能評(píng)估拉回一個(gè)更接近現(xiàn)實(shí)的坐標(biāo)系：

當(dāng)場(chǎng)景是復(fù)雜真實(shí)結(jié)構(gòu)、當(dāng)可行解被強(qiáng)約束收縮、當(dāng)2D捷徑不再可靠——模型是否還能穩(wěn)定地構(gòu)建約束一致的3D結(jié)構(gòu)假設(shè)并完成推理？

從目前結(jié)果看，答案仍然很殘酷：模型還在起跑線，人類已在終點(diǎn)線附近。

但也正因如此，SSI-Bench給出了一個(gè)非常明確的研究方向：

讓空間智能體從「會(huì)看圖說(shuō)話」，走向「會(huì)在結(jié)構(gòu)里思考」。

參考資料：

https://ssi-bench.github.io/

Yang, C. (楊晨), Lin, G., He, Y., Chen, P., Liu, G., Mo, Y., Xu, Z., Wang, L., Zhang, G., Zhang, Z., Zeng, S., Wang, C. (王琛), & Fan, J. (樊健生) (2026). Thinking in structures: Evaluating spatial intelligence through reasoning on constrained manifolds. arXiv. https://arxiv.org/abs/2602.07864.