前饋式3D的終極路線圖來了！一文看清未來三維重建該往哪走

從單幅圖像恢復(fù)三維結(jié)構(gòu)，到多視圖場(chǎng)景建模、動(dòng)態(tài) 4D 重建，再到機(jī)器人、自動(dòng)駕駛、SLAM 與視頻生成，如何讓模型在不依賴逐場(chǎng)景優(yōu)化的前提下，直接、高效地理解并重建三維世界，正在成為 3D 視覺領(lǐng)域的重要方向。

與傳統(tǒng) SfM、MVS、NeRF、3D Gaussian Splatting 等方法不同，前饋式 3D 場(chǎng)景建模（Feed-Forward 3D Scene Modeling）通過一次前向推理，直接從輸入圖像預(yù)測(cè)三維場(chǎng)景表示，從而顯著降低測(cè)試階段的優(yōu)化成本，并具備更強(qiáng)的跨場(chǎng)景泛化能力與實(shí)際部署潛力。論文摘要和引言都強(qiáng)調(diào)，這一范式正快速發(fā)展，并逐漸成為連接效率、泛化和系統(tǒng)落地能力的重要路線。

近日，來自浙江大學(xué)、南洋理工大學(xué)、Monash University、ETH Zurich、圖賓根大學(xué)等機(jī)構(gòu)的研究者聯(lián)合發(fā)布綜述論文，系統(tǒng)梳理了前饋式 3D 場(chǎng)景建模的研究進(jìn)展，并提出了一種區(qū)別于以往工作的全新組織方式：不再主要按 NeRF、3DGS、Pointmap 等表示形式劃分方法，而是從模型試圖解決的核心問題出發(fā)，構(gòu)建 problem-driven 的統(tǒng)一分析框架。

• 論文標(biāo)題：Feed-Forward 3D Scene Modeling: A Problem-Driven Perspective
• 論文地址: https://arxiv.org/abs/2604.14025
• 項(xiàng)目地址：https://ff3d-survey.github.io/
• Github 論文整理：https://github.com/ziplab/Awesome-Feed-Forward-3D

圖 1：本文綜述整體框架。從 3D 表示、五大研究方向，到數(shù)據(jù)集、應(yīng)用場(chǎng)景與未來趨勢(shì)，系統(tǒng)展示了前饋式 3D 場(chǎng)景建模的整體脈絡(luò)。

為什么這篇綜述值得關(guān)注？

前饋式 3D 方向發(fā)展很快，但長期以來，很多工作仍然主要按照 3D 表示形式來分類，例如 NeRF 一類、3DGS 一類、Pointmap 一類。論文指出，這種方式雖然直觀，卻往往掩蓋了真正推動(dòng)方法演進(jìn)的關(guān)鍵因素。因?yàn)樵诂F(xiàn)實(shí)中，使用同一種表示的方法，可能在解決完全不同的問題；而針對(duì)同一挑戰(zhàn)的不同方法，也可能采用截然不同的表示。

基于這一觀察，作者提出：與其圍繞「輸出是什么」來組織文獻(xiàn)，不如圍繞「方法到底在解決什么問題」來重新理解這一領(lǐng)域。論文摘要中明確提出，現(xiàn)有前饋式方法雖然輸出表示多樣，但在高層架構(gòu)設(shè)計(jì)上共享大量共性，例如圖像特征提取、多視圖信息融合、幾何感知設(shè)計(jì)等，因此更有解釋力的組織方式，應(yīng)當(dāng)是圍繞模型設(shè)計(jì)策略和核心挑戰(zhàn)進(jìn)行歸納。

也正因此，這篇綜述最突出的貢獻(xiàn)，不只是「總結(jié)得全」，而是給出了一個(gè)新的觀察框架。它把前饋式 3D 場(chǎng)景建模總結(jié)為五個(gè)核心研究方向：特征增強(qiáng)、幾何感知、模型效率、增強(qiáng)策略、時(shí)序感知模型。這一 problem-driven taxonomy 構(gòu)成了全文的方法主線。

圖 2：前饋式 3D 重建方法的 problem-driven 分類框架。作者將現(xiàn)有方法歸納為特征增強(qiáng)、幾何感知、模型效率、增強(qiáng)策略和時(shí)序感知五大方向。

從「表示分類」走向「問題驅(qū)動(dòng)」：

五大研究方向重新組織前饋式 3D

1. 特征增強(qiáng)：先把 2D 特征學(xué)好，才能更穩(wěn)地 lift 到 3D

論文指出，前饋式 3D 系統(tǒng)中，隱式特征圖質(zhì)量直接決定后續(xù) 3D 解碼效果。因此，大量工作首先圍繞feature enhancement展開，包括 backbone 架構(gòu)演進(jìn)、跨視圖特征融合，以及視覺基礎(chǔ)模型的引入。換句話說，很多方法的關(guān)鍵改進(jìn)，并不在輸出層，而在「輸入圖像特征如何被建模、對(duì)齊并增強(qiáng)」這一層。

從論文的整理可以看到，這條路線已經(jīng)從早期 CNN-based 條件建模，逐步發(fā)展到 Transformer、Mamba、ViT 等更強(qiáng)的編碼架構(gòu)，同時(shí)不斷加強(qiáng) cross-view fusion 和 foundation model priors 的引入。作者還專門總結(jié)了近期前饋式 3D 模型常見的 encoder taxonomy，覆蓋 ResNet、ViT、U-Net、Mamba 以及 DINO、CLIP、CroCo、diffusion 等預(yù)訓(xùn)練先驗(yàn)。

圖 3：近期前饋式 3D 模型常見編碼器與預(yù)訓(xùn)練先驗(yàn)的演化脈絡(luò)。包括 ViT、ResNet、Mamba 等骨干網(wǎng)絡(luò)，以及 DINO、CLIP、CroCo、diffusion 等基礎(chǔ)模型先驗(yàn)。

2. 幾何感知：前饋式 3D 的核心不只是看圖，更是「懂幾何」

如果說特征增強(qiáng)解決的是「看得更清楚」，那 geometry awareness 解決的就是「想得更對(duì)」。論文認(rèn)為，僅依賴 2D 圖像特征容易帶來幾何歧義，因此需要通過顯式幾何聚合、后處理細(xì)化、無位姿重建、預(yù)訓(xùn)練幾何引導(dǎo)等策略，把更強(qiáng)的幾何推理能力注入模型。

這部分的一個(gè)重要價(jià)值在于，它把 cost volume、epipolar constraints、surface-aware modeling、pose-free reconstruction 等看似分散的方法路線，統(tǒng)一放進(jìn)了一個(gè)更高層的框架里。這樣讀者能更清楚地看到，這些方法雖然形式不同，但本質(zhì)上都在回答同一個(gè)問題：前饋式 3D 模型如何在一次推理中恢復(fù)更可靠的場(chǎng)景幾何。

圖 4：幾何感知方向的主要改進(jìn)路徑。包括顯式幾何聚合、后處理細(xì)化、無位姿重建和預(yù)訓(xùn)練幾何引導(dǎo)等幾類代表性路線。

3. 模型效率：前饋式 3D 要真正落地，必須同時(shí)解決速度和內(nèi)存問題

除了「準(zhǔn)不準(zhǔn)」，前饋式 3D 的另一個(gè)核心問題是「能不能真正用起來」。論文因此把model efficiency單獨(dú)作為一條主線，并分成兩類：一類關(guān)注feature efficiency，即如何更高效地進(jìn)行多視圖特征聚合；另一類關(guān)注representation compaction，即如何壓縮顯式 3D 表示，尤其是 Gaussian 的數(shù)量和存儲(chǔ)開銷。

這也反映出前饋式 3D 當(dāng)前發(fā)展的現(xiàn)實(shí)目標(biāo)：它不只是要在 benchmark 上提高指標(biāo)，還要推動(dòng)方法走向?qū)崟r(shí)應(yīng)用、資源受限場(chǎng)景和長序列重建。論文專門給出了不同代表性方法在顯存占用、Gaussian 數(shù)量和推理時(shí)間上的對(duì)比，清楚展示了這一方向在效率層面的權(quán)衡關(guān)系。

圖 5：不同前饋式新視角合成方法在效率上的對(duì)比。從顯存占用、Gaussian 數(shù)量和推理時(shí)間三個(gè)維度，展示不同方法在工程部署上的權(quán)衡。

4. 增強(qiáng)策略：不只擴(kuò)訓(xùn)練數(shù)據(jù)，也借助生成模型補(bǔ)足視覺先驗(yàn)

論文中的augmentation strategies不是狹義的數(shù)據(jù)增強(qiáng)，而是被分成了兩條互補(bǔ)路線：一條是data augmentation，通過合成場(chǎng)景、偽標(biāo)注、多視圖生成等方式擴(kuò)充訓(xùn)練分布；另一條是visual augmentation，借助 diffusion 等生成模型增強(qiáng)渲染結(jié)果、去除偽影并補(bǔ)全缺失細(xì)節(jié)。這一點(diǎn)非常重要，因?yàn)樗f明前饋式 3D 已不再只是一個(gè)純幾何建模問題，而是在逐漸和生成式建模融合。未來更強(qiáng)的前饋式 3D 系統(tǒng)，很可能既要恢復(fù)可靠幾何，也要通過大規(guī)模視覺先驗(yàn)提升完整性與逼真度。

圖 6：數(shù)據(jù)增強(qiáng)與視覺增強(qiáng)兩類 augmentation 策略的區(qū)別。前者擴(kuò)充訓(xùn)練分布，后者借助生成模型增強(qiáng)渲染結(jié)果，共同提升模型的泛化性與視覺質(zhì)量。

5. 時(shí)序感知模型：從靜態(tài) 3D 走向動(dòng)態(tài) 4D 和持續(xù)世界建模

前饋式 3D 的最后一條關(guān)鍵方向，是 temporal-aware models。論文指出，這類方法通過建模跨幀幾何與運(yùn)動(dòng)一致性，進(jìn)一步把前饋式 3D 擴(kuò)展到動(dòng)態(tài)場(chǎng)景和低延遲 4D 建模。作者將其分為在線流式、離線處理、交互式建模以及面向特定任務(wù)的時(shí)序方法。

這部分也清楚表明，前饋式 3D 正在從「單個(gè)靜態(tài)場(chǎng)景的快速重建」逐漸走向「持續(xù)建模世界」的能力形態(tài)。這對(duì)機(jī)器人、自動(dòng)駕駛、動(dòng)態(tài)場(chǎng)景理解以及空間智能系統(tǒng)都非常關(guān)鍵。

圖 7：時(shí)序感知前饋式 3D 模型的主要范式。涵蓋在線流式建模、離線時(shí)序處理、交互式建模以及面向特定任務(wù)的時(shí)序方法。

不只方法整理，這篇綜述還

重新梳理了 benchmark 和應(yīng)用全景

很多綜述在數(shù)據(jù)集和 benchmark 部分往往只是羅列，而這篇文章進(jìn)一步從評(píng)測(cè)目標(biāo)出發(fā)，將數(shù)據(jù)集劃分為 geometry-oriented 和 visual-oriented 兩類。前者更強(qiáng)調(diào)點(diǎn)云、深度、位姿等幾何質(zhì)量，后者則更關(guān)注新視角合成中的視覺真實(shí)感。論文明確提到，這樣的劃分有助于更清晰地理解不同 benchmark 對(duì)方法發(fā)展的牽引作用。

與此同時(shí)，文章還系統(tǒng)總結(jié)了前饋式 3D 在自動(dòng)駕駛、機(jī)器人、場(chǎng)景理解、SfM/SLAM、視頻生成和視覺定位等方向上的應(yīng)用。作者認(rèn)為，這一范式已經(jīng)從研究概念逐步走向?qū)嶋H技術(shù)能力組件，正在持續(xù)降低 3D 建模在真實(shí)系統(tǒng)中的使用門檻。

表 1：前饋式 3D 重建代表性數(shù)據(jù)集匯總。本文按照主要用途將現(xiàn)有數(shù)據(jù)集劃分為幾何導(dǎo)向、視覺導(dǎo)向和混合類型，并進(jìn)一步統(tǒng)計(jì)其數(shù)據(jù)規(guī)模、來源類型、場(chǎng)景類別以及代表性的訓(xùn)練與測(cè)試方法，用于展示當(dāng)前前饋式 3D 場(chǎng)景建模的數(shù)據(jù)基礎(chǔ)與評(píng)測(cè)生態(tài)。

未來趨勢(shì)：前饋式 3D 會(huì)走向哪里？

在最后的討論中，論文將未來方向總結(jié)為 benchmark rigor、model efficiency、scalable scene representations、world models、unified perception and reconstruction 等幾條主線。尤其值得注意的是，作者把world models納入前饋式 3D 的未來圖景中，這意味著前饋式 3D 不再只是「更快的三維重建」，而可能成為未來空間智能和世界建模系統(tǒng)中的基礎(chǔ)模塊。

總結(jié)

這篇綜述最大的價(jià)值，不只是系統(tǒng)總結(jié)了前饋式 3D 場(chǎng)景建模的發(fā)展，更在于它提出了一個(gè)更具解釋力的視角：相比按表示形式分類，圍繞特征、幾何、效率、增強(qiáng)和時(shí)序這些核心問題來理解方法演進(jìn)，更能揭示這一領(lǐng)域真正的研究脈絡(luò)。

從這個(gè)意義上說，這篇工作不僅為新進(jìn)入這一方向的研究者提供了一張清晰的路線圖，也為整個(gè)社區(qū)重新理解前饋式 3D 提供了一個(gè)更統(tǒng)一的分析框架。它讓我們看到，前饋式 3D 的核心，不只是「輸出什么三維表示」，而是「如何更穩(wěn)、更準(zhǔn)、更快地建立對(duì)三維世界的理解」。

作者介紹

本文由浙江大學(xué)、南洋理工大學(xué)、Monash 大學(xué)、蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）及圖賓根大學(xué)等機(jī)構(gòu)聯(lián)合完成。作者包括：Weijie Wang（浙江大學(xué)博士生）、Qihang Cao（共同一作）、Sensen Gao（共同一作），Donny Y. Chen（Project Lead），Haofei Xu、Wenjing Bian、Songyou Peng、Tat-Jen Cham、Chuanxia Zheng、Andreas Geiger（圖賓根大學(xué)教授）、Jianfei Cai（Monash 大學(xué)教授，IEEE Fellow），及通訊作者 Jiawang Bian 與 Bohan Zhuang。