VerseCrafter：給視頻世界模型裝上4D方向盤，精準運鏡控物

視頻世界模型領(lǐng)域又迎來了新的突破！

復旦大學與騰訊 PCG ARC Lab 等機構(gòu)的研究者們提出了 VerseCrafter，這是一個通過顯式 4D 幾何控制（4D Geometric Control）實現(xiàn)的動態(tài)逼真視頻世界模型。它不僅能像「導演」一樣精準控制運鏡，還能同時指揮場景中多個物體的 3D 運動軌跡，為視頻生成引入了物理世界維度。

自 Sora 問世以來，視頻世界模型（Video World Models）成為了 AI 領(lǐng)域最熱門的研究方向之一。我們希望 AI 不僅能生成視頻，更能理解和模擬真實的物理世界。然而，現(xiàn)有的視頻模型往往面臨一個核心困境：視頻是在 2D 平面上播放的，但真實世界是 4D（3D 空間 + 時間）的。

現(xiàn)有的方法（如 Voyager、Yume 等）雖然引入了 3D 幾何結(jié)構(gòu)來輔助生成，但往往難以在一個統(tǒng)一的框架下同時實現(xiàn)精準的相機控制和多物體運動控制。要么是控制了鏡頭但物體不動（靜態(tài)場景），要么是控制了物體但鏡頭受限，或者依賴于剛性的 3D 邊界框和人的參數(shù)化模型（如 SMPL），難以應對復雜的真實世界物體。

為了打破這一僵局，來自復旦大學、上海創(chuàng)智學院、香港大學和騰訊 PCG ARC Lab 的研究團隊提出了 VerseCrafter。

• 論文地址： https://arxiv.org/pdf/2601.05138
• 項目主頁： https://sixiaozheng.github.io/VerseCrafter_page/
• 代碼倉庫： https://github.com/TencentARC/VerseCrafter

VerseCrafter 的核心理念在于：用一個統(tǒng)一的 4D 幾何世界狀態(tài)（4D Geometric World State）以此驅(qū)動視頻生成。它利用靜態(tài)背景點云和每個物體的 3D 高斯軌跡，實現(xiàn)了對相機和物體運動的解耦與協(xié)同控制。

如何構(gòu)建 4D 可控的世界模型？

VerseCrafter 的魔法源于其獨特的4D 幾何控制（4D Geometric Control） 表示和輕量級的 GeoAdapter 架構(gòu)。

1. 統(tǒng)一的 4D 幾何控制表示

傳統(tǒng)的控制信號通常是 2D 的（如光流、軌跡點、掩碼），缺乏 3D 空間的一致性。VerseCrafter 創(chuàng)新性地提出了一種基于3D 高斯（3D Gaussians）的表示方法：

• 背景：使用靜態(tài)背景點云（Background Point Cloud）來表示環(huán)境幾何。
• 物體：使用每物體 3D 高斯軌跡（Per-object 3D Gaussian Trajectories）來編碼物體運動。

VerseCrafter 的框架圖。通過將 4D 幾何控制渲染為多通道圖，并通過 GeoAdapter 注入到凍結(jié)的 Wan2.1 主干網(wǎng)絡中。

相比于剛性的 3D 邊界框，3D 高斯軌跡提供了一種軟性、靈活且類別無關(guān)的表示方式。它的均值定義了運動路徑，協(xié)方差則捕捉了物體隨時間變化的形狀和方向。這意味著無論是汽車、行人還是動物，VerseCrafter 都能以概率分布的形式描述其在 3D 空間中的占據(jù)情況。

2. 凍結(jié)的 Wan2.1 主干 + GeoAdapter

為了保證視頻生成的畫質(zhì)和真實感，VerseCrafter 并沒有從頭訓練一個大模型，而是巧妙地利用了強大的開源視頻生成模型Wan2.1-T2V-14B作為凍結(jié)的視頻先驗（Frozen Video Prior）。

研究團隊設(shè)計了一個輕量級的 GeoAdapter：

1. 首先將 4D 幾何控制信息（背景 RGB / 深度、物體高斯軌跡 RGB / 深度、控制掩碼）渲染為 2D 序列圖；
2. 利用 GeoAdapter 對這些幾何信息進行編碼；
3. 將其作為殘差注入到 Wan2.1 的特定 DiT 模塊中。

這種設(shè)計既保留了 Wan2.1 強大的生成能力，又以極小的代價引入了精確的 4D 控制。

數(shù)據(jù)集：VerseControl4D

訓練這樣一個 4D 世界模型，最大的瓶頸在于數(shù)據(jù) —— 我們?nèi)ツ睦镎掖罅繋в芯_ 4D 標注（相機參數(shù) + 多物體 3D 軌跡）的真實世界視頻？

為了解決這個問題，團隊構(gòu)建了VerseControl4D 數(shù)據(jù)集。

VerseControl4D 數(shù)據(jù)集的自動化構(gòu)建流程

• 數(shù)據(jù)源：基于 Sekai-Real-HQ 和 SpatialVID-HQ 等高質(zhì)量視頻數(shù)據(jù)集；
• 自動化標注引擎：結(jié)合了 Qwen2.5-VL-72B（生成描述）、Grounded-SAM2（物體分割）、MegaSaM（深度和相機位姿估計）等最先進的工具，自動從視頻中提取 4D 幾何信息；
• 規(guī)模：包含35,000 個訓練視頻片段，涵蓋了豐富的動態(tài)和靜態(tài)場景。

這一數(shù)據(jù)集的構(gòu)建，填補了真實世界 4D 幾何控制數(shù)據(jù)的空白，為模型的訓練提供了堅實的基礎(chǔ)。

實驗結(jié)果：SOTA 級的控制力

實驗表明，VerseCrafter 在各項指標上均超越了現(xiàn)有的 SOTA 方法（如 Perception-as-Control、 Yume、 Uni3C 等）。

1. 動態(tài)場景聯(lián)合控制對比

在同時控制相機運鏡和物體運動的復雜場景下，VerseCrafter 展現(xiàn)出了驚人的穩(wěn)定性。

https://mp.weixin.qq.com/s/P2MBsslV2i1Q9v8N7zm_bQ

動態(tài)場景對比。第一行從左至右：相機軌跡、GT、Perception-as-Control、Yume，第二行從左到右：Uni3C（第 1，2 列）、VerseCrafter（第 3，4 列）?？梢钥吹?VerseCrafter（右下）的物體運動和背景穩(wěn)定性最好。

從對比視頻中可以看出：

• Perception-as-Control生成的幀質(zhì)量較低，運鏡不準。
• Yume雖然能大致遵循文本描述的運動，但缺乏精確的相機控制。
• Uni3C僅限于單人體運動控制。
• VerseCrafter能夠精確地讓物體沿著預設(shè)的 3D 高斯軌跡移動，同時完美執(zhí)行相機運鏡，且背景保持幾何一致。

2. 靜態(tài)場景運鏡對比

即使在沒有移動物體的靜態(tài)場景中，作為單純的「場景漫游」工具，VerseCrafter 的表現(xiàn)也優(yōu)于專門的 ViewCrafter 和 Voyager 等模型。

https://mp.weixin.qq.com/s/P2MBsslV2i1Q9v8N7zm_bQ

靜態(tài)場景運鏡對比。第一行從左至右：相機軌跡、GT、ViewCrafter，第二行從左到右：Voyager、FlashWorld、VerseCrafter。VerseCrafter 在大幅度運鏡下依然保持了建筑結(jié)構(gòu)的筆直和紋理的清晰。

3. 多視角一致性（Multi-Player View）

得益于統(tǒng)一的 4D 世界坐標系，VerseCrafter 還支持多玩家視角（Multi-Player View）生成。對于同一個動態(tài)事件，可以從完全不同的兩個視角分別生成視頻，兩者在時間、空間和物體動作上保持高度一致。

https://mp.weixin.qq.com/s/P2MBsslV2i1Q9v8N7zm_bQ

兩者在同一時間軸上展現(xiàn)了完全一致的世界動態(tài)。

總結(jié)

VerseCrafter 的出現(xiàn)，標志著視頻生成向可控 4D 世界模擬邁出了重要一步。通過將顯式的 3D 幾何先驗（點云與高斯）與強大的 2D 視頻生成模型（Wan2.1）相結(jié)合，它不僅解決了復雜場景下的控制難題，也為游戲制作、電影預演和具身智能模擬提供了新的可能性。

目前，項目代碼與模型權(quán)重均已開源，感興趣的讀者可以前往項目主頁體驗。