港大俞益洲團隊發布首篇「高效視頻世界模型」全面綜述

本篇綜述工作由香港大學博士生何沐陽、郭瀚中、林俊雄（共同第一作者）及香港大學俞益洲教授完成。

還記得兩年前，AI 生視頻可謂是「鬼畜專區」—— 人物多一根手指算基操，走路自帶鬼步舞才是常態。結果轉眼間，從 OpenAI 的 Sora 到字節跳動的 Seedance，這些模型已經開始一本正經地「模擬世界」了：水會流、球會彈、光影能追蹤，儼然一副要當「物理引擎」的架勢。

研究人員也越來越相信，視頻生成模型不只是個「特效師」，更有潛力成為理解物理規律的世界模型（World Models）—— 一條通向通用人工智能（AGI）的硬核賽道。

然而，在這一廣闊前景之前，仍存在著一個極其嚴峻的挑戰：計算成本與速度。

視頻生成模型要作為世界模擬器，需要維持長期的時空一致性、遵守物理約束，并支持高分辨率的交互式生成。但高維度的視頻數據和復雜的物理動態導致了海量的計算開銷，使得模型陷入了「長時一致性」「實時高可用」與「物理準確性」難以兼得的「不可能三角」。

現有文獻大多聚焦于視頻生成的一般性進展，卻鮮有工作系統性地探討「如何通過提升效率來成就真正的世界模型」。

在這篇最新的綜述中，港大俞益洲團隊首次聚焦于「高效性」（Efficiency）這一決定視頻生成器能否成功轉化為實用世界模型的關鍵先決條件，從理論潛力與龐大計算成本之間的鴻溝出發，系統且全面地梳理了高效視頻世界模型的發展脈絡、關鍵技術與最新進展。

• 論文地址：
• https://arxiv.org/abs/2603.28489
• 或https://huggingface.co/papers/2603.28489

具體來說，團隊從高效建模范式、高效模型架構和高效推理算法三個維度對現有工作進行了分類分析，并進一步探討了這些高效技術如何賦能下游的應用領域，包括自動駕駛、具身智能、游戲與交互等。

團隊詳盡地梳理了以下核心內容。

高效建模范式（Efficient Modeling）

該部分重點探討了從視頻生成問題最基本的建模范式出發，如何將模型從短片段生成擴展到支持長周期、交互式的世界建模。包括：

• 擴散模型蒸餾（Diffusion Model Distillation）：通過步數縮減、一致性蒸餾和對抗性蒸餾等方法，將采樣步數壓縮至幾步甚至單步，大幅降低生成延遲；
• 自回歸與混合方法（Auto-Regressive & Hybrid AR-Diffusion）：使用自回歸（AR）模型或結合 AR 和 Diffusion，旨在實現長周期推理能力，保持高保真度；還包括一類將擴散過程流式因果化的方法。

高效模型架構（Efficient Architectures）

架構設計是緩解時空冗余和 attention 機制平方計算復雜度的最直接方法。涵蓋了四大方向：

• 層次化與 VAE 設計（Hierarchical & VAE Designs）：通過粗到細（Coarse-to-fine）的級聯生成降低計算成本，或通過高效的 VAE 設計實現隱空間壓縮和降維；
• 長上下文與記憶機制（Long Context & Memory Mechanisms）：引入視覺記憶、空間記憶（如 3D 點云 / 網格）、上下文壓縮或隱式模型記憶（測試時訓練），以維持長周期的物理與邏輯一致性；
• 高效注意力機制（Efficient Attention）：利用稀疏注意力、窗口注意力、線性注意力乃至狀態空間模型（如 Mamba）來替代昂貴的全局注意力；
• 外推與 RoPE 技術（Extrapolation and RoPE）：通過位置編碼的優化，實現無需訓練的長序列外推生成。

高效推理算法（Efficient Inference）

面向數十億參數級大模型的實際部署，團隊總結了四類關鍵的推理優化策略：

• 并行化（Parallelism）：分布式推理（空間、序列及流水線并行）；
• 緩存機制（Caching）：利用擴散模型相鄰去噪步之間的時空冗余進行特征復用；
• 剪枝（Pruning）：包含 token 級合并 / 丟棄，以及網絡架構（channel、layer 級）剪枝；
• 量化（Quantization）：以 8bit、4bit 部署，涵蓋從注意力機制量化到訓練后量化（PTQ）與量化感知訓練（QAT）、及時間維度的動態量化策略。

賦能應用（Applications）

團隊詳細分析了高效技術如何直接推動視頻世界模型在三大核心領域的應用：

1.自動駕駛（Autonomous Driving）：讓 AI 司機在「腦內駕校」練到畢業

這大概是視頻世界模型最剛需的戰場。綜述從三個維度梳理了它的打法：

• 一是數據合成——現實世界里，「鬼探頭」、極端天氣等長尾場景可遇不可求，但世界模型可以批量「腦補」出來，給感知和規劃模型當訓練素材（代表作如 GAIA 系列、MagicDrive-V2）；
• 二是閉環交互模擬—— 把世界模型當虛擬考場，AI 在里面不斷試駕、犯錯、學習，形成「生成 — 評估 — 重訓」的飛輪（如 Vista、ADriver-I 實現了「在 AI 生成的虛擬世界里無限開車」）；
• 三是生成式規劃—— 模型在腦中「想象」多條未來軌跡，挑最優的那條執行，相當于讓自動駕駛系統擁有了「先在腦子里過一遍」的能力（如 Drive-WM、DriveLAW 等將視頻生成與動作規劃共享同一個隱空間）。

2.具身智能（Embodied AI）：給機器人裝一個「物理直覺」

機器人領域最頭疼的問題之一就是數據 ——真實環境數據采集成本高、分布窄。

視頻世界模型在這里扮演了三重角色：

首先是數據引擎，比如 GigaWorld-0 通過文本引導真實視頻編輯來擴充訓練數據，DreamGen 用世界模型的「想象」直接生成軌跡級監督信號，GenMimic 甚至把人類運動視頻「遷移」到人形機器人上做強化學習；

其次是交互式模擬器，機器人可以在世界模型生成的虛擬環境里安全試錯（如 Ctrl-World、DreamDojo）；

最值得關注的是生成式策略學習——GR-1 在大規模視頻上預訓練再遷移到機器人操作，Fast-WAM 更是提出了 WAM（World Action Model）范式的關鍵證據：世界模型的增益主要來自視頻聯合訓練塑造的物理表征，而非推理時的顯式「想象」。僅 15M 參數的 LeWorldModel 則證明，小而精的隱空間世界模型也能實現高效規劃。

3.游戲與交互式世界模擬（Game & Interactive Simulation）：AI 當上了「游戲引擎」

游戲天然提供了閉環交互接口和可控評測環境，是世界模型的理想試驗田。

GameGen-X 把鍵盤鼠標操作注入生成過程，Matrix-Game 2.0 在 GTA5 和虛幻引擎數據上訓練，實現了約 25 FPS 的交互生成和分鐘級長序列滾動推演。DreamerV4 則用世界模型充當強化學習的虛擬訓練場，讓智能體在「腦內世界」練習復雜的長程任務。

更通用的方向上，WorldPlay 主打高分辨率實時生成，Yume1.5 通過上下文壓縮和蒸餾降低長序列延遲，開源項目 LingBot-World 則將分層語義數據引擎與多階段訓練結合，追求低延遲交互與長期記憶的統一。

此外，團隊也分析了 talking head、實時互動創作、3D/4D 場景等領域的相關工作。

總的來說，盡管視頻生成在分辨率、擬真度、時長等方面取得了令人矚目的突破，但要賦予模型真正的物理推理和環境模擬能力，仍面臨著巨大的算力挑戰。

在這方面，將多角度效率優化與視頻生成的時空屬性深度結合，展現出了不可替代的價值。

為此，團隊首次基于「面向高效性」（Efficiency-oriented） 的視角，對視頻世界模型進行了全景式的綜述。

通過系統整理模型范式、架構創新到高效推理的各個環節，我們厘清了該領域的發展脈絡與關鍵方法，還指出了當前存在的關鍵局限（如長時間生成的誤差累積、物理一致性困境等）以及未來的潛在突破口。

團隊希望本篇綜述能為廣大研究人員帶來新的啟發，共同推動視頻生成模型向著通用、實時且魯棒的物理世界模擬器邁出堅實的一步。