港大俞益洲團隊發(fā)布首篇「高效視頻世界模型」全面綜述

本篇綜述工作由香港大學博士生何沐陽、郭瀚中、林俊雄（共同第一作者）及香港大學俞益洲教授完成。

還記得兩年前，AI 生視頻可謂是「鬼畜專區(qū)」—— 人物多一根手指算基操，走路自帶鬼步舞才是常態(tài)。結(jié)果轉(zhuǎn)眼間，從 OpenAI 的 Sora 到字節(jié)跳動的 Seedance，這些模型已經(jīng)開始一本正經(jīng)地「模擬世界」了：水會流、球會彈、光影能追蹤，儼然一副要當「物理引擎」的架勢。

研究人員也越來越相信，視頻生成模型不只是個「特效師」，更有潛力成為理解物理規(guī)律的世界模型（World Models）—— 一條通向通用人工智能（AGI）的硬核賽道。

然而，在這一廣闊前景之前，仍存在著一個極其嚴峻的挑戰(zhàn)：計算成本與速度。

視頻生成模型要作為世界模擬器，需要維持長期的時空一致性、遵守物理約束，并支持高分辨率的交互式生成。但高維度的視頻數(shù)據(jù)和復(fù)雜的物理動態(tài)導(dǎo)致了海量的計算開銷，使得模型陷入了「長時一致性」「實時高可用」與「物理準確性」難以兼得的「不可能三角」。

現(xiàn)有文獻大多聚焦于視頻生成的一般性進展，卻鮮有工作系統(tǒng)性地探討「如何通過提升效率來成就真正的世界模型」。

在這篇最新的綜述中，港大俞益洲團隊首次聚焦于「高效性」（Efficiency）這一決定視頻生成器能否成功轉(zhuǎn)化為實用世界模型的關(guān)鍵先決條件，從理論潛力與龐大計算成本之間的鴻溝出發(fā)，系統(tǒng)且全面地梳理了高效視頻世界模型的發(fā)展脈絡(luò)、關(guān)鍵技術(shù)與最新進展。

• 論文地址：
• https://arxiv.org/abs/2603.28489
• 或https://huggingface.co/papers/2603.28489

具體來說，團隊從高效建模范式、高效模型架構(gòu)和高效推理算法三個維度對現(xiàn)有工作進行了分類分析，并進一步探討了這些高效技術(shù)如何賦能下游的應(yīng)用領(lǐng)域，包括自動駕駛、具身智能、游戲與交互等。

團隊詳盡地梳理了以下核心內(nèi)容。

高效建模范式（Efficient Modeling）

該部分重點探討了從視頻生成問題最基本的建模范式出發(fā)，如何將模型從短片段生成擴展到支持長周期、交互式的世界建模。包括：

• 擴散模型蒸餾（Diffusion Model Distillation）：通過步數(shù)縮減、一致性蒸餾和對抗性蒸餾等方法，將采樣步數(shù)壓縮至幾步甚至單步，大幅降低生成延遲；
• 自回歸與混合方法（Auto-Regressive & Hybrid AR-Diffusion）：使用自回歸（AR）模型或結(jié)合 AR 和 Diffusion，旨在實現(xiàn)長周期推理能力，保持高保真度；還包括一類將擴散過程流式因果化的方法。

高效模型架構(gòu)（Efficient Architectures）

架構(gòu)設(shè)計是緩解時空冗余和 attention 機制平方計算復(fù)雜度的最直接方法。涵蓋了四大方向：

• 層次化與 VAE 設(shè)計（Hierarchical & VAE Designs）：通過粗到細（Coarse-to-fine）的級聯(lián)生成降低計算成本，或通過高效的 VAE 設(shè)計實現(xiàn)隱空間壓縮和降維；
• 長上下文與記憶機制（Long Context & Memory Mechanisms）：引入視覺記憶、空間記憶（如 3D 點云 / 網(wǎng)格）、上下文壓縮或隱式模型記憶（測試時訓練），以維持長周期的物理與邏輯一致性；
• 高效注意力機制（Efficient Attention）：利用稀疏注意力、窗口注意力、線性注意力乃至狀態(tài)空間模型（如 Mamba）來替代昂貴的全局注意力；
• 外推與 RoPE 技術(shù)（Extrapolation and RoPE）：通過位置編碼的優(yōu)化，實現(xiàn)無需訓練的長序列外推生成。

高效推理算法（Efficient Inference）

面向數(shù)十億參數(shù)級大模型的實際部署，團隊總結(jié)了四類關(guān)鍵的推理優(yōu)化策略：

• 并行化（Parallelism）：分布式推理（空間、序列及流水線并行）；
• 緩存機制（Caching）：利用擴散模型相鄰去噪步之間的時空冗余進行特征復(fù)用；
• 剪枝（Pruning）：包含 token 級合并 / 丟棄，以及網(wǎng)絡(luò)架構(gòu)（channel、layer 級）剪枝；
• 量化（Quantization）：以 8bit、4bit 部署，涵蓋從注意力機制量化到訓練后量化（PTQ）與量化感知訓練（QAT）、及時間維度的動態(tài)量化策略。

賦能應(yīng)用（Applications）

團隊詳細分析了高效技術(shù)如何直接推動視頻世界模型在三大核心領(lǐng)域的應(yīng)用：

1.自動駕駛（Autonomous Driving）：讓 AI 司機在「腦內(nèi)駕?！咕毜疆厴I(yè)

這大概是視頻世界模型最剛需的戰(zhàn)場。綜述從三個維度梳理了它的打法：

• 一是數(shù)據(jù)合成——現(xiàn)實世界里，「鬼探頭」、極端天氣等長尾場景可遇不可求，但世界模型可以批量「腦補」出來，給感知和規(guī)劃模型當訓練素材（代表作如 GAIA 系列、MagicDrive-V2）；
• 二是閉環(huán)交互模擬—— 把世界模型當虛擬考場，AI 在里面不斷試駕、犯錯、學習，形成「生成 — 評估 — 重訓」的飛輪（如 Vista、ADriver-I 實現(xiàn)了「在 AI 生成的虛擬世界里無限開車」）；
• 三是生成式規(guī)劃—— 模型在腦中「想象」多條未來軌跡，挑最優(yōu)的那條執(zhí)行，相當于讓自動駕駛系統(tǒng)擁有了「先在腦子里過一遍」的能力（如 Drive-WM、DriveLAW 等將視頻生成與動作規(guī)劃共享同一個隱空間）。

2.具身智能（Embodied AI）：給機器人裝一個「物理直覺」

機器人領(lǐng)域最頭疼的問題之一就是數(shù)據(jù) ——真實環(huán)境數(shù)據(jù)采集成本高、分布窄。

視頻世界模型在這里扮演了三重角色：

首先是數(shù)據(jù)引擎，比如 GigaWorld-0 通過文本引導(dǎo)真實視頻編輯來擴充訓練數(shù)據(jù)，DreamGen 用世界模型的「想象」直接生成軌跡級監(jiān)督信號，GenMimic 甚至把人類運動視頻「遷移」到人形機器人上做強化學習；

其次是交互式模擬器，機器人可以在世界模型生成的虛擬環(huán)境里安全試錯（如 Ctrl-World、DreamDojo）；

最值得關(guān)注的是生成式策略學習——GR-1 在大規(guī)模視頻上預(yù)訓練再遷移到機器人操作，F(xiàn)ast-WAM 更是提出了 WAM（World Action Model）范式的關(guān)鍵證據(jù)：世界模型的增益主要來自視頻聯(lián)合訓練塑造的物理表征，而非推理時的顯式「想象」。僅 15M 參數(shù)的 LeWorldModel 則證明，小而精的隱空間世界模型也能實現(xiàn)高效規(guī)劃。

3.游戲與交互式世界模擬（Game & Interactive Simulation）：AI 當上了「游戲引擎」

游戲天然提供了閉環(huán)交互接口和可控評測環(huán)境，是世界模型的理想試驗田。

GameGen-X 把鍵盤鼠標操作注入生成過程，Matrix-Game 2.0 在 GTA5 和虛幻引擎數(shù)據(jù)上訓練，實現(xiàn)了約 25 FPS 的交互生成和分鐘級長序列滾動推演。DreamerV4 則用世界模型充當強化學習的虛擬訓練場，讓智能體在「腦內(nèi)世界」練習復(fù)雜的長程任務(wù)。

更通用的方向上，WorldPlay 主打高分辨率實時生成，Yume1.5 通過上下文壓縮和蒸餾降低長序列延遲，開源項目 LingBot-World 則將分層語義數(shù)據(jù)引擎與多階段訓練結(jié)合，追求低延遲交互與長期記憶的統(tǒng)一。

此外，團隊也分析了 talking head、實時互動創(chuàng)作、3D/4D 場景等領(lǐng)域的相關(guān)工作。

總的來說，盡管視頻生成在分辨率、擬真度、時長等方面取得了令人矚目的突破，但要賦予模型真正的物理推理和環(huán)境模擬能力，仍面臨著巨大的算力挑戰(zhàn)。

在這方面，將多角度效率優(yōu)化與視頻生成的時空屬性深度結(jié)合，展現(xiàn)出了不可替代的價值。

為此，團隊首次基于「面向高效性」（Efficiency-oriented） 的視角，對視頻世界模型進行了全景式的綜述。

通過系統(tǒng)整理模型范式、架構(gòu)創(chuàng)新到高效推理的各個環(huán)節(jié)，我們厘清了該領(lǐng)域的發(fā)展脈絡(luò)與關(guān)鍵方法，還指出了當前存在的關(guān)鍵局限（如長時間生成的誤差累積、物理一致性困境等）以及未來的潛在突破口。

團隊希望本篇綜述能為廣大研究人員帶來新的啟發(fā)，共同推動視頻生成模型向著通用、實時且魯棒的物理世界模擬器邁出堅實的一步。