騰訊胡文博：引領 3D 視頻世界模型新趨勢丨GAIR 2025

胡文博已經在圖形學和視覺國際期刊和會議發表20余篇論文。

作者丨代聰飛

編輯丨馬曉寧

2025年 12 月 12-13 日，由 GAIR 研究院與雷峰網聯合主辦的「第八屆 GAIR 全球人工智能與機器人大會」，將在深圳南山·博林天瑞喜來登酒店舉辦。

今年大會，將開設三個主題論壇，聚焦大模型、算力變革、世界模型等多個議題，描繪 AI 最前沿的探索群像，折射學界與產業界共建的智能未來。

騰訊 ARC 實驗室高級研究員胡文博也將蒞臨 12 月 13 日《世界模型》論壇，帶來《Towards 3D-aware Video World Models 》（《邁向三維感知的視頻世界模型》）的主題分享。

過去一年多，Sora為代表的視頻生成模型，成為繼大語言模型（LLM）后新的學術熱點。本質上講，當下火爆的視頻生成模型，是一種世界模型，其核心目的是生成一段逼真、連貫的視頻。

要達到這樣的目的，模型必須在一定程度上理解這個世界的運作方式（比如水往低處流、物體碰撞后的運動、人的合理動作等）。

胡文博正是世界模型研究領域近兩年的絕對新銳。

2022年，胡文博獲得香港中文大學計算機科學與工程博士學位。至今，胡文博已經在圖形學和視覺國際期刊和會議發表20余篇論文。

01

深耕視頻生成模型，Tri-MipR一鳴驚人

1996年出生的胡文博已經在世界模型領域深耕數年。

2018年，胡文博從大連理工大學畢業，還獲得了遼寧省優秀畢業生的殊榮。對計算機充滿熱忱的胡文博并沒有選擇直接工作，而是奔赴香港中文大學攻讀計算機博士學位。

求學期間，胡文博曾先后在大疆、阿里巴巴達摩院、騰訊AI Lab等知名企業實習。

2022年后，從香港中文大學博士畢業的胡文博，選擇加入字節跳動PICO混合現實團隊，擔任研究員。也是這一階段，胡文博發表了《Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields》（以下簡稱《Tri-MipRF》）。這篇論文受到極大關注，入圍ICCV'2023最佳論文決賽，并榮獲CVPR'2025 PixFoundation研討會最佳論文獎.

《Tri-MipRF》提出一種新穎的Tri-Mip編碼（類似于“mipmap”），即Tri-MipRF，實現神經輻射場的即時重建和抗鋸齒高保真渲染。

《Tri-MipRF》指出，盡管神經輻射場 (NeRF) 取得了巨大的進步，但我們仍然面臨著質量和效率之間的權衡困境。MipNeRF 可以呈現精細的細節和抗鋸齒的渲染效果，但訓練需要數天時間； Instant-ngp 可以在幾分鐘內完成重建，卻忽略了采樣區域，在渲染時會出現模糊或鋸齒。

Tri-MipRF的關鍵在于將預濾波后的3D特征空間分解為三個正交的mipmap。這樣就可以利用預濾波后的2D特征圖高效地進行3D區域采樣，從而在不犧牲效率的前提下顯著提升渲染質量。《Tri-MipRF》通過大量實驗表明，其實現了最先進的渲染質量和重建速度。與Instant-ngp相比，Tri-MipRF模型大小減少了25%。

2023年11月，胡文博加入騰訊擔任高級研究員，繼續在生成式世界模型深耕細作，不斷探索 3D 視頻世界模型的新邊界。

02

視頻世界模型邁向三維空間

流媒體視頻生成作為交互式世界模型和神經游戲引擎的一個基本組成部分，旨在生成高質量、低延遲且時間上連貫的長視頻流。

胡文博今年9月發表的論文《Rolling Forcing: Autoregressive Long Video Diffusion in Real Time》，分享了他們在這一領域的最新研究成果。

他們設計了 “滾動強制”（Rolling Forcing）這一新型視頻生成技術，從而實現以最小的誤差累積來流式生成長視頻的目的。

“滾動強制” 有三項新穎的設計。

首先 ，“滾動強制”設計了一種聯合去噪方案，可以同時對多個噪聲水平逐漸增加的幀進行去噪；其次，“滾動強制”將注意力匯聚機制引入到長時流式視頻生成任務中，使得模型能夠將初始幀的鍵值狀態作為全局上下文錨點，增強長期全局一致性；最后，“滾動強制”設計了一種高效的訓練算法，能夠在大幅擴展的去噪窗口上進行少步蒸餾。

大量實驗表明，“滾動強制” 能夠在單塊 GPU 上實時流式生成長達數分鐘的視頻，同時顯著減少誤差累積。

胡文博也曾經分享他對視頻生成模型的場景演變的理解。

胡文博認為，當下的視頻生成模型展現出了強大的內容生成能力，有潛力作為世界模擬器。但是由于其本質是在2D空間上的建模，所以不能保證3D合理性與一致性。

為此，胡文博提出，精確相機可控是視頻生成模型進化為世界模擬器的重要一環，并在這個方向做了深入研究，提出ViewCrafter和TrajectoryCrafter的解決方案。

ViewCrafter能夠從單張圖片或者稀疏的多視角圖片進行高質量的新視角合成，從而實現靜態場景的生成。

TrajectoryCrafter延續這一思想，并將其拓展到了4D場景生成，允許用戶使用想要的相機軌跡來重新“拍攝”輸入視頻，從而實現探索視頻背后的4D世界。

作為世界模型領域的先鋒力量，胡文博的研究正引領 AI 從 2D 視頻生成邁向三維空間理解的新時代。

12 月 13 日下午 9:30 - 10:00 的世界模型分論壇上，胡文博將帶來《Towards 3D-aware Video World Models 》（《邁向三維感知的視頻世界模型》）的主題演講，分享他在視頻世界模型領域的最新研究成果。

在這個乍暖還寒的季節，讓我們共同期待胡文博的最新演講，憧憬邁向三維感知的模型世界。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。