視頻生成技術：多視角展現真實身份與光照的新突破

第一作者徐源誠是 Netflix Eyeline 的研究科學家，專注于基礎 AI 模型的研究與開發，涵蓋多模態理解、推理、交互與生成，重點方向包括可控視頻生成及其在影視制作中的應用。他于 2025 年獲得美國馬里蘭大學帕克分校博士學位。

最后作者于寧是 Netflix Eyeline 資深研究科學家，帶領視頻生成 AI 在影視制作中的研發。他曾就職于 Salesforce、NVIDIA 及 Adobe，獲馬里蘭大學與馬普所聯合博士學位。他多次入圍高通獎學金、CSAW 歐洲最佳論文，并獲亞馬遜 Twitch 獎學金、微軟小學者獎學金，以及 SPIE 最佳學生論文。他擔任 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR 等頂會的領域主席，以及 TMLR 的執行編輯。

在電影與虛擬制作中，「看清一個人」從來不是看清某一幀。導演通過鏡頭運動與光線變化，讓觀眾在不同視角、不同光照條件下逐步建立對一個角色的完整認知。然而，在當前大量 customizing video generation model 的研究中，這個最基本的事實，卻往往被忽視。

• 論文地址: https://arxiv.org/pdf/2510.14179
• 項目主頁: https://eyeline-labs.github.io/Virtually-Being/

被忽視的核心問題：Multi-view Identity Preservation

多視角身份一致、鏡頭環繞與多人物示例

近年來，視頻生成領域中關于人物定制（customization）的研究迅速發展。絕大多數方法遵循一種相似范式：給定一張或少量人物圖像 → 生成包含該人物的視頻。這種范式隱含了一個關鍵假設：只要人物在某個視角下看起來像，就等價于「身份被保留」。但在真實的視頻與電影語境中，這個假設并不成立。

為什么單視角身份是不夠的？

• 身份是強烈依賴視角的（view-dependent）

面部輪廓、五官比例、體態與衣物形態，都會隨觀察角度發生系統性變化。

• 相機運動會持續暴露未見過的外觀區域

單張或少量圖像無法覆蓋側臉、背面以及連續視角變化過程中的外觀一致性。

• 多人場景會放大任何身份錯誤

當多個角色同框時，哪怕輕微的身份漂移都會變得非常明顯。

因此，在具有真實 3D 相機運動的視頻中，「identity preservation」本質上是一個 multi-view consistency 問題，而不是單幀相似度問題。

然而，令人遺憾的是，顯式關注 multi-view identity preservation，在當前的視頻定制化生成研究中仍然幾乎沒有被系統性地解決。

核心立場：學習一個人的身份，必須學習他在多視角與多光照下的樣子

Virtually Being 的核心論點非常明確：如果希望模型真正「學會一個人的身份」，那么它必須看到這個人在不同視角（multi-view）和不同光照（various lighting）下的穩定外觀。

換句話說，看清一個人，不是看清一張臉，而是理解這個人在空間中如何被觀察，在光線變化下如何呈現。身份不是一個靜態的 2D 屬性，而是一個 4D（空間 + 時間）一致的概念，這正是 Virtually Being 所要系統性解決的問題。

方法概覽：用 4D 重建構建真正的多視角身份監督

為了解決 multi-view identity 被長期忽視的問題，我們從數據層面重新設計了人物定制流程。

多視角表演采集，而非單視角參考

• 使用專業體積捕捉系統采集真實人物表演：75 相機面部捕捉陣列、160 相機全身捕捉陣列；
• 捕捉人物在受控條件下的動態表演，為高質量重建提供輸入。

4D Gaussian Splatting 作為數據生成器

• 對捕捉到的表演進行 4D Gaussian Splatting (4DGS) 重建；
• 在重建結果上渲染大量視頻：覆蓋連續變化的相機軌跡、具備精確的 3D 相機參數標注、保證同一人物在不同視角下的身份一致性。

通過這一過程，視頻生成模型在訓練階段不再依賴零散的圖像線索，而是反復觀察同一個人在多視角、連續鏡頭運動下應當如何保持外觀一致。

兩階段訓練：先理解鏡頭，再理解「這個人」

為了在身份定制的同時保持穩定的鏡頭控制能力，我們采用了一個清晰解耦的兩階段訓練策略。

階段一：相機感知預訓練（Camera-aware Pretraining）

基于 ControlNet 架構，引入完整 3D 相機參數（Plücker 表示），在大規模公開視頻數據上訓練模型，使其學會相機運動如何影響視角變化與時間結構。這一階段的目標，是讓模型牢固掌握電影級的鏡頭語言。

階段二：多視角身份定制（Multi-view Customization）

在預訓練模型基礎上進行微調，使用 4DGS 渲染的多視角視頻作為定制數據，為每個身份引入專屬 token，將身份與多視角外觀顯式綁定，最終模型在推理時能夠精確遵循輸入的 3D 相機軌跡，在未見過的視角下仍然穩定呈現同一個人。

光照真實感：身份感知不可分割的一部分

除了視角，光照同樣是「看清一個人」的關鍵維度。

在真實電影中，人物身份并不是在單一光照條件下被認知的，而是在不同室內外環境，側光、逆光、柔光等變化，不同光比與色溫條件下逐步被觀眾確認。

在 Virtually Being 中，我們通過引入基于 HDR 的視頻重打光數據，顯著增強了生成視頻中的光照真實感。在 4DGS 渲染基礎上，對同一人物生成多種自然光照條件，覆蓋真實拍攝中常見的照明變化范圍，使模型學會在光照變化下，人物身份仍應保持穩定。

實驗結果顯示，引入重光照數據后，生成視頻在用戶研究中 83.9% 被認為光照更自然、更符合真實拍攝效果，缺乏該數據時，人物往往呈現平坦、缺乏層次的合成感。

多人物生成：multi-view identity 才能支撐真實互動

在多人物視頻生成中，multi-view identity preservation 的重要性進一步被放大。

只有當模型對每個角色在不同視角與光照條件下的身份都有穩定建模時，人物才能自然同框，空間關系才能保持一致，互動才不會顯得拼接或混亂。

Virtually Being 支持兩種多人物生成方式：

• 聯合訓練（Joint Training）：通過少量同框數據增強互動真實性；
• 推理階段組合（Noise Blending）：在無需重新訓練的情況下靈活組合多個身份。

實驗結論：multi-view + relighting 是身份一致性的關鍵因素

系統性實驗表明，使用 multi-view 數據訓練的模型，在 AdaFace 等身份指標上顯著優于僅使用 frontal-view 數據的模型以及其他 video customization 的方法。缺失 multi-view 或 relighting 數據，都會導致身份一致性與真實感明顯下降。用戶研究結果同樣明確偏好具備 multi-view 身份穩定性的生成結果。

總結：重新定義視頻生成中的「身份」

Virtually Being 并不僅僅提出了一個新框架，而是明確提出并驗證了一個長期被忽視的觀點：在視頻生成中，身份不是一張圖像，而是一個人在多視角與多光照條件下保持穩定的 4D 表現。通過系統性地引入 multi-view 表演數據與真實光照變化，我們為 customizing video generation model 提供了一條更貼近電影制作實際需求的解決路徑。