視頻生成技術：多視角展現(xiàn)真實身份與光照的新突破

第一作者徐源誠是 Netflix Eyeline 的研究科學家，專注于基礎 AI 模型的研究與開發(fā)，涵蓋多模態(tài)理解、推理、交互與生成，重點方向包括可控視頻生成及其在影視制作中的應用。他于 2025 年獲得美國馬里蘭大學帕克分校博士學位。

最后作者于寧是 Netflix Eyeline 資深研究科學家，帶領視頻生成 AI 在影視制作中的研發(fā)。他曾就職于 Salesforce、NVIDIA 及 Adobe，獲馬里蘭大學與馬普所聯(lián)合博士學位。他多次入圍高通獎學金、CSAW 歐洲最佳論文，并獲亞馬遜 Twitch 獎學金、微軟小學者獎學金，以及 SPIE 最佳學生論文。他擔任 CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR 等頂會的領域主席，以及 TMLR 的執(zhí)行編輯。

在電影與虛擬制作中，「看清一個人」從來不是看清某一幀。導演通過鏡頭運動與光線變化，讓觀眾在不同視角、不同光照條件下逐步建立對一個角色的完整認知。然而，在當前大量 customizing video generation model 的研究中，這個最基本的事實，卻往往被忽視。

• 論文地址: https://arxiv.org/pdf/2510.14179
• 項目主頁: https://eyeline-labs.github.io/Virtually-Being/

被忽視的核心問題：Multi-view Identity Preservation

多視角身份一致、鏡頭環(huán)繞與多人物示例

近年來，視頻生成領域中關于人物定制（customization）的研究迅速發(fā)展。絕大多數(shù)方法遵循一種相似范式：給定一張或少量人物圖像 → 生成包含該人物的視頻。這種范式隱含了一個關鍵假設：只要人物在某個視角下看起來像，就等價于「身份被保留」。但在真實的視頻與電影語境中，這個假設并不成立。

為什么單視角身份是不夠的？

• 身份是強烈依賴視角的（view-dependent）

面部輪廓、五官比例、體態(tài)與衣物形態(tài)，都會隨觀察角度發(fā)生系統(tǒng)性變化。

• 相機運動會持續(xù)暴露未見過的外觀區(qū)域

單張或少量圖像無法覆蓋側臉、背面以及連續(xù)視角變化過程中的外觀一致性。

• 多人場景會放大任何身份錯誤

當多個角色同框時，哪怕輕微的身份漂移都會變得非常明顯。

因此，在具有真實 3D 相機運動的視頻中，「identity preservation」本質上是一個 multi-view consistency 問題，而不是單幀相似度問題。

然而，令人遺憾的是，顯式關注 multi-view identity preservation，在當前的視頻定制化生成研究中仍然幾乎沒有被系統(tǒng)性地解決。

核心立場：學習一個人的身份，必須學習他在多視角與多光照下的樣子

Virtually Being 的核心論點非常明確：如果希望模型真正「學會一個人的身份」，那么它必須看到這個人在不同視角（multi-view）和不同光照（various lighting）下的穩(wěn)定外觀。

換句話說，看清一個人，不是看清一張臉，而是理解這個人在空間中如何被觀察，在光線變化下如何呈現(xiàn)。身份不是一個靜態(tài)的 2D 屬性，而是一個 4D（空間 + 時間）一致的概念，這正是 Virtually Being 所要系統(tǒng)性解決的問題。

方法概覽：用 4D 重建構建真正的多視角身份監(jiān)督

為了解決 multi-view identity 被長期忽視的問題，我們從數(shù)據(jù)層面重新設計了人物定制流程。

多視角表演采集，而非單視角參考

• 使用專業(yè)體積捕捉系統(tǒng)采集真實人物表演：75 相機面部捕捉陣列、160 相機全身捕捉陣列；
• 捕捉人物在受控條件下的動態(tài)表演，為高質量重建提供輸入。

4D Gaussian Splatting 作為數(shù)據(jù)生成器

• 對捕捉到的表演進行 4D Gaussian Splatting (4DGS) 重建；
• 在重建結果上渲染大量視頻：覆蓋連續(xù)變化的相機軌跡、具備精確的 3D 相機參數(shù)標注、保證同一人物在不同視角下的身份一致性。

通過這一過程，視頻生成模型在訓練階段不再依賴零散的圖像線索，而是反復觀察同一個人在多視角、連續(xù)鏡頭運動下應當如何保持外觀一致。

兩階段訓練：先理解鏡頭，再理解「這個人」

為了在身份定制的同時保持穩(wěn)定的鏡頭控制能力，我們采用了一個清晰解耦的兩階段訓練策略。

階段一：相機感知預訓練（Camera-aware Pretraining）

基于 ControlNet 架構，引入完整 3D 相機參數(shù)（Plücker 表示），在大規(guī)模公開視頻數(shù)據(jù)上訓練模型，使其學會相機運動如何影響視角變化與時間結構。這一階段的目標，是讓模型牢固掌握電影級的鏡頭語言。

階段二：多視角身份定制（Multi-view Customization）

在預訓練模型基礎上進行微調，使用 4DGS 渲染的多視角視頻作為定制數(shù)據(jù)，為每個身份引入專屬 token，將身份與多視角外觀顯式綁定，最終模型在推理時能夠精確遵循輸入的 3D 相機軌跡，在未見過的視角下仍然穩(wěn)定呈現(xiàn)同一個人。

光照真實感：身份感知不可分割的一部分

除了視角，光照同樣是「看清一個人」的關鍵維度。

在真實電影中，人物身份并不是在單一光照條件下被認知的，而是在不同室內外環(huán)境，側光、逆光、柔光等變化，不同光比與色溫條件下逐步被觀眾確認。

在 Virtually Being 中，我們通過引入基于 HDR 的視頻重打光數(shù)據(jù)，顯著增強了生成視頻中的光照真實感。在 4DGS 渲染基礎上，對同一人物生成多種自然光照條件，覆蓋真實拍攝中常見的照明變化范圍，使模型學會在光照變化下，人物身份仍應保持穩(wěn)定。

實驗結果顯示，引入重光照數(shù)據(jù)后，生成視頻在用戶研究中 83.9% 被認為光照更自然、更符合真實拍攝效果，缺乏該數(shù)據(jù)時，人物往往呈現(xiàn)平坦、缺乏層次的合成感。

多人物生成：multi-view identity 才能支撐真實互動

在多人物視頻生成中，multi-view identity preservation 的重要性進一步被放大。

只有當模型對每個角色在不同視角與光照條件下的身份都有穩(wěn)定建模時，人物才能自然同框，空間關系才能保持一致，互動才不會顯得拼接或混亂。

Virtually Being 支持兩種多人物生成方式：

• 聯(lián)合訓練（Joint Training）：通過少量同框數(shù)據(jù)增強互動真實性；
• 推理階段組合（Noise Blending）：在無需重新訓練的情況下靈活組合多個身份。

實驗結論：multi-view + relighting 是身份一致性的關鍵因素

系統(tǒng)性實驗表明，使用 multi-view 數(shù)據(jù)訓練的模型，在 AdaFace 等身份指標上顯著優(yōu)于僅使用 frontal-view 數(shù)據(jù)的模型以及其他 video customization 的方法。缺失 multi-view 或 relighting 數(shù)據(jù)，都會導致身份一致性與真實感明顯下降。用戶研究結果同樣明確偏好具備 multi-view 身份穩(wěn)定性的生成結果。

總結：重新定義視頻生成中的「身份」

Virtually Being 并不僅僅提出了一個新框架，而是明確提出并驗證了一個長期被忽視的觀點：在視頻生成中，身份不是一張圖像，而是一個人在多視角與多光照條件下保持穩(wěn)定的 4D 表現(xiàn)。通過系統(tǒng)性地引入 multi-view 表演數(shù)據(jù)與真實光照變化，我們?yōu)?customizing video generation model 提供了一條更貼近電影制作實際需求的解決路徑。