《現(xiàn)代電影技術(shù)》｜陶學愷等：技術(shù)降本與創(chuàng)作增效：AI驅(qū)動下的虛擬攝制技術(shù)研究

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第5期

作者簡介

陶學愷：浙江傳媒學院電視與視聽藝術(shù)學院講師、碩士生導師，主要研究方向：影視技術(shù)、影視制作、影視色彩；

王嘉樂：浙江傳媒學院電視與視聽藝術(shù)學院碩士研究生在讀，主要研究方向：虛擬攝制。

摘要

為解決虛擬攝制技術(shù)存在的高額投入制約產(chǎn)業(yè)規(guī)模化應(yīng)用的問題，本文結(jié)合短片《夢境迷航》的創(chuàng)作實踐，對基于人工智能（AI）技術(shù)的虛擬攝制降本增效路徑進行了系統(tǒng)探討，并提出投影介質(zhì)光學特性與攝影機參數(shù)的量化控制模型，實現(xiàn)了《夢境迷航》中AI輔助投影顯示系統(tǒng)精準校準及攝影機曝光參數(shù)的精確控制。研究表明，AI技術(shù)在縮短影視生產(chǎn)周期、提升影像品質(zhì)、影視數(shù)字資產(chǎn)的快速生成等方面展現(xiàn)出顯著優(yōu)勢，能有效實現(xiàn)虛擬攝制的降本增效；所提出的量化控制模型可為虛擬影像生產(chǎn)中的精確曝光控制提供可行方案。

關(guān)鍵詞

人工智能（AI）技術(shù)；虛擬攝制流程；影像生產(chǎn)效能

1引言

虛擬攝制作為電影工業(yè)的一項革命性進展，其核心在于深度整合Unreal Engine等實時渲染引擎、高精度攝影機追蹤技術(shù)以及LED背景墻，從而構(gòu)建出一個能讓創(chuàng)作者在拍攝現(xiàn)場即時觀察到最終或接近最終畫面效果的視覺環(huán)境。這種技術(shù)范式實現(xiàn)了從動態(tài)預演（PreViz）到拍攝環(huán)節(jié)的實時視覺反饋與交互，使導演、攝影師等主創(chuàng)能直接基于演員表演與虛擬場景融合后的實時畫面進行構(gòu)圖、光線及表演調(diào)度等藝術(shù)決策，顯著提升了創(chuàng)作自由度與制作效率，并將大量傳統(tǒng)上屬于后期特效合成的工作前置到實拍階段[1]，即 In?Camera VFX。以影視劇集《曼達洛人》[2]等項目為代表的成功實踐，已充分證明虛擬攝制在處理復雜視覺效果、優(yōu)化制作流程上的巨大價值。然而，當前主流的、基于高規(guī)格LED的虛擬攝制方案，動輒數(shù)百萬乃至數(shù)千萬美元的建設(shè)投入，且需持續(xù)的專業(yè)團隊運維成本投入，造成了顯著的行業(yè)壁壘，極大地限制了這項變革性技術(shù)向更廣泛的影視項目，尤其是中低成本制作領(lǐng)域的滲透與普及。

近年來，隨著人工智能（AI）技術(shù)的迅猛發(fā)展，面對虛擬攝制高成本的現(xiàn)實挑戰(zhàn)，AI技術(shù)無疑為探索更具經(jīng)濟效益和靈活性的虛擬攝制路徑提供了新的契機。AI技術(shù)在圖像、視頻乃至三維模型生成方面的快速發(fā)展，展現(xiàn)了其自動化、高效率產(chǎn)出多樣化數(shù)字內(nèi)容的強大能力，恰好能與虛擬攝制降本增效的需求形成互補。本文的主要內(nèi)容旨在梳理AI技術(shù)的加持下，通過對低成本投影方案的虛擬攝制項目《夢境迷航》的實踐案例進行系統(tǒng)性研究，總結(jié)提煉AI技術(shù)在低成本實際應(yīng)用中實現(xiàn)降本增效、提質(zhì)升級的具體機制與可行路徑。

2AI驅(qū)動下的虛擬攝制效能優(yōu)化研究

AI技術(shù)正通過其獨特的自動化生成、模式識別和快速迭代能力，對虛擬攝制流程中資源使用密集、時間消耗大的環(huán)節(jié)進行重塑，從而在生產(chǎn)周期、影像品質(zhì)、數(shù)字資產(chǎn)規(guī)模化及場景構(gòu)建成本等關(guān)鍵效能指標上帶來系統(tǒng)性優(yōu)化。

2.1 AI助力前期概念設(shè)計與預覽

在傳統(tǒng)虛擬攝制流程下，前期籌備階段動輒數(shù)月。AI對此階段重塑效能體現(xiàn)得淋漓盡致，通過賦能概念設(shè)計與動態(tài)預演這兩個關(guān)鍵環(huán)節(jié)，可顯著壓縮傳統(tǒng)電影制作中較為漫長的生產(chǎn)周期。

傳統(tǒng)流程下，美術(shù)概念圖與場景氣氛圖的制作遵循嚴密的線性協(xié)作流程，創(chuàng)作者們前期需經(jīng)歷高密度的劇本細讀、設(shè)定研討等創(chuàng)意溝通，概念藝術(shù)家在此基礎(chǔ)上需經(jīng)歷數(shù)輪畫面調(diào)整，從而錨定電影視覺基調(diào)，形成便于其他部門理解的視覺藍本，同時直接影響場景建構(gòu)、現(xiàn)場拍攝與后期制作等的技術(shù)實現(xiàn)與美學呈現(xiàn)。AI技術(shù)的介入重構(gòu)了傳統(tǒng)創(chuàng)作模式，人機協(xié)同的工作方式優(yōu)化了傳統(tǒng)的創(chuàng)意實現(xiàn)流程，生產(chǎn)效率飛速躍升，創(chuàng)意表達得到極大拓展。在Midjourney、Stable Diffusion等AI工具的參與下，創(chuàng)作者輸入文本描述，即可在幾分鐘內(nèi)獲得數(shù)十種視覺方案[3]。這種效率的量級提升，使視覺風格探索和關(guān)鍵鏡頭設(shè)計的周期從周縮短至天甚至小時，極大加速了創(chuàng)意決策過程[3]。線性工作流正逐漸消解，創(chuàng)意生成與視覺呈現(xiàn)已幾乎實現(xiàn)同步推進，藝術(shù)家可借助AI工具對畫面進行替換場景元素、改變環(huán)境氛圍等的局部動態(tài)調(diào)整，加速創(chuàng)意迭代。AI的參與將藝術(shù)家從體力勞動中釋放出來，延伸了創(chuàng)意邊界。

動態(tài)故事板是實現(xiàn)影片動態(tài)預演的核心環(huán)節(jié)，也是分鏡頭腳本發(fā)展的下一階段，導演和分鏡師根據(jù)文字劇本繪制出可視的故事板，對于特效鏡頭多、拍攝難度大的項目，為驗證其可行性、及時調(diào)整畫面內(nèi)容等，需對靜態(tài)的故事板進行復雜建模與動畫制作，生成動態(tài)預演。傳統(tǒng)的動態(tài)預演與三維動畫的制作幾乎無差，制作成本高，制作效率難以保證。Runway或Pika Labs等AI視頻生成工具能夠根據(jù)文本或圖像快速生成動態(tài)片段，2024年9月，貓眼娛樂發(fā)布了首個針對長劇本的AI動態(tài)故事板生成工具——神筆馬良。AI技術(shù)的參與使制作動態(tài)故事板或動態(tài)預演視頻的效率遠高于使用傳統(tǒng)3D動畫技術(shù)，為鏡頭設(shè)計提供了更即時的動態(tài)參考。更有異于傳統(tǒng)動態(tài)預演的是，AI智能生成聲音極大地豐富了影片動態(tài)預演的效果，打破了傳統(tǒng)動態(tài)預演的失語狀態(tài)。

2.2 AI助力數(shù)字資產(chǎn)快速生成

在好萊塢影片的制作體系中，后期制作周期平均占據(jù)項目總周期的34%，奇幻片后期耗時遠遠超過其他類型片，大概在一年左右[4]。以電影《復仇者聯(lián)盟4：終局之戰(zhàn)》為例，電影中共有2698個鏡頭，其中2496個鏡頭涉及視覺特效[5]。從廣義角度而言，一切與電影表意、電影制作相關(guān)的語言元素和有形資產(chǎn)都可以被數(shù)字化，包括攝影機、演員角色、空間場景、人物造型以及與視聽相關(guān)的一切圖形、符號、音樂、音效等[6]。虛擬攝制技術(shù)雖有后期前置優(yōu)勢，但高質(zhì)量數(shù)字資產(chǎn)的前期準備工作依然是高度勞動密集和時間密集型過程[1]。AI技術(shù)的介入，尤其是在資產(chǎn)制作環(huán)節(jié)，能夠顯著壓縮時間成本。

傳統(tǒng)三維資產(chǎn)創(chuàng)建流程復雜，需經(jīng)過概念設(shè)計、建模、UV展開、材質(zhì)繪制、骨骼綁定等環(huán)節(jié)，耗時數(shù)周甚至數(shù)月，且高度依賴資深特效師的手工操作，而AI技術(shù)通過多模態(tài)學習框架重構(gòu)了生產(chǎn)范式。例如，環(huán)球墨非（北京）科技有限公司自主研發(fā)了Mofy Lab技術(shù)平臺，通過三維重建技術(shù)和AI交互技術(shù)，將真實世界中的人、物、場轉(zhuǎn)換為虛擬世界通用的數(shù)字資產(chǎn)，分辨率達到4K級別[7]。

（1）紋理材質(zhì)的快速生成。Adobe Substance 3D Sampler等工具利用AI，可從一張照片快速生成完整的基于物理的渲染（Physically Based Rendering, PBR）材質(zhì)，將原本需要數(shù)小時甚至數(shù)天的紋理繪制工作縮短到分鐘級。其文本到紋理（Text?to?Texture）功能允許藝術(shù)家通過自然語言描述（如“帶有復雜旋轉(zhuǎn)雕刻的拋光金屬”）即時生成PBR材質(zhì)，系統(tǒng)可自動輸出四種參數(shù)化材質(zhì)變體供選擇。這種基于深度學習（DL）的生成方式，不僅將傳統(tǒng)制作中需要數(shù)小時的手動紋理繪制工作壓縮至分鐘級，更突破了物理原型、庫存圖像等傳統(tǒng)創(chuàng)作手段的限制。

（2）背景深度通道的高效產(chǎn)出。利用AI生成高分辨率背景圖像或帶有深度信息的圖層，其效率遠超傳統(tǒng)手工數(shù)字繪景（Matte Painting）或簡單3D建模[8]。一個復雜的2D背景圖生成可能僅需幾分鐘計算時間。通過Stable Diffusion等工具將線稿生成3D圖像，再使用Marigold模型[9]提取深度信息。需配合ControlNet約束重繪細節(jié)，并通過ZBrush調(diào)整模型高度與拋光參數(shù)，即可快速實現(xiàn)高精度深度圖像通道。

（3）基礎(chǔ)3D模型與掃描輔助。雖然當前通過文生3D（Text?to?3D）直接生成3D模型的精度仍受限于拓撲結(jié)構(gòu)合理性，但其在快速原型構(gòu)建領(lǐng)域已顯現(xiàn)實用價值。結(jié)合神經(jīng)輻射場（NeRF）與3D高斯?jié)姙R（3DGS）等前沿技術(shù)，三維場景的重建和渲染僅需使用一個視頻或一組多視角照片[10]。以《黑神話：悟空》為代表的次世代游戲作品，正是通過這類技術(shù)實現(xiàn)了古建筑場景的高效數(shù)字化，其掃描建模效率較傳統(tǒng)流程提升顯著。值得關(guān)注的是，3DGS技術(shù)憑借數(shù)百倍于傳統(tǒng)方法的渲染速度，正在推動實時高精度三維重建的工業(yè)化應(yīng)用。

2.3 AI 技術(shù)增強影像細節(jié)表現(xiàn)

在影像質(zhì)量方面，AI技術(shù)憑借其在微觀細節(jié)與質(zhì)感表現(xiàn)上的獨特優(yōu)勢正逐步提升影像品質(zhì)標準，其在高精度超分辨率影像修復、質(zhì)感還原與程序化細節(jié)生成等層面的突破，為在有限預算下實現(xiàn)影像的高品質(zhì)表現(xiàn)開辟了可行路徑?；谏疃葘W習的超分辨率算法可對低分辨率素材進行紋理重建與損傷修復，AI超分辨率工具Topaz Video AI[10]在提升低分辨率素材或數(shù)字資產(chǎn)中紋理的清晰度方面展現(xiàn)出卓越效能。針對素材的降噪，AI算法依托先進的圖像識別技術(shù)，對畫面中的各類元素加以甄別，在消除數(shù)字傳感器噪點的同時，保留皮膚紋理、物品質(zhì)感與自然環(huán)境細節(jié)，有效平衡畫質(zhì)純凈度與真實感。程序化生成技術(shù)結(jié)合物理仿真模型，可批量創(chuàng)建符合場景邏輯的微觀元素。結(jié)合AI的理解能力，可指導程序化工具生成更自然、更符合場景邏輯的微觀細節(jié)。對于大規(guī)模群體場景，算法通過生物運動學分析，為每個數(shù)字角色賦予差異化行為特征，顯著提升背景人群的真實性。AI技術(shù)賦能的精細化制作模式，使中小預算項目有機會實現(xiàn)高品質(zhì)的影像呈現(xiàn)，為行業(yè)創(chuàng)作生態(tài)注入新的可能性。

3AI驅(qū)動下的低成本實踐探索

為將理論探討付諸實踐，驗證AI技術(shù)在低成本虛擬攝制流程中的實際效能與面臨的挑戰(zhàn)，筆者團隊策劃并執(zhí)行了實驗性短片項目《夢境迷航》。該項目以AI為核心技術(shù)驅(qū)動，選擇了成本相對更可控的投影方案進行虛擬攝制，旨在探索一條適用于中小型制作團隊的智能化虛擬攝制新路徑。

《夢境迷航》是一部5分鐘的科幻短片，從創(chuàng)意到成片在48小時內(nèi)完成，獲得了首屆中國創(chuàng)新影像大賽三等獎等多個獎項。其核心創(chuàng)意圍繞主角駕駛飛船在沙漠中找到返航的線路，視覺上要求快速切換并呈現(xiàn)出超現(xiàn)實、日夜、晴雨變化?？紤]到項目的實驗性質(zhì)和嚴格的預算控制要求，我們放棄了高成本的LED背景墻方案，轉(zhuǎn)而考慮低成本的投影或綠幕方案。但綠幕方案需盡可能區(qū)分演員與幕布顏色，這導致演員的妝造面臨部分局限?，F(xiàn)場拍攝時綠幕的顏色也會在燈光下溢出到演員周圍的物件上，對后期摳像造成影響[11]。最終團隊采用民用級激光投影儀方式構(gòu)建虛擬攝制環(huán)境。演員在投影幕布前方限定區(qū)域內(nèi)表演，攝影機配合HTC VIVE Mars實時追蹤系統(tǒng)進行拍攝，力求在現(xiàn)場獲得盡可能完成度高的虛實結(jié)合畫面（圖1）。

圖1　《夢境迷航》短片虛擬攝制技術(shù)流程

3.1 短片拍攝的技術(shù)流程

在劇本創(chuàng)意階段，使用GPT?4來進行創(chuàng)意快速生成，再結(jié)合創(chuàng)意團隊的偏好進行篩選。把軟件Previs Pro[12]中生成的故事板靜幀圖像導入Runway[13]中，再配合提示詞（Prompt）以生成多個關(guān)鍵鏡頭的預演視頻。預演視頻可用于快速驗證鏡頭設(shè)計、轉(zhuǎn)場方式和整體節(jié)奏。這一階段極大壓縮了傳統(tǒng)手繪故事板和3D動態(tài)預演動畫的制作時間。除此之外，利用GPT?4對已經(jīng)確定好的分鏡頭腳本進行拍攝排序表的構(gòu)建，通過輸入“以美術(shù)道具優(yōu)先，后大景別優(yōu)先，再燈光優(yōu)先”為拍攝順序優(yōu)先級，可即時在原分鏡頭腳本基礎(chǔ)上重新排序，生成拍攝順場表，優(yōu)化了拍攝鏡頭安排，提升了拍攝效率。

在數(shù)字資產(chǎn)準備階段，短片的沙漠場景中，遠處背景中的山峰、沙丘等數(shù)字資產(chǎn)借助Blockade Labs推出的Skybox AI[14]工具生成。通過提示詞生成3D全景圖像，導入Unreal Engine引擎中完成沙漠場景的資產(chǎn)生成。在生成的模型上，還存在材質(zhì)粗糙等問題，我們首先將粗糙的材質(zhì)盡量放置在遠離虛擬攝影機的位置，再將少量更精細的模型置于靠近虛擬攝影機的位置，以解決AI生成模型粗糙的問題。而針對AI生成模型難以二次修改的問題，我們將多次生成類似風格的AI模型分割并拼湊在一起，使整個AI模型符合短片需要。除此之外，數(shù)字人角色“小風”的聲音資產(chǎn)生成借助字節(jié)跳動推出的豆包大模型，配合預設(shè)好的臺詞、音色、性格設(shè)定生成的數(shù)字人角色，與主角進行對話的方式提供對白的聲音資產(chǎn)。

在投影系統(tǒng)校準階段，實驗性地嘗試拍攝包含標準色卡的投影畫面，導入開源程序RoughProfiler[15]中，對比分析出色彩偏差與專業(yè)設(shè)備讀數(shù)的一致性，探索AI輔助校準的可能性。初步發(fā)現(xiàn)AI分析能大致判斷色偏方向，但精度欠佳，略遜于人工通過DaVinci Resolve生成校準查找表（LUT）。因此，實踐中主要采用傳統(tǒng)方法，將實拍畫面送入后期軟件DaVinci Resolve對投影儀進行色彩和曝光校準，生成校準LUT。

在現(xiàn)場實時合成與拍攝階段，將背景素材導入Unreal Engine，利用Aximmetry[16]等工具與投影儀和攝影機追蹤系統(tǒng)連接。演員在幕前表演，導演通過監(jiān)視器實時觀看初步合成畫面。現(xiàn)場未使用復雜的AI實時交互功能，主要依賴傳統(tǒng)方式進行燈光調(diào)整和演員調(diào)度。

3.2 基于AI的投影系統(tǒng)精準校準方法

利用投影進行虛擬攝制的成敗很大程度上取決于投影畫面能否被攝影機忠實且一致地記錄下來，這要求創(chuàng)作者對從信號源到投影畫面的顯示鏈路進行精確的色彩和亮度校準。傳統(tǒng)校準流程依賴專業(yè)硬件如色度計、分光光度計等，不僅成本高且操作相對復雜，對于資源有限的團隊構(gòu)成挑戰(zhàn)。我們嘗試探索利用AI圖像分析能力，來輔助甚至簡化這一過程。

圖2　《夢境迷航》短片AI輔助投影系統(tǒng)校準流程圖

《夢境迷航》短片AI輔助校準流程（圖2）：

（1）基準圖像生成與投影。使用標準色彩管理軟件生成包含一系列精確定義色塊和灰階的校準圖案，例如模擬 GretagMacbeth ColorChecker SG 或自定義色塊陣列，將此圖案通過投影儀無失真地投射到投影幕布上。

（2）標準條件拍攝。在嚴格控制的環(huán)境光條件下（理想為全黑環(huán)境），使用目標攝影機和鏡頭，以其原生色彩空間如 S?Log3/S?Gamut3.Cine和標準白平衡設(shè)置，精準對焦并拍攝投影在幕布上的校準圖案。確保畫面無過曝或欠曝，色塊清晰可辨。

（3）AI圖像分析。利用基于深度學習開源項目 RoughProfiler[15]編寫的腳本，對拍攝到的校準圖案進行色塊識別和色彩提?。▓D3）。利用圖像識別算法如基于模板匹配或特征點檢測，自動識別并精準定位圖像中每個色塊或灰階塊的區(qū)域。在每一定位到的區(qū)域內(nèi)，計算平均RGB或Lab色彩值和亮度值。對比提取到的實際拍攝值與校準圖案的理論標準值，計算出每一色塊在色度、飽和度、亮度上的偏差值ΔE。

圖3　RoughProfiler的色塊智能識別

（4）校準參數(shù)/LUT生成。根據(jù)計算出的偏差數(shù)據(jù)，AI模型可通過以下方式生成校準方案：如果投影儀提供精細的色彩調(diào)整選項如RGB增益/偏移、多點灰階調(diào)整，AI模型可反向推算出最優(yōu)的參數(shù)設(shè)置建議。更理想的方式是，AI模型直接根據(jù)偏差數(shù)據(jù)，利用色彩空間變換算法生成3D LUT文件。其可直接應(yīng)用于播放信號源或投影儀本身，對色彩和亮度進行精確補償。

（5）驗證與迭代。應(yīng)用生成的校準參數(shù)或LUT，重復步驟（2）（3）進行拍攝和分析，驗證校準效果。如果偏差仍超出可接受范圍（如

ΔE

在本項目中，我們主要實踐了上述流程的（1）—（3），即使用標準色卡拍攝，使用RoughProfiler完成色彩提取的腳本編寫。最終效果見圖4，從左至右分別為校正前圖像、校正后圖像與標準參考色卡。實踐結(jié)果表明，AI自動識別和提取色彩是可行的，能夠量化出與肉眼觀察一致的色偏方向。但要達到生成高精度校準LUT所需的分析精度和穩(wěn)定性，還需更復雜的模型訓練和對光照、鏡頭畸變等因素的補償算法。盡管目前完全依賴AI進行電影級/廣播級投影校準尚不現(xiàn)實，但AI在簡化校準流程如自動識別分析、提供初步診斷、輔助參數(shù)調(diào)整等方面已展現(xiàn)出潛力。未來隨著AI圖像分析和色彩科學模型的進一步發(fā)展，開發(fā)出低成本、易于使用的AI輔助校準工具是完全可能的，這將極大降低利用投影進行虛擬攝制的技術(shù)門檻。

圖4　校正前后圖像與參考色卡對比

3.3 投影介質(zhì)光學特性與攝影機參數(shù)的量化控制模型構(gòu)建

在利用投影進行虛擬攝制的實際拍攝中，如圖5所示，需精確控制攝影機曝光以實現(xiàn)前景主體與投影背景間和諧的亮度關(guān)系，以確保畫面融合自然、避免背景過曝或發(fā)灰。這需要對光線從投影儀出發(fā)，經(jīng)幕布反射或透射，混合環(huán)境光，最后進入攝影機內(nèi)光線的強弱進行量化。然而，精確測量所有復雜的光學參數(shù)如角度相關(guān)的雙向反射/透射分布函數(shù) （BRDF/BTDF），并建立普適的物理模型極其困難，且不適用于快節(jié)奏的拍攝現(xiàn)場。

圖5 　《夢境迷航》短片虛擬攝制現(xiàn)場（上）與最終成像效果（下）

因此，在《夢境迷航》項目中，我們采取了一種經(jīng)驗數(shù)據(jù)驅(qū)動的簡化模型構(gòu)建方法，旨在為特定拍攝設(shè)置（固定的投影儀、幕布、攝影機、基礎(chǔ)前景布光方案）建立一個實用、快速的曝光控制參考。其核心思想是利用攝影測量中常用的 T 值光圈讀數(shù)，即曝光檔位語言[17]，作為統(tǒng)一的亮度衡量與控制單位，建立投影背景亮度與所需前景布光強度之間的相對關(guān)系。模型構(gòu)建與應(yīng)用流程如下：

（1）對拍攝場景進行定光。在預設(shè)的前景布光環(huán)境下，使用標準18%灰卡來輔助確定曝光時的攝影機核心參數(shù)組合[17]，其鏡頭 T 值光圈讀數(shù)，即攝影機針對前景主體的基準曝光亮度值，記為

T_ fg

（2）測量投影機的投射畫面亮度。保持前景布光條件和攝影機位置不變，使用投影儀向幕布中心區(qū)域投射一個標準18%灰的畫面。使用設(shè)置好曝光基準參數(shù)的測光表，精確測量此18%灰投影畫面在幕布上的反射亮度。將測光表T 值光圈讀數(shù)，即預期測得的投影背景平均亮度值，記為

T_ proj

底子光（Base Light）是保證前景畫面最暗信息可以被記錄的標準光照環(huán)境，而建立經(jīng)驗?zāi)Ｐ偷哪繕耸钦业角熬暗鬃庸庀鄬τ谕队氨尘傲炼鹊膽?yīng)有檔數(shù)差，以獲得視覺上平衡的畫面。保持攝影機曝光基準不變，依次更改投影儀到投影幕布的距離，以改變投影反射亮度，對每種投影亮度，測量其對應(yīng)的

T_ proj

T_ proj

T_Base

T_ proj

T_Base

基于以上流程，我們發(fā)現(xiàn)在《夢境迷航》實踐的特定設(shè)置下，采用亮度為2200ANSI流明的激光投影儀（投射比 1.5∶1），與投影幕布呈45°夾角的側(cè)投角度進行測試。為獲得自然的融合效果，前景底子光、投影背景平均亮度、前景曝光基準這三個測光表讀數(shù)

T?stop

為確保前景主體與背景融合的視覺效果，需要對前景光和背景亮度進行恰當匹配，再使用調(diào)色軟件以消除投影儀背景顯示質(zhì)量問題?；诖?，我們提煉出一個簡化的經(jīng)驗?zāi)Ｐ停涸诨谶x定的ISO和快門速度/角度，設(shè)定好攝影機針對前景主體的基準曝光

T_ fg

T_ proj

T_ proj≈T_fg×2

1

=2×T_ fg

即，

T_ proj

T_ fg

T_Base

T_ fg×2

1

≤T_Base≤T_ fg×2

1.5

或者近似為：

2×T_ fg≤T_Base≤2.83×T_ fg

即，需要設(shè)置的

T_Base

式（1）—（3）為基于實踐經(jīng)驗的曝光模型，旨在提供一個基礎(chǔ)參考值。在實際拍攝中，最佳的亮度關(guān)系設(shè)置還需考慮投影設(shè)備的具體亮度、投影幕布材質(zhì)的反光特性、前景主體的色彩與反光率、攝影機的動態(tài)范圍以及最終的藝術(shù)效果追求等多種因素，并進行相應(yīng)微調(diào)。

該曝光模型研究方法提供了一種將復雜的曝光關(guān)系簡化為可操作參考的有效方法。其將燈光師、攝影師的工作統(tǒng)一在同一曝光標準下，使前景與背景的亮度匹配更加直觀和可控，為其他采用投影方案的虛擬攝制案例提供曝光控制思路參考。但本次測試數(shù)值僅適用于本案例的光照環(huán)境及攝制設(shè)備，且實際效果會受到投影儀性能、投影幕布材質(zhì)、環(huán)境光控制、畫面內(nèi)容、鏡頭特性以及導演具體藝術(shù)要求等多種因素影響。

4AI驅(qū)動下的虛擬攝制技術(shù)局限性分析

《夢境迷航》短片項目的實踐，不僅驗證了AI驅(qū)動下虛擬攝制的可行性，也讓我們清晰地認識到當前階段該技術(shù)路徑所面臨的顯著局限性。

當前AI技術(shù)在電影制作應(yīng)用中仍面臨關(guān)鍵的可控性與品質(zhì)瓶頸。盡管可通過提示工程（Prompt Engineering）、ControlNet及LoRA微調(diào)等手段提升可控性，然而生成內(nèi)容的細節(jié)精準性仍顯不足，尤其是在處理復雜紋理和精細結(jié)構(gòu)時。此外對于動態(tài)序列，其時空一致性也難以保證，容易出現(xiàn)閃爍和變形，這表明實現(xiàn)像素級的精準控制仍然困難。同時，現(xiàn)有AI生成的圖像與視頻在分辨率、色彩深度、動態(tài)范圍及偽影控制等方面，與電影工業(yè)嚴格的ACES色彩工作流及高碼率標準相比存在明顯差距[6]，直接應(yīng)用于大銀幕可能暴露瑕疵。此外，直接生成的3D模型資產(chǎn)常因拓撲混亂、UV缺失、材質(zhì)粗糙等問題難以融入標準綁定、動畫與渲染流程，而NeRF、3DGS等新興重建技術(shù)雖效果顯著，卻受限于高昂的實時渲染成本、后期編輯難度及苛刻的數(shù)據(jù)采集要求。

雖然在使用投影方案作為LED屏幕的“平替”時，由于投影的成像特性，使其完全避免了傳統(tǒng)LED虛擬攝制帶來的摩爾紋問題，但投影方案的虛擬攝制方法依舊有較多的技術(shù)缺陷與實踐困難。首先，投影設(shè)備的固有亮度相較于LED屏幕存在顯著差距，在環(huán)境光較強的場景下會導致畫面對比度降低，暗部層次信息易丟失，因此對現(xiàn)場光線控制以及前景照明與背景投影亮度的精確協(xié)調(diào)提出了嚴苛要求。其次，投影技術(shù)受限于物理空間布局，需足夠的投射距離，且投影幕布材質(zhì)的增益特性往往帶有方向性，限制了觀看角度，進而束縛了攝影機的移動自由度和取景選擇，其靈活性不及LED屏幕。最后，投影系統(tǒng)的色彩準確性管理更為復雜，其最終色彩表現(xiàn)是投影機自身光譜、投影幕布反射特性及環(huán)境光色彩相互作用的結(jié)果，實現(xiàn)精確的色彩校準并維持穩(wěn)定性，比自發(fā)光的LED屏幕面臨更大困難，故而周密的環(huán)境光控制是確保投影畫面質(zhì)量不可或缺的一環(huán)。

在制作流程上，當前將AI技術(shù)融入虛擬攝制流程面臨顯著的整合與標準化障礙。一個關(guān)鍵挑戰(zhàn)是，如何將現(xiàn)有AI工具與行業(yè)主流平臺（如Unreal Engine、Unity）以及后期制作軟件（如Nuke、DaVinci Resolve）進行成熟且統(tǒng)一的整合，目前尚無完善的解決方案。數(shù)據(jù)交換常依賴手動操作或非官方開發(fā)的插件，阻礙了高效的協(xié)同作業(yè)與自動化流程。同時，AI產(chǎn)生的大量數(shù)字資產(chǎn)往往缺少規(guī)范化元數(shù)據(jù)支持，給資產(chǎn)的有效檢索、系統(tǒng)化管理和版本追蹤帶來了新的難題。更為關(guān)鍵的是，圍繞AI技術(shù)的法律、倫理與安全問題亟待解決[8]，包括訓練數(shù)據(jù)來源的合規(guī)性、生成內(nèi)容的知識產(chǎn)權(quán)界定、算法潛在偏見以及深度偽造等技術(shù)的濫用風險，這些都需要在技術(shù)規(guī)模化應(yīng)用前建立明確的規(guī)范與審慎的考量框架。

5 結(jié)語與展望

當前，AI技術(shù)深度融入電影虛擬攝制流程中雖展現(xiàn)巨大潛力，但仍面臨若干核心挑戰(zhàn)。技術(shù)層面，AI生成內(nèi)容的可控性與細節(jié)品質(zhì)尚未完全達到電影工業(yè)的嚴苛標準，尤其在動態(tài)序列的時空一致性與高精度三維資產(chǎn)構(gòu)建上存在瓶頸。工作流程層面，AI工具與主流制作軟件間缺乏標準化、高效率的整合方案，導致數(shù)據(jù)流轉(zhuǎn)不暢，同時，海量AI生成資產(chǎn)的管理與元數(shù)據(jù)規(guī)范亦是難題。此外，版權(quán)歸屬、倫理規(guī)范及數(shù)據(jù)安全等非技術(shù)性問題[18]也亟待建立行業(yè)共識與標準，這些共同構(gòu)成了當前階段AI技術(shù)在虛擬攝制領(lǐng)域規(guī)模化、高質(zhì)量應(yīng)用的主要障礙。

盡管存在上述挑戰(zhàn)，但隨著投影、綠幕等低成本顯示介質(zhì)虛擬攝制解決方案的逐步完善，與AI技術(shù)相結(jié)合的技術(shù)方案正催生前所未有的機遇。最顯著的是其在降低制作成本、提升生產(chǎn)效率方面的潛力，使虛擬攝制技術(shù)對資源有限的中小型項目更具可行性，從而拓寬創(chuàng)作邊界。在電影數(shù)字資產(chǎn)標準體系建立方面，我國也在積極推動國家電影數(shù)字資產(chǎn)平臺的建設(shè)，建立并完善電影數(shù)字資產(chǎn)的標準體系，使其涵蓋數(shù)據(jù)采集、存儲、處理、交換等全鏈條環(huán)節(jié)的標準制定[19]。數(shù)字資產(chǎn)平臺的健康發(fā)展和數(shù)字資產(chǎn)可用量的增多，也將為AIGC大模型的訓練提供更多訓練數(shù)據(jù)，解決訓練數(shù)據(jù)集不足的問題[20]。隨著技術(shù)的快速迭代與優(yōu)化，以AI技術(shù)配合低成本顯示介質(zhì)探索的虛擬攝制解決方案，有望成為加速虛擬攝制普及的關(guān)鍵助力。《夢境迷航》對小成本虛擬攝制降本增效路徑進行了探索，以AI技術(shù)為助力，結(jié)合低成本投影方案，成功實現(xiàn)在千元級制作成本下完成了接近標準LED虛擬攝制的效果。

展望未來，低成本虛擬攝制解決方案是大勢所趨，與AI技術(shù)結(jié)合預示著一個影像生產(chǎn)范式的到來。隨著微短劇等新形態(tài)視聽作品的數(shù)量激增，對制作效率的要求越來越高，而觀眾對于該類作品的質(zhì)量要求及審美取向也會逐漸向電影級水準看齊。低成本虛擬攝制解決方案無疑可在制作質(zhì)量和成本效率上尋求合適的平衡點。在人才培養(yǎng)方面，低成本的虛擬攝制技術(shù)也更加容易被引入影視專業(yè)的教學及實踐創(chuàng)作中，進一步擴大虛擬攝制的人才儲備。這種技術(shù)融合不僅預示著生產(chǎn)流程的深度重塑，更對創(chuàng)意表達與敘事邊界的拓展提出了新的可能性與挑戰(zhàn)。最終，這將促進形成一個更為多元化、動態(tài)化且技術(shù)迭代更為迅速的影像創(chuàng)作生態(tài)系統(tǒng)。

※ 本文系中國電影電視技術(shù)學會首屆中國創(chuàng)新影像大賽三等獎作品《夢境迷航》支持技術(shù)論文。

參考文獻

（向下滑動閱讀）

[1] 陳奕.全流程實時可視化：電影數(shù)字虛擬制片的創(chuàng)新與突破[J].電影藝術(shù),2022(03):116?124.

[2] HOLBEN J. The Mandalorian: This Is the Way[EB/OL]. [2025?04?23].https://theasc.com/articles/the-mandalorian.

[3] 車暢,謝辛.“趨真”生成：電影美術(shù)概念圖的AI技術(shù)應(yīng)用研究[J].現(xiàn)代電影技術(shù),2024(05):35?41.

[4] 中國電影網(wǎng).好萊塢影片制作周期揭秘 平均一部用時871天[EB/OL]. [2025?04?23]. https://www.chinafilm.com/gjhz1/4832.jhtml.

[5] GIARDINA C.‘Avengers: Endgame’ Contains 200 Aging and De?Aging VFX Shots[EB/OL]. [2025?04?23]. https://www.hollywoodreporter.com/movies/movie-news/avengers-endgame-200-aging-de-aging-vfx-shots-1227747/.

[6] 孫承健.電影數(shù)字資產(chǎn)的聯(lián)動效應(yīng)及其產(chǎn)業(yè)價值和意義[J].當代電影,2020(06):4?10.

[7] 孫琳,寧金輝,于明,等.虛擬數(shù)字資產(chǎn)標準化進展及共享機制研究[J].影視制作,2024,30(07):46?50.

[8] 陳軍,王徐爾,趙建軍.AIGC在電影虛擬攝制中的應(yīng)用探索與實踐[J].現(xiàn)代電影技術(shù),2025(01):7?15.

[9] KE B, OBUKHOV A, HUANG S, et al. Repurposing Diffusion?Based Image Generators for Monocular Depth Estimation[EB/OL]. [2025?04?23]. https://arxiv.org/abs/2312.02145.

[10] 姜山,徐乙丹.AI技術(shù)在電影創(chuàng)作生產(chǎn)中的應(yīng)用分析與展望[J].現(xiàn)代電影技術(shù),2024(08):53?58.

[11] 董浚,張酌彬.電影《曼達洛人》中的LED虛擬攝影技術(shù)應(yīng)用及其發(fā)展[J].影視制作,2023,29(12):35?39.

[12] Previs Pro.Create Production?Ready Shotlists and Storyboards Fast.[EB/OL]. [2025?04?23].https://www.previspro.com.

[13] RUNWAY AI, INC.Introducing Runway Gen?4 [EB/OL].(2025?04?01) [2025?04?23].https://runwayml.com/research/introducing-runway-gen-4.

[14] Blockade Labs.Skybox AI[EB/OL].[2025?04?23]. https://skybox.blockadelabs.com.

[15] PEREIRA J. RoughProfiler[EB/OL]. (2024?09?17)[2025?04?23]. https://github.com/jpereiranet/roughprofiler.

[16] AximmetryCN. Aximmetry SE 產(chǎn)品介紹[EB/OL]. [2025?04?23]. https://www.aximmetrycn.com/aximmetryse.html.

[17] 董越,鞏如梅,雷載興,等.在攝影過程中正確理解和使用感光特性曲線[J].影視技術(shù),2005(02):18?21.

[18] 鄭根成.人工智能技術(shù)在影視創(chuàng)作中的應(yīng)用及其倫理審視[J].北京電影學院學報,2024(11):75?81.

[19] 王木旺,解沛,張尚乾.國家電影數(shù)字資產(chǎn)平臺構(gòu)建的總體設(shè)想和技術(shù)框架[J].現(xiàn)代電影技術(shù),2024(10):11?15.

[20] 方捷新.人工智能技術(shù)在數(shù)字資產(chǎn)3D建模和場景生成領(lǐng)域的應(yīng)用研究[J].現(xiàn)代電影技術(shù),2025(02):39?44.

【項目信息】教育部產(chǎn)學合作協(xié)同育人項目“新媒體時代高校影視技術(shù)教學模式創(chuàng)新探究”（231007307180313）；浙江省影視媒體技術(shù)研究重點實驗室2024開放課題“高格式影像制作技藝及傳播研究”（2020E10015）。