《現(xiàn)代電影技術(shù)》｜面向電影制作的三維數(shù)字人生成和編輯系統(tǒng)設(shè)計(jì)與應(yīng)用研究

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第8期

專家點(diǎn)評

數(shù)字人是通過數(shù)字技術(shù)創(chuàng)建的虛擬人物形象，其應(yīng)用涵蓋醫(yī)學(xué)仿真、教育培訓(xùn)、文化傳播等多個(gè)領(lǐng)域，當(dāng)前數(shù)字人技術(shù)已實(shí)現(xiàn)高度逼真的交互與多場景落地。數(shù)字人生成融合計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、人工智能等技術(shù)，可用于現(xiàn)代電影中人物的特效表現(xiàn)，其內(nèi)容涉及人體、人臉、發(fā)型及服裝等。在電影特效領(lǐng)域，數(shù)字人生成的研究尤為重要。《面向電影制作的三維數(shù)字人生成和編輯系統(tǒng)設(shè)計(jì)與應(yīng)用研究》一文針對傳統(tǒng)數(shù)字人制作流程成本高、周期長的產(chǎn)業(yè)瓶頸，設(shè)計(jì)并實(shí)現(xiàn)了一套單目視頻驅(qū)動(dòng)的數(shù)字人快速生成與編輯系統(tǒng)。所提技術(shù)方案創(chuàng)新整合了三維高斯?jié)姙R（3DGS）技術(shù)高效渲染與易于編輯的優(yōu)勢，允許用戶在生成高保真數(shù)字人后，支持直觀、靈活、高效的二次創(chuàng)作。在人工智能（AI）與數(shù)字技術(shù)深度融合的今天，數(shù)字人技術(shù)加快推進(jìn)智能化升級，技術(shù)性能、逼真度和智能化水平持續(xù)提升，其已從科幻概念走向現(xiàn)實(shí)場景，并成為連接虛擬與現(xiàn)實(shí)的核心載體。從打破物理限制的智能服務(wù)到重構(gòu)文化傳播的沉浸體驗(yàn)，數(shù)字人憑借其超寫實(shí)形象、強(qiáng)交互能力及7×24小時(shí)不間斷服務(wù)的特性，在多個(gè)領(lǐng)域掀起效率革命。相信本文介紹的技術(shù)將為相關(guān)領(lǐng)域的研究人員提供很好的借鑒與參考。

—— 潘志庚

二級教授

南京信息工程大學(xué)元宇宙研究院院長

作 者 簡 介

李夢甜

上海大學(xué)上海電影學(xué)院、上海電影特效工程技術(shù)研究中心講師，主要研究方向：面向影視、游戲與藝術(shù)領(lǐng)域的數(shù)字內(nèi)容理解與生成。

上海大學(xué)上海電影學(xué)院碩士研究生在讀，主要研究方向：三維重建、數(shù)字人重建。

姚聲祥

楊 洋

上海大學(xué)上海電影學(xué)院講師，主要研究方向：電影創(chuàng)作。

摘要

針對傳統(tǒng)數(shù)字人制作流程成本高、周期長的產(chǎn)業(yè)瓶頸，本文以提升生產(chǎn)效率為核心目標(biāo)，設(shè)計(jì)并實(shí)現(xiàn)了一套單目視頻驅(qū)動(dòng)的數(shù)字人快速生成和編輯系統(tǒng)。該方案創(chuàng)新整合了三維高斯?jié)姙R高效渲染與易于編輯的優(yōu)勢，允許用戶在短時(shí)間內(nèi)生成高保真數(shù)字人后，對素材進(jìn)行智能分割和存儲(chǔ)，并立即進(jìn)行直觀、靈活的二次創(chuàng)作。測試結(jié)果顯示，本系統(tǒng)能夠顯著縮短數(shù)字人的制作時(shí)間，并降低對專業(yè)采集設(shè)備與技能的依賴。研究表明，一體化生成和編輯系統(tǒng)是實(shí)現(xiàn)電影工業(yè)數(shù)字人生產(chǎn)降本增效的可行路徑，可為海量三維素材庫的構(gòu)建和中小成本影片的視覺效果制作提供有力支持。

關(guān)鍵詞

數(shù)字人；人工智能；電影制作；神經(jīng)輻射場；三維高斯?jié)姙R；DeepSeek

1引言

數(shù)字人生成作為計(jì)算機(jī)視覺（CV）與計(jì)算機(jī)圖形學(xué)（CG）的核心研究領(lǐng)域，同時(shí)也是現(xiàn)代電影特效技術(shù)的重要組成部分，其研究目標(biāo)可描述為對人體、人臉及服裝等對象的數(shù)字化表示[1]。通過技術(shù)手段，將這些對象轉(zhuǎn)化為數(shù)字形式，以實(shí)現(xiàn)對人類特征的精確建模與表達(dá)。在電影特效領(lǐng)域，數(shù)字人生成的研究尤為重要，無論是從零構(gòu)建一個(gè)完全虛構(gòu)的虛擬角色，還是通過創(chuàng)建演員的數(shù)字替身來復(fù)現(xiàn)其外貌與表演，其為動(dòng)作捕捉、表情生成以及虛擬場景的融合提供了關(guān)鍵技術(shù)支持。通過優(yōu)化算法效率和提升視覺效果的逼真度，數(shù)字人技術(shù)能夠顯著增強(qiáng)電影中角色的表現(xiàn)力和沉浸感，為觀眾帶來更加震撼的視覺體驗(yàn)。從《超人》中沖破天際的鋼鐵之軀，到《本杰明·巴頓奇事》里逆齡生長的奇幻形象，再到《波西米亞狂想曲》重現(xiàn)的萬人演唱會(huì)盛況，數(shù)字人技術(shù)始終伴隨著電影藝術(shù)對特殊表現(xiàn)手法的需求而持續(xù)演進(jìn)。數(shù)字人技術(shù)不僅推動(dòng)了電影特效技術(shù)的發(fā)展，還為未來電影創(chuàng)作提供了更多可能性。

隨著人工智能（AI）技術(shù)的持續(xù)演進(jìn)，其在電影工業(yè)中的應(yīng)用正極大提高電影制作的效率[2]，使創(chuàng)建高逼真度數(shù)字人的成本逐步降低。數(shù)字人生成和編輯作為當(dāng)前學(xué)術(shù)界的前沿研究領(lǐng)域，每年涌現(xiàn)大量創(chuàng)新技術(shù)推動(dòng)該研究方向向縱深發(fā)展。本文系統(tǒng)梳理了學(xué)術(shù)界近年來在數(shù)字人生成和編輯領(lǐng)域的技術(shù)進(jìn)展與研究趨勢，探討其在電影特效中的潛在應(yīng)用，并提出一個(gè)行之有效的數(shù)字人生成和編輯系統(tǒng)，最后剖析了當(dāng)前技術(shù)將會(huì)如何影響電影制作流程及其發(fā)展方向。

2基于AI技術(shù)的數(shù)字人生成和編輯技術(shù)發(fā)展概況

當(dāng)前工業(yè)界廣泛應(yīng)用的光場（Light Stage）系列三維重建技術(shù)，是由Paul Debevec團(tuán)隊(duì)于2000年提出的創(chuàng)新性采集系統(tǒng)[3]。該技術(shù)體系通過構(gòu)建精密的光場采集裝置，在球面坐標(biāo)系下布置超過150個(gè)可控LED光源與多視角同步相機(jī)陣列，結(jié)合光度立體（Photometric Stereo）視覺方法，實(shí)現(xiàn)毫米級精度的動(dòng)態(tài)幾何重建并獲取高分辨率表面貼圖。相較于其他多目立體視覺方法，Light Stage通過精確控制光照方向和攝影序列，有效解決了復(fù)雜材質(zhì)表面（如皮膚、毛發(fā)等）的反射分離難題，其數(shù)據(jù)采集流程已廣泛應(yīng)用于電影特效[4]。

光場采集環(huán)境搭建通常需要大量的人力和物力投入，這使基于光場技術(shù)生成虛擬角色的成本居高不下。當(dāng)前研究的核心問題在于如何降低數(shù)字人的生成成本，同時(shí)提升其生成效率和表現(xiàn)效果。研究人員通過引入AI技術(shù)并探索新穎的表達(dá)方式，致力于在更短時(shí)間內(nèi)實(shí)現(xiàn)高質(zhì)量的數(shù)字人生成，或在更低要求的攝影環(huán)境中實(shí)現(xiàn)高效的重建?；谶@一目標(biāo)，學(xué)術(shù)研究主要分為以下幾個(gè)方向：在不同的圖像輸入條件下的角色生成、基于文本的虛擬角色生成以及高效率的模型編輯。如圖1所示，輸入源的多樣性決定了算法所能獲取的信息量。在此基礎(chǔ)上，各類處理方法相輔相成，形成了技術(shù)合力，共同促進(jìn)了數(shù)字人技術(shù)的發(fā)展演進(jìn)。

圖1　數(shù)字人重建和生成的分類

2.1 基于密集多視角輸入的方法

基于密集多視角輸入進(jìn)行動(dòng)態(tài)人體三維重建，是近年來備受關(guān)注的研究方向。傳統(tǒng)圖形學(xué)方法通常采用光場系統(tǒng)采集數(shù)據(jù)，并通過表面、圖像或光度配準(zhǔn)等方式來整合多視角信息[5]，或利用骨架驅(qū)動(dòng)擬合表面[6, 7]。這些方法在處理幾何與紋理信息時(shí)流程復(fù)雜，相較之下，基于AI的新范式通過引入先進(jìn)的神經(jīng)表征技術(shù)，不僅大幅提升了重建的計(jì)算效率，更在人體形態(tài)及衣物細(xì)節(jié)的精準(zhǔn)捕捉上展現(xiàn)出卓越性能。

Zheng等[8]通過使用在參數(shù)化人體模型表面定義一系列信息點(diǎn)，將其作為局部的結(jié)構(gòu)信息點(diǎn)輸入給多層感知機(jī)（MLP），使用神經(jīng)輻射場（NeRF）來表達(dá)，支持使寬松的衣服在不同的動(dòng)作下產(chǎn)生自然的陰影變化。Li等[9]通過將局部的信息點(diǎn)和關(guān)節(jié)骨架進(jìn)行結(jié)合，通過多層次的三平面編碼，大幅提高了重建精度。然而，基于神經(jīng)輻射場的方法往往受限于渲染速度，限制了其重建效率。

Li等[10]提出可動(dòng)畫高斯（Animatable Gaussians），使用符號距離場（SDF）作為基準(zhǔn)幾何模型，結(jié)合二維卷積網(wǎng)絡(luò)來學(xué)習(xí)高斯貼圖，這樣既可獲得基于符號距離場的準(zhǔn)確的幾何結(jié)果，又達(dá)成三維高斯?jié)姙R（3D Gaussian Splatting, 3DGS）的高效渲染速度，并且保證了寬松衣服的重建質(zhì)量。Chen等[11]使用顯式的網(wǎng)格表達(dá)從隱式距離場中提取出的信息，重建出適應(yīng)當(dāng)前工業(yè)渲染管線的人體模型。Chen等[12]在Animatable Gaussians基礎(chǔ)上，通過使用非剛體變化的網(wǎng)格模型替代了符號距離場，并將局部高斯的屬性使用基于姿勢的混合形狀（Blend Shape）進(jìn)行表達(dá)，既保證了具備寬松衣物的細(xì)節(jié)，也提供了一個(gè)離線神經(jīng)網(wǎng)絡(luò)用于生成服裝的非剛體變化，結(jié)合三維高斯表達(dá)使其能夠進(jìn)入渲染引擎中進(jìn)行高效、高速的渲染和動(dòng)畫。這些方法生成的高保真虛擬角色具有優(yōu)良的幾何和貼圖細(xì)節(jié)，不再需要藝術(shù)家花費(fèi)大量時(shí)間優(yōu)化模型細(xì)節(jié)，能夠直接投入影視制作流程。

除了使用神經(jīng)網(wǎng)絡(luò)來表達(dá)衣服的褶皺，Zheng等[13]通過擬合每一幀靜態(tài)網(wǎng)格，使用物理模擬的方式不斷擬合出數(shù)字人姿勢和衣服變化之間的關(guān)系，并使用基于物理的可微渲染來獲得整體的外觀建模結(jié)果。該方法可直接生成一個(gè)支持姿態(tài)與衣物協(xié)同形變的可驅(qū)動(dòng)數(shù)字人，從而顯著提升下游動(dòng)畫的制作效率。

2.2 基于稀疏多視角輸入的方法

2.2.1 基于稀疏多視角視頻的方法

相較于搭設(shè)復(fù)雜的光場系統(tǒng)，在空間中不同方向布置4到6個(gè)固定攝影機(jī)可快速重建數(shù)字人。Peng等[14]使用參數(shù)化人體模型的頂點(diǎn)作為潛在編碼輸入多層感知機(jī)，這些頂點(diǎn)會(huì)隨著人體姿態(tài)不斷移動(dòng)，以存儲(chǔ)不同動(dòng)作、不同視點(diǎn)下人體模型的紋理信息，將潛在編碼和神經(jīng)混合權(quán)重場相結(jié)合，將不同角度所得信息權(quán)重進(jìn)行混合，即可生成可驅(qū)動(dòng)的人體模型。在較少的視角條件下，即可制作出《黑客帝國》中的“子彈時(shí)間”特效。

2.2.2 基于單人旋轉(zhuǎn)視頻的方法

相較于需要配準(zhǔn)的多視角攝像頭，通過錄制角色在鏡頭中間保持特定姿態(tài)旋轉(zhuǎn)的視頻也能生成目標(biāo)角色數(shù)字人。Weng等[15]通過將人體姿勢作為網(wǎng)絡(luò)的輸入，用骨骼變化控制空間中視點(diǎn)的變化，該神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)并編碼一個(gè)動(dòng)態(tài)人體的多視角信息，進(jìn)而支持對原始的單目舞蹈視頻進(jìn)行新視角合成與觀賞。Chen等[16]用參數(shù)化人體模型的頂點(diǎn)作為神經(jīng)渲染中視點(diǎn)變化的控制點(diǎn)，其將一個(gè)動(dòng)態(tài)的人體重建問題轉(zhuǎn)化為靜態(tài)人體模型的采樣問題，隨著輸入的姿態(tài)變化驅(qū)動(dòng)人體模型重演出不同的姿勢。為進(jìn)一步提高重建效率，Instant?NGP[17]通過哈希網(wǎng)格查詢輻射場的光線點(diǎn)，大幅提高了神經(jīng)輻射場的渲染速度。將參數(shù)化人體模型的頂點(diǎn)輸入哈希網(wǎng)格中，Jiang等[18]實(shí)現(xiàn)了1分鐘內(nèi)重建人體模型，并將數(shù)字人的渲染效率提高至15 FPS。

為追求更高的渲染效率，新技術(shù)將原有的神經(jīng)輻射場（NeRF）模塊，替換為三維高斯?jié)姙R（3DGS）表示方法。Qian等[19]利用可學(xué)習(xí)的蒙皮權(quán)重控制局部高斯點(diǎn)的變化，使其能在45分鐘左右重建出高精度的人體模型。Hu等[20]采用參數(shù)化人體模型的UV紋理作為姿態(tài)特征以生成高斯點(diǎn)云，可實(shí)現(xiàn)通過姿勢識(shí)別實(shí)時(shí)控制人物模型的變換。但上述方法都無法直接遷移至當(dāng)前的渲染管線中。Splatting Avatar[21]將高斯點(diǎn)與三角形網(wǎng)格面綁定，并在表面上附加平移，可實(shí)現(xiàn)直接導(dǎo)入渲染引擎中使用并控制。Moon等[22]將參數(shù)化人體模型的頂點(diǎn)編碼到三平面空間，并使用高斯作為紋理表示，該方法具備對人體姿態(tài)和面部表情進(jìn)行動(dòng)畫控制的能力。以上方法為之后在電影工業(yè)中快速迭代虛擬預(yù)演（PreViz）場景和素材提供了有效的技術(shù)支撐。

2.2.3 基于單人照片集輸入的方法

當(dāng)目標(biāo)人物的動(dòng)態(tài)視頻序列難以獲取時(shí)，一種有效的替代方案是利用一組包含不同姿態(tài)與視角的人物靜態(tài)圖像完成三維模型的重建。Xiu等[23]將非結(jié)構(gòu)化的圖像與文本信息，轉(zhuǎn)化為適用于數(shù)字人生成的結(jié)構(gòu)化表征。使用多模態(tài)模型整合不同來源的圖像數(shù)據(jù)，通過語義分割定位目標(biāo)，并從中提煉出關(guān)鍵的外觀特征。這些特征通過統(tǒng)一組織，作為生成高質(zhì)量數(shù)字人的基礎(chǔ)，其使用基于可微分行進(jìn)四面體（Differentiable Marching Tetrahedra, DMTet）的方法從靜態(tài)圖像集合中重建三維人體模型。其生成的網(wǎng)格具有良好的拓?fù)浣Y(jié)構(gòu)且與主流圖形渲染管線兼容，這一特性為創(chuàng)建特定時(shí)期（如演員年輕時(shí)）的數(shù)字替身或進(jìn)行數(shù)字資產(chǎn)歸檔提供了一條高效的技術(shù)路徑。

2.3 基于單張圖像輸入的方法

單張圖像作為生成的唯一輸入源，其固有的信息局限性為三維人體建模帶來了巨大挑戰(zhàn)。具體而言，模型必須在嚴(yán)重缺乏多視角線索的情況下，推斷出被遮擋部分的精確幾何形態(tài)與表面紋理。德國馬克斯·普朗克智能系統(tǒng)研究所（MPI?IS）由 Michael J. Black 領(lǐng)導(dǎo)的團(tuán)隊(duì)做出了開創(chuàng)性貢獻(xiàn)，他們先后提出了經(jīng)典的參數(shù)化人體模型SMPL[24]及其重要的擴(kuò)展版本SMPL?X[25]。參數(shù)化人體模型將體型表達(dá)和姿勢表達(dá)使用參數(shù)進(jìn)行擬合。在實(shí)現(xiàn)過程中，往往將圖像特征輸入給全連接神經(jīng)網(wǎng)絡(luò)來獲得人體參數(shù)，從人體參數(shù)中還原一個(gè)粗糙的人體模型。Ma等[26]在參數(shù)化人體模型的頂點(diǎn)上進(jìn)行偏移，以生成目標(biāo)角色身上的服裝細(xì)節(jié)。Corona等[27]通過使用模板化的衣服擬合圖像中的衣物信息，為參數(shù)化人體模型穿上衣服。盡管這些方法能夠有效驅(qū)動(dòng)參數(shù)化人體模型生成動(dòng)畫，但此類模型本身固有的局限性也十分明顯：一方面，其在表達(dá)個(gè)體身份的獨(dú)特性上能力有限；另一方面，其重建的幾何細(xì)節(jié)與表面保真度也相對不足。Xiu等[28]結(jié)合了隱式距離場和參數(shù)化人體模型，通過采用類似于正反兩個(gè)角度配準(zhǔn)的方式來生成不同角度下的網(wǎng)格模型并使用參數(shù)化人體模型進(jìn)行補(bǔ)全，能夠生成極端姿勢圖片的人體模型，并使用參數(shù)對齊進(jìn)行驅(qū)動(dòng)。為提高顏色準(zhǔn)確度和模型精度，Zhang等[29]通過將單張圖片及其對應(yīng)的參數(shù)化人體模型法向一起輸入給識(shí)別能力更強(qiáng)的Transformer模型生成基礎(chǔ)的模型，之后使用生成模型為得到的粗糙模型和貼圖進(jìn)行更為精細(xì)的修補(bǔ)和上色，將傳統(tǒng)重建方法和新的生成式方式相結(jié)合，增強(qiáng)模型的編輯能力。Huang等[30]使用大語言模型來理解圖片的內(nèi)容，在單圖重建的基礎(chǔ)上，使用擴(kuò)散模型對衣服上的細(xì)節(jié)進(jìn)行更細(xì)致的監(jiān)督和優(yōu)化。

通過使用大模型進(jìn)行大量的數(shù)據(jù)學(xué)習(xí)和生成分析，單圖重建已能夠?qū)崿F(xiàn)1 s左右的重建速度。Qiu等[31]使用30萬個(gè)人體視頻進(jìn)行學(xué)習(xí)，將圖片和參數(shù)化人體模型的不同部分使用Transformer模型進(jìn)行關(guān)聯(lián)，最后使用三維高斯?jié)姙R的方法進(jìn)行解碼渲染。Zhuang等[32]通過在UV空間中對人體模型進(jìn)行參數(shù)化。以上方法基于貼圖和三維網(wǎng)格表達(dá)，可實(shí)現(xiàn)對模型紋理的直觀編輯，也為構(gòu)建大規(guī)模三維角色資產(chǎn)庫提供了清晰的技術(shù)藍(lán)圖。在此基礎(chǔ)上，生成精度的持續(xù)提升將有望打通從二維圖像到三維資產(chǎn)的轉(zhuǎn)化鏈路，最終賦能電影工業(yè)實(shí)現(xiàn)資產(chǎn)制作效率的巨大飛躍。

2.4 基于文本輸入的方法

隨著基于擴(kuò)散模型的生成方法持續(xù)發(fā)展，基于文字描述直接生成人物模型的研究逐漸增多。大多數(shù)方法通過在參數(shù)化人體模型周圍進(jìn)行采樣，生成初步的人體模型，并利用多樣化的監(jiān)督方法生成不同類型的模型。Liao等[33]通過對參數(shù)化人體模型進(jìn)行網(wǎng)格細(xì)分，并以目標(biāo)法線圖和顏色圖為監(jiān)督，學(xué)習(xí)一個(gè)從粗糙到精細(xì)的頂點(diǎn)偏移。由此生成的高精度人體模型不僅捕捉了豐富的表面細(xì)節(jié)，還能直接兼容主流的圖形渲染管線，無需額外處理。

2.5 可編輯的數(shù)字人技術(shù)

神經(jīng)輻射場（NeRF）與三維高斯?jié)姙R（3DGS）等新興技術(shù)雖然在三維重建速度上展現(xiàn)出巨大優(yōu)勢，但其成功也伴隨著顯著代價(jià)。由于采用了與傳統(tǒng)多邊形網(wǎng)格截然不同的三維表示方法，這些模型往往難以直接編輯，從而為后續(xù)的精細(xì)化修改與藝術(shù)創(chuàng)作帶來了巨大挑戰(zhàn)。編輯方法通常結(jié)合大語言模型和生成式模型在輸入圖像上進(jìn)行修改，再從二維的結(jié)果提升至三維。Mendiratta等[34]通過先重建一個(gè)神經(jīng)輻射場模型，再輸入期望編輯的文本對多角度圖像進(jìn)行編輯，同時(shí)對輻射場模型進(jìn)行修改和重建。Sunagad等[35]使用類似方式，通過生成式模型對重建的圖像進(jìn)行編輯，并且采用ControlNet生成角色編輯后的法向結(jié)果作為生成的監(jiān)督來提高編輯后的生成模型質(zhì)量。

除使用擴(kuò)散生成模型編輯原型圖片的方法外，近年來有諸多方法專注于如何在神經(jīng)輻射場等特殊表達(dá)形式上直接編輯的方法。Xiao等[36]在參數(shù)化人體模型的表面構(gòu)造潛在編碼，以分離幾何和紋理，從而實(shí)現(xiàn)重光照和局部陰影編輯。為使編輯方式對用戶友好，F(xiàn)eng等[37]結(jié)合基于神經(jīng)輻射場表達(dá)的衣服和基于顯式網(wǎng)格的身體建模，以更好地表示每個(gè)單獨(dú)的部分，用戶可快速將衣服轉(zhuǎn)移到另一個(gè)角色身上。Lin等[38]使用兩層高斯貼圖來增強(qiáng)衣服的細(xì)節(jié)，并實(shí)現(xiàn)衣服的交換和編輯。雖然這些研究能生成頗為逼真的虛擬試衣效果，但他們普遍缺乏對試穿后衣物進(jìn)行精細(xì)化編輯的能力，例如調(diào)整衣物的款式、版型或褶皺形態(tài)。Ho等[39]將特征存儲(chǔ)在網(wǎng)格頂點(diǎn)上，為這些特征創(chuàng)建一個(gè)碼本，通過對碼本進(jìn)行編輯和替換，能夠做到較大范圍內(nèi)的局部編輯。Zhang等[40]使用擴(kuò)散模型在參數(shù)化人體的UV平面上生成高斯貼圖，并附加在參數(shù)化人體模型表面，可實(shí)現(xiàn)局部幾何和貼圖的編輯。這些方法為藝術(shù)家后續(xù)編輯提供了豐富的個(gè)性化工具。

3單目視頻條件下的三維數(shù)字人生成和編輯系統(tǒng)設(shè)計(jì)

本文旨在構(gòu)建一個(gè)數(shù)字人快速生成且可編輯的系統(tǒng)，以期為電影制作提供便利，提高制作效率。如圖2所示，該系統(tǒng)的工作流程主要包括以下步驟：用戶通過上傳單人旋轉(zhuǎn)視頻到服務(wù)器上，系統(tǒng)會(huì)在后臺(tái)處理視頻數(shù)據(jù)，并通過三維重建方法生成一個(gè)可驅(qū)動(dòng)的人體模型。在生成角色模型后，系統(tǒng)會(huì)將該模型按照語義智能分割并存儲(chǔ)到不同的素材庫，以供藝術(shù)家在后續(xù)流程中進(jìn)行個(gè)性化編輯，并為未來的影視相關(guān)產(chǎn)品開發(fā)提供素材。同時(shí)用戶可在系統(tǒng)中通過自然語言編輯角色模型，調(diào)整后的素材可直接導(dǎo)入三維軟件中使用。在所有的輸入中，單目旋轉(zhuǎn)視頻在數(shù)據(jù)采集的簡易度與最終重建的高保真度之間達(dá)到了一個(gè)較好的平衡點(diǎn)，因此大量的研究都基于此條件進(jìn)行算法設(shè)計(jì)?；诖?，本系統(tǒng)采用單目視頻作為輸入條件，并采用三維高斯?jié)姙R算法，以實(shí)現(xiàn)數(shù)字人的高效生成與快速編輯。

圖2　單目視頻條件下的三維數(shù)字人生成和編輯系統(tǒng)流程圖

3.1 單目視頻條件下基于三維高斯?jié)姙R的人體模型生成算法

圖3所示算法通過輸入角色單目視頻，使用基于三維高斯?jié)姙R的人體模型重建算法生成三維模型。在生成過程中，算法會(huì)根據(jù)角色圖片進(jìn)行智能分割，將三維模型基于語義信息分割為角色模型和服飾素材，并分別保存至不同的素材庫中。

圖3　單目視頻條件下的三維數(shù)字人生成流程圖

（1）算法設(shè)計(jì)

（2）實(shí)驗(yàn)結(jié)果

為驗(yàn)證生成效果，本文采用以下三種指標(biāo)進(jìn)行評估：①峰值信噪比（Peak Signal?to?Noise Ratio, PSNR），測量重演圖像與真實(shí)圖像之間的誤差，評估重建的整體質(zhì)量，PSNR值越高，表明生成的模型越真實(shí)；②結(jié)構(gòu)相似性指數(shù)（Structural Similarity Index, SSIM），從亮度、對比度、結(jié)構(gòu)三方面評估兩幅圖像的相似性，值越高表明生成的圖像更真實(shí)；③學(xué)習(xí)感知圖像塊相似度（Learned Perceptual Image Patch Similarity, LPIPS），基于深度學(xué)習(xí)模型提取圖像特征，計(jì)算特征空間的距離，衡量圖像的感知相似度，值越低證明人眼感知上更像真實(shí)圖像。這三種評價(jià)指標(biāo)通過量化渲染圖像與真實(shí)參考圖像之間的誤差，從不同維度對重建質(zhì)量進(jìn)行綜合考量，共同構(gòu)成了對本文模型精度的全面評估體系。測試用的數(shù)據(jù)集為PeopleSnapshot，是目前主流方法常用的測試數(shù)據(jù)集，其包含多個(gè)單人原地旋轉(zhuǎn)的視頻，通過使用手機(jī)在非實(shí)驗(yàn)室環(huán)境中拍攝，符合主流應(yīng)用環(huán)境。本文與目前效果最好的方法InstantAvatar[18]和3DGS?Avatar[19]進(jìn)行比較，實(shí)驗(yàn)結(jié)果（表1）表明，本文方法在所有指標(biāo)上都具較為明顯的優(yōu)勢，并且重建時(shí)間相較于3DGS?Avatar的45分鐘，縮減至30分鐘。綜合多項(xiàng)指標(biāo)，本文方法在效率上提升了33.33%，在重建精度上平均提升了10%。

表1　本文方法與文獻(xiàn)[18,19]的定量對比結(jié)果

3.2 基于三維高斯?jié)姙R的人體模型編輯系統(tǒng)

特殊表達(dá)的人體模型雖無法直接在工業(yè)引擎中快速編輯，但本文系統(tǒng)也提供了多種編輯方法輔助用戶高效快速編輯人體模型（圖4）。一種方法是將角色模型的多視角圖片交給視覺模型進(jìn)行部位分割，并針對圖片整體及各個(gè)部位生成文字描述。之后，將文字描述及用戶想要編輯部位一同輸入給DeepSeek模型，針對用戶需求生成并調(diào)整提示詞（Prompt）。最后，將提示詞和圖片輸入擴(kuò)散模型進(jìn)行圖片編輯，并在修改的同時(shí)對角色模型進(jìn)行優(yōu)化和調(diào)整。由于擴(kuò)散模型可能會(huì)使圖像產(chǎn)生不可控制的變化，我們也提供了局部編輯的方法，用戶能夠使用局部框選工具來選擇參數(shù)化人體模型的頂點(diǎn)，通過變換頂點(diǎn)映射的三維高斯點(diǎn)，實(shí)現(xiàn)對模型的幾何和紋理進(jìn)行編輯。

圖4　單目視頻條件下的三維數(shù)字人編輯流程圖

3.3 系統(tǒng)應(yīng)用

在電影制作領(lǐng)域，本文提出的系統(tǒng)具有顯著優(yōu)勢，該系統(tǒng)不僅能生成目標(biāo)角色，并且在高效生成的基礎(chǔ)上創(chuàng)新性地提供了多種編輯方式，搭配使用DeepSeek模型可進(jìn)一步降低用戶操作難度，提供更加友好的交互方式。

如圖5所示，用戶僅需在拍攝好角色視頻后上傳到系統(tǒng)，系統(tǒng)會(huì)為用戶生成該角色的數(shù)字人模型，之后用戶即可使用自然語言為該模型進(jìn)行不同類型的編輯。DeepSeek模型會(huì)分析自然語言，并生成圖片編輯的提示詞，以編輯圖片并重新生成模型。為解決中小制作團(tuán)隊(duì)在獨(dú)立創(chuàng)建數(shù)字人時(shí)所面臨的高昂成本與技術(shù)壁壘問題，本系統(tǒng)提供了一套極其簡化的解決方案。其直觀的文本輸入界面與便捷的操作流程，使非專業(yè)背景的用戶也能夠快速、高效地對數(shù)字人模型進(jìn)行編輯與迭代。例如，編劇可通過簡單的文本描述來編輯模型以確認(rèn)角色的服飾和道具。這不僅能加快電影制作速度，還能提升電影整體質(zhì)量。同時(shí)，相較于傳統(tǒng)的數(shù)字人制作，采用該系統(tǒng)則不再需要耗費(fèi)數(shù)天，創(chuàng)建一個(gè)數(shù)字人僅需30分鐘，通過素材庫進(jìn)行編輯，可實(shí)現(xiàn)和建模軟件一樣實(shí)時(shí)編輯與“所見即所得”。

圖5　單目視頻條件下的三維數(shù)字人生成和編輯系統(tǒng)演示

4三維數(shù)字人技術(shù)對影視制作的影響

當(dāng)前短視頻平臺(tái)上有較多用戶使用單圖或稀疏視圖的生成方式快速創(chuàng)建數(shù)字化身（Digital Avatar?），為自己的視頻創(chuàng)作特定元素，獲得了較好的用戶反響。如使用Viggle AI快速創(chuàng)建動(dòng)畫化身，可實(shí)現(xiàn)在幾分鐘內(nèi)創(chuàng)建出個(gè)性化數(shù)字人的舞蹈視頻；而今年春晚舞臺(tái)上的《筆走龍蛇》更是采用了類似數(shù)字人重建技術(shù)，通過多視角拍攝，快速生成包含4D時(shí)序信息的三維場景，這也表明了采用AI技術(shù)能大幅提高影視制作效率[41]。本節(jié)將從以下三個(gè)主要方向探討三維數(shù)字人技術(shù)對未來影視制作的影響。

4.1 優(yōu)化前期制作流程

隨著技術(shù)的不斷進(jìn)步，數(shù)字人的創(chuàng)建成本已顯著降低，并在數(shù)據(jù)輸入復(fù)雜性、重建時(shí)間方面取得了質(zhì)的飛躍。如前文所述，生成一個(gè)高精度、可直接應(yīng)用于工業(yè)渲染管線的數(shù)字人已變得高效便捷。未來，通過演員的數(shù)字化身，可快速驗(yàn)證其外形是否符合劇本要求，并可直接將其嵌入目標(biāo)場景，借助虛擬預(yù)演技術(shù)，創(chuàng)作者能夠預(yù)先調(diào)整和評估場景光照，從而大幅減少實(shí)地踩點(diǎn)、光影調(diào)試等環(huán)節(jié)的資源浪費(fèi)，顯著提升影視制作效率。

這類技術(shù)的應(yīng)用不僅優(yōu)化了傳統(tǒng)制作流程，還為創(chuàng)作團(tuán)隊(duì)提供了更加靈活的創(chuàng)意表達(dá)方式。通過虛擬化手段，創(chuàng)作者可在前期階段快速迭代方案，避免后期調(diào)整帶來的高昂成本。同時(shí)，數(shù)字化身的實(shí)時(shí)反饋能力也讓團(tuán)隊(duì)能夠更直觀地調(diào)整角色與場景的契合度，確保最終作品的高質(zhì)量呈現(xiàn)。這種效率與靈活性的結(jié)合，正在為影視制作行業(yè)帶來前所未有的變革。

4.2 提高素材生產(chǎn)效率

在影視制作領(lǐng)域，虛擬角色的生成和編輯一直是電影數(shù)字資產(chǎn)的重要組成部分。從文字描述到畫稿，再到三維建模，每一步都需耗費(fèi)大量時(shí)間和人力。然而，隨著大語言模型與三維數(shù)字人生成模型的飛速發(fā)展，這一流程正被徹底重塑。如今，通過DeepSeek和3DTopia等先進(jìn)工具對創(chuàng)作需求的深度解析，創(chuàng)作人員的需求可被精準(zhǔn)轉(zhuǎn)化為數(shù)字模型的輸入?yún)?shù)。這種技術(shù)不僅能夠快速生成虛擬角色的草稿，還能在短時(shí)間內(nèi)迭代優(yōu)化，直至產(chǎn)出高質(zhì)量的成品模型。整個(gè)過程大幅減少了傳統(tǒng)美術(shù)流程中的冗余環(huán)節(jié)，將創(chuàng)作效率提升至前所未有的高度，通過深度結(jié)合多種AI工具，創(chuàng)作者們也能夠以較低門檻快速參與到技術(shù)迭代中。美術(shù)人員也可從繁瑣的重復(fù)性勞動(dòng)中解放，將更多精力投入到創(chuàng)意本身。

4.3 激發(fā)小成本影視制作活力

隨著數(shù)字人和虛擬角色生成技術(shù)的普及，制作成本的顯著降低使越來越多的創(chuàng)作者能夠通過虛擬化手段構(gòu)建更加豐富的世界。中小成本劇組也能夠借此突破傳統(tǒng)制作的局限，通過使用豐富的虛擬角色素材，結(jié)合文本生成動(dòng)作模型，能夠在有限的成本下，讓創(chuàng)作者能夠輕松構(gòu)建復(fù)雜的場景，如繁忙的街景或人山人海的演唱會(huì)現(xiàn)場。而這些群體動(dòng)畫在傳統(tǒng)制作中往往需要極高的成本和資源投入。如今，數(shù)字人技術(shù)的引入不僅降低了制作門檻，還為創(chuàng)意表達(dá)提供了更廣闊的空間。

5結(jié)語

盡管近年來AI技術(shù)的應(yīng)用使三維數(shù)字人生成和編輯取得了顯著進(jìn)展，但其在電影制作領(lǐng)域的應(yīng)用仍面臨諸多挑戰(zhàn)，在一定程度上限制了其在電影制作全流程中的普及與推廣。例如，當(dāng)前能夠完全兼容工業(yè)渲染管線的技術(shù)較少，且生成的人體模型缺乏直接編輯性，使技術(shù)的實(shí)際應(yīng)用受到制約。為應(yīng)對這些挑戰(zhàn)，本文提出的單目視頻條件下的三維數(shù)字人生成和編輯系統(tǒng)，通過優(yōu)化算法和模型架構(gòu)，不僅能夠高效生成適用于現(xiàn)有渲染管線的數(shù)字人模型，還為用戶提供了豐富的編輯功能，進(jìn)一步增強(qiáng)了系統(tǒng)的實(shí)用性和靈活性。這一創(chuàng)新系統(tǒng)為電影制作中的數(shù)字人應(yīng)用提供了更高效、更便捷的解決方案。展望未來，隨著AI技術(shù)的持續(xù)突破與創(chuàng)新，數(shù)字人生成和編輯技術(shù)將在電影制作領(lǐng)域釋放更大潛能，不僅能顯著提升創(chuàng)作效率、降低制作成本，更能為電影藝術(shù)創(chuàng)作開辟全新的表達(dá)維度和創(chuàng)意空間，推動(dòng)電影藝術(shù)形式的革新與突破。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] 洪陽.高保真虛擬數(shù)字人的表示與重建[D].中國科學(xué)技術(shù)大學(xué),2022.DOI:10.27517/d.cnki.gzkju.2022.000779.

[2] 王春水.人工智能技術(shù)的發(fā)展及其對影視制作的影響[J].影視制作,2023,29(10):13?21.

[3] DEBEVEC P, HAWKINS T, TCHOU C, et al. Acquiring the reflectance field of a human face[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques, 2000: 145?156.

[4] USC Institute for Creative Technologies. Light Stage X [EB/OL] .(2022?03?01) [2025?07?13]. https://vgl.ict.usc.edu/LightStages/.

[5] GHOSH A, HAWKINS T, PEERS P, et al. Practical modeling and acquisition of layered facial reflectance[J]. ACM Transactions on Graphics, 2011, 30(6): 1?10.

[6] GRAHAM P, TUNWATTANAPONG B, BUSCH J, et al. Production facial capture and solving at scale[C]//ACM Special Interest Group on Computer Graphics and Interactive Techniques 2019 Courses, 2019:1?60.

[7] VLASIC D, PEERS P, BARAN I, et al. Dynamic shape capture using multi?view photometric stereo[M]//ACM Special Interest Group on Computer Graphics and Interactive Techniques Asia 2009 papers, 2009: 1?11.

[8] ZHENG Z, HUANG H, YU T, et al. Structured local radiance fields for human avatar modeling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 15893?15903.

[9] LI Z, ZHENG Z, LIU Y, et al. Posevocab: Learning joint?structured pose embeddings for human avatar modeling[C]//ACM Special Interest Group on Computer Graphics and Interactive Techniques 2023 conference proceedings, 2023: 1?11.

[10] LI Z, ZHENG Z, WANG L, et al. Animatable Gaussians: Learning pose?dependent gaussian maps for high?fidelity human avatar modeling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 19711?19722.

[11] CHEN Y, ZHENG Z, LI Z, et al. Mesh Avatar: Learning high?quality triangular human avatars from multi?view videos[C]//European Conference on Computer Vision, Cham: Springer Nature Switzerland, 2024: 250?269.

[12] CHEN J, HU J, WANG G, et al. TaoAvatar: Real?Time Lifelike Full?Body Talking Avatars for Augmented Reality via 3D Gaussian Splatting[C]//Proceedings of the Computer Vision and Pattern Recognition Conference, 2025: 10723?10734.

[13] ZHENG Y, ZHAO Q, YANG G, et al. Physavatar: Learning the physics of dressed 3d avatars from visual observations[C]//European Conference on Computer Vision, Cham: Springer Nature Switzerland, 2024: 262?284.

[14] PENG S, ZHANG Y, XU Y, et al. Neural body: Implicit neural representations with structured latent codes for novel view synthesis of dynamic humans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 9054?9063.

[15] WENG C Y, CURLESS B, SRINIVASAN P P, et al. Humannerf: Free?viewpoint rendering of moving people from monocular video[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022: 16210?16220.

[16] CHEN J, ZHANG Y, KANG D, et al. Animatable neural radiance fields from monocular rgb videos[EB/OL]. (2021?06?25)[2025?07?21]. https://arxiv.org/abs/2106.13629.

[17] MüLLER T, EVANS A, SCHIED C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM Transactions on Graphics , 2022, 41(4): 1?15.

[18] JIANG T, CHEN X, SONG J, et al. InstantAvatar: Learning avatars from monocular video in 60 seconds[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 16922?16932.

[19] QIAN Z, WANG S, MIHAJLOVIC M, et al. 3DGS?Avatar: Animatable avatars via deformable 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 5020?5030.

[20] HU L, ZHANG H, ZHANG Y, et al. Gaussianavatar: Towards realistic human avatar modeling from a single video via animatable 3d gaussians[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 634?644.

[21] SHAO Z, WANG Z, LI Z, et al. Splatting Avatar: Realistic real?time human avatars with mesh?embedded gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 1606?1616.

[22] MOON G, SHIRATORI T, SAITO S. Expressive whole?body 3D gaussian avatar[C]//European Conference on Computer Vision, Cham: Springer Nature Switzerland, 2024: 19?35.

[23] XIU Y, YE Y, LIU Z, et al. PuzzleAvatar: Assembling 3d avatars from personal albums[J]. ACM Transactions on Graphics , 2024, 43(6): 1?15.

[24] LOPER M, MAHMOOD N, ROMERO J, et al. SMPL: A skinned multi?person linear model[M]//Seminal Graphics Papers: Pushing the Boundaries, Volume 2, 2023: 851?866.

[25] PAVLAKOS G, CHOUTAS V, GHORBANI N, et al. Expressive body capture: 3d hands, face, and body from a single image[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 10975?10985.

[26] MA Q, SAITO S, YANG J, et al. SCALE: Modeling clothed humans with a surface codec of articulated local elements[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021: 16082?16093.

[27] CORONA E, PUMAROLA A, ALENYA G, et al. Smplicit: Topology?aware generative model for clothed people[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021: 11875?11885.

[28] XIU Y, YANG J, CAO X, et al. ECON: Explicit clothed humans optimized via normal integration[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 512?523.

[29] ZHANG Z, YANG Z, YANG Y. Sifu: Side?view conditioned implicit function for real?world usable clothed human reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 9936?9947.

[30] HUANG Y, YI H, XIU Y, et al. Tech: Text?guided reconstruction of lifelike clothed humans[C]//2024 International Conference on 3D Vision, 2024: 1531?1542.

[31] QIU L, GU X, LI P, et al. LHM: Large Animatable Human Reconstruction Model from a Single Image in Seconds[EB/OL]. (2025?03?18)[2025?07?21]. https://arxiv.org/abs/2503.10625.

[32] ZHUANG Y, LV J, WEN H, et al. IDOL: Instant Photorealistic 3D Human Creation from a Single Image[EB/OL]. (2024?12?19)[2025?07?21]. https://arxiv.org/abs/2412.14963.

[33] LIAO T, YI H, XIU Y, et al. Tada! text to animatable digital avatars[C]//2024 International Conference on 3D Vision, 2024: 1508?1519.

[34] MENDIRATTA M, PAN X, ELGHARIB M, et al. Avatarstudio: Text?driven editing of 3d dynamic human head avatars[J]. ACM Transactions On Graphics, 2023, 42(6): 1?18.

[35] SUNAGAD B, ZHU H, MENDIRATTA M, et al. TEDRA: Text?based Editing of Dynamic and Photoreal Actors[EB/OL]. (2024?08?28)[2025?07?21]. https://arxiv.org/abs/2408.15995.

[36] XIAO J, ZHANG Q, XU Z, et al. Neca: Neural customizable human avatar[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024: 20091?20101.

[37] FENG Y, LIU W, BOLKART T, et al. Learning disentangled avatars with hybrid 3d representations[EB/OL]. (2023?09?12)[2025?07?21]. https://arxiv.org/abs/2309.06441.

[38] LIN S, LI Z, SU Z, et al. Layga: Layered gaussian avatars for animatable clothing transfer[C]//ACM Special Interest Group on Computer Graphics and Interactive Techniques 2024 Conference Papers, 2024: 1?11.

[39] HO H I, XUE L, SONG J, et al. Learning locally editable virtual humans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 21024?21035.

[40] ZHANG W, YAN Y, LIU Y, et al. E 3Gen: Efficient, Expressive and Editable Avatars Generation[C]//Proceedings of the 32nd ACM International Conference on Multimedia, 2024: 6860?6869.

[41] 諸杏娟. 這屆春晚開始拼技術(shù)了！AI大模型絕美定格、機(jī)器人扭秧歌，云使用量達(dá)歷年之最[EB/OL].(2025?01?29) [2025?07?13]. http://www.digipub.cc/dy/article/JN2TK8L405566ZHB.html.

【基金項(xiàng)目】國家自然科學(xué)基金青年科學(xué)基金項(xiàng)目“有限標(biāo)注下的室內(nèi)三維場景感知與編輯關(guān)鍵方法研究”（62402306）；上海市“科技創(chuàng)新行動(dòng)計(jì)劃”自然科學(xué)基金項(xiàng)目“復(fù)雜室內(nèi)三維場景細(xì)粒度感知關(guān)鍵方法研究”（24ZR1422400）。