《現(xiàn)代電影技術(shù)》｜解沛等：虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)應(yīng)用研究

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第2期

專家點(diǎn)評(píng)

當(dāng)前，虛擬攝制是影視制作領(lǐng)域的熱點(diǎn)研究方向之一，其后期前置化、所見(jiàn)即所得、虛實(shí)融合的制作模式顯著提升了影視制作的靈活性與效率。此外，虛擬攝制的應(yīng)用亦展現(xiàn)出跨領(lǐng)域的拓展趨勢(shì)，在短視頻制作、網(wǎng)絡(luò)直播、游戲制作、廣告拍攝、動(dòng)漫、沉浸式文旅體驗(yàn)等領(lǐng)域也獲得了大量推廣應(yīng)用，展現(xiàn)出巨大發(fā)展?jié)摿ΑＬ摂M攝制的技術(shù)組成可大致分為虛擬場(chǎng)景渲染、攝影機(jī)定位追蹤、燈光控制、人機(jī)交互、LED顯示等，而攝影機(jī)定位追蹤技術(shù)一直是電影虛擬攝制的關(guān)鍵，其技術(shù)水平的高低，在很大程度上決定了虛擬攝制整體質(zhì)量的優(yōu)劣。從十余年前基于綠幕的虛擬攝影開(kāi)始，到今天的基于LED背景墻的虛擬攝制，電影人不斷探索實(shí)踐新方法和新工藝，改進(jìn)和優(yōu)化這一技術(shù)，利用最新科技成果，實(shí)現(xiàn)更為精準(zhǔn)和穩(wěn)定的攝影機(jī)內(nèi)外參數(shù)追蹤。《虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)應(yīng)用研究》一文針對(duì)虛擬攝制中攝影機(jī)定位追蹤相關(guān)設(shè)備穩(wěn)定性差、易被干擾等問(wèn)題，提出了一項(xiàng)創(chuàng)新的聚合技術(shù)方案，為虛擬攝制現(xiàn)場(chǎng)創(chuàng)制的靈活性與穩(wěn)定性提供了可靠保障。文章詳細(xì)論述了攝影機(jī)內(nèi)外參聚合的實(shí)現(xiàn)流程，并進(jìn)行了相關(guān)實(shí)驗(yàn)與測(cè)試，實(shí)驗(yàn)結(jié)果也直觀地展示了該方案在數(shù)據(jù)穩(wěn)定性方面的顯著提升，展現(xiàn)了其未來(lái)的實(shí)用價(jià)值與創(chuàng)新性。

——陳軍

研究員

北京電影學(xué)院影視技術(shù)系主任工程師

作 者 簡(jiǎn) 介

解 沛

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)工程師，主要研究方向：數(shù)字電影技術(shù)。

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)高級(jí)工程師，主要研究方向：數(shù)字電影技術(shù)。

周令非

王木旺

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)傳輸放映技術(shù)研究處副處長(zhǎng)，主要研究方向：數(shù)字電影技術(shù)。

摘要

近年來(lái)，影視制作技術(shù)出現(xiàn)巨大的變革與更新，虛擬攝制技術(shù)被廣泛應(yīng)用于電影制作。基于目前影視虛擬攝制中存在無(wú)法有效整合鏡頭與位姿元數(shù)據(jù)，相關(guān)設(shè)備穩(wěn)定性差、易被干擾等問(wèn)題，本文通過(guò)對(duì)現(xiàn)有攝影機(jī)追蹤與跟焦設(shè)備進(jìn)行分析，針對(duì)不同場(chǎng)景，提出一種虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案，搭建相關(guān)系統(tǒng)并進(jìn)行了實(shí)驗(yàn)與測(cè)試。結(jié)果表明，本文提出的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)能夠有效聚合輸出穩(wěn)定且平滑的鏡頭和位姿元數(shù)據(jù)，為虛擬攝制現(xiàn)場(chǎng)創(chuàng)制的靈活性與穩(wěn)定性提供可靠保障。

關(guān)鍵詞

虛擬攝制；鏡頭跟焦；攝影機(jī)追蹤；數(shù)據(jù)聚合；攝影機(jī)位姿元數(shù)據(jù)

1 引言

虛擬攝制技術(shù)是真實(shí)世界和數(shù)字世界的交融區(qū)域，是一種利用計(jì)算機(jī)圖形學(xué)（CG）和虛擬現(xiàn)實(shí)（VR）技術(shù)模擬電影場(chǎng)景的技術(shù)[1-3]。隨著影視工業(yè)和科技的進(jìn)步，虛擬攝制技術(shù)也經(jīng)歷了不同的發(fā)展階段。隨著電影《阿凡達(dá)》（Avatar，2009）和《獅子王》（The Lion King，2019）等作品對(duì)虛擬攝制技術(shù)的應(yīng)用，虛擬攝制作為產(chǎn)業(yè)逐漸興起，基于藍(lán)幕/綠幕的合成方式作為傳統(tǒng)虛擬攝制技術(shù)的主要技術(shù)手段被廣泛應(yīng)用于諸多電影的生產(chǎn)制作中[4,5]。然而，傳統(tǒng)虛擬攝制技術(shù)會(huì)帶來(lái)藍(lán)幕/綠幕溢色等問(wèn)題[6]，為解決此類問(wèn)題，基于LED背景墻的虛擬攝制技術(shù)應(yīng)運(yùn)而生，其將后期制作部分工作移至拍攝前，旨在將電影最終呈現(xiàn)效果交給現(xiàn)場(chǎng)導(dǎo)演和主要?jiǎng)?chuàng)作者把控[7]。

無(wú)論是藍(lán)幕/綠幕為代表的傳統(tǒng)虛擬攝制，還是基于LED背景墻的虛擬攝制，都需要記錄或?qū)崟r(shí)接收攝影機(jī)鏡頭和位姿元數(shù)據(jù)。對(duì)于藍(lán)幕/綠幕而言，記錄鏡頭和位姿元數(shù)據(jù)，能夠保證后期制作人員準(zhǔn)確地將數(shù)字虛擬場(chǎng)景與實(shí)際拍攝場(chǎng)景相結(jié)合。在LED背景墻虛擬攝制過(guò)程中，渲染引擎通過(guò)實(shí)時(shí)接收鏡頭和位姿元數(shù)據(jù)，在LED背景上實(shí)時(shí)渲染內(nèi)視錐[8]，用于攝影機(jī)直接拍攝的背景畫(huà)面[9]。目前已有的虛擬攝制技術(shù)和相關(guān)設(shè)備存在諸多問(wèn)題，例如攝影機(jī)追蹤設(shè)備的位姿元數(shù)據(jù)與跟焦設(shè)備的鏡頭元數(shù)據(jù)獨(dú)立傳輸進(jìn)虛擬攝制系統(tǒng)中，無(wú)法有效整合至同一虛擬攝影機(jī)對(duì)象，導(dǎo)致內(nèi)視錐無(wú)法正確渲染，無(wú)法滿足多變的拍攝需求。此外，在拍攝現(xiàn)場(chǎng)，單一追蹤設(shè)備無(wú)法完成不同場(chǎng)景下的追蹤任務(wù)，為提升精度并提高系統(tǒng)魯棒性，會(huì)利用多套追蹤設(shè)備追蹤同一攝影機(jī)，但需手動(dòng)切換數(shù)據(jù)源，既影響了現(xiàn)場(chǎng)拍攝進(jìn)度，也限制了導(dǎo)演與攝影指導(dǎo)的創(chuàng)作效率。本文將針對(duì)目前虛擬攝制現(xiàn)場(chǎng)鏡頭和位姿元數(shù)據(jù)無(wú)法有效聚合、數(shù)據(jù)獲取與傳輸穩(wěn)定性差等現(xiàn)狀，提出能夠有效應(yīng)用于拍攝現(xiàn)場(chǎng)的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)，并進(jìn)行了相關(guān)實(shí)驗(yàn)與測(cè)試，為降低虛擬攝制設(shè)備成本、提升虛擬攝制效率、增大拍攝現(xiàn)場(chǎng)創(chuàng)作靈活性提供可靠保證。

2 相關(guān)研究背景及面臨的問(wèn)題

2.1 鏡頭與位姿元數(shù)據(jù)

2.1.1 攝影機(jī)位姿元數(shù)據(jù)

虛擬攝制中攝影機(jī)位姿元數(shù)據(jù)是指在虛擬攝影棚中真實(shí)攝影機(jī)在空間中的位置與姿態(tài)信息[10]。具體而言，空間位置信息包括三個(gè)軸向的平移數(shù)據(jù)X、Y及Z，空間姿態(tài)信息包括圍繞三個(gè)軸向的旋轉(zhuǎn)數(shù)據(jù)：橫搖（Yaw）、俯仰（Pitch）及翻滾（Roll）。攝影機(jī)位姿元數(shù)據(jù)信息需通過(guò)攝影棚內(nèi)攝影機(jī)追蹤設(shè)備[11]獲取，通常會(huì)將追蹤設(shè)備分為兩大類，即光學(xué)追蹤設(shè)備和非光學(xué)追蹤設(shè)備。

在目前虛擬攝制中，主創(chuàng)人員通常會(huì)選擇光學(xué)追蹤設(shè)備完成攝影機(jī)的追蹤。光學(xué)追蹤設(shè)備主要利用光線和圖像傳感器來(lái)實(shí)現(xiàn)對(duì)攝影機(jī)位姿的追蹤，通常由標(biāo)記點(diǎn)、攝像頭、圖像處理單元以及位姿計(jì)算方法四部分組成。

非光學(xué)追蹤設(shè)備不依賴于光線和圖像傳感器，而是通過(guò)其他物理量的變化來(lái)實(shí)現(xiàn)對(duì)攝影機(jī)位姿的獲取。常見(jiàn)的非光學(xué)追蹤設(shè)備主要包括磁性追蹤設(shè)備[12]、慣性追蹤設(shè)備和無(wú)線電追蹤設(shè)備三種類型。

2.1.2 攝影機(jī)鏡頭元數(shù)據(jù)

虛擬攝制中攝影機(jī)鏡頭元數(shù)據(jù)是真實(shí)攝影機(jī)鏡頭的重要信息，主要包括攝影機(jī)的焦點(diǎn)（Focus）、焦距（Zoom）及光圈（Iris）。攝影機(jī)鏡頭元數(shù)據(jù)信息的獲取需通過(guò)攝影機(jī)跟焦設(shè)備。跟焦設(shè)備通常有兩種工作模式：一是鏡頭卡口的觸點(diǎn)與攝影機(jī)直接進(jìn)行數(shù)據(jù)傳輸，二是通過(guò)跟焦齒輪數(shù)據(jù)進(jìn)行反算獲得鏡頭元數(shù)據(jù)。

利用觸點(diǎn)進(jìn)行數(shù)據(jù)傳輸是一種通過(guò)物理接觸來(lái)傳遞數(shù)據(jù)的方式，觸點(diǎn)通常位于鏡頭的卡口位置，通過(guò)與攝影機(jī)身上的對(duì)應(yīng)觸點(diǎn)相接觸，實(shí)現(xiàn)數(shù)據(jù)的傳輸和交換。觸點(diǎn)傳輸?shù)膬?yōu)點(diǎn)在于傳輸信息豐富、數(shù)據(jù)傳輸速度快、穩(wěn)定性高，同時(shí)對(duì)環(huán)境適應(yīng)性強(qiáng)。

利用跟焦齒輪數(shù)據(jù)反算是一種通過(guò)機(jī)械傳動(dòng)來(lái)傳遞數(shù)據(jù)的方式，通過(guò)與攝影機(jī)或其他設(shè)備上的齒輪相嚙合，實(shí)現(xiàn)數(shù)據(jù)傳遞和交換。跟焦齒輪的優(yōu)點(diǎn)在于可適用于多種環(huán)境；結(jié)構(gòu)簡(jiǎn)單，維護(hù)成本較低；對(duì)于特定類型的攝影機(jī)或鏡頭具有較好的兼容性。

2.2 攝影機(jī)鏡頭和位姿元數(shù)據(jù)傳輸協(xié)議

在傳統(tǒng)虛擬攝制中，鏡頭和位姿元數(shù)據(jù)通常只需如實(shí)記錄即可，但對(duì)于LED虛擬攝制，需在拍攝過(guò)程中將鏡頭與位姿元數(shù)據(jù)實(shí)時(shí)傳輸至渲染引擎中，從而在LED背景墻上正確渲染出內(nèi)視錐畫(huà)面[13]。大部分?jǐn)z影機(jī)追蹤設(shè)備和跟焦設(shè)備均會(huì)設(shè)置數(shù)據(jù)傳輸私有協(xié)議，同時(shí)也會(huì)支持1~2種公開(kāi)數(shù)據(jù)協(xié)議，常見(jiàn)的公開(kāi)協(xié)議有FreeD協(xié)議和VRPN協(xié)議。

FreeD協(xié)議最初由BBC R&D[14]開(kāi)發(fā)，允許支持FreeD協(xié)議的攝影機(jī)和跟蹤設(shè)備與虛擬場(chǎng)景渲染系統(tǒng)無(wú)縫進(jìn)行數(shù)據(jù)交換和通信。目前已廣泛應(yīng)用于虛擬演播室系統(tǒng)、游戲開(kāi)發(fā)、虛擬現(xiàn)實(shí)等領(lǐng)域。FreeD協(xié)議主要具備三個(gè)特點(diǎn)：（1）實(shí)時(shí)數(shù)據(jù)傳輸。FreeD協(xié)議支持實(shí)時(shí)數(shù)據(jù)傳輸，可實(shí)現(xiàn)攝影機(jī)鏡頭與位姿元數(shù)據(jù)實(shí)時(shí)傳輸至渲染引擎的需求。（2）高精度數(shù)據(jù)采集。FreeD協(xié)議支持傳輸高精度數(shù)據(jù)，可實(shí)現(xiàn)對(duì)攝影機(jī)的精確跟蹤和定位。（3）易于集成和擴(kuò)展。FreeD協(xié)議設(shè)計(jì)靈活，易于與其他系統(tǒng)和設(shè)備進(jìn)行集成和擴(kuò)展。

VRPN[15]協(xié)議是專為虛擬現(xiàn)實(shí)應(yīng)用設(shè)計(jì)的協(xié)議。其允許虛擬現(xiàn)實(shí)系統(tǒng)中的各種外圍設(shè)備（如跟蹤器、傳感器、顯示設(shè)備等）通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)相互通信與協(xié)作。VRPN協(xié)議的主要目的是解決虛擬現(xiàn)實(shí)系統(tǒng)中多臺(tái)設(shè)備間的同步問(wèn)題，確保每個(gè)設(shè)備的動(dòng)作和狀態(tài)能夠?qū)崟r(shí)反映至整個(gè)系統(tǒng)。

2.3 面臨的問(wèn)題

2.3.1 設(shè)備穩(wěn)定性與傳輸協(xié)議一致性

在虛擬攝制現(xiàn)場(chǎng)，由于成本、影棚大小甚至是主創(chuàng)團(tuán)隊(duì)的使用習(xí)慣不同，會(huì)使用不同的追蹤設(shè)備與跟焦設(shè)備。相比于跟焦設(shè)備，追蹤設(shè)備的穩(wěn)定性較差，不同類型的跟焦設(shè)備在復(fù)雜多變的攝制現(xiàn)場(chǎng)均會(huì)出現(xiàn)無(wú)法準(zhǔn)確追蹤攝影機(jī)的情況。

光學(xué)追蹤設(shè)備的優(yōu)點(diǎn)在于能夠提供較高的精度和實(shí)時(shí)性，尤其適用于室內(nèi)或受控環(huán)境中的追蹤應(yīng)用。然而，這種方法對(duì)環(huán)境光照條件較為敏感。在虛擬攝制現(xiàn)場(chǎng)，無(wú)論是營(yíng)造氛圍的煙霧，或是演員衣服上的反光材料，還是走位過(guò)程中造成的遮擋，都會(huì)造成光學(xué)追蹤設(shè)備的位姿元數(shù)據(jù)精確性降低、無(wú)法穩(wěn)定傳輸甚至出現(xiàn)數(shù)據(jù)丟失的情況。

而非光學(xué)追蹤設(shè)備的優(yōu)點(diǎn)在于對(duì)環(huán)境條件的依賴性較低，可在較惡劣的環(huán)境中工作。然而，受工作原理的限制，這類設(shè)備的精度和實(shí)時(shí)性通常不如光學(xué)追蹤設(shè)備，且可能存在一定局限性，如適用范圍、成本等。在攝制現(xiàn)場(chǎng)，劇組人員需根據(jù)具體的拍攝需求和資源條件選擇合適的方法和設(shè)備。

除了追蹤設(shè)備的穩(wěn)定性易受影響外，不同設(shè)備所使用的數(shù)據(jù)傳輸協(xié)議也各有不同，相較于使用FreeD和VRPN等通用傳輸協(xié)議的設(shè)備，使用私有傳輸協(xié)議的設(shè)備在學(xué)習(xí)成本及技術(shù)人員熟練程度上具有更高要求。

2.3.2 多設(shè)備的使用

2.3.2.1 鏡頭與位姿元數(shù)據(jù)同時(shí)綁定

現(xiàn)有追蹤設(shè)備大都不具備跟焦功能，即使提供跟焦功能，也是通過(guò)跟焦齒輪數(shù)據(jù)反算的方式實(shí)現(xiàn)。為更好地渲染內(nèi)視錐畫(huà)面，需同時(shí)提供鏡頭與位姿元數(shù)據(jù)。以常用的虛幻引擎（UE）和瀾景hecoos為例，如需綁定追蹤設(shè)備與跟焦設(shè)備，都存在問(wèn)題。對(duì)于UE而言，可通過(guò)兩個(gè)Live Link控制器分別接收鏡頭和位姿元數(shù)據(jù)，并將兩個(gè)控制器的數(shù)據(jù)同時(shí)流送給同一虛擬攝影機(jī)對(duì)象[16]。但使用該種方式進(jìn)行綁定時(shí)，設(shè)置流程繁瑣，還會(huì)因漏操作或誤操作導(dǎo)致無(wú)法正常綁定。此外，由于UE的不穩(wěn)定性，該方式在實(shí)際虛擬攝制時(shí)，常會(huì)出現(xiàn)無(wú)響應(yīng)的情況，極大拖慢了現(xiàn)場(chǎng)創(chuàng)作進(jìn)度。對(duì)于hecoos而言，一臺(tái)虛擬攝影機(jī)只能接收一個(gè)設(shè)備的數(shù)據(jù)，也就無(wú)法支持同時(shí)綁定鏡頭和位姿元數(shù)據(jù)。

2.3.2.2 多個(gè)追蹤設(shè)備同時(shí)綁定

在虛擬攝制現(xiàn)場(chǎng)，為保證攝影機(jī)追蹤的實(shí)時(shí)性和穩(wěn)定性，會(huì)使用兩臺(tái)及以上的不同追蹤設(shè)備進(jìn)行追蹤。對(duì)于UE而言，可同時(shí)綁定多臺(tái)追蹤設(shè)備，但無(wú)法實(shí)時(shí)切換追蹤設(shè)備；而hecoos無(wú)法綁定多臺(tái)追蹤設(shè)備。此外，如果不同設(shè)備所使用的傳輸協(xié)議有所不同，在數(shù)據(jù)接收與解析上也需技術(shù)人員耗費(fèi)更多時(shí)間與精力。

綜上所述，目前的技術(shù)無(wú)法有效解決虛擬攝制現(xiàn)場(chǎng)設(shè)備穩(wěn)定性差的問(wèn)題，也無(wú)法應(yīng)對(duì)多設(shè)備同時(shí)使用后操作繁瑣的問(wèn)題。針對(duì)這類情況，筆者提出虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)。

3 鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案

3.1 設(shè)計(jì)思路與整體流程

針對(duì)上述背景與存在的問(wèn)題，本文提出一種鏡頭和位姿元數(shù)據(jù)聚合的技術(shù)方案（圖1）。相較于追蹤設(shè)備，跟焦設(shè)備穩(wěn)定性較好，因此輸入采用多臺(tái)追蹤設(shè)備與一臺(tái)跟焦設(shè)備。整體流程簡(jiǎn)述如下：首先需對(duì)支持不同數(shù)據(jù)傳輸協(xié)議的設(shè)備進(jìn)行數(shù)據(jù)獲取與解析；之后根據(jù)穩(wěn)定性篩選數(shù)據(jù)，根據(jù)耦合性選擇聚合策略與算法；聚合完成后會(huì)獲得一組完整的元數(shù)據(jù)，包括鏡頭與位姿元數(shù)據(jù)；最后利用傳輸協(xié)議進(jìn)行編碼后傳輸至渲染引擎中，或記錄在本地供后期制作使用。

圖1　技術(shù)方案流程圖

3.2 具體技術(shù)方案

虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合算法具體操作方法如下。

步驟1：鏡頭和位姿元數(shù)據(jù)的獲取。對(duì)安裝在搭建好的虛擬攝影棚中或安裝在棚內(nèi)實(shí)體攝影機(jī)上的追蹤設(shè)備與跟焦設(shè)備進(jìn)行數(shù)據(jù)實(shí)時(shí)接收，獲取攝影機(jī)追蹤設(shè)備采集到的位姿元數(shù)據(jù)包和跟焦設(shè)備采集到的鏡頭元數(shù)據(jù)包。其中攝影機(jī)追蹤設(shè)備數(shù)量為兩套及以上。

步驟2：鏡頭和位姿元數(shù)據(jù)的解析。通過(guò)攝影機(jī)鏡頭和位姿元數(shù)據(jù)傳輸協(xié)議，根據(jù)步驟1中獲取的相應(yīng)數(shù)據(jù)實(shí)時(shí)解算多路攝影機(jī)的幀率、設(shè)備ID號(hào)、位姿元數(shù)據(jù)及鏡頭元數(shù)據(jù)，位姿元數(shù)據(jù)包括三軸平移數(shù)據(jù)、三軸旋轉(zhuǎn)數(shù)據(jù)，鏡頭元數(shù)據(jù)包括焦點(diǎn)、焦距及光圈數(shù)據(jù)。

步驟3：位姿元數(shù)據(jù)的篩選。判斷多路位姿元數(shù)據(jù)的穩(wěn)定性，剔除無(wú)法穩(wěn)定傳輸?shù)奈蛔嗽獢?shù)據(jù)，保留穩(wěn)定傳輸?shù)淖粉櫾O(shè)備提供的位姿元數(shù)據(jù)。在判斷多路位姿元數(shù)據(jù)的穩(wěn)定性時(shí)，通過(guò)設(shè)置超時(shí)閾值σ，對(duì)每一路追蹤設(shè)備進(jìn)行數(shù)據(jù)接收時(shí)間δ的統(tǒng)計(jì)，如果δ>σ，則判斷該路數(shù)據(jù)不穩(wěn)定，進(jìn)行剔除。δ采用式（1）進(jìn)行計(jì)算：

式（1）中，?i2表示接收到第i路數(shù)據(jù)當(dāng)前幀的時(shí)間，?i1表示接收到第i路數(shù)據(jù)前一幀的時(shí)間。

步驟4：選擇聚合策略。判斷篩選出的多路位姿元數(shù)據(jù)數(shù)量，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量大于1路，則進(jìn)行步驟5，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量等于1路，則進(jìn)行步驟8，如果篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備數(shù)量小于1路，則進(jìn)行步驟9。

步驟5：計(jì)算耦合性。判斷篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備間的耦合性，提前設(shè)定閾值Δ（0 <δ<1），計(jì)算多路設(shè)備兩兩之間的耦合值 ξ i, j，并與閾值Δ進(jìn)行比較，選取耦合值 ξi, j最小且小于閾值Δ的兩路設(shè)備數(shù)據(jù)（緊耦合）執(zhí)行步驟6，如果所有耦合值均大于閾值Δ（松耦合），則執(zhí)行步驟7， ξi, j采用式（2）—式（8）進(jìn)行計(jì)算：

步驟6：對(duì)步驟5選取的耦合值ξi, j最小且小于閾值Δ的兩路設(shè)備所傳輸?shù)奈蛔嗽獢?shù)據(jù)中的三軸平移數(shù)據(jù)及三軸旋轉(zhuǎn)數(shù)據(jù)分別取平均值，并將六個(gè)平均值作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟8：將篩選后剩余穩(wěn)定傳輸?shù)淖粉櫾O(shè)備提供的位姿元數(shù)據(jù)作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟9：將上一幀輸出的位姿元數(shù)據(jù)作為最終輸出的位姿元數(shù)據(jù)包數(shù)據(jù)，執(zhí)行步驟10。

步驟10：整合鏡頭和位姿元數(shù)據(jù)。將前述步驟獲得的鏡頭元數(shù)據(jù)與獲得的位姿元數(shù)據(jù)包進(jìn)行整合并編碼。

步驟11：傳輸或記錄數(shù)據(jù)。將實(shí)時(shí)元數(shù)據(jù)包以UDP通信協(xié)議發(fā)送給搭載有渲染引擎的終端，以控制渲染引擎中的虛擬攝影機(jī)，或記錄在本地以供后期進(jìn)行視效制作。

以三臺(tái)追蹤設(shè)備與一臺(tái)跟焦設(shè)備為例，示例流程如圖 2所示。

圖2　示例流程圖

4 實(shí)驗(yàn)與分析

在本文實(shí)驗(yàn)中，選擇Ncam Camera Bar[17]和Mo?Sys StarTracker[18]兩套設(shè)備作為攝影機(jī)追蹤設(shè)備，上述兩個(gè)設(shè)備傳輸協(xié)議均采用FreeD協(xié)議。選擇Movcam MCS?2[19]和XRPort共同組成攝影機(jī)跟焦設(shè)備，搭配使用UE[20]。實(shí)驗(yàn)測(cè)試場(chǎng)地選擇無(wú)錫5G智慧虛擬攝影棚[21]。

4.1 實(shí)驗(yàn)方法與結(jié)果

4.1.1 位姿元數(shù)據(jù)穩(wěn)定性

在攝影棚中同時(shí)將兩套攝影機(jī)追蹤設(shè)備掛載于一臺(tái)攝影機(jī)上，同時(shí)該攝影機(jī)裝有跟焦設(shè)備。之后通過(guò)移動(dòng)攝影機(jī)模擬實(shí)際拍攝時(shí)攝影機(jī)的運(yùn)動(dòng)方式，并在攝影機(jī)運(yùn)動(dòng)過(guò)程中通過(guò)遮擋追蹤設(shè)備、斷開(kāi)數(shù)據(jù)線纜等方式模擬拍攝時(shí)追蹤設(shè)備不穩(wěn)定容易掉線等問(wèn)題，在過(guò)程中記錄使用本文提出的聚合技術(shù)方案（以下簡(jiǎn)稱“本方案”）后輸出的位姿元數(shù)據(jù)，同時(shí)記錄Mo?Sys和Ncam兩個(gè)設(shè)備的原始數(shù)據(jù)，作為與最終輸出數(shù)據(jù)對(duì)比的對(duì)照組。

實(shí)驗(yàn)部分追蹤數(shù)據(jù)可視化結(jié)果如圖3所示，橫坐標(biāo)表示位姿元數(shù)據(jù)的幀序號(hào)，縱坐標(biāo)表示旋轉(zhuǎn)角度（單位為度）。其中紅色數(shù)據(jù)點(diǎn)為Mo?Sys位姿元數(shù)據(jù)，藍(lán)色數(shù)據(jù)點(diǎn)為Ncam位姿元數(shù)據(jù)，黃色數(shù)據(jù)點(diǎn)為使用本方案后最終輸出的位姿元數(shù)據(jù)。

在圖3所示的實(shí)驗(yàn)過(guò)程中，模擬Mo?Sys設(shè)備被遮擋或數(shù)據(jù)源丟失的情況，并記錄輸出的位姿元數(shù)據(jù)。在Mo?Sys和Ncam兩臺(tái)設(shè)備均穩(wěn)定提供位姿元數(shù)據(jù)時(shí)，經(jīng)過(guò)本方案計(jì)算的數(shù)據(jù)同樣能夠保持穩(wěn)定輸出。在2000~3000幀之間，通過(guò)遮擋模擬Mo?Sys數(shù)據(jù)源被影響的情況。這段時(shí)間內(nèi)，Mo?Sys數(shù)據(jù)丟失，在圖中呈現(xiàn)平直的橫線，Ncam數(shù)據(jù)繼續(xù)保持正常輸出，經(jīng)過(guò)本方案計(jì)算的數(shù)據(jù)同樣能夠保持穩(wěn)定的輸出。

圖3　俯仰角度數(shù)據(jù)變化

4.1.2 鏡頭與位姿元數(shù)據(jù)聚合

在攝影棚中同時(shí)將兩套攝影機(jī)追蹤設(shè)備掛載于一臺(tái)攝影機(jī)上，同時(shí)該攝影機(jī)裝有跟焦設(shè)備。在移動(dòng)攝影機(jī)的同時(shí)，使用跟焦設(shè)備對(duì)鏡頭的焦點(diǎn)和焦距進(jìn)行變化調(diào)整，并記錄LED屏幕上內(nèi)視錐的變化情況。

實(shí)驗(yàn)部分結(jié)果如圖4所示。實(shí)驗(yàn)結(jié)果表明，使用本方案可實(shí)現(xiàn)位姿與鏡頭元數(shù)據(jù)的同時(shí)傳輸，內(nèi)視錐會(huì)隨著攝影機(jī)的移動(dòng)而移動(dòng)，也會(huì)隨著焦距的變化逐漸擴(kuò)大，同時(shí)內(nèi)視錐畫(huà)面會(huì)隨著焦點(diǎn)的變化逐漸模糊。

圖4　焦距、焦點(diǎn)變化對(duì)內(nèi)視錐的影響

4.2 實(shí)驗(yàn)結(jié)論

實(shí)驗(yàn)表明，利用本方案在虛擬攝制現(xiàn)場(chǎng)使用多臺(tái)追蹤設(shè)備進(jìn)行追蹤時(shí)，如果某一組數(shù)據(jù)出現(xiàn)不穩(wěn)定或信號(hào)丟失的情況，本方案最終輸出的位姿元數(shù)據(jù)依然可保證穩(wěn)定且平滑地輸出數(shù)據(jù)，同時(shí)還可聚合鏡頭元數(shù)據(jù)，最終為渲染引擎提供一組穩(wěn)定的鏡頭和位姿元數(shù)據(jù)，解決了虛擬攝制現(xiàn)場(chǎng)追蹤設(shè)備不穩(wěn)定，無(wú)法同時(shí)獲得鏡頭和位姿元數(shù)據(jù)的問(wèn)題。

5 結(jié)語(yǔ)

本文通過(guò)對(duì)虛擬攝制中攝影機(jī)追蹤與跟焦技術(shù)的研究與探索，針對(duì)目前虛擬攝制中位姿與鏡頭元數(shù)據(jù)無(wú)法有效聚合的問(wèn)題，提出了一種虛擬攝制中鏡頭和位姿元數(shù)據(jù)聚合技術(shù)方案。該技術(shù)方案通過(guò)接收與解析拍攝現(xiàn)場(chǎng)追蹤設(shè)備與跟焦設(shè)備的相關(guān)元數(shù)據(jù)，通過(guò)不同的聚合策略，實(shí)時(shí)計(jì)算、聚合輸出穩(wěn)定且平滑的攝影機(jī)鏡頭和位姿元數(shù)據(jù)信息。實(shí)驗(yàn)測(cè)試在無(wú)錫5G智慧虛擬攝影棚中進(jìn)行，模擬真實(shí)拍攝場(chǎng)景中的攝影機(jī)運(yùn)動(dòng)軌跡及追蹤設(shè)備數(shù)據(jù)不穩(wěn)定、易丟失等問(wèn)題，驗(yàn)證了本文所提聚合算法的可行性與穩(wěn)定性。該技術(shù)可有效解決當(dāng)下攝影機(jī)鏡頭和位姿元數(shù)據(jù)獨(dú)立接入虛擬攝制系統(tǒng)，無(wú)法拆分、聚合及無(wú)法在不同方案間熱切換的問(wèn)題，同時(shí)解決了單一攝影機(jī)追蹤設(shè)備不穩(wěn)定、數(shù)據(jù)傳輸易丟包的問(wèn)題，為降低虛擬攝制設(shè)備成本、提升虛擬攝制效率、增強(qiáng)拍攝現(xiàn)場(chǎng)創(chuàng)作靈活性、保證拍攝現(xiàn)場(chǎng)創(chuàng)作穩(wěn)定性提供了可靠保障。

未來(lái)筆者將會(huì)進(jìn)一步提升聚合算法的穩(wěn)定性與實(shí)時(shí)性，并逐步支持更多追蹤設(shè)備與跟焦設(shè)備，提出能兼容更多設(shè)備并具有更好魯棒性的鏡頭和位姿元數(shù)據(jù)聚合技術(shù)，進(jìn)一步提升虛擬攝制創(chuàng)作效率與創(chuàng)作質(zhì)量。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] Epic Games. The Virtual Production Field Guide: a new resource for filmmakers [EB/OL].(2019?07?25) [2024?09?25].https://www.unrealengine.com/es-ES/blog/virtual-production-field-guide-a-new-resource-for-filmmakers.

[2] LAMA R. The Future of Virtual Backgrounds in Filmmaking[D]. Prague: Academy of Performing Arts in Prague, 2024.

[3] BYUN H W. Interactive vfx system for tv virtual studio[J]. Journal of the Korea Computer Graphics Society, 2015, 21(5): 21?27.

[4] SHAN X, CHUNG J. Comparison of the Characteristics of Green Screen and LED Wall in Virtual Production System[J]. International journal of advanced smart convergence, 2022, 11(2): 64?70.

[5] HELZLE V, SPIELMANN S, TROTTNOW J. Green screens, green pixels and green shooting[M]//ACM SIGGRAPH 2022 Talks, 2022: 1?2.

[6] 陳軍,趙建軍,李想.基于LED背景墻的電影虛擬化制作系統(tǒng)集成與研發(fā)[J].北京電影學(xué)院學(xué)報(bào),2021(07):112?121.

[7] 耿天樂(lè),趙建軍,常一孜,等.LED虛擬攝制實(shí)踐中存在的問(wèn)題及應(yīng)對(duì)策略研究[J].現(xiàn)代電影技術(shù),2023(09):18?26.

[8] LAGUNA G. Unreal Engine Enhances Virtual Production Workflows With NVIDIA Rivermax and BlueField [EB/OL]. (2023?04?05) [2025?01?13].https://blogs.nvidia.com/blog/unreal-engine-rivermax-bluefield/.

[9] 陳軍,趙建軍,盧柏宏.基于LED背景墻的電影虛擬化制作關(guān)鍵技術(shù)研究[J].現(xiàn)代電影技術(shù),2021(08):17?25.

[10] 劉丙凱.虛擬演播室中攝像機(jī)跟蹤與定位系統(tǒng)研究[D].南京：南京理工大學(xué),2017.

[11] 馬金秀.Vicon追蹤系統(tǒng)在LED虛擬攝制中的應(yīng)用研究[J].現(xiàn)代電影技術(shù),2023(03):34?39.

[12] 尹娟. 六自由度電磁定位跟蹤系統(tǒng)[D]. 天津:天津大學(xué),2012 (12).

[13] Unreal Engine. In?Camera VFX Overview [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/in-camera-vfx-overview-in-unreal-engine?application_version=5.4.

[14] British Broadcasting Corporation. BBC Research & Development [EB/OL]. (2024?01?01) [2024?09?25]. https://www.bbc.co.uk/rd.

[15] Virtual Reality Peripheral Network. Virtual Reality Peripheral Network ? Official Repo [EB/OL]. (2023?06?23) [2024?09?25]. https://github.com/vrpn/vrpn/wiki.

[16] Unreal Engine. Using Live Link Data [EB/OL]. (2024?04?23) [2025?01?13]. https://dev.epicgames.com/documentation/en-us/unreal-engine/using-live-link-d

ata-in-unreal-engine?application_version=5.4.

[17] Ncam Technologies. Ncam Mk2 Camera Bar [EB/OL]. (2021?01?01) [2024?09?25].https://www.ncam-tech.com/hardware.

[18] Mo?Sys Engineering Ltd. Mo?Sys StarTracker [EB/OL]. (2024?01?01) [2024?09?25]. https://www.mo-sys.com/products/startracker.

[19] Movcam Tech. Co., LTD. Movcam MCS?2 [EB/OL]. (2024?01?01) [2024?09?25] .https://www.movcam.com/mcs2.

[20] Epic Games. Unreal Engine [EB/OL].[2024?09?25]. https://www.unrealengine.com.

[21] 無(wú)錫國(guó)家數(shù)字電影產(chǎn)業(yè)園. 5G智慧虛擬攝影巨幕，顛覆傳統(tǒng)拍攝新紀(jì)元！[EB/OL]. (2023?06?23) [2024?09?25]. http://wuxistudio.com/index.php?s=/article/detail/id/962.html.

【項(xiàng)目信息】中國(guó)電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所）基本科研業(yè)務(wù)費(fèi)項(xiàng)目“LED虛擬攝制系統(tǒng)中的鏡頭和位姿元數(shù)據(jù)聚合研究”(2023?DKS?9)。