12K VR制播技術(shù)落地！廣電視聽(tīng)中長(zhǎng)期科技計(jì)劃項(xiàng)目亞運(yùn)會(huì)+文旅應(yīng)用驚艷亮相

來(lái)源： 科技視聽(tīng)

在廣播電視和網(wǎng)絡(luò)視聽(tīng)技術(shù)飛速迭代的當(dāng)下，VR技術(shù)的融合應(yīng)用成為行業(yè)高質(zhì)量發(fā)展的重要突破口。由國(guó)家廣播電視總局廣播電視科學(xué)研究院牽頭，中央廣播電視總臺(tái)超高清視音頻制播呈現(xiàn)國(guó)家重點(diǎn)實(shí)驗(yàn)室、廣東廣播電視臺(tái)等多家單位聯(lián)合參與的廣播電視和網(wǎng)絡(luò)視聽(tīng)中長(zhǎng)期科技計(jì)劃項(xiàng)目——“VR視頻融合制播技術(shù)研究與應(yīng)用示范”，已取得一系列實(shí)打?qū)嵉募夹g(shù)突破與應(yīng)用成果。

項(xiàng)目聚焦VR視音頻制作核心痛點(diǎn)，重點(diǎn)開(kāi)展VR視音頻制作工藝技術(shù)研究、質(zhì)量評(píng)估機(jī)制建立、高舒適度拍攝制作技術(shù)系統(tǒng)研發(fā)及FOV視角編解碼算法優(yōu)化，最終實(shí)現(xiàn)技術(shù)成果在廣電與網(wǎng)絡(luò)視聽(tīng)領(lǐng)域內(nèi)容生產(chǎn)、分發(fā)傳播、終端呈現(xiàn)全環(huán)節(jié)的應(yīng)用示范。

核心突破

構(gòu)建廣播級(jí)VR制播工藝體系

這套超高清VR制播工藝體系涵蓋信號(hào)采集、制作、傳輸、終端呈現(xiàn)全流程，包含VR全景直播制作、多機(jī)位切換、全景視頻縫合包裝等關(guān)鍵環(huán)節(jié)。

此外，還涉及三維聲采集、沉浸式呈現(xiàn)，可實(shí)現(xiàn)從VR視頻流采集，到電視端、央視頻新媒體端分發(fā)，再到VR眼鏡等終端觀看的全鏈路覆蓋。

圖1 超高清VR制播工藝體系框架

技術(shù)升級(jí)

兩大系統(tǒng)+核心算法，夯實(shí)VR制播基礎(chǔ)

在系統(tǒng)研發(fā)層面，項(xiàng)目針對(duì)性打造兩大核心系統(tǒng)，填補(bǔ)廣電級(jí)VR制播技術(shù)空白：

VR視頻直播制作系統(tǒng)

涵蓋采集、傳輸、切換、在線包裝、收錄六大核心模塊，明確直播前期準(zhǔn)備、預(yù)演、制作、收錄分發(fā)四大關(guān)鍵階段，實(shí)現(xiàn)VR直播的規(guī)范化、高效化運(yùn)作。

VR演播室制作系統(tǒng)

通過(guò)全景攝像機(jī)采集拍攝超高清全景音視頻，依托5G、專(zhuān)線等網(wǎng)絡(luò)傳輸至包裝渲染引擎，將全景信號(hào)與虛擬演播室跟蹤攝像機(jī)信號(hào)合成渲染，最終實(shí)現(xiàn)真實(shí)與虛擬場(chǎng)景的無(wú)縫融合，提升節(jié)目呈現(xiàn)質(zhì)感。

圖2 廣播級(jí)VR視頻拍攝制作工藝體系

在核心算法上，項(xiàng)目深耕FOV（Field of View，可視區(qū)域）編解碼技術(shù)，研發(fā)出12K VR端到端實(shí)時(shí)視頻系統(tǒng)。該系統(tǒng)基于Tile編碼處理，優(yōu)化MPEG OMAF標(biāo)準(zhǔn)。

其實(shí)現(xiàn)視角切換時(shí)延＜100ms（人眼無(wú)感知），碼率節(jié)省超100Mbps，大幅降低計(jì)算與部署成本，讓高質(zhì)量VR技術(shù)更具落地可行性。

圖3 基于視角的超高分辨率全景視頻編解碼端到端流程

應(yīng)用示范

多場(chǎng)景落地，解鎖VR視聽(tīng)新體驗(yàn)

技術(shù)的價(jià)值在于應(yīng)用，項(xiàng)目已在杭州亞運(yùn)會(huì)、未來(lái)電視、南方新媒體等3家以上媒體機(jī)構(gòu)，開(kāi)展VR視頻融合制播及12K FOV VR編解碼系統(tǒng)應(yīng)用示范，打造了多個(gè)標(biāo)桿案例。

杭州亞運(yùn)會(huì)霹靂舞VR直播

在2023年杭州亞運(yùn)會(huì)霹靂舞項(xiàng)目中，項(xiàng)目組創(chuàng)新設(shè)計(jì)多視角VR直播方案，推出VIP觀賽視角、觀眾席視角、裁判視角三大模式。

VIP視角讓觀眾近距離感受舞者動(dòng)作細(xì)節(jié)，觀眾席視角還原現(xiàn)場(chǎng)熱烈氛圍，裁判視角則助力觀眾深入理解比賽策略與技術(shù)要點(diǎn)，全方位提升觀賽沉浸感。

圖4 霹靂舞項(xiàng)目VR直播畫(huà)面

12K文旅宣傳片《江西印象》

此外，項(xiàng)目組依托VR全景視頻精編制作系統(tǒng)，打造了12K分辨率文旅宣傳片《江西印象》，聚焦杭州亞運(yùn)會(huì)相關(guān)文旅及江西本地風(fēng)光。

從前期踏勘取景、高清晰度VR拍攝，到后期剪輯拼接、調(diào)色、音效搭配，全程遵循標(biāo)準(zhǔn)化工藝，生動(dòng)呈現(xiàn)江西自然風(fēng)光、歷史遺跡與現(xiàn)代發(fā)展風(fēng)貌，讓觀眾通過(guò)VR技術(shù)沉浸式領(lǐng)略文旅魅力。

圖5 《江西印象》Raw格式VR素材效果

“VR視頻融合制播技術(shù)研究與應(yīng)用示范”項(xiàng)目的落地，不僅突破了廣電級(jí)VR制播核心技術(shù)瓶頸，構(gòu)建了標(biāo)準(zhǔn)化工藝體系，更通過(guò)多場(chǎng)景應(yīng)用示范，推動(dòng)VR技術(shù)與廣播電視、網(wǎng)絡(luò)視聽(tīng)行業(yè)深度融合。未來(lái)，隨著相關(guān)技術(shù)的進(jìn)一步優(yōu)化與推廣，將持續(xù)豐富視聽(tīng)內(nèi)容形態(tài)，為行業(yè)高質(zhì)量發(fā)展注入新動(dòng)能。

好文共賞請(qǐng)轉(zhuǎn)發(fā) 有話要說(shuō)請(qǐng)留言