火山引擎智能3D視頻啟動商業(yè)化，計劃落地直播應(yīng)用

火山引擎多媒體實驗室公布全新視頻形態(tài) —— 智能3D視頻商業(yè)化方案，啟動多場景商業(yè)化，包括將在抖音直播啟動落地探索。

文｜牛慧

編｜趙艷秋

過去十幾年，視頻技術(shù)的核心命題只有一個，如何把畫面拍得更清楚、傳得更快。但在2025年，一個新的問題開始浮現(xiàn)，如果不再由鏡頭替我們選擇視角，會發(fā)生什么？當(dāng)觀眾“走進”畫面、繞著人物觀看，用自己的位置參與敘事，視頻是否會從內(nèi)容，變成一個空間

在上周舉辦的火山引擎FORCE原動力大會上，視頻云展區(qū)給出了一個答案。火山引擎多媒體實驗室首次對外公布了一種全新的視頻技術(shù)形態(tài)——智能3D視頻的商業(yè)化方案這支團隊也正是多項抖音視頻技術(shù)的源頭。據(jù)悉，該技術(shù)已啟動多場景商業(yè)化推進，其中包括計劃于2026年在直播場景中的實際落地探索。

01

從看視頻到“走進畫面”

展臺上，一部手機上一張普通照片已被轉(zhuǎn)換成一張3D照片。我輕輕晃動手機，能看到人物周邊更多的街區(qū)細節(jié)。這讓我想起在得物或鏈家App里看商品和房源的體驗，鞋子可以被旋轉(zhuǎn)“端詳”，房子也能被立體探索。不同的是，這里的視角以我為中心在移動，而App上那些則以物體為軸心。

展區(qū)內(nèi)，一臺普通筆記本電腦上跑著五個Demo，畫面里是五位樂手，分別演奏古箏、小提琴和鋼琴，看來這群多媒體實驗室的小伙伴都很熱愛音樂！在我日常觀看的2D視頻中，比如馬克西姆演奏的鋼琴神曲《出埃及記》，只能被動地跟著鏡頭走，看他俊朗的面部表情，手部或有力、或疾速的敲擊，背部的起伏，以及周圍身著長裙的的小提琴手與舞臺燈光的配合。

但在這里，我可以自己“操控視角”。我可以切換到俯視視角，看演奏者手部的流暢動作；也可以從背后觀察他在某一樂章中身體的起伏；從側(cè)面或正面，看他與音樂完全沉浸在一起的表情。如果是一個樂團，我還可以隨時移到周邊樂手身上，看他們的演奏細節(jié)。

接著，我戴上一臺字節(jié)PICO VR。在我面前，一位小提琴手站在客廳中央，演奏著一段悠揚的樂曲。桌上擺著紅酒，身后的落地窗外是綠色草坪和羅馬柱風(fēng)格的大理石建筑。我“走”近他，看見拉弓時手指和琴弦之間細微的顫動；又“走”到他左側(cè)不遠處，音樂從對應(yīng)的空間方位傳來。這種體驗突然讓我產(chǎn)生了一種沉浸感，就像是周末正在參加一場私人Party，環(huán)境優(yōu)美，氛圍輕松。

實驗室的小伙伴告訴我，這些Demo意味著，這套技術(shù)已經(jīng)可以用于制作六自由度（6DoF）視頻內(nèi)容，比如短劇、互動視頻。

那么，什么是6DoF視頻？

如果你戴過VR設(shè)備，可能有過這樣的體驗，你只能原地轉(zhuǎn)頭，看看四周。6DoF則名為“六自由度空間”。有部電影叫《六度空間》，它講述了人與人之間社會關(guān)系的擴展，而6DoF說的是空間的擴展，比如前面的小提琴演奏者，他不僅可以在前后、左右、上下三個方向上移動，還可以有搖頭、點頭、歪頭三類旋轉(zhuǎn)自由度。有了6DoF，我們就可以在空間里“走動”、“靠近”、“繞著觀察”。

這會帶來非常新奇的內(nèi)容形態(tài)。比如在懸疑短劇中，觀眾可以“置身其中”，如果你懷疑某人是兇手，可以從不同角度反復(fù)觀察他的動作與表情；看到彈幕里有人提到某個細節(jié)，也可以立刻回應(yīng)“你是從哪個角度看到的”。

還有一類是情感層面的需求。我們可以把家里的寵物制作成6DoF視頻保存下來，甚至結(jié)合大語言模型做互動。當(dāng)寵物有一天不得不離開我們，我們可以隨時拿出來觀看。也許在未來，隨著技術(shù)進一步進步，我們還能“撫摸”它。

在展區(qū)的另一側(cè)，是全息通信與實時空間視頻的演示。一位多媒體實驗室的小伙伴坐在一塊白色屏幕前，面前擺放著5臺相機。這并不是普通相機，它們通過有線將傳感器連接，形成一組同步相機系統(tǒng)。當(dāng)然，如果需要360度拍攝，實驗室的輕量化技術(shù)僅需12臺相機就能完成全域覆蓋。

小伙伴沖著鏡頭打招呼，示意我們看不遠處一個全息屏幕，他的動作已經(jīng)實時展示在全息屏幕上。這背后是一系列“動作”：專業(yè)相機實時采集畫面，傳輸給一臺普通筆記本電腦，在這里上傳云端，在云端實時重建，快速構(gòu)建出這個立體場景，并通過CDN下發(fā)到觀眾的終端，實時渲染，實現(xiàn)觀眾從任意角度觀看。

現(xiàn)場的全息屏幕像一臺蘋果顯示器大小。當(dāng)這個全息屏幕做到1:1尺寸時，這套技術(shù)將接近真實的“面對面交流”，它有望在遠程會診、異地探視等場景中，帶來前所未有的臨場感。

02

“空間視頻”在探索各類應(yīng)用

火山引擎多媒體實驗室的這些技術(shù)成果，本質(zhì)上都在解決前沿視頻技術(shù)長期存在的三大難題，技術(shù)成熟度、制作與算力成本，以及工程化落地能力。它們的目標(biāo)不是停留在論文或Demo，而是讓空間視頻真正進入可規(guī)模應(yīng)用的現(xiàn)實場景。

實際上，2025 年正成為空間視頻與全息通信加速落地的時間點。海外廠商中，谷歌動作尤為明顯，其早些年已成立獨立產(chǎn)品線Google Beam，押注新一代視頻方向，今年將其接入谷歌會議系統(tǒng)，聯(lián)合惠普推出專用設(shè)備，率先切入跨國會議場景。蘋果則在端側(cè)實現(xiàn)基于單目視覺的6DoF能力，但目前該能力主要適用于靜態(tài)場景。

火山引擎多媒體實驗室則跑通了空間視頻直播場景，并實現(xiàn)了僅依賴一個或少數(shù)普通攝像頭生成自由視角6DoF視頻的能力，具備大眾化應(yīng)用條件。可以說，全球視頻技術(shù)的演進正發(fā)生在同一節(jié)奏點上。

近年來，空間視頻已零星出現(xiàn)在體育賽事、游戲和文化內(nèi)容中，如世界杯轉(zhuǎn)播、唐宮夜宴3D空間視頻等。其商業(yè)潛力早已被看到，但此前受限于技術(shù)不成熟與高昂成本，未能規(guī)模化落地。隨著算法、工程化和硬件成本的快速下降，市場機構(gòu)預(yù)測，到2030年，空間視頻相關(guān)市場規(guī)模有望達到千億美元量級，覆蓋直播、點播和全息通信等多個方向。

在直播場景中——直播競爭的關(guān)鍵在用戶進入直播間后的“黃金幾秒”，空間視頻讓觀眾可以晃動手機、“走進”直播間，自然延長了停留時長與互動深度。

在抖音秀場直播中，粉絲也不再受限于扁平的畫面，能全方位捕捉主播的靈動舞姿與細膩神情，獲得如同面對面互動的沉浸式陪伴。

在點播場景中——這里的“點播”，不是觀眾點播影片，而是內(nèi)容創(chuàng)作者創(chuàng)作自由視角內(nèi)容。當(dāng)內(nèi)容創(chuàng)作者制作了6DoF的博物館內(nèi)容，觀眾就可以按自己的節(jié)奏探索空間，有人沿路線參觀，有人貼近展柜看細節(jié)，有人會在評論區(qū)互動，“這件青銅器內(nèi)的銘文從哪個角度能看到？”這些會激發(fā)分享和二次傳播。

在2D內(nèi)容高度同質(zhì)化的當(dāng)下，隨著AI眼鏡和VR設(shè)備逐步普及，市場迫切需要更具新鮮感和互動性的3D內(nèi)容。更重要的是，當(dāng)創(chuàng)作者以更低成本拍真人內(nèi)容，替代過去略顯生硬的純數(shù)字人，使舞蹈、懸疑短劇、沉浸式密室逃脫等內(nèi)容的真實感大幅提升，你會體驗到舞蹈的美感、旅館中“女鬼”的驚嚇感，尤其適合演唱會等OGC以及娛樂、媒體類PGC內(nèi)容。

在全息通信場景中——空間視頻讓遠程交流重新回到“面對面”。在一些演示中，1:1 的全息屏幕讓遠端的古箏老師仿佛走出畫框，與學(xué)生直接互動。

這種體驗為遠程會診、特殊教育、企業(yè)會議和高價值客戶服務(wù)提供了新的可能。比如在企業(yè)協(xié)作中，參會者展示的是懸浮的全息沙盤，遠端專家能共同查看三維模型并進行標(biāo)注，這在地質(zhì)勘探領(lǐng)域已經(jīng)發(fā)生。在心理或醫(yī)療場景下，全息通信既保留真實的微表情和肢體反饋，又降低患者的心理壓力；在金融、保險和奢侈品服務(wù)中，它更接近一次線下面談，有助于建立信任。

全息通信從高端場景起步。目前火山引擎方案實現(xiàn)了消費級帶寬（<10mbps），高清晰度高保真，采集成本/整體設(shè)備成本實現(xiàn)大幅度下降。隨著設(shè)備和帶寬門檻持續(xù)降低，這類應(yīng)用也正從少數(shù)高端場景，走向更廣泛的商業(yè)領(lǐng)域。

03

空間視頻如何實時“跑起來”

火山引擎多媒體實驗室的這套技術(shù)，最早是為點播場景服務(wù)，比如春晚或體育賽事大型舞臺的“子彈時間”，畫面定格在某一瞬間，觀眾可以360度觀看。團隊進一步思考，既然能把一個瞬間做成3D，能不能把每一個瞬間都做成3D，讓觀眾來選擇視角？于是逐步演化出了現(xiàn)在的空間視頻技術(shù)。

而這些的背后是一整套技術(shù)鏈路與工程化能力的突破。火山引擎多媒體實驗室團隊投入近五年，在采集層、傳輸層和呈現(xiàn)層三個關(guān)鍵節(jié)點實現(xiàn)系統(tǒng)性突破。

在采集層——

4DGS（四維高斯?jié)姙R）是動態(tài)場景重建與渲染的核心算法。相較3D，它多了時間維度，用大量帶有位置、大小、顏色和透明度等屬性的“高斯點”，通過疊加方式構(gòu)建起會隨時間變化的三維場景。這種方式有點像張大千山水畫中的“潑彩”，將顏料“潑”“染”到畫布上，自然擴散疊加，形成山水畫面，而不是勾勒成形。

高斯?jié)姙R是當(dāng)前發(fā)展極快的方向，但傳統(tǒng)方案通常依賴數(shù)十分鐘的離線優(yōu)化，難以應(yīng)對實時場景。火山引擎視頻云結(jié)合大模型技術(shù)，將人體動態(tài)重建加速到毫秒級，在A10顯卡上實現(xiàn)了 30fps以上的實時4DGS 重建，成為業(yè)內(nèi)首個支持實時4DGS直播的方案。

動態(tài)場景的另一大難點是長時序穩(wěn)定性。傳統(tǒng)方法在長時間播放時容易出現(xiàn)人物輪廓抖動、畫面閃爍等問題。實驗室的Dynamic GS技術(shù)，提出“進化式（Evolving）”3D高斯重建框架，使高斯點隨場景變化自適應(yīng)地生長、分裂與消亡，提升穩(wěn)定性。同時，通過幾何與外觀解耦，人物不再被拍攝時的燈光“鎖死”，能在虛擬環(huán)境中重新打光，生成更加逼真的光影效果。

在攻克專業(yè)設(shè)備的高質(zhì)量重建方案后，火山引擎視頻云進一步挑戰(zhàn)普適性場景，用單目攝像頭生成自由視角。

團隊首創(chuàng)了變形場高斯，解決“只用一臺普通攝像頭拍動態(tài)場景，如何重建清晰三維世界”的行業(yè)難題。傳統(tǒng)NeRF方法依賴從2D畫面逆向推斷三維結(jié)構(gòu)，構(gòu)建的動態(tài)場景容易模糊失真；而變形場高斯采用“前向映射”，直接在三維空間中建模物體如何運動，再投影到畫面，在權(quán)威數(shù)據(jù)集上實現(xiàn)了10+的PSNR提升。

團隊還引入生成式大模型技術(shù)，并與抖音團隊合作，行業(yè)首發(fā)“空間視頻直播”，只用一個攝像頭拍攝內(nèi)容，也能生成可前后左右走動、自由觀看的6DoF視頻空間。這樣，空間視頻從昂貴、專業(yè)的拍攝工程，變成普通創(chuàng)作者可用的表達工具，也讓“全息通話”首次具備大眾化落地條件。

在傳輸層——

在重建之后，還要解決傳輸問題。高斯數(shù)據(jù)天然不適合網(wǎng)絡(luò)傳輸，實驗室將其轉(zhuǎn)化為標(biāo)準(zhǔn)視頻流，直接復(fù)用現(xiàn)有視頻傳輸與解碼體系。通過壓縮技術(shù)，空間視頻的傳輸帶寬被壓縮到10Mbps以下，而部分同類方案仍需要60Mbps以上，且已實現(xiàn)PC、VR、手機等多終端播放。

這其中的核心在于基于渲染重要性的低損耗壓縮策略。高斯點數(shù)量龐大、屬性復(fù)雜，研發(fā)人員通過深度學(xué)習(xí)感知哪些區(qū)域?qū)σ曈X最關(guān)鍵，對核心區(qū)域重點采樣，在保證畫質(zhì)的同時大幅減少點數(shù)。這樣，在最高500倍壓縮率下，畫質(zhì)損失極低（PSNR < 3dB）。

具體實現(xiàn)上，一類方法將高斯點按規(guī)則投影到2D平面，生成可壓縮的視頻序列；另一類方法對三維空間進行切片，將不同空間塊和屬性映射為規(guī)則視頻流。兩條路線的共同點是，最大化復(fù)用成熟的視頻軟硬件能力。

在呈現(xiàn)層——

在呈現(xiàn)層，空間音頻與空間視頻的融合進一步提升沉浸體驗。音頻是構(gòu)成“聲畫一體”6DoF體驗的關(guān)鍵要素，在技術(shù)上，空間音頻基于頭相關(guān)傳輸函數(shù)（HRTF）與房間聲學(xué)建模，讓聲音像現(xiàn)實世界一樣具備方向、距離與空間感，畫面與聲音的位置始終對齊。用戶轉(zhuǎn)身看向說話的人，聲音自然從對應(yīng)方向傳來；向前靠近，聲音變得清晰；被物體遮擋時，聲音也隨之減弱。延遲極低，形成高度真實的臨場感。

這些技術(shù)突破已獲得國際學(xué)術(shù)界廣泛認(rèn)可。如4D GS研究成果入選SIGGRAPH 2025 Emerging Technologies；Dynamic GS 相關(guān)工作連續(xù)被CVPR、SIGGRAPH等頂級會議收錄。4DGS壓縮算法相關(guān)技術(shù)已形成9篇國際標(biāo)準(zhǔn)化組織MPEG技術(shù)提案，其中4篇納入MPEG探索模型或核心實驗。

壓縮、傳輸與呈現(xiàn)能力的突破，使6DoF空間視頻真正具備了實時分發(fā)和規(guī)模化部署條件，也讓它從實驗室走向可落地的產(chǎn)品形態(tài)。目前，全息通信已提供全套解決方案，點播和直播已對外提供關(guān)鍵點技術(shù)展示。

對火山引擎而言，空間視頻并不是一次炫技式發(fā)布，而是在為下一代視頻基礎(chǔ)設(shè)施鋪路。當(dāng)采集不用依賴昂貴設(shè)備，傳輸不需要專線網(wǎng)絡(luò)，呈現(xiàn)也能在手機等普通終端完成，空間視頻將逐步具備進入規(guī)模化市場。