【精選】芒果TV大型直播沉浸式互動系統的設計與實現

本文精選自《廣播與電視技術》2025第12期，閱讀原文請訪問“廣電獵酷”小程序“期刊在線”。

融媒體發展推動綜藝節目制作向直播模式轉型，增強了真實性與沉浸感。作為行業標桿，芒果 TV 致力于創新直播互動體系，重點打造了兩種互動模式 ：“云導播”多屏同看，利用“1+3”屏幕布局，賦予用戶導播權，可自由切換機位上屏，實現多屏同播與無縫切換體驗；“云圍觀”沉浸式直播互動，將節目現場映射至直播間，實時采集觀眾畫面，運用 AI 分析情緒并預測走向，同步渲染氛圍，并實時連接線下投票和線上查票，顯著提升直播真實性。本文將重點探討這兩種創新互動模式在芒果 TV 的設計與實現。

本文作者：

胡奕涵，賀子悅，姚智健，盧海波

湖南快樂陽光互動娛樂傳媒有限公司

第一作者簡介：

胡奕涵（1991年—），女，芒果TV平臺技術中心總經理，主要從事融合媒體、智能交互技術、交互式流媒體方面的研究，曾參與過芒果超級直播生態打造、4K超高清直播、大小屏智聯產品“邊看邊練”、首個電視彈幕等項目，胡奕涵工作室（超級直播核心技術研發工作室）獲評2024年湖南省直勞模和工匠人才創新工作室。

[本文獻信息]

胡奕涵，賀子悅，姚智健，盧海波. 芒果TV大型直播沉浸式互動系統的設計與實現[J]. 廣播與電視技術, 2025,Vo1.52(12).

芒果TV大型直播

沉浸式互動系統的設計與實現

NO.1

“云導播”多屏同看系統

1.1 “云導播”多屏同看系統基礎架構

直播間“云導播”多屏同看系統從播控處理、CDN分發、終端播出到用戶交互全鏈路進行了多項技術研發，滿足大型直播節目對低成本、高安全、敏捷性和創新互動的急切訴求，取得了在用戶畫質、設備性能及帶寬消耗之間的最佳平衡。

1.2 多窗口直播播控技術搭建

如圖1所示，該播控系統基于分層設計的輕量化IP播控架構，信號依次經編碼、延時、信源應急、轉碼、分發應急及播出層處理，其中信源層與分發層的應急模塊協同實現直播信號的故障快速響應。

前4層均通過IP編碼器的能力進行挖掘實現，減少字幕處理系統、延時設備、IP切換器、SDN切換系統等設備的投入，搭建輕量化的IP播控處理系統，顯著降低了多窗口直播新媒體播出系統的搭建成本和實施難度。

1.3 CDN分發層控制

CDN分發層通過多方協同調度，從時間同步、流傳輸控制、關鍵幀處理到CDN節點同步以及終端播放同步，全面保障了多機位直播流的同步效果，為用戶提供高質量的直播觀看體驗。

1.4 客戶端播放核心實現方案

如圖2所示，“1+3”機位同播實現，采用了多播放器播放技術，最多同時渲染并播放4路直播流，用戶自主選擇不同機位上屏；同時自研終端無縫瞬切導播系統，實現切換機位不中斷不黑屏。針對設備各型屏幕，自研全場景跨屏動態適配矩陣技術，實現多窗口在包括折疊屏的各屏幕形態下的無縫切換和布局顯示。

面對多個播放器同播帶來的帶寬成本和設備性能壓力，技術實施過程中開發出多維均衡調優模型。編碼格式采用H.265，使用較小碼率實現相同畫質 ；性能監控上采用設備分級系統判別每個設備性能上限，綜合調控機位個數上限、特效展示幀率等，確保視頻穩定播出。

NO.2

“云圍觀”沉浸式直播互動系統

2.1 “云圍觀”沉浸式直播互動系統架構

系統架構如圖3所示，本系統整體分為異地多云長連接信令服務、業務層、基礎服務及數據中間件。依托完善的運維體系和微服務軟件架構設計，本系統不僅支持橫向業務水平擴展，同時通過模塊化封裝和監控體系，支持縱向業務動態擴容。其中長連接信令服務作為通道，提供穩定且實時的客戶端與服務端數據傳輸能力，業務層可根據需要進行任意擴展，如送禮、彈幕、AI情緒映射、投票等互動。

2.2 搭建穩定高效的信令通道

為支撐百萬級用戶端能夠實時渲染直播現場觀眾情緒、投票互動等業務場景，通過分析調研使用輕量級 MQTT長連接協議進行通信。該協議采用發布/訂閱模式，客戶端和服務端發布消息到特定主題，減少連接建立開銷，實現更快更穩定的數據傳輸。如圖4所示，長連接信令服務設計為連接層、數據接收和處理層。

2.3 沉浸式互動物理空間到虛擬空間的建模

為打造“云圍觀”沉浸式直播互動體系，核心在于將節目現場舞臺和觀眾座席克隆至線上直播間，使線上觀眾能身臨其境感受節目內容。在直播間內將播放器當作節目舞臺位置，通過線下采集，圍繞舞臺完成直播間觀眾座席建模。技術上使用雙重坐標映射機制實現物理空間到虛擬空間的精確轉換，將座位狀態序列轉化為 bitmap 以減少傳輸網絡消耗，將建模后的數據持久化傳輸至客戶端完成映射。

2.4 沉浸式互動觀眾情緒采集分析和渲染

如圖5所示，完成座席建模后，節目現場分區域布置多路攝像采集觀眾席面部表情、肢體動作。情緒采集程序通過直播流拉取，按秒截幀采集觀眾圖像進行圖像增強、去噪等預處理。

情緒分析模型的建設通過收集歷史媒資數據，邀請專業人士對這些數據進行情緒標注，如悲傷、開心、鼓掌、起立、流淚等，構建情緒標注數據集，利用卷積神經網絡等深度學習算法，對標注好的數據集進行訓練，使模型能夠自動提取關鍵特征用于情緒識別。

最后利用 AI 情緒模型運算分析，以及前后幀矢量元素預測，實時將觀眾動作、表情元數據結構化，再對采集分析得到的情緒數據與座席映射后持久化存儲。情緒推送業務使用長連接信令服務將情緒數據推送到端，端側接收后利用視覺特效、三維震動等沉浸式交互手段，讓線上觀眾能夠直觀地感受到現場情緒氛圍。

2.5 沉浸式互動應用拓展案例

為將節目現場每個觀眾投票信息按時間完整依次渲染客戶端，通過間隔一定秒數收集投票結果的方式對信息進行推送。因為要將成百上千個觀眾座位、投票結果同時面向直播間百萬級用戶，會需要瞬時巨大的服務器網絡帶寬，為避免造成服務器帶寬壓力，本系統對收集到的結果快速聚合生成文件，并上傳至文件存儲服務器，同時手動進行 CDN 預熱回源，再將文件下載地址推送至客戶端，客戶端收到消息后錯峰請求，以達到減少服務器帶寬壓力并降低成本的目的。

NO.3

行業應用與創新實踐

芒果 TV 通過“云導播”多屏同看與“云圍觀”沉浸式直播互動系統，已在多個頭部綜藝節目直播與大型晚會直播中實現規模化應用，形成技術賦能內容、內容反哺技術的良性循環。

3.1 “云導播”多屏同看實踐

芒果 TV 通過“云導播”多屏同看技術，讓用戶化身導播，重構觀看直播的交互范式。該功能采用“1主機位+3 自選機位”的積木式組合模式，如圖6所示，支持用戶自主切換藝人表演、后臺 reaction、直拍特寫等視角，實現多屏同步播放與無感切換。截至2025年6月，該技術已成功應用于《歌手2025》《乘風2024》等頭部節目及跨年晚會共超 100 場次，覆蓋用戶量級遠超千萬，單場人均切換機位次數達 18 次，帶動觀看時長提升 60%。這種“用戶主導播”的模式不僅提升了內容消費深度，更推動行業形成了“直播 + 實時互動”的新標準。

3.2“云圍觀”沉浸式直播互動實踐

如圖7所示，在《歌手 2025》部署 AI 情緒采集系統實時捕捉現場 500 名觀眾聽審團的表情與肢體動作，利用豐富的訓練數據以及畫質增強、去噪等處理達到極高的識別準確率，最終通過長連接信令服務推送至線上直播間，觸發視覺特效、三位震動達到同頻共振。

NO.4

技術創新點

4.1“云導播”多屏同看系統技術創新點

1. 終端無縫瞬切導播系統。為確保主副窗口切換過程中播放不中斷、不黑屏，芒果 TV 技術團隊自研了終端無縫瞬切導播系統，對主副機位的切換過程智能調度、無感切換，做到了切換過程播放零延遲、不黑屏、用戶無感知，且實現了多設備兼容，保證了觀看的流暢體驗。

2. 基于芒果 TV 多年積累的直播運營經驗和數據，研發“云導播多維均衡調優模型”。該技術通過將歷史經驗、用戶反饋、成本與收益等與實時數據相結合，動態優化系統性能和配置，確保在不同場景下實現資源的最優配置與效率最大化。這一創新方法不僅提升了畫質以及用戶的觀看體驗，還顯著降低了播放帶寬等成本，為行業提供了全新的智能化調優解決方案。

4.2 “云圍觀”沉浸式直播互動系統技術創新點

1. 空間建模與高效傳輸技術，采用雙重坐標映射機制實現物理空間至虛擬空間的動態精準建模，同時傳輸利用bitmap 以及快速聚合壓縮封裝文件方式，減少了 90% 網絡帶寬，在不影響體驗和減少功能的前提下，極大提高了數據傳輸穩定性，降低了網絡成本。

2. AI 情緒采集及模型分析，可根據現場光線、環境等因素變化，實時調整攝像頭參數和圖像處理算法，以確保數據收集的質量和情緒識別效果，同時也可根據不同節目的特點和需求，對情緒識別的模型和參數進行自適應調整，以實現最佳應用效果，同時也可根據前后幀矢量元素預測，提高情緒識別速度，提高采集和識別效率。

NO.5

結束語

智媒時代，節目的發展面臨著全新的挑戰和機遇，技術的飛速發展極大地改變了觀眾獲取內容的方式和消費習慣。因此，節目制作不僅需要制作團隊在內容方面不斷變革，更需要技術開發團隊主動擁抱變革，才能贏得觀眾認可和青睞。從將不同視角的“導播”權利交給觀眾，打造“1+3”屏幕布局，實現無縫隨心切換機位上屏，開辟全新的觀影體驗，再到“云圍觀”將節目現場搬運至線上，實時反饋現場觀眾情緒，利用視覺特效、三維震動等沉浸式交互手段構成情緒共振，以及“云圍觀”下的監票呈現現場觀眾投票等交互手段，全方位打造出一套節目直播互動體系，為節目創新創優提供技術支撐，推動廣電媒體融合向縱深發展。

end

參考文獻

[1] 楊陽.音樂綜藝節目《歌手2024》制播模式的創新策略探析[J].視聽, 2025(8): 69-72.

[2] 張守偉,儀萍.融媒體時代音樂類綜藝節目創新發展路徑研究——以《歌手2024》為例[J]. 新傳奇,2024(39): 56-58.

[3] 唐煒，楊劍，陳罡，王悉玄，王蛟，黃金名.基于微服務架構的廣播融媒微信小程序矩陣設計與實踐[J].廣播與電視技術, 2025, 52(3):21-26.

《廣播與電視技術》、“廣電獵酷”廣告經營與商務合作：

聯系人：胡南

聯系電話：13671012778

好文共賞請轉發 有話要說請留言