《現代電影技術》｜田東等：基于人智協同的擴展現實技術在影視領域的應用及展望

本文刊發于《現代電影技術》2025年第12期

專家點評

劉達

正高級工程師

中國電影科學技術研究所（中央宣傳部電影技術質量檢測所）總工程師

《現代電影技術》主編

近年來擴展現實（XR）業務發展迅猛，關鍵核心技術不斷突破，消費級和專業級XR軟硬件產品及行業應用方案持續推出。與此同時，伴隨現代智能科技的迅猛發展和元宇宙（Metaverse）技術的持續深化，一方面人工智能（AI）技術與XR技術加快融合發展，人智協同（Human?AI Collaboration）成為研究應用熱點和人機交互（HCI）演進趨勢，另一方面元宇宙作為集成眾多高新技術的復雜生態系統，具有虛實融合和智能交互的核心特征，與擴展現實（XR）業務特征高度契合，為XR產業創新升級提供了廣闊空間。人智協同屬于人工智能和人機交互的交叉領域，其通過科學有序融合人類和AI系統優勢，打破人類與AI算法的信息壁壘，將AI系統無縫集成到人類現有工作流程中，進而有效提升人類與AI系統協同工作的整體質量和效能。構建人智協同模式已成為推動AI在人類社會大規模落地應用的重要途徑和有效手段。《基于人智協同的擴展現實技術在影視領域的應用及展望》一文從錢學森先生的“靈境技術”“大成智慧”思想出發，闡述了基于人智協同的擴展現實技術發展演進及其影視行業應用實踐，并對面臨挑戰與演進目標進行了前瞻性分析和展望，對于推動智能時代XR電影與電影級沉浸視聽業務發展具有指導和應用價值。電影產業正處在技術發展迭代升級和多元業務融合并進的關鍵歷史方位，要適應智能化和融合化發展大勢，積極開展智能體、大模型、人工智能生成內容（AIGC）、具身智能、數字孿生、元宇宙等關鍵技術研究與行業應用工作，加快構建電影智能化創作生產體系和智慧影院運營服務體系，推進全產業鏈高效人機協同與高質量人機融合，協同發揮人類優勢和AI工具效能，為推動電影產業創新升級和提質增效發揮積極作用。

基金項目

中國科學院計算機網絡信息中心青年基金“面向科學數據分析的多模態空間智能交互”（25YF08）。

作者簡介

田 東

博士，研究員，中國科學院計算機網絡信息中心先進交互部智能交互實驗室主任，中國科學院大學碩士生導師，主要研究方向：人機混合智能、人智協同交互。

武念穎

山西農業大學軟件學院大學本科在讀，主要研究方向 ：人機混合智能、人智協同交互。

李甜甜

副編審，精品傳媒集團副總編輯，《精彩》雜志主編、出版人，主要研究方向：AI在影視視聽領域的應用。

王 茜

中國科學院大學碩士研究生在讀，主要研究方向 ：先進交互與人機混合智能。

崔 曉

博士，山西農業大學軟件學院數據科學與大數據系講師，主要研究方向：機器學習。

楊 波

博士，中國科學院計算機網絡信息中心高級工程師，中國科學院大學碩士生導師，主要研究方向：大數據分析、人機混合智能。

單桂華

研究員，中國科學院計算機網絡信息中心先進交互式技術與應用發展部主任，中國科學院大學博士生導師，主要研究方向：大數據分析，人機混合智能。

摘要

當前，擴展現實（eXtended Reality, XR）技術融合人工智能（AI）、多模態感知與人智協同理念，正重塑影視行業的創作生產、體驗與傳播范式。本文從錢學森先生“靈境”和“大成智慧工程”思想出發，系統梳理AI與XR技術的融合發展過程，從早期人機模擬到AI深度協同的發展脈絡，剖析其以人為核心的“人-機-環境”交互系統構成與共創性、適應性、智能化三大特征，并通過行進式觀影、動作捕捉技術應用、文旅活化利用等典型案例，揭示基于人智協同的XR技術在沉浸敘事、角色演化、情感計算與文物數字化中的創新實踐。研究指出，當前XR技術仍面臨硬件延遲、情感識別精度不足、倫理主體模糊等挑戰；未來，基于人智協同的XR技術將沿著多模態AI、具身智能與仿生控制三大方向演進，構建“導演-觀眾-AI”動態創作三角，實現從工具輔助到系統共生、從線性敘事到演化式生命體驗的根本躍遷。中國影視行業有望借此走出文化主導、智能協同的自主路徑,開啟“東方靈境”時代。

關鍵詞

擴展現實；人智協同；影視行業；人工智能

1

引言

擴展現實（eXtended Reality, XR）技術是虛擬現實（VR）、增強現實（AR）、混合現實（MR）等多種形式的統稱，其通過計算機技術和可穿戴設備產生真實與虛擬組合的人機交互環境，本質上是一種以人為核心的“人-機-環境”交互系統構建方案。在當前人智協同（Human?AI Collaboration）技術發展大背景下，XR正成為推動應用沉浸化、交互智能化、跨領域生態融合化發展的核心載體，持續重塑人機交互與協同范式。

隨著近年來元宇宙（Metaverse）概念和XR技術的興起，錢學森先生提出的“靈境”概念和“大成智慧”被證實具有超前預見價值，對于當下AI與XR技術融合發展進程具有指導意義。20世紀90年代初，錢學森提出將“靈境”作為虛擬現實（Virtual Reality）的中文譯文，認為“靈境”技術采用科學技術手段向接受者輸送視覺、聽覺、觸覺甚至嗅覺信息，使接受者獲得身臨其境的感受，可用以擴展人腦的感知，使人與計算機的結合達到深層次的、全新的高度[1]。他預言，“靈境”技術是繼計算機技術之后，引領人類社會進入“大成智慧”人工智能（AI）世界的又一革命性技術，并親手繪制導圖，闡釋其廣泛應用可能會引發人類社會的全方位變革。錢學森先生預言，到21世紀后半葉，人機深度融合將極大擴展人類感知，從而產生“新人類”“超人”級體驗；“人”（心理意識）、“機器”（計算系統）和“環境”的交互構成復雜開放的“靈境”技術體系。

在當前技術背景下，AI與XR技術的融合發展，真正實現了以人智協同為核心的人機交互，并可支持多感官交互與實時反饋，實現了錢學森先生提出的“靈境”概念的完善與落地。隨著人智協同理念的深入，XR技術正推動影視內容生產、傳播和消費模式的范式轉型，從前期創意、實時制作到后期合成及觀眾體驗，均展現出前所未有的創新潛力。基于人智協同的XR技術不僅拓展了影視內容創作的可能性邊界，更為觀眾帶來了前所未有的沉浸式體驗，并以前所未有的方式重塑著整個行業生態。

鑒于此，筆者認為，我國自研XR和AI技術體系發展，應傳承和發揚錢學森先生“靈境”理念，建立我國在全球智能內容產業中的自主話語體系；影視科技領域也應充分借鑒和應用相關技術，以滿足影視產業高質量發展需求。

2

“靈境”技術的完善與應用：基于人智協同的XR技術發展概述

2.1 起源與發展歷程

人智協同的XR技術發展歷程深刻體現了人智協同理念的演進，其發展可大致劃分為4個階段：第一階段（1963年以前）為早期人機模擬階段，主要以有聲形動態的模擬系統為代表，初步孕育了虛實共生、人機交互的技術思想；第二階段（1963年—1972年）為交互體驗萌芽期，標志性事件如伊凡·蘇澤蘭提出終極顯示理論，并實現帶跟蹤器的頭盔式立體顯示裝置[2]，為后續人機協同技術發展奠定了理論與技術基礎；第三階段（1973年—1989年）為理論形成與范式轉換期，該領域的研究重心開始由單向模擬轉向雙向協同，初步探索人智共創的可能路徑；第四階段（1990年至今）則是AI與交互技術深度融合階段，人智協同機制不斷完善，實現了用戶行為理解、內容趨勢預測、協同創作決策等智能化交互功能，并在新一代智能算法的加持下[3]，形成了以人智協同為底層邏輯的AI與XR技術融合發展的新型技術體系。

2.2 基于人智協同的XR系統組成

當前，基于人智協同的XR技術形成了融合AI、VR、AR和MR的綜合性技術體系，其技術架構不僅涵蓋了元宇宙的虛擬世界構建能力和多維度交互體驗，更重要的是通過深度學習（DL）、自然語言處理（NLP）、計算機視覺（CV）等信息智能技術的加持，構建了人機間前所未有的協同交互空間。

基于人智協同的XR系統由7大核心模塊協同構成：（1）傳感器設備模塊（含無線感知手套與傳感頭顯）實現精準數據采集；（2）信息轉換模塊完成數據轉換處理；（3）3D場景生成與展示模塊支持用戶自定義云識別、多目標識別、圖片掃描及影視動畫渲染；（4）虛擬場景模擬模塊通過感知模擬、場景可視化及實景模擬器構建沉浸式體驗環境；（5）數據調度與管理模塊保障中間數據高效流通；（6）管理與決策模塊由管理決策系統、多智能體協同管理、文化認知分析器、智能監控與預警系統組成，通過集成先進的人工智能和多智能體技術，完成基于數據和模型的決策支持、多智能體協同管理和資源分配、識別用戶文化偏好并發現潛在問題，從而實現智能決策和文化認知的融合；（7）用戶交互終端模塊涵蓋控制、管理、驗證三大終端,最終形成從感知采集到模擬交互的全流程閉環,實現基于人智協同的XR系統的完整感知、模擬、交互與管理功能（圖1）。

圖1　基于人智協同的XR系統架構[2]

2.3 基于人智協同的XR技術特征

基于人智協同的XR技術本質特征在于人智協同驅動下的共創性、適應性與智能化。與傳統單向模擬的，以人為主體、技術為從屬的體驗模式不同，其強調人類創意與AI能力的深度融合[4]，通過機器學習（ML）、NLP、實時反饋機制等手段，以實現虛擬環境根據用戶行為的動態演化。此外，基于人智協同的XR系統在知覺多模態、交互自然性、自主智能等方面實現了技術突破。例如，沉浸感不僅體現在視覺、聽覺的高保真程度，還包括觸覺、嗅覺等多感官體驗融合；交互性強調用戶對虛擬環境物體的自然操控與實時反饋[5]；自主性則體現在虛擬世界按照物理規律與用戶行為自動生成和演化內容。理想的基于人智協同的XR系統應實現用戶難以分辨虛實的存在感，并能通過AI理解和預測用戶意圖，協同推進敘事的創新發展。

圖2　用戶影視交互行為示意圖[3]

圖2展示了用戶利用基于人智協同的XR技術可實現的影視交互行為，其由5個功能模塊構成，以提供沉浸式、互動式用戶體驗，并實現商業化運營。

（1）注冊登錄和用戶服務模塊提供用戶注冊和登錄功能，以訪問個性化服務和內容，并包含用戶體驗和反饋功能，以便調整優化內容和體驗。（2）內容搜索和推薦模塊包括內容搜索、分類、評論、收藏、個性化推薦等功能，并可根據用戶的歷史行為和偏好，借助機器學習算法不斷優化推薦系統。（3）人機交互和實時渲染模塊允許用戶自由觀看和選擇故事分支，并可通過頭戴式顯示設備、手柄和體感設備實現物體移動、虛擬角色對話、動感體驗等，還提供多用戶互動功能，方便用戶與他人共同體驗；其中，眼動追蹤功能可追蹤用戶關注點、引導用戶視線并控制交互，并能分析注意力焦點以優化內容展示和廣告定位。（4）商用和消費模塊為消費者提供購買、租賃或訂閱內容的選項，為商業用戶開展廣告、品牌合作、產品展示等服務，同時包含數字藏品功能，支持用戶收集、購買、交易或展示數字藏品。（5）用戶信息分析模塊分析用戶行為數據，且會確保用戶數據的隱私和安全，遵守相關法律法規。這些模塊通過與用戶相連和互動，為用戶呈現全面的、個性化的沉浸式觀影體驗。

2.4 基于人智協同的XR技術對影視領域的重要影響

影視作為國家文化軟實力的重要代表，與科技發展密不可分、息息相關。電影誕生初期就離不開光學、化學等科技發展的支撐，如今數字技術、VR、AI等前沿科技在影視制作中得到廣泛應用，科技為影視藝術提供了更廣闊的創作空間和更多元化的表現手段。同時，影視作品也通過其獨特的藝術表現形式，將復雜的科技理念以通俗易懂的方式呈現給大眾，推動科技知識的普及和傳播。影視藝術借助科技力量提升了創作水準和觀賞體驗，科技則通過影視獲得了更廣泛的社會影響力和文化價值，兩者共同構成了當代文化發展的重要推動力。這種雙向互動關系，使影視與科技在各自領域不斷突破邊界，實現深度融合。

基于人智協同的XR技術是以人智協同為靈魂的新興交互技術，通過融合計算機科學、電子信息、AI等多學科前沿成果，構建一個人類與AI協同共創（創意與AI深度融合）、共感（情感共鳴）、共演（動態敘事演化）的高階交互空間，為影視內容生產提供理論創新與方法論變革。在此體系中，人類智能與人工智能形成緊密協作關系，即人類提供創意、情感和文化背景，AI則為創作提供數據支持、趨勢預測和自動化工具，兩者互補共生，共同推動影視內容的創新與發展。

3

XR技術與AI技術的融合創新

XR技術與AI技術融合創新最本質的特征在于AI驅動下的共創性、適應性與智能化變革。其以共創性、適應性與智能化3大特征，推動創作生產從人主導、工具輔助走向人智共創、系統共生，實現從內容生產到體驗演化的范式躍遷。在共創性方面，人類創意與AI能力深度融合，通過ML、NLP等手段實現動態演化創作；在適應性方面，系統可根據用戶偏好生成個性化內容；在智能化方面，AI通過實時反饋機制預測用戶意圖，協同推進敘事創新。這種融合不僅提高了內容生成效率，更從根本上改變了創作邏輯：AI不再是工具，而是創作共同體的一部分，與人類共同完成情節構建、角色演化與情感設計，為影視創作帶來前所未有的創新活力與表現力。XR與AI技術的融合是一場由“人-智-境”三元協同引發的創作范式革命，其底層邏輯在于將人類不可量化的想象力、情感力與算法可量化的數據力、計算力等進行融合，進而產生“1+1>2”的涌現效應。這種融合呈現出三條顯性特征曲線：共創性、適應性、智能化，三者彼此嵌套、螺旋上升，最終把影視工業從人主導、工具輔助的傳統模式推向人智共創、系統共生的新紀元。

XR技術正在拓展傳統內容創作的邊界，構建一個去中心化、動態演化、智能協同的影視新生態。這不僅是對工業邏輯的超越，更是對創作本質的重新定義：創作不再是人的獨白，而是人智共舞的交響。XR技術與AI技術的融合創新，正在重塑影視創作的主體結構、流程邏輯與價值內核。未來，隨著多模態感知、情感計算、腦機接口等技術的進一步發展，XR系統將更加深入地理解人類情感、意圖與潛意識，成為真正意義上的創作伙伴。而人類創作者也需從技術使用者轉變為系統協作者，發展出與AI共同進化的元創造力。這不僅是技術的勝利，更是文明的新章。在人智協同的新圖景中，創作將不再受限于個體經驗，而是依托集體智慧與系統智能，形成無限可能、持續演化、情感共鳴的人智協同創作新模式。

4

基于人智協同的XR技術在影視行業的創新實踐與技術突破

基于人智協同的XR技術在影視行業中的應用已產生了諸多成功案例，這些案例展示了其在影視創作中的巨大潛力和創新可能性。

4.1 行進式觀影

行進式觀影又稱游走式觀影，是一種把身體移動作為敘事必要條件的沉浸式體驗觀影形式：觀眾不再坐在固定座位上，而是以在現實空間中自由行走的方式，通過視線、位置、肢體動作觸發劇情、特效與交互，成為虛擬空間中故事的一部分。其融合了電影語言、游戲引擎、空間計算、基于位置的娛樂（Location?Based Entertainment, LBE）大空間等技術，突破“第四堵墻”，實現身體在場的敘事參與[6]。從《消失的法老》引爆國內 VR 大空間熱潮，到《重慶·1949》《又見平遙》用旋轉舞臺與情境互動讓觀眾邊走邊看，再到《西游·大鬧天宮》《孔雀公主》以體感裝置強化行進式沉浸體驗，這些項目共同驗證了行進式觀影從概念到商業閉環的可行性。

圖3　沉浸式VR電影《封神前傳：一個女將軍的殷商盛世》場景圖[7]

《封神前傳:一個女將軍的殷商盛世》（圖3）則將博物館級殷商文物與VR電影無縫嫁接，實現無人引導的自由行進式觀影體驗。觀眾可行走于1∶1還原的殷商世界，親身體驗中國有歷史記載以來第一位女將軍婦好的傳奇經歷：墜落的青銅器在水面綻開慢動作漣漪、乘坐戰車時在耳邊呼嘯而過的風聲、兵刃相接時的逼真震撼、甲骨文情書隨視線自然浮現。這一邊走邊看的模式背后，是電影敘事語言與XR技術的深度交融，使觀眾可在自主探索過程中沉浸于主創團隊精心設計的情感爆發點與歷史細節之中。該內容采用人智協同機制實現動態敘事，其核心技術架構包含3個層次：實時情感計算引擎，通過生物傳感器采集觀眾心率、瞳孔擴張度等生理信號，結合AI情感識別算法實時解析觀眾情感狀態[8]；敘事決策樹系統，預置多條敘事分支路徑，根據觀眾行為數據動態調整情節走向，例如在青銅器墜落場景中，通過調整粒子系統參數實現慢動作漣漪效果[9]；空間音頻定位技術，結合頭戴式顯示設備提供的雙目4K超高清屏幕，與360°全方位視野，在戰車場景中通過頭部相關傳遞函數（HRTF）實現風聲的空間化定位[10]。該案例突破了傳統線性敘事框架，構建了觀眾、AI、創作者三方協同的敘事生態[11]。此類突破傳統鏡頭語言局限的全新形式，有望成為未來觀影的一種全新范式。

4.2 動作捕捉技術創新

動作捕捉技術通過傳感器或光學系統捕捉人體運動數據，經算法處理轉化為數字角色的動態表現。該技術已廣泛應用于影視、游戲及虛擬攝制領域，例如《阿凡達》中納美人的動作捕捉、《刺客信條》系列的角色動畫生成，均依賴此類技術實現高精度動作映射與自然交互。

北京電影學院美術學院動作捕捉實驗室依托光學動作捕捉系統平臺，開展了技術驅動型跨學科實踐：由學生設計完成基礎角色肢體動作，由表演專業學生完成動作表演，利用光學動作捕捉平臺捕獲動作數據并作為內容創作的基礎[12]，并通過解析動作特征，逆向推導角色心理狀態與情緒脈絡[13]，進而構建視覺場景與敘事邏輯。最終，實驗室師生基于同一組動作數據，通過差異化角色設定、道具運用、場景構建及鏡頭調度，衍生出12部風格鮮明的獨立短片并構成《靈境化身》系列。該實踐驗證了技術、藝術、敘事融合教學模式的有效性，動作捕捉不僅作為工具提升創作精度，更通過數據驅動的方式拓展了敘事邊界，激發了藝術創作的想象力。

此案例突破傳統“文本到影像”的線性創作路徑，形成從數據采集、特征解析、心理建模到敘事生成的閉環流程。技術在此過程中扮演雙重角色，既是精準記錄動作的工具，也是激發創意的媒介。通過動作數據的可視化與跨模態轉換，學生得以從數據維度理解角色內在狀態，實現技術理性與藝術感性的深度融合，為數字時代藝術教育提供了可復制的跨學科實踐范式。

4.3 數字時空賦能文旅場景

在文旅場景數字化進程中，多模態交互技術正構建“數字時空膠囊”，實現文化記憶的可觸化復現[14]。這類技術通過硬件與內容的深度融合，支持裸手交互、語音識別，可實現“觸覺-聽覺-視覺”三重沉浸體驗[15]。在博物館、紀念館場景中，采用全息投影與體感設備結合技術，通過讓觀眾觸摸歷史場景和歷史遺跡復刻品，實現歷史場景實時呈現[16]，也可通過數字化跨時空對話方式實現互動，如青島市博物館項目運用VR全景展示、非同質化通證（NFT）數字藏品，使觀眾站在特定畫作前即可激活宋代市井動態場景，實現畫中人與觀者的實時互動，并結合定向語音導覽系統[17]實現聲音定向傳播，避免干擾其他區域游客。

從面到點的具體應用中，展覽館等場景可通過MR技術重構經典繪畫，如“清明上河圖”MR體驗項目支持觀眾輕觸畫卷激活動態市井場景，基于虛幻引擎（UE）實現裸手交互，使靜態畫作轉化為可探索的立體空間。在敦煌市博物館，游客通過手機掃一掃，便能目睹空間中躍動的增強現實影像，體驗高清動畫和立體聲效。

當前，科技正賦予文物前所未有的活力：擴展現實技術作為一種在真實環境中巧妙疊加虛擬影像以實現深度交互的方式，正逐步重塑著展覽體驗；而多模態交互展示，則巧妙地融合了數字捕捉、體感互動、語音交互等前沿科技，將文字、語音、動作乃至環境等多種人機交互元素，自然而然地編織進展廳的空間中，營造出一種無縫銜接的具身體驗[18]。

4.4 技術驅動下的文物新生

數字技術通過多媒體視覺、VR/AR、3D建模、區塊鏈、動態光影、5G+云服務、非接觸式三維掃描、超高清拍攝、AI知識圖譜、多光譜成像及跨博物館數據聯邦學習等技術手段，實現文物的數字化精準呈現、互動體驗增強及跨域資源共享，在文物保護與利用中形成技術、內容、服務全鏈路支撐體系。

靈境·人民藝術館項目聯合秦始皇帝陵博物院推出數字秦俑系列，采用3D建模精準還原兵馬俑饕餮紋細節，結合區塊鏈技術確權并控制發行量[19]。敦煌飛天壁畫數字藏品創新采用動態光影技術，通過手機AR掃描可激活唐代礦物顏料成分解析[20]。故宮博物院數字文物庫項目采用非接觸式三維掃描與超高清拍攝，完成文物基礎信息錄入及影像數字化，支持多維度檢索與AI知識圖譜功能。敦煌研究院VR莫高窟項目實現未開放洞窟虛擬漫游，采用多光譜成像技術還原青金石原始色彩[21]，使游客AR導覽細節記憶度提升。黃河文明VR聯展則通過跨博物館數據聯邦學習串聯三地文物時空軸，實現故宮、陜西歷史博物館、河南博物院黃河主題展廳同步游覽。上述項目通過整合數字技術實現文物活化利用與跨域共享，既保障了文物學術研究的精度需求，又通過區塊鏈動態權益模式、XR技術互動體驗提升公眾參與度，在文物保護效率、文化傳播廣度及用戶行為引導等方面形成可復制的實踐路徑，為文物數字化提供了技術集成與運營模式的參考樣本。

5

基于人智協同的XR技術在影視行業中的應用挑戰與新發展方向

盡管基于人智協同的XR技術已展現出強大的共創潛力，但其在實踐層面仍存在多重挑戰，同時催生出融合AI、人機協同與仿生學的新發展方向。技術層面，AI對人類行為的實時理解與反饋精度不足，導致協同敘事出現情感錯位或節奏斷裂[22]；硬件層面，人智交互接口的延遲[23]與感知局限[24]限制了共創體驗的沉浸深度；倫理層面，AI在創作中的主體性模糊[25]，引發了版權、作者身份與敘事責任等爭議。

5.1 技術限制與硬件瓶頸

基于人智協同的XR技術在影視行業中的應用面臨著技術限制和硬件瓶頸的挑戰。

當前的XR技術相關設備在性能方面已取得長足進步，但仍然存在體積大、重量大、電池壽命短等問題，在一定程度上限制了用戶的使用體驗和設備的普及。同時，設備的計算能力和圖形處理能力也有限，難以支持高質量的影視內容，特別是在實時渲染和交互方面。此外，當前技術應用還面臨著網絡帶寬和延遲的挑戰：高質量的XR技術內容通常需要大量的數據傳輸，而當前的網絡基礎設施尚無法滿足實時傳輸的需求，尤其是在多人協作和實時互動的場景中，導致用戶體驗受到影響。

制約XR技術擴展應用的另一原因在于設備成本高昂。消費者體驗成本和體驗感決定了其接受設備的程度。而對于制作者而言，如果想要讓XR技術得到推廣，確保其內容的產出和回報率的穩定是關鍵，對于高成本內容而言，回報率難以預估，這加大了XR技術原創內容的生產難度。

5.2 內容創作與敘事挑戰

基于人智協同的XR技術在影視行業中的應用同樣面臨內容創作與敘事的挑戰。

首先，XR技術改變了傳統敘事方式，即從線性敘事轉向非線性敘事，促使創作者需要重新思考故事的結構和展開方式。在傳統的影視作品中，觀眾是被動的接收者，按照創作者預設的敘事順序和方式體驗故事；創作者可以通過剪輯、鏡頭選擇和節奏控制等方式引導觀眾的注意力和情感體驗。而在XR技術創造的交互式體驗中，觀眾可自主選擇內容探索的方向和速度，觀眾擁有更大自由度，可能會忽略創作者希望強調的部分，或者在不適當的時候離開主要敘事線索。這種自由度雖然增強了觀眾的參與感，但也增加了敘事控制的難度，使敘事變得更為復雜多變。

5.3 用戶體驗與沉浸感提升問題

真正的沉浸感需要多感官的參與和互動，包括視覺、聽覺、觸覺甚至嗅覺等，而當前的XR技術設備主要集中在視覺和聽覺方面，觸覺反饋和其他感官體驗仍然受限[26]。因此，XR技術創造的體驗雖在視覺上令人印象深刻，但在整體的沉浸感和真實感上仍有差距。

在XR技術應用場景中，用戶界面（UI）和交互方式與傳統界面有很大不同，需基于新的原則和方法進行設計。而設計直觀、易用且不破壞沉浸感的用戶界面，是一個重要的挑戰。當前的系統界面設計仍不夠成熟，用戶可能需要學習和適應新的交互方式，這增加了學習門檻和使用難度。

5.4 技術演進與突破方向

在基于人智協同的XR技術作為人智協同核心載體的框架下，當前技術發展正圍繞三大維度深化演進，推動從人機交互向人智共生發展升級。

5.4.1 AI與多模態感知

在技術實現層面，基于人智協同的XR系統通過多模態感知技術實時捕捉用戶的生理信號、行為模式和情感狀態，結合AI算法進行深度分析，從而構建出能夠理解用戶意圖、適應用戶偏好的智能交互環境。這種人智協同的交互空間打破了傳統單向信息傳遞的局限，實現了從人適應技術到技術適應人的根本性轉變。系統通過低延遲推理引擎實時解析語音、視線軌跡、手勢語義、面部微表情及環境上下文，構建跨模態統一表征空間，實現場景動態適配、任務智能分配與認知負荷優化。例如，在工業協作場景中，系統可基于操作者的視線焦點預判操作意圖，提前渲染輔助信息；在醫療培訓中，通過手勢微動與表情識別評估學員專注度，動態調整訓練難度。相關技術在影視內容體驗過程中，將有助于增強系統設備對用戶意圖的理解，通過多模態感知獲取用戶的實時反饋，進一步實現用戶體驗優化。關鍵技術挑戰涵蓋跨模態對齊的語義一致性、大模型在實時渲染管線中的安全嵌入機制，以及多模態數據融合中的隱私保護策略[27]，改善和解決相關技術難點，將有利于最終形成“感知-理解-行動”的閉環認知協同。

5.4.2 人機協同接口與具身智能

真正的人智協同要求接口突破信息傳遞局限，建立雙向意圖建模與可解釋行為預測體系。協作機器人與具身智能（Embodied Intelligence）研究聚焦三個層面：其一，通過多傳感器融合實現實時意圖識別，例如通過手腕力反饋預判操作意圖[28]；其二，基于可學習的技能遷移框架，使系統能將專家經驗轉化為可復用的策略模型，如通過示范學習生成通用操作模板；其三，開發安全控制協議，確保物理交互中的零傷害風險，并通過可視化解釋模塊向用戶展示系統決策邏輯。此方向在手術機器人、遠程操控等場景已形成明確的應用路線，其核心是通過意圖透明化與行為可解釋性建立人機信任，實現從協作執行到共同決策的躍升，未來在影視協同制作領域或將有用武之地。

5.4.3 仿生學與適應能力的提升

仿生學為基于人智協同的XR系統中的具身智能體（Embodied Agent）提供了動力學、材料與控制策略的生物啟發范式。研究涵蓋3個維度：在結構仿生層面，模擬生物肌肉與骨骼系統的柔性驅動結構，提升智能體在復雜環境中的抗沖擊能力[29]；在運動學仿生層面，基于生物運動學原理優化控制算法，增強智能體在非結構化環境中的運動效率；在群體行為仿生層面，借鑒蟻群協作、魚群同步等自然群體智能，設計分布式協同策略，提升多智能體系統在動態任務中的魯棒性與適應性。這些仿生策略對基于人智協同的XR應用中可信賴的物理交互至關重要，例如在災難救援場景中，仿生機器人可自適應廢墟環境，實現高效協作搜救。相關技術可用于影視內容攝制中過程中的虛擬勘景、虛擬預演（PreViz）等領域，可實現攝影機、照明燈具、動作捕捉、虛擬場景和演職人員精準配合和智能交互，也將對改善用戶的沉浸體驗起到重要推動作用。

6

結語與展望

當前，在人智協同背景下，基于人智協同的XR技術突破體現在多模態感知、實時反饋機制及AI算法的應用，實現了從內容生產到體驗演化的范式躍遷，使AI成為創作共同體的重要組成部分。

然而，基于人智協同的XR技術在影視行業的應用仍面臨多重挑戰。技術層面需突破設備體積重量、計算能力、網絡帶寬及成本控制等硬件瓶頸，同時解決AI實時反饋精度不足與人機交互延遲等技術限制；創作層面需重構非線性敘事邏輯并管理觀眾自主選擇路徑；體驗層面需增強多感官交互設計、優化設備舒適度與便攜性；倫理層面則需明確AI創作主體性邊界及版權歸屬規則，這些系統性挑戰需通過跨領域協同創新逐步化解。

展望未來，基于人智協同的XR技術在影視行業將聚焦3大維度協同發展：技術層面通過多模態沉浸交互、具身智能進化及AI動態敘事引擎實現從感知到共生的智能化躍遷；應用層面推動虛實融合制作、交互式觀影體驗及跨領域融合創新，拓展影視與教育、文旅、醫療等新場景的融合；倫理層面則通過AI創作主體界定、沉浸體驗邊界管控及數據隱私保障構建責任共擔的可持續生態，最終推動中國影視產業走出文化主導、智能協同的自主路徑，開啟從工具輔助到系統共生的“東方靈境”時代。

參考文獻

（向下滑動閱讀）

[1] 李月白.錢學森：VR應該取名“靈境”，21世紀后半葉將實現人機合一[EB/OL]. (2022?01?30)[2025?10?16]. https://wenhui.whb.cn/third/zaker/202201/30/446947.html.

[2] LEI D, KIM S. Application of wireless virtual reality perception and simulation technology in film and television animation[J]. Journal of Sensors,2021（9）:1?12.

[3] YANG H, LI J, JAHNG S. The Application of Knowledge Graph Convolutional Network?Based Film and Television Interaction Under Artificial Intelligence[J]. IEEE Access,2024,21:132127?132138.

[4] HAZARIKA A, RAHMATI M. Tactile IoT?Driven Predictive Representation for Swift Content Delivery in Augmented and Virtual Reality[C]//Proceedings of 2025 IEEE World AI IoT Congress(AIIoT), Seattle, WA, USA,2025:0456?0462.

[5] BAO Y. Application of Virtual Reality Technology in Film and Television Animation Based on Artificial Intelligence Background[J].Scientific Programming,2022(1):1?8.

[6] SYLVIA R, PASCAL P, HEIKO D, et al. Interaction Techniques for Cinematic Virtual Reality[C]//Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces, 2019: 1733?1737.

[7] 新民藝評.VR大電影要來了？《封神前傳》開啟VR體驗進入敘事時代[EB/OL].(2025?08?10)[2025?10?16].https://www.jfdaily.com/staticsg/res/html/web/newsDetail.html?id=961678&sid=300.

[8] SOMARATHNA R, BEDNARZ T, MOHAMMADI G. Virtual Reality for Emotion Elicitation – A Review[J].IEEE transactions on affective computing,2023(4):14:2626?2645.

[9] BARREDA-NGELES M, ALEIX-GUILLAUME S, PEREDA-BAOS A.Virtual reality storytelling as a double?edged sword: Immersive presentation of nonfiction 360°?video is associated with impaired cognitive information processing[J].Communication Monographs, 2020(2):1?20.DOI:10.1080/03637751.2020.1803496.

[10] REDOUANE K, PABLO P, ALVARO V, et al. Virtual Tour: an Immersive Low Cost Telepresence System[C]//Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces, 2020.

[11] VAN GELDER J L, DE VRIES R E, DEMETRIOU A, et al. The Virtual Reality Scenario Method: Moving from Imagination to Immersion in Criminal Decision?making Research[J]. Journal of Research in Crime & Delinquency,2019,56(3):451?480.DOI:10.1177/0022427818819696.

[12] SHI Y. Critical technology and implementation plan about engine system of 3D character animation[J].Foreign Electronic Measurement Technology,2013,32(12):68?71.

[13] SUN X Y, LI Y B， MA S H. Application of Optical Motion Capture Technology in Body Animation[J].Journal of Henan Mechanical and Electrical Engineering College, 2013: 17?19,23.

[14] BEC A, MOYLE B, TIMMS K, et al. Management of immersive heritage tourism experiencs: A conceptual model[J].Tourism Management,2019,72(6):117?120.DOI:10.1016/j.tourman.2018.10.033.

[15] YU X, XIE Z, YU Y, et al. Skin?integrated wireless haptic interfaces for virtual and augmented reality[J].Nature,2019,575(7783):473?479.DOI:10.1038/s41586-019-1687-0.

[16] WOLF E, FIEDLER M L. D?LLINGER N, et al. Exploring Presence, Avatar Embodiment, and Body Perception with a Holographic Augmented Reality Mirror[C]//Proceedings of IEEE Conference on Virtual Reality and 3D User Interfaces,2022:350?359.

[17] GIANGRECO I, SAUTER L, PARIAN M A, et al. VIRTUE: a Virtual Reality Museum Experience[C]//Proceedings of International Conference on Intelligent User Interfaces, 2019:119?120.

[18] 趙麗芳，齊翊帆，王袁欣.數智時代博物館：從文物“活化”到空間“活化[EB/OL]. (2025?08?21)[2025?10?16].http://www.xinhuanet.com/politics/20250821/f815d360d710474596990ce95c9f7c42/c.html.

[19] YAQOOB I, SALAH K, UDDIN M, et al. Blockchain for Digital Twins: Recent Advances and Future Research Challenges[J].IEEE Network, 2020, 34(5): 290?298.

[20] FU X, ZHU Y, XIAO Z, et al. RestoreVR: Generating Embodied Knowledge and Situated Experience of Dunhuang Mural Conservation Via Interactive Virtual Reality[C]//Proceedings of IEEE ACM Conference on Human Factors in Computing Systems, 2020.

[21] IKEUCHI K, MORIMOTO T, KAMAKURA M, et al. Kyushu Decorative Tumuli Project: from E?Heritage to Cyber?Archaeology[J].International Journal of Computer Vision,2022,130(7):1609?1626.

[22] SINGH R, MILLER T, NEWN J, et al. Combining Gaze and AI Planning for Online Human Intention Recognition [J]. Artificial Intelligence,2020,284:103275?103275.

[23] FU W, VAN PAASSEN M M, ABBINK D A, et al. Framework for Human Haptic Perception with Delayed Force Feedback[J].IEEE Transactions on Human?Machine Systems, 2018, 49(2): 171?182.

[24] PUTZE F, SALOUS M. Multimodal Differentiation of Obstacles in Repeated Adaptive Human?Computer Interactions[C]//Proceedings of International Conference on Intelligent User Interfaces, 2021: 260?269.

[25] UCHENDU A, LE T, SHU K, et al. Authorship Attribution for Neural Text Generation[C]//Proceedings of Conference on Empirical Methods in Natural Language Processing, 2020: 8384?8395.

[26] THAM J, DUIN A H, GEE L, et al.Understanding virtual reality: presence, embodiment, and professional practice[J]. IEEE Transactions on Professional Communication, 2018,2(61):178–195.

[27] 劉漢文,黃靈瑤.國產AI大模型技術在電影行業中的融合創新與發展路徑[J].現代電影技術,2025(08):4?11.DOI:CNKI:SUN:YSJZ.0.2025-08-001.

[28] WANG Z, YAN F, LI H. Designing Smart Navigation Eyewear with Augmented Reality Projection Technology: Development and Impact of Smart Wearables in the 5G Era[J].Journal of Electrotechnology, Electrical Engineering and Management, 2023,6(2):64?71.

[29] CARDOSO O I H, UNVER E, ASLAN R, et al. An approach to improve technical drawing using VR and AR tools[J].Computer?Aided Design & Applications Journal, 2019,17(4)：836?849.