VR旅程：通過動覺學評估情感狀態

VR旅程：通過動覺學評估情感狀態

VR Journey: Assessing Affective State Through Kinesics

https://link.springer.com/book/10.1007/978-3-031-76516-2

摘要：

本文通過分析動覺學指標，考察個體在參與交互式虛擬現實（VR）旅程過程中的整體狀態。實驗共招募20名年齡介于23至44歲之間的參與者，依次體驗10個VR場景。實驗設計旨在誘發一種近似恐飛癥（aerophobia）的情感狀態。實驗全程以視頻記錄參與者的身體動作與面部表情，同時使用Polar H10傳感器采集心率數據。研究結果表明：若干傳統上用于表征恐懼的動覺學指標，在VR旅程中呈現出非規律性變化模式——通常在最初5分鐘內達到峰值，隨后隨時間推移逐漸減弱；此外，在VR旅程開始5分鐘后，心率變異性降低，調節系統緊張度上升。基于上述發現，建議結合硬件與非硬件方法，綜合評估VR用戶的情感狀態。

關鍵詞：觀看者體驗 · 虛擬現實 · 動覺學 · 心率

1 引言
在考察情緒狀態的分類時，不同視角各自具有獨特的優勢與挑戰。

從語言學視角出發，情緒狀態的數量取決于某種語言中可區分的情緒種類。例如，在俄語中，最多可區分出30種情緒狀態［1］。語言學分類的優勢在于能提供最廣泛的情緒表征；然而其顯著缺陷在于：缺乏心理生理學與嚴格行為層面的依據——相關概念之間的差異不明確（例如，“尷尬”與“羞恥”之間）；整體分類層級較低，難以對“情緒”這一核心概念形成系統理解；不利于經驗研究的應用；且情緒狀態辨識的誤差率較高。

另一種常見的情緒分類依據是文化與社會因素。語言中情緒詞匯的命名仍具有高度重要性。在語言使用中，情緒詞匯的各類變體構成一個語義場，勾勒出概括性概念的核心與邊緣意義要素（例如，“憤怒”與“暴怒”是廣義“憤怒”情緒的具體表現形式）。這些情緒詞匯被歸為若干簇群，每簇均有代表整個簇群的語義核心；這些概括性概念通常與典型的社會表現相關聯（例如，“憤怒”表現為皺眉、提高音量、青筋凸起等）。

例如，在埃克曼（Ekman）的研究中，區分出七種“基本”情緒：憤怒、悲傷、輕蔑、厭惡、恐懼、驚訝與愉悅［2］。在其情緒理論形成之前的研究中，已有大量論據通過達爾文的情緒理論支持此類情緒狀態的劃分。該分類的優勢在于高度的范疇化、易于理解，并便于在經驗研究中應用；部分界定亦由社會因素所決定。因此，埃克曼的情緒理論至今仍是最為廣泛應用的理論之一。

盡管其應用便捷，該分類方法仍存在若干顯著缺陷：
? 未能區分心理生理指標（如出汗）、語言學指標（如重復性言語增多）與動覺學（kinesic）指標（如嘴唇緊繃）；
? 核心概念存在爭議：同義術語易混用，且關于心理生理與動覺學指標何者更具優先性尚存爭論；
? 缺乏普適性：情緒界定易受文化因素影響；
? 在采用自然材料（而非表演性情緒）的測試中，誤差率較高。

從心理生理學視角出發，情緒狀態依據身體反應加以界定，例如由電沖動引發的激素釋放及其后續反應。本質上，此類狀態的命名本身并不重要。心理生理學分類的優勢在于其生物學基礎，因此可與人類及動物的行為反應相關聯；同時最具普適性，且具有高度的范疇化能力（例如，“應激”狀態可涵蓋“暴怒”與“憤怒”等語言建構）。多種硬件方法（如激素血液分析、功能性磁共振成像fMRI、腦電圖EEG、心電圖ECG等）可用于確認心理生理分類中特定狀態的顯現，從而使此類分類具備堅實的醫學實證基礎與較低的誤差率。

心理生理學分類的缺陷在于其概念復雜性，理解難度大；相關研究需依賴相關領域專家的參與：這些專家不僅要設計并批判性分析研究方案，還需操作設備、標準化測試流程，并分析所獲數據。現代科研實踐日益將此類方法與醫學程序整合，進一步增加了實驗設計的復雜性。此外，并非所有心理生理測試均可安全施用于人類——許多方法僅允許在動物身上使用。例如，文獻［3］即采用一種誘發動物情感狀態的方法，以研究其生理反應與行為。

然而，動物心理生理學領域的某些理論發現已開始被引入人類研究。例如，此前在Kondashevskaya的研究［3］中用于動物的行為評估工具——高架十字迷宮（Elevated Plus-Maze, EPM）——于2021年被改編用于人類實驗［4］。但并非所有動物應激指標均適用于人類：例如，進入迷宮開放臂的移動次數這一指標未產生顯著結果。

鑒于發展一種基于埃克曼及其追隨者所提出的社文化情緒指標［5,6］的綜合性情感狀態評估方法的可能性，我們認為將此類指標與在人類研究中已被證實有效的行為指標相結合，或可取得良好效果。

20世紀各學科獨立發展，導致理論中存在諸多概念重疊。如今，隨著科研工具日益豐富，我們發現行為理論在某種程度上預示了社文化情緒理論的若干發現，且行為指標常與社文化指標相互映照。嚴格割裂這些研究路徑似無充分依據。通過對潛在分類方法的分析，我們發現：將社文化分類與行為分類相結合，并輔以心理生理學分析的理論成果，具有顯著的實踐價值——這主要因為社文化理解為狀態分析提供了可靠框架。

為檢驗研究假設并解讀社文化數據，我們選取了受試者的心率（HR）作為關鍵指標。在2023年一項關于高海拔虛擬現實（VR）環境中狀態知覺的研究中，作者采用心電圖（ECG）法［7］，證實了恐懼的主觀知覺會影響心率。因此，在社文化情緒分析框架下，ECG可用于可靠識別與特定情緒相關的身體狀態。

基于上述考量，我們決定聚焦于“恐懼”這一情緒；表1列出了本研究所選定的動覺學指標。

在實驗設計過程中，我們需明確界定擬研究的具體狀態及其所屬的理論范式。顯然，任何情境或場景更可能誘發的并非單一情緒或情感狀態，而是多種情緒或情感狀態的組合：例如，恐懼可能伴隨憤怒，驚訝可能伴隨興趣。然而，若缺乏對各情緒各自表現特征的精確數據，而將驚訝與興趣合并評估，則是不恰當的。因此，為滿足在社文化范式與行為范式下對研究對象進行準確定義的要求，我們決定僅聚焦于“恐懼”這一情緒的分析。

我們從已有指標中篩選出適用于虛擬現實（VR）情境的動覺學指標（見表1），并排除了與VR頭顯使用不兼容的指標，例如“眼周肌肉運動”與“雙眉間距”。

本研究旨在：通過動覺學指標檢測，評估虛擬現實中恐懼情感狀態的動態變化過程，并借助心率變異性（HRV）分析對所得結果進行驗證。

2 材料與方法

2.1 研究樣本本

研究共納入20名參與者（女性12名，男性8名），平均年齡為32.6歲（M = 32.6），主要為羅巴切夫斯基大學（Lobachevsky University）的碩士研究生及教職工。各參與者在虛擬現實（VR）環境中的停留時長存在個體差異，范圍為8分48秒至20分19秒，平均停留時長為13分39秒。

2.2 設備與刺激材料實驗采用Oculus Rift S VR頭顯設備呈現刺激材料。該頭顯為受試者提供100°視場角，整機分辨率為2560 × 1440（單眼分辨率為1280 × 1440）。設備采用Oculus Insight追蹤技術，依靠頭顯本體上的5個攝像頭，實現頭顯與手柄在空間中的6自由度（6DoF）追蹤。此外，該頭顯內置多種傳感器，包括加速度計、陀螺儀、接近傳感器及霍爾傳感器。

心率變異性（HRV）評估采用Polar H10傳感器。該心電圖（ECG）傳感器設計可確保其在人體上的穩固佩戴。傳感器通過藍牙無線協議將數據包傳輸至移動設備；數據通信、傳輸及存儲均通過移動設備上的Polar Sensor Logger應用程序實現。

實驗采用Insta360 X3全景運動相機記錄受試者的面部變化及身體動作。該相機支持主動HDR視頻拍攝，并可拍攝360°全景照片。在本次實驗測試中，使用360°拍攝模式，分辨率與幀率配置如下：5760 × 2880（5.7K，30/25/24 fps）、3840 × 1920（4K，60/50/30/25/24 fps）、3008 × 1504（3K，100 fps）。

刺激材料為虛擬場景“Experience 360”。參與者被沉浸于一種虛擬的高空情境中，場景設定取自美國若干標志性地點，包括：“機場”（Airport）、“芝加哥機場”（Chicago Airport）、“波士頓”（Boston）、“塞多納”（Sedona）、“菲尼克斯”（Phoenix）、“拉斯維加斯”（Vegas）、“波特蘭”（Portland）、“芝加哥”（Chicago）、“翡翠灣”（Emerald Bay）、“納什維爾”（Nashville）及“骨場”（Boneyard）。這些地點呈現了多樣化的景觀類型：城市高層與低層建筑、自然山地與海濱風光、鄉村平原等。參與者可在任意平面進行360°自由環視。所有場景均配有相應環境音效，如城市噪音、海浪聲或鳥鳴聲。

2.3 實驗設計
實驗以個體形式進行，時間安排在白天或晚間。所有參與者均簽署知情同意書，同意個人數據處理；無健康禁忌癥；視力正常或已通過矯正達到正常水平。實驗過程中，允許參與者對實驗進程進行口頭評論，并向主試者報告自身狀態；若參與者提出需求，允許其在空間內移動，或因身體不適而中斷實驗。實驗在實驗室一間獨立、安靜且通風良好的房間內進行。參與者需佩戴心率監測設備（置于心窩部/太陽神經叢區域），并可根據個人偏好選擇坐姿或站姿完成虛擬場景體驗。佩戴VR頭顯后，由實驗人員協助完成設備調試。虛擬場景啟動的同時，同步開始心率記錄與視頻錄制。參與者以隨機順序瀏覽虛擬場景的各個部分，可自由返回先前已探索的地點，但通常不會在某處長時間停留。

2.4 數據分析
心率數據（NN間期）的預處理在Jupyter Notebook環境中完成，使用Anaconda Inc.（美國德克薩斯州奧斯汀）提供的Anaconda 2020.07發行版（Python 3.8.3 64位）。為提升數據質量，剔除以下NN間期：低于400 ms或高于1300 ms者；或與前5個NN間期中位數偏差超過70%者。采用‘hrv-analysis’軟件包計算心率變異性（HRV）指標，具體包括：

• NNi50（20）：相鄰RR間期差值超過50（20）ms的次數；
• pNNi50（20）：相鄰RR間期差值超過50（20）ms的RR間期所占比例；以上指標均按五分鐘時間窗計算——即VR暴露的前五分鐘（第一階段）與后續五分鐘（第二階段）。選擇五分鐘分段進行分析的做法，在涉及虛擬現實游戲中心率研究的文獻中較為常見。統計分析使用Jupyter Notebook中的SciPy軟件包完成。

動覺學指標分析由三位獨立專家完成：每段視頻材料由兩名專家以隨機順序分別標注；對每一動覺學指標，取兩位專家標注結果的平均差異值用于后續分析；若某一指標上兩位專家差異超過閾值，則由第三位標注者進行仲裁確認。標注工作使用開源軟件BORIS（Behavioral Observation Research Interactive Software）完成。僅納入以下兩類表現進行標注：（1）持續時間超過500 ms的持續性動覺表現（例如嘴唇水平拉伸等）；（2）瞬時性但重復出現的現象（例如吞咽、聳肩等）。持續時間不足500 ms的微表情則予以忽略。動覺學指標計數按每位參與者所對應視頻材料的總時長進行歸一化處理，時間精度為10秒；進而分別計算每位參與者在VR暴露前五分鐘與后續五分鐘內的動覺學指標出現頻次。

為比較VR暴露前五分鐘（“stage1”）與后續五分鐘（“stage2”）之間的心率指標與恐懼相關動覺學指標數量的差異，采用Wilcoxon符號秩檢驗（Wilcoxon matched-pairs test）。

3 結果與討論
圖1展示了20名參與者的標注數據。縱軸表示參與者群體在每5分鐘時段內（即“第一階段”stage1與“第二階段”stage2）所明確表現出的恐懼動覺學指標的平均值與中位數。動覺學指標數量（藍色柱狀圖）在第一階段達到最高值，而在第二階段則顯著下降。該結果經統計分析證實（T = 55；p < 0.05）。

圖2匯總了第一階段（stage1）與第二階段（stage2）中心率變異性（HRV）指標的動態變化。結果顯示：在VR沉浸的第二階段，相鄰NN間期差異≥50 ms的次數（nni_50）及其占比（pnni_50），以及相鄰RR間期差異≥20 ms的占比（pnni_20）均出現下降。這表明，隨著VR暴露時間延長，整體心律變異性降低，可能反映出自主調節系統承受壓力，亦可能提示疲勞的發生。

因此，本研究結果表明：恐懼在動覺層面的外顯表達主要出現于VR旅程初期，即個體對既有環境條件的適應階段。我們發現，在游戲第二階段，RR間期的平均值與中位數總體縮短；同時，nni_50、pnni_50 以及 pnni_20 均顯著下降。換言之，隨著交互式VR旅程的推進，整體心率變異性降低，反映出調節系統處于普遍緊張狀態。

本研究的一項重要成果是發展出一種基于社文化與行為取向的動覺學方法，用以評估VR旅行者的情感狀態。不同于諸多僅聚焦單一指標的研究［5, 6］，我們力求全面應對當前有關個體沉浸于VR場景時實時狀態數據匱乏的問題——鑒于個體差異層面，單一指標的評估方法可能存在顯著局限性。

我們承認，所開發并應用的方法仍存在局限性。然而，與依賴自評報告［7, 10, 11］或復雜醫學檢測（如［12］）的方法相比，動覺學方法具備良好的時間分辨率，且不僅適用于場景開發階段，更可依據VR旅行者的個體特征進行定制，進而直接應用于真實VR場景中——例如作為博物館等場所提升用戶參與度的互動要素。此外，該方法無需對參與者進行長時間沉浸前準備（如佩戴腦電EEG傳感器［13］）。

我們亦意識到，相較于2023年某項實驗中同行所采用的方法［14］，本方法的精度可能較低。然而，我們的研究為VR沉浸過程中參與者狀態變化提供了補充性信息。類似研究日益受到重視，但往往集中于病理狀態［15］。我們認為，針對非病理人群開展VR旅程研究亟需加強，以預防技術方案在博物館及其他交互環境中可能引發的負面效應。未來研究中，我們計劃引入非寫實場景，以拓展實驗結果的外推效度與參照價值。

4 結論
綜上，我們完成了本次先導性研究，并取得了切實可行的成果。后續工作中，我們計劃對全部35名參與者的完整數據集進行處理，并將動覺活動的量化指標與心率（HR）測量結果加以比對，從而對參與者在虛擬旅程中狀態的動態變化作出確定性結論。

基于現有數據，我們在開發可能誘發恐懼反應的VR場景時，需重視所發現的特征：參與者的反應最為顯著的階段集中于旅程的前5分鐘；此后疲勞逐漸出現，其整體狀態亦難以通過視覺手段準確評估。

為構建生理適應性良好的VR場景，建議將初始環境熟悉階段控制在2分30秒以內，以促進參與者順利適應；場景高潮宜設置在2分30秒至5分鐘之間；此后則需預留充分時間，供參與者休息并恢復生理功能。

此外，我們強調：在評估VR旅行者狀態時，應結合使用直接方法（如動覺活動分析）與儀器測量方法（如心率監測），以實現更全面、可靠的評估。

原文鏈接： https://link.springer.com/book/10.1007/978-3-031-76516-2