MIT沉浸式實驗室如何使用MANUS手套實現遠程VR神經外科

MIT.nano沉浸式實驗室是麻省理工學院的多學科空間，旨在可視化復雜數據和原型沉浸式技術以支持AR和VR研究、動作捕捉以及面向科學、工程和藝術領域用戶的數字物理交互。

外科訓練的挑戰

現代神經外科技術要求極其精確，尤其是在小兒腦積水手術中。多年來，年輕的外科醫生不得不長途跋涉精進技能向像波士頓兒童醫院的本杰明·華爾醫生這樣的專家學習。這些手術技能需要非常高的精度，傳統上這些技能只能通過面對面的指導來傳承。

為了打破這個障礙，小兒神經外科醫生吉賽爾·科埃略創立了EDUCSIM并與MIT.nano的沉浸式實驗室一起共同創造了一個沃爾博士的虛擬現實形象，讓居民可以遠程向他學習，就好像他就站在學員身邊一樣。

根據華爾博士創作虛擬化身的挑戰

• 要求高保真動作捕捉能夠以外科手術級別的精度記錄操作人員靈巧的手指運動。
  

• 需要高分辨率立體視頻采集，以在手術過程中準確保存全身姿勢和空間背景。
  

• 捕捉面部表情和非語言暗示的必要性，這對教學清晰性和臨床交流至關重要。
  

• 集成多種虛擬現實/增強現實技術，確保完整、真實地再現外科醫生的遠程培訓技術。

Manus解決方案

沃爾多次訪問MIT.nano網站進行數字“捕捉”，包括穿著動捕套裝（MANUS Metagloves Pro手套和嵌入傳感器的衣服）在嬰兒模型上做手術。

外科手術級手指動作捕捉

MANUS手套提供高精度傳感器數據，實時捕捉關節位置、旋轉和角度。這使得數字模型能夠保留沃爾手術技術的準確細節，從他如何穩定器械到他如何執行精細的手術任務，而不是將手部運動簡化為寬泛的手勢。由此產生的手指水平的數據成為一個精確的訓練參考，學員可以觀察和復制。

跨VR/AR環境的無縫集成

MANUS手套與VR環境兼容，可以支持手術模擬器和混合現實訓練系統中的工作流程。通過同步位置跟蹤、身體姿勢和手部運動數據，MANUS使外科醫生能夠在沉浸式環境中實現完整的數字孿生。學員可以從多個角度觀察技術，接受實時指導，體驗沉浸式空間教學而不是靜態演示。

“這些技術主要用于娛樂、VFX或CGI。但是我們現在把它應用于真正的醫學實踐和真正的外科手術技術學習中。”—麻省理工學院納米沉浸實驗室AR/VR技術專家泰爾絲·瑞克斯說到。

結果

沃爾和EDUCSIM的項目使3000多英里外的巴西學員能夠觀察世界級神經外科醫生的數字化身并與之互動，在一比一大小的嬰兒大腦模型上練習精細的手術。

“如果有一天我們可以擁有像Giselle這樣的化身，在偏遠的地方向人們展示如何做手術和回答問題，而不需要旅行的成本或時間，我認為這將是非常強大的，”沃爾說，目前他已經花費了數年時間在世界各地培訓兒童神經外科醫生。

展望未來，結合MANUS手套精確的手部動作捕捉和VR/AR環境可以支持更廣泛的應用，如遠程手術指導、遙操作機器人、工業技能轉移和全球培訓工作流等。