MIT沉浸式實(shí)驗(yàn)室如何使用MANUS手套實(shí)現(xiàn)遠(yuǎn)程VR神經(jīng)外科

MIT.nano沉浸式實(shí)驗(yàn)室是麻省理工學(xué)院的多學(xué)科空間，旨在可視化復(fù)雜數(shù)據(jù)和原型沉浸式技術(shù)以支持AR和VR研究、動(dòng)作捕捉以及面向科學(xué)、工程和藝術(shù)領(lǐng)域用戶(hù)的數(shù)字物理交互。

外科訓(xùn)練的挑戰(zhàn)

現(xiàn)代神經(jīng)外科技術(shù)要求極其精確，尤其是在小兒腦積水手術(shù)中。多年來(lái)，年輕的外科醫(yī)生不得不長(zhǎng)途跋涉精進(jìn)技能向像波士頓兒童醫(yī)院的本杰明·華爾醫(yī)生這樣的專(zhuān)家學(xué)習(xí)。這些手術(shù)技能需要非常高的精度，傳統(tǒng)上這些技能只能通過(guò)面對(duì)面的指導(dǎo)來(lái)傳承。

為了打破這個(gè)障礙，小兒神經(jīng)外科醫(yī)生吉賽爾·科埃略創(chuàng)立了EDUCSIM并與MIT.nano的沉浸式實(shí)驗(yàn)室一起共同創(chuàng)造了一個(gè)沃爾博士的虛擬現(xiàn)實(shí)形象，讓居民可以遠(yuǎn)程向他學(xué)習(xí)，就好像他就站在學(xué)員身邊一樣。

根據(jù)華爾博士創(chuàng)作虛擬化身的挑戰(zhàn)

• 要求高保真動(dòng)作捕捉能夠以外科手術(shù)級(jí)別的精度記錄操作人員靈巧的手指運(yùn)動(dòng)。
  

• 需要高分辨率立體視頻采集，以在手術(shù)過(guò)程中準(zhǔn)確保存全身姿勢(shì)和空間背景。
  

• 捕捉面部表情和非語(yǔ)言暗示的必要性，這對(duì)教學(xué)清晰性和臨床交流至關(guān)重要。
  

• 集成多種虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)技術(shù)，確保完整、真實(shí)地再現(xiàn)外科醫(yī)生的遠(yuǎn)程培訓(xùn)技術(shù)。

Manus解決方案

沃爾多次訪問(wèn)MIT.nano網(wǎng)站進(jìn)行數(shù)字“捕捉”，包括穿著動(dòng)捕套裝（MANUS Metagloves Pro手套和嵌入傳感器的衣服）在嬰兒模型上做手術(shù)。

外科手術(shù)級(jí)手指動(dòng)作捕捉

MANUS手套提供高精度傳感器數(shù)據(jù)，實(shí)時(shí)捕捉關(guān)節(jié)位置、旋轉(zhuǎn)和角度。這使得數(shù)字模型能夠保留沃爾手術(shù)技術(shù)的準(zhǔn)確細(xì)節(jié)，從他如何穩(wěn)定器械到他如何執(zhí)行精細(xì)的手術(shù)任務(wù)，而不是將手部運(yùn)動(dòng)簡(jiǎn)化為寬泛的手勢(shì)。由此產(chǎn)生的手指水平的數(shù)據(jù)成為一個(gè)精確的訓(xùn)練參考，學(xué)員可以觀察和復(fù)制。

跨VR/AR環(huán)境的無(wú)縫集成

MANUS手套與VR環(huán)境兼容，可以支持手術(shù)模擬器和混合現(xiàn)實(shí)訓(xùn)練系統(tǒng)中的工作流程。通過(guò)同步位置跟蹤、身體姿勢(shì)和手部運(yùn)動(dòng)數(shù)據(jù)，MANUS使外科醫(yī)生能夠在沉浸式環(huán)境中實(shí)現(xiàn)完整的數(shù)字孿生。學(xué)員可以從多個(gè)角度觀察技術(shù)，接受實(shí)時(shí)指導(dǎo)，體驗(yàn)沉浸式空間教學(xué)而不是靜態(tài)演示。

“這些技術(shù)主要用于娛樂(lè)、VFX或CGI。但是我們現(xiàn)在把它應(yīng)用于真正的醫(yī)學(xué)實(shí)踐和真正的外科手術(shù)技術(shù)學(xué)習(xí)中。”—麻省理工學(xué)院納米沉浸實(shí)驗(yàn)室AR/VR技術(shù)專(zhuān)家泰爾絲·瑞克斯說(shuō)到。

結(jié)果

沃爾和EDUCSIM的項(xiàng)目使3000多英里外的巴西學(xué)員能夠觀察世界級(jí)神經(jīng)外科醫(yī)生的數(shù)字化身并與之互動(dòng)，在一比一大小的嬰兒大腦模型上練習(xí)精細(xì)的手術(shù)。

“如果有一天我們可以擁有像Giselle這樣的化身，在偏遠(yuǎn)的地方向人們展示如何做手術(shù)和回答問(wèn)題，而不需要旅行的成本或時(shí)間，我認(rèn)為這將是非常強(qiáng)大的，”沃爾說(shuō)，目前他已經(jīng)花費(fèi)了數(shù)年時(shí)間在世界各地培訓(xùn)兒童神經(jīng)外科醫(yī)生。

展望未來(lái)，結(jié)合MANUS手套精確的手部動(dòng)作捕捉和VR/AR環(huán)境可以支持更廣泛的應(yīng)用，如遠(yuǎn)程手術(shù)指導(dǎo)、遙操作機(jī)器人、工業(yè)技能轉(zhuǎn)移和全球培訓(xùn)工作流等。