Varjo宣布Varjo XR-4系列全部支持手跟蹤功能,隨著Varjo Base 4.10軟件的發(fā)布。這一強(qiáng)大的新功能現(xiàn)在作為標(biāo)配免費(fèi)提供!可通過Varjo Base設(shè)置自動(dòng)啟用。
![]()
請(qǐng)注意:手動(dòng)跟蹤作為一種測(cè)試功能。雖然它已經(jīng)實(shí)現(xiàn)了新的可能性,但也有一些已知的限制,包括手勢(shì)可靠性和延遲。
與OpenXR應(yīng)用程序無(wú)縫集成
集成的手部跟蹤功能適用于定焦和自動(dòng)對(duì)焦功能的XR-4頭顯。用戶現(xiàn)在可以在任何支持手部跟蹤的應(yīng)用中享受身臨其境的交互。具體來(lái)說,Varjo實(shí)現(xiàn)了包括對(duì)XR EXT hand 跟蹤和XR EXT hand 交互的OpenXR擴(kuò)展。
XR EXT hand _跟蹤支持完全連接26個(gè)手形標(biāo)志,提供詳細(xì)的骨骼跟蹤。
XR EXT hand _交互支持四種直觀的手勢(shì):瞄準(zhǔn)、捏、抓、戳。為了獲得最佳用戶體驗(yàn),Varjo建議使用應(yīng)用此擴(kuò)展的應(yīng)用程序。
基于攝像頭的跟蹤–不需要額外的硬件
這一新功能是通過利用視頻透視(VST)攝像機(jī)流式傳輸?shù)絏R-4實(shí)現(xiàn)的。這意味著不需要額外的硬件—用戶的手部將直接可在可視區(qū)域內(nèi)被跟蹤。
![]()
90 Hz和75 Hz VST模式都支持手部跟蹤,盡管在初始版本中跟蹤幀速率略有降低。(對(duì)于使用XR-4 FE的用戶,請(qǐng)注意75 Hz模式提供了略大的垂直視野。)
針對(duì)真實(shí)環(huán)境進(jìn)行優(yōu)化
該系統(tǒng)針對(duì)典型的辦公室照明條件(200-500勒克斯)進(jìn)行了優(yōu)化。為了實(shí)現(xiàn)最佳性能,請(qǐng)確保環(huán)境光線充足,讓VST相機(jī)捕捉高質(zhì)量的幀。
手部跟蹤獨(dú)立于頭顯的位置跟蹤方法(inside-out跟蹤(IoT)與SteamVR跟蹤)工作。
由機(jī)器學(xué)習(xí)提供支持
![]()
該功能的核心部分是在Varjo內(nèi)部訓(xùn)練的機(jī)器學(xué)習(xí)模型。該系統(tǒng)使用以下組合來(lái)檢測(cè)和映射3D環(huán)境中的手:
立體視覺來(lái)自耳機(jī)的VST攝像頭。
深度數(shù)據(jù)來(lái)自內(nèi)置的飛行時(shí)間傳感器
Varjo已經(jīng)通過對(duì)來(lái)自各種個(gè)人的數(shù)據(jù)(包括年齡、膚色、手的大小和性別)進(jìn)行模型訓(xùn)練,確保了該功能的穩(wěn)定性和包容性。
推算是在CPU上執(zhí)行的,因此高性能處理器將提供更平穩(wěn)的手部跟蹤。(GPU不用于手跟蹤,以區(qū)分用戶應(yīng)用程序的優(yōu)先級(jí))
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.