靈巧手遙操作：20自由度機械手高保真控制

實現人類水平的靈活性需要精確、低延遲的機器人控制。通過整合MANUS Quantum Metagloves和Meta Quest 3，ByteDexter系統能夠實現20自由度連桿驅動的擬人機器人手的實時遙控操作。該系統實現了精確的捏夾、穩定的力量抓握和實時手動操作，為靈巧機器人、遙操作和具體化人工智能研究提供了高質量的演示數據。

機器人靈活性的挑戰

機器人的靈巧性很難實現，因為機器人面臨兩個關鍵挑戰：硬件限制和人與機器人運動之間的差異性。

1. 硬件限制

制造一只能像人手一樣移動的機器手遠非易事。不同的設計方法各有利弊：

直接電機驅動

簡單但笨重

難以小型化

肌腱驅動

高度仿生

電纜容易磨損，需要復雜的維護

致動器通常放置在前臂上，使集成變得復雜

聯動驅動

緊湊、耐用且易于維護

驅動器安裝在手掌內部

是高自由度靈巧手的理想選擇，但由于耦合運動和有限的空間，拇指設計極具挑戰性

ByteDexter通過混合設計解決了這些問題：

四個手指使用緊湊的并行-串行連接結構。

拇指采用了一種新設計的機制，具有三個驅動4自由度的致動器，能夠在彎曲、伸展和外展之間實現去耦的類似人類手部運動。

該系統由用于實時控制的微秒級運動學解算器支持。

2. 運動映射失真

人手和機器人手在關節類型、運動范圍和幾何比例方面有所不同。這些不匹配會導致復雜任務的失真，如捏、多指協調和手動操作。傳統的指尖IK和關鍵點匹配方法難以保持人類運動的高保真再現。

高保真靈巧控制的集成遙操作體系結構

ByteDexter將硬件和軟件結合成一個緊密結合的高性能遙操作系統。

l 20自由度擬人機器人手

l 優化的運動重定向算法

l MANUS手套的高保真傳感器輸入

l 通過Meta Quest跟蹤進行實時arm映射

操作員的手指運動被轉化為ByteDexter手的關節命令，而Quest控制器則提供連續的手腕姿勢輸入。然后，FR3手臂和ByteDexter手實時再現操作員的動作，創建一個自然的全手控制界面。

基于關鍵向量的運動重定向

ByteDexter不是直接映射關節角度或指尖位置，而是使用keyvectors，即表示手部關鍵點之間空間關系的幾何向量。

手指捕捉：

手指到指尖的幾何學

手指間的空間關系

拇指-手指協調信號

自適應加權策略優先考慮用于精確拇指食指或拇指中指控制的捏合相關向量、用于減少碰撞的分離向量以及用于連續穩定運動的平滑項。這個框架有效地協調了人手和機器手掌的差異，并保持了協調的靈巧動作。

結果

該系統提供更緊密、更穩定的捏握動作，準確再現拇指與手指的協調運動，并顯著減少意外碰撞。它支持靈巧的手動操作，包括平滑捏合到抓握的轉換，雙對象處理，通過推動或控制旋轉打開蓋子，以及其他協調的多自由度動作。

該圖比較了ByteDexter的重定目標方法(紅色)和基線方法DexPilot(藍色)在捏取任務期間的指尖距離跟蹤性能。ByteDexter的重定目標功能可以產生更真實跟隨人類手指運動的指尖軌跡，從而實現更準確、更穩定的擠壓。

專為遠程操作、數據收集和嵌入人工智能而打造

MANUS數據手套和連桿驅動的ByteDexter靈巧手組合使得該系統能夠可靠地復制人手運動，保持協調的手臂控制，執行連續的多步任務，并有效地操縱現實世界中的各種物體。該平臺非常適合遠程操作、高質量的數據收集、模仿學習和嵌入AI的開發流程。