MANUS數據手套彌合靈巧手訓練中虛擬模擬與現實應用的差距

本文將通過研究論文“通過Sim-to-Real傳輸，使用靈巧手進行關節式工具的手動操作”中的內容，描述使用Manus數據手套操作靈巧手的技術結果和方法，該案例全部基于作者發現所表述。

機器手使用人類工具

機器人學的一個主要目標是開發能夠在以人為中心的環境中有效運行的系統。為此，機器人必須能夠與專為人手設計的工具互動。掌握工具操作允許機器人在日常環境中執行多種任務，并超越傳統的工廠自動化。

在這項研究中，加州大學圣地亞哥分校通過使用比人手自由度更少的機械手實現關節式工具的靈巧手動操作來探索這一挑戰。

挑戰

對于人類來說，使用剪刀或鑷子感覺毫不費力。然而，對于機器人來說，使用帶有活動關節的鉸接工具帶來了巨大的挑戰，原因在于:

1. 極其復雜的接觸動力學

內部關節摩擦、靜摩擦、間隙和小的結構間隙很難精確建模，從而導致模擬和真實世界之間的嚴重不匹配。

2. 模擬到真實的傳輸差距很大

在模擬中表現良好的策略在物理硬件上往往會遇到困難或失敗，因為物理屬性的微小差異會導致較大的行為偏差。

MANUS數據手套解決方案

為了解決機器人初始化抓取姿態不穩定或不一致的問題，UCSD團隊將MANUS Metagloves Pro整合進他們的工作流程：

手套被用作手部跟蹤器，以提供遠程操作演示。

它們提供了工具操作的初始抓取配置。

每當機器手不能可靠地實現穩定抓取時，他們就會初始化關節對象狀態。

Manus在三階段訓練框架中的位置

研究小組設計了一個三階段訓練框架，MANUS手套通過在需要時提供人類演示的初始抓握動作推動了這一過程。

階段1:模擬訓練和干擾注入

使用完美對象姿態信息特權策略。

添加隨機的力和扭矩以提高真實性。

每當機器人不能自主固定工具時，團隊就使用MANUS手套為遙控演示提供一致的、可行的初步理解。

階段2:策略升華到僅本體感受

僅使用聯合立場和簡單命令，將特權政策提煉為學生政策。

移除特權信息，以便能夠在真實機器人上部署。

階段3: CATFA觸覺適應

引入CATFA(交叉注意觸覺力適應)，融合觸覺信號和電機扭矩反饋。

實現在線微調、干擾補償和穩定接觸控制。

(a)研究工作流程概述。模擬培訓和政策提煉；(b)通過CATFA模塊在硬件上進行在線調整。

結果

在手術鉗、縫合器、腹腔鏡器械等領域，CATFA系統取得了持續良好的使用效果。具有挑戰性的工具的成功率從大約20-30%上升到100 %，而已經表現良好的任務則獲得了額外的穩定性和精確性。

未來影響

在這項研究中，MANUS Metagloves Pro在機器人努力建立自主抓握時，通過提供可靠的、人類演示的初始抓握姿態來支持訓練過程。這種工作流程得益于Manus高精度的手部姿態捕捉方案，Manus可以再現自然的人手動作，并捕捉鉸接工具所需的細微抓握變化。通過使用平穩集成到機器人管道中的遠程操作演示系統，研究人員能夠確保每次試驗的穩定開始狀態，這實現了有效的機械學習和虛擬模擬到現實應用的轉移。

在這項研究之外，使MANUS適用于抓取初始化的相同特征也支持機器人、數字人研究、VR和AR交互以及康復技術中更廣泛的應用。MANUS手套為捕捉人手運動并將其轉換為可用于訓練、遠程操作和交互控制的數據提供了一個自然的界面。