不同靈巧手，終于可以共用「一套大腦」了

本文的作者均來自北卡羅來納大學教堂山分校。本文的第一作者為博士生衛振宇，主要研究方向為跨智能體的靈巧操作；第二作者為博士生姚云超；通訊作者為助理教授丁明宇。

在機器人操作領域，一個長期懸而未決的核心問題始終困擾著研究者：

面對形態各異的靈巧手，我們是否注定要為每一種手型單獨設計表示方式與控制策略？

現實世界中的靈巧手在結構和形態上存在著極大的差異 —— 有的手指數量不同，有的關節拓撲各異，自由度分布并不統一，驅動方式和感知配置更是各不相同。幾乎每一款新靈巧手的出現，都意味著要重新定義動作空間、重新采集交互數據，并針對該手型單獨訓練和反復調試控制模型。這種高度依賴 “具體手型” 的研究路徑，不僅顯著抬高了開發成本，也在很大程度上限制了靈巧操作算法在真實場景中的復用能力和規模化落地。

靈巧操作之所以長期被認為是機器人領域中最具挑戰性的方向之一，原因并不只在于其本身具備高自由度，更深層的問題在于：“手” 始終缺乏一種統一、且具備良好泛化能力的描述方式。

不同靈巧手在關節數量、結構拓撲以及運動約束上的巨大差異，使得策略學習往往與具體手型緊密綁定，模型難以遷移，系統也難以擴展。如何在不犧牲操作精度和靈活性的前提下，抽象出一種能夠覆蓋多種靈巧手的通用表示，并在此基礎上構建統一的動作空間，始終是該領域尚未徹底解決的關鍵問題。

近期，北卡羅來納大學教堂山分校的研究團隊提出了 One Hand to Rule Them All。與以往側重于特定任務或單一靈巧手的研究不同，這項工作從更底層的表示層出發，嘗試為不同靈巧手構建一個統一、規范且具備泛化能力的描述空間。在這一框架中，“手” 本身被作為模型的條件輸入，不同手型可以共享同一套動作表達與策略結構。這一思路為靈巧操作系統的可擴展性和通用性提供了新的可能，也為未來實現跨手型、跨設計的機器人學習奠定了重要基礎。

• 論文標題：One Hand to Rule Them All: Canonical Representations for Unified Dexterous Manipulation
• 項目主頁：https://zhenyuwei2003.github.io/OHRA/
• 論文鏈接：https://arxiv.org/abs/2602.16712
• 代碼鏈接：https://github.com/zhenyuwei2003/OHRA

一、引言

靈巧操作是機器人實現高水平抓取、在手操作以及工具使用等復雜任務的核心能力。然而，不同靈巧手在自由度數量、關節布局與運動學結構上存在顯著差異，使得現有方法往往深度依賴特定的硬件設計，難以在不同手型之間泛化。這種結構依賴性嚴重制約了數據、模型與控制策略的復用，也成為靈巧操作規模化發展的關鍵瓶頸。

當前，大多數靈巧操作方法通常默認手部結構是固定不變的。即便在學習框架中引入了靈巧手的三維幾何信息（例如點云表示），策略仍然強烈依賴具體的關節維度和運動學拓撲，使得模型在跨手遷移時性能明顯下降。另一方面，雖然 URDF 可以完整刻畫手部的幾何與運動學屬性，但其層級化、非統一的組織方式并不適合直接作為學習模型的輸入，也難以支持在不同手型之間定義一致的動作空間。

為緩解跨手泛化難題，近期已有研究開始探索跨靈巧手的學習范式，例如以人手作為中介表示，或通過顯式建模接觸關系來實現抓取策略的遷移。然而，這類方法要么依賴人形假設，擴展性受到限制；要么僅適用于特定任務場景（如抓取），難以推廣到更通用的靈巧操作問題。總體來看，當前仍缺乏一種統一、可擴展且動作定義一致的靈巧手表示框架。

針對上述挑戰，我們提出了一種規范化（Canonical）的靈巧手表示方法，將具有不同自由度數量、不同手指配置以及不同運動學結構的靈巧手，統一映射到一個共享的參數空間和標準化的 URDF 形式中。該表示在保留原始手部運動學特性與功能能力的同時，引入了統一的動作維度，使得學習到的策略能夠在不同手型之間自然地共享與遷移。

在這一規范化表示的基礎上，我們進一步學習了一個結構化的手部形態潛空間，并據此訓練了以手部形態為條件的跨靈巧手抓取策略。實驗結果表明，該方法不僅能夠在多種不同靈巧手之間實現有效的策略共享，還可以在未見過的手型上實現零樣本泛化；無論是在仿真環境還是真實機器人實驗中，均表現出穩定且魯棒的抓取性能。

圖 1 不同靈巧手的規范化 URDF 與原始 URDF 對比，展示其在初始姿態與抓取姿態下在形態與運動學上的一致性

二、規范化表征設計

如果想讓不同靈巧手真正 “用同一套方法學會操作”，首先要解決的不是策略本身，而是手該如何被描述。

現實中，靈巧手通常通過 URDF 來定義其幾何和運動學結構，但這種描述方式更多服務于仿真與控制，而非學習本身。不同手型在坐標系約定、關節組織方式上的差異，往往會引入額外的運動學歧義，使得模型即便面對相似的動作意圖，也會得到完全不同的輸入與控制接口。如圖 2 所示，這類不一致在跨手學習時尤為明顯。

圖 2 URDF 的坐標系不一致問題。左：不同來源的 URDF 采用不同的全局坐標方向；右：局部關節坐標軸定義不統一，導致運動學歧義。

為此，我們設計了一種參數化的規范化 URDF 表征方式。通過固定運動學拓撲并統一坐標定義，不同靈巧手的結構差異被映射到同一規范框架之下，從而消除由建模習慣帶來的表示不一致問題。這一規范結構以人手為啟發，支持最多五指、22 個自由度，能夠覆蓋現有主流靈巧手的設計形式。在保證表達能力的同時，我們系統性地去除了與具體硬件實現強相關的冗余差異，使不同手型在該表示下具備良好的可比性。

圖 3 規范化 URDF 結構示意（以右手為例）。左：網格與坐標系可視化；右：運動學骨架圖。

在幾何層面，手掌與手指均采用膠囊體進行抽象，以降低不必要的幾何復雜度，同時保留關鍵的運動學關系，為后續的學習過程提供更加穩定的輸入基礎。

在規范化 URDF 之上，我們進一步引入了一組緊湊且可解釋的參數，用于描述靈巧手的整體形態與運動學特征。這些參數涵蓋手掌尺寸、手指長度、指根分布位置以及關節活動范圍等關鍵信息，使手部結構可以被表示為固定維度的向量，從而自然地作為條件輸入引入學習模型。

為了將現有靈巧手模型高效映射到這一規范表示中，我們實現了一套自動化的 URDF 解析與生成流程。該流程能夠從原始 URDF 中提取規范參數，并據此生成對應的規范化模型，實現原始表示與規范表示之間的雙向轉換，為跨手型的策略復用提供了可靠的工程支撐。

最后，基于規范化 URDF 所定義的固定拓撲結構，我們構建了統一的動作空間。所有靈巧手均在同一 22 維關節空間中進行控制，對于不存在的關節則采用失活方式處理。通過這一設計，不同自由度配置的靈巧手可以共享同一套動作語義，使單一策略能夠在多種手型之間直接遷移。

三、實驗

為系統評估所提出規范化表示在表達能力、物理一致性以及跨手泛化能力方面的有效性，我們從多個互補角度對其進行了驗證。整體實驗設計圍繞以下四個核心問題展開：

1）該表示是否能夠形成連續且具有物理意義的形態空間；

2）是否能夠忠實保留原始手部的運動學與控制特性；

3）是否支持不同靈巧手之間的策略共享；

4）是否能夠在未見過的手型上實現零樣本泛化。

規范化參數的隱空間學習

為評估規范化參數化表示在刻畫不同靈巧手形態方面的能力，我們首先學習了一個手部形態的隱空間表示。具體而言，我們以規范化參數向量為輸入，訓練一個變分自編碼器（VAE），將高維的手部形態參數映射至低維潛變量空間，并通過解碼器重構對應的規范化 URDF 參數。

在實驗過程中，我們在潛空間中對不同靈巧手的表示進行線性插值，并將解碼后的結果可視化為對應的手部模型。實驗結果表明，隨著潛變量的連續變化，手指數、手指長度以及關節配置均呈現出平滑且一致的過渡趨勢。這一現象說明，所提出的規范化參數表示能夠學習到一個連續、結構化且具有明確物理語義的形態流形，從而為后續以手部形態為條件的策略學習奠定了良好基礎。

圖 4 兩種靈巧手在隱空間中的插值結果，展示自由度、手指布局與整體幾何結構的平滑變化。

規范化 URDF 的物理一致性

為驗證規范化 URDF 在動態操作任務中的物理一致性與保真性，我們在兩類具有代表性的操作任務中，對規范化模型與原始 URDF 進行了系統對比評估，分別包括在手內物體旋轉與抓取策略重放。

在手內物體旋轉任務中，我們分別基于原始 URDF 與規范化 URDF 訓練控制策略，并比較其在物體姿態變化幅度與控制穩定性方面的表現。實驗結果如表 1 所示，兩種模型在重定向成功率以及最終姿態誤差等關鍵指標上表現高度接近，表明規范化過程并未顯著削弱原始模型的操作能力。

表 1 規范化 URDF 和 原始 URDF 訓練手內旋轉策略結果對比

在抓取策略重放實驗中，我們進一步評估規范化 URDF 與原始 URDF 之間的雙向映射一致性。具體而言，我們在兩種表示之間進行抓取策略的雙向遷移：一方面，將基于規范化 URDF 生成的抓取預測映射至原始 URDF 上執行；另一方面，將基于原始 URDF（使用 D(R, O) Grasp 模型）生成的抓取預測映射至規范化 URDF 上執行，并分別評估其抓取穩定性與接觸行為的一致性。

表 2 抓取策略在規范化 URDF 與原始 URDF 之間遷移時的成功率對比

綜合上述實驗結果可以看出，在兩種映射方向下，抓取成功率與接觸行為均保持高度一致。這表明規范化 URDF 在統一結構與動作空間的同時，能夠在運動學與動力學層面忠實保留原始靈巧手模型的關鍵物理特性，為后續跨靈巧手的學習與遷移提供了可靠的表示基礎。

跨靈巧手抓取策略學習

在統一的規范化表示與動作空間下，我們進一步評估抓取策略在不同靈巧手之間共享與遷移的能力。得益于規范化 URDF 所帶來的統一關節拓撲、關節索引順序以及動作維度，不同結構的靈巧手可以在同一動作空間中進行控制，從而使單一抓取模型能夠在多種手型上進行聯合訓練。

具體而言，抓取策略以物體的幾何觀測與手部形態條件作為輸入，并在規范化動作空間中直接預測抓取配置。其中，手部形態條件由規范化參數的隱空間表示提供，使模型在生成抓取時能夠顯式感知當前靈巧手的結構約束，而無需針對不同手型設計專用的網絡結構或動作映射模塊。

圖 5 基于規范化表示的跨靈巧手抓取策略流程

在實驗中，我們選取了 Allegro、Barrett 與 Shadow Hand 三種在手指數、自由度數量及結構設計上差異顯著的靈巧手進行統一訓練，并分別在各手型上評估抓取成功率。需要強調的是，該實驗的目的并非提出新的抓取算法，而是驗證規范化 URDF 作為統一下游動作空間的表達能力。實驗結果表明，即使采用結構相對簡單的抓取模型，借助規范化表示，仍能夠在不引入手型特定網絡結構或復雜工程設計的前提下，在多種靈巧手上生成高質量抓取。

表 3 抓取表現對比

進一步地，我們比較了所有靈巧手統一訓練與針對每種靈巧手獨立訓練兩種策略學習方式在抓取任務中的表現。對比結果如表 4 所示，統一訓練模型在所有手型上的抓取成功率均優于對應的獨立訓練模型。這一結果表明，規范化 URDF 所定義的共享動作空間能夠有效促進不同手型之間的經驗共享，使結構差異顯著的靈巧手能夠相互受益于彼此的數據，從而顯著提升跨具身學習的泛化能力。

表 4 統一訓練（Unified）和獨立訓練（Specific）的抓取成功率對比

LEAP Hand 的零樣本抓取泛化

為評估手部形態條件化在零樣本場景下的泛化能力，我們選用了模塊化的 LEAP Hand 構造大規模靈巧手變體，并在未見過的手部結構上系統性地測試抓取性能。通過改變各手指的連桿數量，我們生成了一組在手指數、自由度配置以及運動學結構上差異顯著的 LEAP Hand 變體。其中，原始設計記為 leap_3333，數字分別表示拇指、食指、中指和小指的連桿數量。

在規范化表示框架下，不同 LEAP Hand 變體僅需修改對應的形態參數即可完成建模，使得大規模手型實例化與統一抓取評估成為可能。抓取策略僅在部分 LEAP Hand 變體上進行訓練，并在訓練過程中從未出現的新手型上直接測試，以評估其零樣本泛化能力。

表 5 不同 LEAP Hand 變體的抓取成功率對比（下劃線表示零樣本泛化結果）

實驗結果如表 5 所示，引入手部形態條件的抓取模型在未見手型上的零樣本抓取成功率與已見手型相當，表明基于規范化表示作為條件輸入，策略能夠在無需額外微調的情況下直接適配新的手部結構。進一步地，在形態差異更為顯著的簡化手型上，零樣本模型在多數變體上的抓取成功率甚至優于對應的手型特定模型，展現出良好的跨形態泛化能力。

表 6 零樣本泛化模型與單獨訓練模型的抓取成功率對比

為了驗證形態條件在抓取中的關鍵作用，我們在推理階段人為施加錯誤的手部形態條件，并評估其對抓取性能的影響。實驗結果如表 7 所示，錯誤的形態條件會顯著降低抓取成功率，且這一影響在零樣本設置下尤為明顯。進一步的梯度可視化結果表明，模型能夠根據手部結構差異，自動關注對抓取成功起關鍵作用的手指，說明形態條件在策略決策過程中被顯式利用。

表 7 不同手部形態條件下在 leap_3303 上的抓取成功率

圖 5 規范化參數梯度可視化結果

綜合以上結果，LEAP Hand 實驗表明，規范化表示與手部形態條件能夠有效支撐抓取策略在結構差異顯著的靈巧手之間實現穩健的零樣本泛化。

真機靈巧手抓取實驗

為進一步驗證所提出方法在真實系統中的可行性及其 sim-to-real 遷移能力，我們將基于規范化表示訓練得到的抓取策略部署至真實機器人平臺。實驗系統由 Franka Research 3 機械臂、LEAP Hand 靈巧手以及 RealSense L515 深度相機構成，測試對象為一組形態各異的日常物體，并在多種 LEAP Hand 變體上進行評估。

圖 6 測試物體集合及不同 LEAP Hand 變體的真實抓取示例

在實驗中，我們分別評估了兩類模型：一類是在規范化靈巧手數據集上訓練得到的模型；另一類是在訓練過程中從未見過目標手型的零樣本泛化模型。實驗結果如表 8 所示，訓練模型在真實環境中取得了較高的抓取成功率，表明規范化表示在真實系統中能夠有效保留原始手部模型的關鍵動力學特性，并支持可靠的 sim-to-real 遷移。

表 8 真機實驗的抓取成功率

更為重要的是，零樣本泛化模型在真實系統中的抓取成功率與訓練模型接近，顯示出穩定而一致的跨形態泛化能力。這一結果進一步表明，手部形態條件能夠在面對未見手型時有效引導抓取策略的生成，從而使統一訓練的策略具備面向真實世界部署的潛力。

四、總結

本文提出了一種靈巧手的規范化表示框架，將結構異構的靈巧手統一映射到共享的參數空間與動作空間中，為跨具身學習提供了一種可擴展、可復用的表示基礎。通過連續的形態參數化，該表示能夠顯式刻畫不同靈巧手之間的結構差異，并支持以手部形態為條件的策略學習；與此同時，統一的動作空間使得數據與策略得以在不同手型之間高效共享，顯著降低了對手型定制化設計的依賴。

基于該規范化表示，我們實現了與具體手部結構解耦的抓取策略，并在多種靈巧手以及未見過的手型上系統驗證了其零樣本泛化能力。實驗結果表明，規范化 URDF 在保持原始手部模型運動學與動力學一致性的同時，能夠有效支撐跨形態的策略遷移，使統一訓練的模型在無需額外微調的情況下適配新的手部結構，避免了對手型特定網絡結構或復雜工程設計的依賴。

更進一步地，該規范化表示框架及其背后的設計原則并不局限于靈巧手抓取任務，也有望推廣至更廣泛的機器人具身形式與操作場景，例如類人機器人、多形態末端執行器以及更復雜的操作任務。我們希望這一工作能夠為可擴展的跨具身操作學習提供通用基礎，并推動具身智能與機器人操作研究向更通用、更可遷移的方向發展。