全球首個基于視頻轉3D具身數據的數據集開源！

在機器人學習領域，"數據荒" 一直是制約技術落地的核心痛點。傳統機器人訓練依賴昂貴的遙操作設備或專業動捕工作室，不僅成本高企，還難以覆蓋真實世界的多樣化場景。而互聯網上海量的人類手-物交互視頻，卻因物理不一致、形態不匹配等問題，長期被擋在機器人訓練的數據大門外，如果能夠有效解決這個棘手問題，那么機器人產業將面臨一次徹底的變革。

通過互聯網視頻提取具身智能訓練數據，已成為行業突破“數據荒”的重要方向，特斯拉早在2025 年就明確布局，Optimus 機器人已實現通過第一視角視頻學習掃地、炒菜等16 項任務，后續更是加大使用互聯網第三人稱視頻擴大訓練規模，復刻FSD 的成功路徑。

國內不少企業也在跟進這一技術路線，但行業依舊處于各自為戰的狀態，多數企業的數據僅服務于自有模型，既不對外開源，也缺乏統一的質量評估標準，導致數據精度、一致性等核心指標無法量化驗證，難以形成協同效應。不過，現在這種現狀即將迎來轉機。

近日，清華大學與樞途科技研發團隊聯合推出的RoboWheel數據引擎正式發布。該引擎可將普通單目 RGB/RGB-D 相機拍攝的人類手-物交互（HOI）視頻，轉化為適用于工業機械臂、靈巧手、人形機器人等不同形態設備的訓練數據，無需復雜硬件即可實現媲美遙操作的訓練效果。

基于RoboWheel 數據引擎，研究團隊構建并推出大規模多模態數據集HORA。該數據集已包含15萬條軌跡的多模態機器人訓練數據，融合多攝像頭采集數據、單目視頻及公開HOI語料庫，可直接用于具身模型的訓練與評估。

1 月 16 日，HORA 數據集同步開源，配套釋出的還有基準模型訓練代碼，開發者可直接下載部署與測試。

項目地址：https://zhangyuhong01.github.io/Robowheel/

Huggingface：https://huggingface.co/datasets/HORA-DB/HORA

Github開源工具包：https://github.com/zhangyuhong01/Robowheel-Toolkits

樞途科技表示，目前開源的數據集僅為HORA數據集的一部分，今年上半年團隊還會陸續擴充數據集的規模，預計最終版本的數據規模將達到百萬量級，有望成為全球規模最大的基于視頻轉3D具身數據的數據集。

▍RoboWheel如何讓視頻數據“適配”機器人訓練？

RoboWheel的技術核心在于其對人類手-物交互的高精度解析與靈活轉化能力，共包含三個關鍵部分。

給定單目RGB（-D）輸入，研究團隊首先估計手部或全身的運動，以及被操作物體的運動。隨后，在截斷符號距離函數（TSDF）和強化學習的引導下進行聯合優化，以提升物理合理性并確保機器人可觸及性。得到的軌跡會被重定向到多種不同的機器人形態，包括機械臂、靈巧手和人形機器人。最后，在Isaac Sim中對觀測數據和軌跡執行領域隨機化處理，以豐富機械臂的觀測多樣性，并在VLA和模仿學習兩類政策基準中，對生成的具身數據進行有效性驗證。

第一步：物理可信的HOI重建

要讓機器人"看懂"人類動作，首先需要從二維視頻中還原三維空間中的手-物交互軌跡。RoboWheel整合了人體姿態估計、物體重建技術，能精準提取手部MANO參數、物體6D位姿及網格模型。

將手部關節映射至夾具的末端執行器位姿，包括夾具開合狀態的對應映射。

更關鍵的是，它解決了傳統重建中常見的穿透、抖動問題。通過基于符號距離函數（SDF）的碰撞懲罰機制，避免手與物體的不符合物理規律的穿透，再通過殘余強化學習（RL）優化，在保證機器人可達性的前提下，進一步修正手-物相對姿態，讓軌跡既符合人體運動規律，又滿足機器人操作的物理約束。

手- 物交互（HOI）重建質量對比

RoboWheel 的手 - 物交互（HOI）重建結果。無論數據是否來自公開手 - 物交互（HOI）數據集（如 DexYCB 數據集），RoboWheel 均能實現高精度的手 - 物交互（HOI）重建。

最終重建的軌跡在關鍵指標上全面超越現有方法：物體表面Chamfer 距離僅5.1cm，遠低于HORT的8.9cm；手部抖動降至0.92cm/s2，是現有最優方案的1/3以下；手-物相對姿態的平移標準差僅0.26cm，旋轉標準差1.9度，實現了超高精度的時空一致性。

第二步：跨形態重定向一套動作適配所有機器人

不同機器人的"身體結構"差異巨大，工業機械臂的自由度、靈巧手的手指布局、人形機器人的全身運動邏輯截然不同。RoboWheel的跨形態重定向技術，能將統一的人類動作軌跡，靈活映射到各類機器人的操作空間。

對于6/7自由度工業機械臂（如UR5、Franka Emika Panda等），系統通過KNN分類器判斷人類手勢類型：整手操作時，基于手掌MCP關節構建穩定坐標系，抑制指尖抖動；指尖操作時，通過拇指與食指的相對位置定義夾具軸線。配合CoTracker關鍵點跟蹤技術，精準判斷夾具的開合狀態，即使在嚴重遮擋下也能穩定識別。

針對靈巧手和人形機器人，技術團隊則利用運動學相似性和接觸保持約束，將重建的手部動作映射到機器人關節空間，通過逆運動學和動力學優化，確保動作的物理可行性與意圖一致性。實驗結果顯示，這套重定向方案在UR5機械臂上的直接復現成功率高達91.7%，遠超GAT-Grasp的50%和YOTO的66.7%。

第三步：仿真增強，讓數據規模指數級增長

單一視頻的訓練價值有限，RoboWheel在Isaac Sim仿真環境中構建了豐富的數據增強體系，在保持交互語義不變的前提下，極大拓展了數據分布的多樣性。

RoboWheel在仿真中的多樣化數據增強

這些增強策略包括：設備形態隨機化，將同一軌跡適配到5種主流機械臂；物體檢索替換，基于幾何相似性和語義嵌入，自動替換為同類物體（如杯子換馬克杯、盒子換紙箱）；軌跡增強，對操作段和非操作段分別進行剛性變換和路徑重映射；場景增強，隨機化背景紋理、光照條件、桌面clutter等環境因素。

更重要的是，所有增強操作都在統一的規范動作空間中進行，確保不同形態、不同場景下的交互邏輯保持一致，進一步提升機器人的泛化能力。

▍HORA(Hand-Object-Robotic-Action)數據集：15萬條軌跡撐起機器人學習新基準

基于RoboWheel數據引擎，團隊構建了大規模多模態數據集HORA，整合了三種數據源：自定義多視角動捕系統（帶觸覺手套）、RGB(D)錄制數據、公開HOI數據集，總計包含超過15萬條軌跡。

這個數據集的獨特之處在于其"雙模態兼容"特性，既包含手-物交互相關的手部參數、物體位姿、接觸標注等HOI模態，同時也提供機器人視角觀測、末端執行器軌跡等機器人專用模態。其中動捕子集還記錄了高精度觸覺信號，為精細操作學習提供了寶貴數據。

模態與規模對比。對于HORA 數據集，前三行分別對應動作捕捉（mocap）子集、錄制的 RGB（D）子集以及公開手 - 物交互（HOI）子集?！?” 和 “?” 分別表示該模態的缺失與存在。

HORA 數據集的三個子集構成

與現有數據集相比，HORA不僅規模更大，更實現了從人類交互到機器人操作的直接銜接。例如GRAB、HO3D等傳統HOI數據集缺乏機器人可用數據，而DROID、LIBERO等機器人數據集則沒有完整的HOI語義信息，HORA的出現填補了這一空白。

▍實測驗證：性能比肩遙操作泛化能力大幅提升

在真實機器人實驗中，RoboWheel生成的數據展現出驚人的實用價值。團隊在8個 household 任務（分為簡單/困難兩組）上，對ACT、DP、RDT、Pi0四種主流視覺-語言-動作（VLA）和模仿學習模型進行了測試。

按難度分組的真實世界任務性能（%）

結果顯示，僅用10條HORA軌跡微調的模型，性能與基于10條遙操作數據訓練的模型相當，簡單任務平均成功率18.8% vs 12.5%，困難任務6.3% vs 1.3%。而經過5k HORA軌跡預訓練后，模型性能更是大幅躍升，RDT+5k HORA在簡單任務上成功率達85%，困難任務達47.5%，復雜任務的性能提升尤為突出。

RDT 在未見過場景中的任務性能。

機器人直接復現成功率↑ (%)

在泛化性測試中，數據增強的價值凸顯無遺。面對未見過的物體、背景和雜亂場景，基于增強后HORA訓練的RDT模型，在未知背景下的成功率提升了25%，有效抵御了視覺域偏移帶來的性能下降。這意味著機器人在真實復雜環境中的適應能力得到了實質性增強。

▍技術平權！RoboWheel正在開啟一個"數據普惠化"時代

RoboWheel數據引擎的出現，不僅在于技術層面的創新，更在于降低了機器人技能學習的門檻。以往需要專業動捕實驗室或昂貴遙操作設備才能獲取的高質量訓練數據，如今只需一臺普通相機拍攝人類操作視頻即可生成。

這種"低成本數據采集+高保真技能轉化"的模式，有望推動機器人學習進入規?；?、普惠化階段。無論是工業場景的特定操作任務，還是家庭服務機器人的日常技能學習，都能通過采集人類演示視頻快速構建訓練數據，大幅縮短開發周期。

當然，研究團隊也指出，目前在靈巧手和人形機器人的真實世界跨形態驗證方面仍有局限，但不可否認的是，RoboWheel已經為機器人從人類演示中學習開辟了一條高效、靈活、低成本的新路徑，有望加速通用機器人技術的落地進程。今年Robowheel研發團隊將會繼續擴充HORA數據集規模到百萬量級，并探索更多在更豐富機器人形態上進行學習訓練的可能性。