從過擬合到通用！ViMoGen開啟3D人體動作生成新紀元

隨著 AIGC（Artificial Intelligence Generated Content） 的爆發，我們已經習慣了像 Sora 或 Wan 這樣的視頻生成模型能夠理解「一只宇航員在火星后空翻」這樣天馬行空的指令。然而，3D 人體動作生成（3D MoGen）領域卻稍顯滯后。

現有的模型在標準數據集上表現良好，但在泛化能力上仍存在明顯瓶頸。一旦用戶輸入訓練集中未見過的復雜交互或罕見動作，生成的動作往往會缺乏自然性、崩壞或退化為簡單的平均姿態，這嚴重限制了其在現實場景和交互系統中的應用。

那很自然地就會思考：視頻生成模型已經初步學會了通用的物理規律和人類行為，為什么不把這些知識「蒸餾」給 3D 人體動作生成模型呢？

• 論文鏈接：https://arxiv.org/abs/2510.26794
• 項目主頁：https://linjing7.github.io/vimogen/

ViGen-to-MoGen 的三大支柱

來自南洋理工大學、商湯科技、清華大學、香港中文大學和英偉達的研究人員提出了題為《The Quest for Generalizable Motion Generation: Data, Model, and Evaluation》的最新研究成果。這項工作從數據、模型、評估三個維度重新定義了通向通用動作生成的路徑。

1. 數據 ViMoGen-228K:結合了從 30 個 MoCap 數據集中篩選的高精度數據，海量互聯網視頻與由視頻模型（Video Gen）合成視頻中提取的動作數據，包含了大量罕見、復雜的交互動作，突破了傳統數據棚采集的物理限制。
2. 模型 ViMoGen:采用Text-to-Motion (T2M) 與 Motion-to-Motion (M2M)雙分支架構。通過門控機制，將視頻生成模型的語義先驗與 MoCap 的物理先驗完美統一。
3. 評估 MBench: 首個面向「泛化性」的評測基準。從動作質量、文本忠實度、泛化能力三大維度（細分 9 項指標）對模型進行全方面測評，是目前最全面的動作生成評測方式。
4. 
   

數據 ViMoGen-228K —— 規模與多樣性的雙重飛躍

傳統動作數據集（如 AMASS）雖然精準但語義單一。ViMoGen 引入了 ViMoGen-228K 數據集，包含約 22.8 萬條高質量動作樣本。

多模態覆蓋，包含文本–動作、文本–視頻–動作多模態三元組。

多來源實現泛化能力提升：

• 對來自 30 個公開高質量的光學動作捕捉數據集進行了篩選和重標注。
• 從網絡視頻提取動作序列與語義標簽。
• 利用視頻生成（ViGen）模型生成了在真實動作捕捉中極難獲取的長尾動作，填補了語義空白。

模型 ViMoGen —— 多源先驗知識的深度表征與協同優化探索

ViMoGen 模型巧妙地通過門控機制控制Text-to-Motion (T2M)分支與Motion-to-Motion (M2M)雙分支，同時利用 MoCap 數據的精準先驗和 ViGen 模型的廣泛語義先驗。該架構模型不僅在傳統動作生成測評上取得較好的分數，同時也通過文中提出的 MBench 測評基準，體現了它在泛化性上的卓越表現。

測評 MBench —— 多維分層評測體系

傳統的 FID（Frechet Inception Distance）等指標只能衡量生成動作與特定動作集分布的相似度，卻無法體現模型在處理復雜、罕見指令時的真實泛化能力。MBench 將評測拆解為相互關聯的三個層面，并細化為 9 項具體的量化指標。

動作質量 (Motion Quality)關注動作的合理性。通過計算與地面物理接觸、穿模情況以及腳步抖動和平滑度，評判生成動作的動作的物理可實現性。

指令忠實度 (Motion-Condition Consistency)利用多模態大模型評估生成動作與復雜文本描述的一致性。例如，模型是否準確還原了文本中提到的方位（“向左后方倒下”）或特定的交互邏輯。

開放世界泛化力 (Motion Generalizability)設計了一系列 Out-of-Distribution (OOD) 測試案例，涵蓋了極端動作、長尾語義以及復合指令，專門考驗模型在未見過場景下的穩定性。

賦能具身智能，構建 Real-to-Sim 的高質量動作橋梁

在當前的人形機器人控制研究中（如 [arXiv:2505.03729] ），研究者通常依賴海量的 SMPL 參考軌跡（Reference Motions）來訓練高魯棒性的控制策略（Policy）。然而，傳統數據的匱乏嚴重限制了機器人動作的演化。

傳統的機器人訓練往往局限于幾套標準的行走動作。而 ViMoGen-228k 能夠帶來大量長尾、邊緣場景（Corner Cases）高質量動作， 同時 ViMoGen 憑借強大的泛化能力，能夠批量產出一些特殊需求的動作數據。這些數據能夠讓具身智能體在虛擬訓練階段就完成了對復雜動態的預演，使其在現實部署中具備更強的抗干擾能力。

同時 MBench 針對動作質量的一系列評估，能夠為下游的 Real-to-Sim 過程做初步篩選，從而排除了可能導致機器人頻繁跌倒或關節自鎖的無效動作。

結果展示

空翻

指令：一個人俯身蹲低，雙腿積蓄力量，隨后蹬地猛然躍起，下巴緊貼胸口。身體蜷縮成一個緊密的球狀，在空中優雅地翻轉。隨著空翻動作的完成，他舒展雙腿，膝蓋微屈平穩著陸，雙臂向外伸展以保持平衡。

多球雜耍

指令：一個人雙腳與肩同寬站立，目光緊盯著空中的彩色球。憑借熟練的手腕甩動，他們將每個球依次拋向空中，劃出流暢的弧線，雙手以協調一致的節奏交替動作。球不斷升起又落下，形成連續的循環，雜耍者的動作流暢而精準，在整個表演過程中始終保持著完美的節奏與平衡。

引體向上

指令：一個人在單杠上進行一組標準的引體向上。從雙臂完全伸直的懸垂狀態開始，利用背部力量將身體垂直向上拉起，直到下巴超過單杠。

空手道

指令：一位武術家在前進的同時，執行一套動態的空手道組合動作。

推箱子

指令：一個人身體前傾，雙手抵住一個巨大的重型箱子，在保持接觸的同時緩慢向前邁步。

作者介紹

本文由南洋理工大學、商湯科技、清華大學、香港中文大學及英偉達的頂尖學者合作完成。

林靖、王睿思、魯俊喆為共同第一作者。林靖是南洋理工大學博士生，研究大模型驅動的 3D 感知、生成與理解；王睿思為商湯研究員，興趣方向在高性能計算與大模型空間智能；魯俊喆是清華大學碩士，研究生成式模型和 3D 計算機視覺。