王興興署名，宇樹(shù)機(jī)器人春晚后又進(jìn)化：?jiǎn)蝹€(gè)策略就能學(xué)習(xí)極限動(dòng)作

編輯｜Panda

春晚上，宇樹(shù)機(jī)器人的武術(shù)表演《武 BOT》給人留下了深刻印象。表演中，人形機(jī)器人 G1 和 H2 在快速奔跑中完成了穿插變陣和武術(shù)動(dòng)作，展現(xiàn)出了高動(dòng)態(tài)、高協(xié)同的全自主集群控制技術(shù)。

而現(xiàn)在，北京通用人工智能研究院（BIGAI）、宇樹(shù)、上海交通大學(xué)和中國(guó)科技大學(xué)等機(jī)構(gòu)的一項(xiàng)新研究在這個(gè)方向上更推進(jìn)了一步，提出了OmniXtreme第一個(gè)可以執(zhí)行各種極限動(dòng)作的通用策略，包括連續(xù)翻轉(zhuǎn)、極限平衡，甚至可以通過(guò)快速接觸切換進(jìn)行霹靂舞。

這種能力的實(shí)現(xiàn)過(guò)程首先是預(yù)訓(xùn)練一個(gè)基于流的生成控制策略（flow-based generative control policy），然后針對(duì)復(fù)雜物理動(dòng)力學(xué)進(jìn)行「驅(qū)動(dòng)感知?dú)埐顝?qiáng)化學(xué)習(xí)」（actuation-aware residual RL）的后訓(xùn)練。其中后訓(xùn)練這一步對(duì)于成功實(shí)現(xiàn)真實(shí)世界的遷移至關(guān)重要。

該項(xiàng)目的通訊作者之一、BIGAI 研究科學(xué)家 Siyuan Huang 在 X 上表示：「我們花了一整年時(shí)間深入研究通用跟蹤和極端物理行為之間的障礙。在測(cè)試了數(shù)十臺(tái) G1 機(jī)器人之后，我們最終找到了學(xué)習(xí)和物理執(zhí)行能力方面的瓶頸。」

值得注意的是，宇樹(shù)科技聯(lián)創(chuàng)和 CEO 王興興也在這篇論文的作者名單中。論文一作為 Yunshen Wang 和 Shaohang Zhu。

• 論文地址：https://arxiv.org/abs/2602.23843
• 項(xiàng)目地址：https://extreme-humanoid.github.io
• 代碼地址：https://github.com/Perkins729/OmniXtreme

方法：打破高動(dòng)態(tài)控制的泛化壁壘

在人形機(jī)器人的運(yùn)動(dòng)控制領(lǐng)域，研究人員長(zhǎng)期面臨一個(gè)被稱為「泛化壁壘（generality barrier）」的困境。

當(dāng)動(dòng)作庫(kù)的規(guī)模和多樣性增加時(shí)，傳統(tǒng)的統(tǒng)一強(qiáng)化學(xué)習(xí)策略往往會(huì)遭遇性能崩潰，這在高動(dòng)態(tài)動(dòng)作的物理部署中尤為明顯。這種崩潰源于兩個(gè)相互疊加的瓶頸：仿真環(huán)境中的學(xué)習(xí)瓶頸（多動(dòng)作優(yōu)化的梯度干擾）以及物理執(zhí)行瓶頸（真實(shí)世界復(fù)雜的驅(qū)動(dòng)約束）。

為了從根本上解決這一問(wèn)題，該研究團(tuán)隊(duì)提出了OmniXtreme框架。該框架將動(dòng)作技能的學(xué)習(xí)與物理驅(qū)動(dòng)的微調(diào)進(jìn)行了巧妙的解耦，分為「基于流的可擴(kuò)展預(yù)訓(xùn)練」與「驅(qū)動(dòng)感知的殘差后訓(xùn)練」兩個(gè)核心階段。

階段一：基于流的可擴(kuò)展預(yù)訓(xùn)練

在第一階段，研究團(tuán)隊(duì)的目標(biāo)是賦予模型極高的表示容量，使其能夠掌握大量異構(gòu)的極限動(dòng)作，同時(shí)避免傳統(tǒng)多動(dòng)作強(qiáng)化學(xué)習(xí)中常見(jiàn)的保守化平均傾向。

研究人員首先整合了 LAFAN1、AMASS、MimicKit 等多個(gè)高質(zhì)量動(dòng)作數(shù)據(jù)集，并將其重定向至宇樹(shù) G1 人形機(jī)器人上。

針對(duì)這些參考動(dòng)作，團(tuán)隊(duì)利用 PPO 算法訓(xùn)練了一系列專家策略。隨后，OmniXtreme 采用了基于數(shù)據(jù)集聚合 (DAgger) 的知識(shí)蒸餾技術(shù)，將這些專家策略的行為統(tǒng)一融合到一個(gè)基于流匹配的生成式策略中。

在數(shù)學(xué)表達(dá)上，基于流的模型通過(guò)優(yōu)化以下目標(biāo)函數(shù)來(lái)學(xué)習(xí)從純?cè)肼曋谢謴?fù)專家動(dòng)作的過(guò)程 ：

在上述公式中，a_t 表示在流時(shí)間步 t 下，專家動(dòng)作 a_{expert} 與隨機(jī)噪聲 ε 之間的插值動(dòng)作。該目標(biāo)函數(shù)使得模型能夠?qū)W習(xí)到一個(gè)速度場(chǎng) v_θ，從而在推理時(shí)通過(guò)正向歐拉積分生成高精度的連續(xù)控制動(dòng)作。為了保證物理穩(wěn)定性，團(tuán)隊(duì)在這一階段僅引入了適度的噪聲和域隨機(jī)化，確保策略能夠準(zhǔn)確捕捉底層的物理動(dòng)力學(xué)特征。

階段二：驅(qū)動(dòng)感知的后訓(xùn)練

預(yù)訓(xùn)練得到的流匹配策略雖然在仿真中表現(xiàn)出了驚人的跟蹤精度，但現(xiàn)實(shí)世界中的電機(jī)非線性特性往往會(huì)導(dǎo)致這種高動(dòng)態(tài)表現(xiàn)大打折扣。

為了實(shí)現(xiàn)平滑的「仿真到現(xiàn)實(shí)」遷移，團(tuán)隊(duì)凍結(jié)了預(yù)訓(xùn)練的基礎(chǔ)策略，并在其之上訓(xùn)練了一個(gè)輕量級(jí)的 MLP 殘差策略。該殘差策略無(wú)需重新學(xué)習(xí)動(dòng)作跟蹤，主要負(fù)責(zé)輸出修正動(dòng)作以對(duì)抗真實(shí)的硬件約束。

為了讓殘差策略真正理解物理世界的殘酷，團(tuán)隊(duì)在訓(xùn)練環(huán)境中引入了三個(gè)層面的深度建模：

1. 激進(jìn)的域隨機(jī)化

研究人員將初始姿態(tài)噪聲、外力干擾幅度、角速度等常見(jiàn)域隨機(jī)化參數(shù)的范圍大幅提升了最高 50%。更為關(guān)鍵的是，他們將終止閾值放寬了 1.5 倍（例如將軀干方向誤差容忍度從 0.8 弧度放寬至 1.2 弧度）。這種設(shè)計(jì)給予了殘差策略充足的探索空間，使其能夠?qū)W會(huì)在大偏差狀態(tài)下進(jìn)行極限挽救，極大地增強(qiáng)了系統(tǒng)的魯棒性。

2. 功率安全驅(qū)動(dòng)正則化

執(zhí)行后空翻等高動(dòng)態(tài)動(dòng)作時(shí)，機(jī)器人會(huì)產(chǎn)生巨大的瞬態(tài)制動(dòng)負(fù)載。常規(guī)的強(qiáng)化學(xué)習(xí)管線通常缺乏對(duì)此類負(fù)載的約束，從而極易在真實(shí)硬件上觸發(fā)過(guò)流保護(hù)或熱應(yīng)力宕機(jī)。OmniXtreme 創(chuàng)新性地引入了針對(duì)機(jī)械功率的懲罰機(jī)制，其核心在于計(jì)算關(guān)節(jié)扭矩與角速度的乘積，即瞬時(shí)機(jī)械功率 P=τ?ω。

對(duì)于超出安全死區(qū)的高額負(fù)功率（再生制動(dòng)），團(tuán)隊(duì)?wèi)?yīng)用了嚴(yán)格的二次懲罰函數(shù) ：

在實(shí)際應(yīng)用中，該懲罰項(xiàng)被重點(diǎn)施加于膝關(guān)節(jié)，因?yàn)橄リP(guān)節(jié)在沖擊與恢復(fù)階段最容易承受破壞性的制動(dòng)負(fù)載。

3. 驅(qū)動(dòng)感知的扭矩與速度約束

單純的扭矩截?cái)嗤鶗?huì)忽略由反電動(dòng)勢(shì)引起的與速度相關(guān)的物理限制。團(tuán)隊(duì)將真實(shí)的電機(jī)運(yùn)行包絡(luò)線直接集成到了仿真器中，定義了隨關(guān)節(jié)速度幅值單調(diào)遞減的容許扭矩函數(shù)。此外，系統(tǒng)還通過(guò)非線性摩擦項(xiàng)對(duì)執(zhí)行器級(jí)別的內(nèi)部損耗進(jìn)行了建模 ：

該公式精確捕捉了從靜摩擦到動(dòng)摩擦的平滑過(guò)渡，并計(jì)算了與速度相關(guān)的耗散阻尼。

純機(jī)載的實(shí)時(shí)部署

在硬件部署方面，OmniXtreme 展現(xiàn)出了極高的工程完成度。

整個(gè)推理管線（包括基于正向運(yùn)動(dòng)學(xué)的狀態(tài)估計(jì)、流匹配基礎(chǔ)策略以及殘差策略）均使用 TensorRT 進(jìn)行了深度優(yōu)化。在宇樹(shù) G1 人形機(jī)器人的機(jī)載 NVIDIA Jetson Orin NX 平臺(tái)上，系統(tǒng)實(shí)現(xiàn)了約 10 ms 的端到端推理延遲，完美支持 50 Hz 的高頻閉環(huán)控制。

實(shí)驗(yàn)表現(xiàn)：全方位挑戰(zhàn)極限測(cè)試

為了全面評(píng)估 OmniXtreme 的可擴(kuò)展性與魯棒性，研究團(tuán)隊(duì)不僅使用了標(biāo)準(zhǔn)的 LAFAN1 動(dòng)作庫(kù)，還精心挑選了約 60 個(gè)極具挑戰(zhàn)性的動(dòng)作，構(gòu)建了 XtremeMotion 評(píng)估集。這些動(dòng)作包含了極高的角速度、頻繁的接觸切換以及嚴(yán)苛的時(shí)序約束。

可擴(kuò)展的高保真跟蹤能力

在仿真環(huán)境中，OmniXtreme 與傳統(tǒng)的「從頭訓(xùn)練多動(dòng)作強(qiáng)化學(xué)習(xí)」基線模型以及「專家到統(tǒng)一 MLP 蒸餾」基線模型進(jìn)行了直接對(duì)比。數(shù)據(jù)表明，OmniXtreme 在所有指標(biāo)上均實(shí)現(xiàn)了碾壓。面對(duì)難度激增的 XtremeMotion 數(shù)據(jù)集，傳統(tǒng)方法的跟蹤誤差顯著增加，而 OmniXtreme 依舊維持了極低的運(yùn)動(dòng)學(xué)誤差和極高的成功率。

在現(xiàn)實(shí)世界的宇樹(shù) G1 機(jī)器人上，團(tuán)隊(duì)選取了 XtremeMotion 中的 24 個(gè)不同高動(dòng)態(tài)動(dòng)作進(jìn)行了 157 次物理測(cè)試。測(cè)試涵蓋了后空翻、雜技、霹靂舞、武術(shù)等多個(gè)動(dòng)作類別。

最終，OmniXtreme 斬獲了 91.08% 的整體平均成功率。其中，后空翻類動(dòng)作的成功率高達(dá) 96.36%，武術(shù)類動(dòng)作達(dá)到 93.33%，霹靂舞類動(dòng)作也保持在 86.36% 的高水平。這證明了仿真中的高保真度成功跨越了現(xiàn)實(shí)鴻溝。

下面展示了一些示例：

托馬斯全旋、上旋、向前爬行和后空翻。

霹靂舞

武術(shù)

打破保真度與可擴(kuò)展性的權(quán)衡

為了驗(yàn)證系統(tǒng)是否打破了泛化壁壘，團(tuán)隊(duì)設(shè)計(jì)了漸進(jìn)式的壓力測(cè)試。他們將訓(xùn)練動(dòng)作集從 10 個(gè)逐步擴(kuò)展到 20 個(gè)，最終擴(kuò)展到 50 個(gè)，并使用固定的前 10 個(gè)動(dòng)作進(jìn)行統(tǒng)一評(píng)估。

實(shí)驗(yàn)結(jié)果揭示了顯著的差異。隨著動(dòng)作多樣性的增加，傳統(tǒng)從頭訓(xùn)練的強(qiáng)化學(xué)習(xí)基線模型出現(xiàn)了嚴(yán)重的性能衰退，其成功率從 100% 暴跌至 83.3%，最終滑落至 73.9%。

相比之下，OmniXtreme 展現(xiàn)出了驚人的韌性，在 50 個(gè)動(dòng)作的龐大訓(xùn)練集下，其對(duì)核心動(dòng)作的跟蹤成功率依然堅(jiān)挺在 93.3%。這徹底推翻了高保真度必定隨著多樣性增加而崩潰的固有認(rèn)知。

模型規(guī)模的 Scaling Law

在人工智能的發(fā)展歷程中，增加模型參數(shù)量往往能帶來(lái)性能的飛躍，但這一規(guī)律在傳統(tǒng)的運(yùn)動(dòng)控制領(lǐng)域似乎失效了。團(tuán)隊(duì)對(duì)比了不同參數(shù)規(guī)模（20M、50M、70M）的模型表現(xiàn)。

圖表數(shù)據(jù)清晰地顯示，傳統(tǒng)的 MLP 策略在擴(kuò)大參數(shù)量后很快就陷入了性能飽和，跟蹤精度提升極其有限。

與之形成鮮明對(duì)比的是，基于流匹配的生成式策略完美契合了 Scaling Law。隨著參數(shù)量向 70M 邁進(jìn)，OmniXtreme 的跟蹤精度與魯棒性呈現(xiàn)出顯著且穩(wěn)定的線性增長(zhǎng)。這說(shuō)明生成式預(yù)訓(xùn)練為人形機(jī)器人控制系統(tǒng)提供了一條切實(shí)可行的能力進(jìn)化路徑。

現(xiàn)實(shí)世界執(zhí)行力的深度消融

究竟是哪些機(jī)制賦予了機(jī)器人如此強(qiáng)大的物理穩(wěn)健性？團(tuán)隊(duì)通過(guò)消融實(shí)驗(yàn)給出了答案。

對(duì)于具有強(qiáng)爆發(fā)力的翻騰動(dòng)作（如后空翻），僅僅引入電機(jī)約束就足以保障穩(wěn)定執(zhí)行，因?yàn)檫@避免了底層硬件極限的瞬間崩潰。然而，對(duì)于包含高頻接觸轉(zhuǎn)換的霹靂舞動(dòng)作，系統(tǒng)必須同時(shí)依賴電機(jī)約束與激進(jìn)的域隨機(jī)化，才能在接觸擾動(dòng)中維持時(shí)序敏感的平衡。

最嚴(yán)苛的挑戰(zhàn)來(lái)自于包含高速?zèng)_擊緩沖的雜技落地動(dòng)作。團(tuán)隊(duì)發(fā)現(xiàn)，如果沒(méi)有功率安全正則化機(jī)制，即使模型在姿態(tài)上維持了平衡，也會(huì)因?yàn)殡姍C(jī)瞬態(tài)制動(dòng)導(dǎo)致過(guò)流或電池欠壓而宣告失敗。

這充分說(shuō)明，真實(shí)世界的極度敏捷必須建立在聲、光、電、熱等多維物理約束的精確建模之上。

https://x.com/siyuanhuang95/status/2028506522633073132

文中視頻鏈接：https://mp.weixin.qq.com/s/sdPTqRDlbd-cDmPwHbED3A