智元發(fā)布Act2Goal方案：世界模型讓機(jī)器人真正懂得如何達(dá)成目標(biāo)

IT之家 12 月 31 日消息，智元機(jī)器人今日宣布發(fā)布 Act2Goal 方案，世界模型讓機(jī)器人真正“懂”得如何達(dá)成目標(biāo)。

據(jù)了解，Act2Goal 是一個(gè)新的操作算法，也是一種讓機(jī)器人“以終為始”的全新思維方式。不同于傳統(tǒng)機(jī)器人機(jī)械地執(zhí)行死板指令，Act2Goal 引入了“目標(biāo)條件世界模型”。Act2Goal 的核心在于將目標(biāo)條件世界模型與動(dòng)作生成策略統(tǒng)一于端到端框架，實(shí)現(xiàn)對(duì)任務(wù)演化過程的結(jié)構(gòu)化理解。在每次操作前，系統(tǒng)不僅感知當(dāng)前狀態(tài)和目標(biāo)狀態(tài)，還通過世界模型預(yù)測(cè)從當(dāng)前到目標(biāo)的未來視覺軌跡，為動(dòng)作專家提供連續(xù)、多尺度的規(guī)劃依據(jù)。

IT之家附官方介紹如下：

給機(jī)器人一張“目標(biāo)照片”，它就能自己想辦法把面前的場(chǎng)景變成照片里的樣子嗎？

智元具身研究中心給出了肯定的答案。

Act2Goal—— 這不僅僅是一個(gè)新的操作算法，更是一種讓機(jī)器人“以終為始”的全新思維方式。

不同于傳統(tǒng)機(jī)器人機(jī)械地執(zhí)行死板指令，Act2Goal 引入了“目標(biāo)條件世界模型”。這意味著，機(jī)器人不再只是“看一步走一步”，而是擁有了預(yù)見未來的能力 —— 在真正動(dòng)手之前，它已經(jīng)在大腦中構(gòu)建了從現(xiàn)狀通往目標(biāo)的完整因果鏈條。這種將視覺推理與動(dòng)作控制合二為一的端到端架構(gòu)，讓 Act2Goal 能夠在從未見過的環(huán)境和物體面前，展現(xiàn)出驚人的零樣本泛化能力。

更令人興奮的是，Act2Goal 具備“自我進(jìn)化”的本能。它不需要人類手把手教（無獎(jiǎng)勵(lì)信號(hào)），就能在真實(shí)世界的交互中，快速“復(fù)盤”自己的行為軌跡。實(shí)驗(yàn)數(shù)據(jù)顯示，面對(duì)高難度的陌生任務(wù)，Act2Goal 僅需數(shù)分鐘的在線自我磨練，成功率就能從 30% 提升至 90%。

所見即所向，讓機(jī)器人的每一次行動(dòng)，都精準(zhǔn)地通往目標(biāo)。

在視覺信息能夠直接反映任務(wù)目標(biāo)的場(chǎng)景中，使用目標(biāo)圖像作為條件輸入能夠更直觀地指導(dǎo)機(jī)器人動(dòng)作。然而，當(dāng)面臨長(zhǎng)時(shí)序操作、復(fù)雜物體交互或訓(xùn)練數(shù)據(jù)分布外環(huán)境時(shí)，這類方法往往難以保持穩(wěn)定性能?，F(xiàn)有目標(biāo)條件策略通常只關(guān)注當(dāng)前狀態(tài)與目標(biāo)狀態(tài)，而缺乏對(duì)兩者之間任務(wù)過程的顯式建模，主流方法多采用直接映射的范式，將當(dāng)前觀測(cè)與目標(biāo)狀態(tài)輸入策略網(wǎng)絡(luò)以預(yù)測(cè)動(dòng)作，這使得機(jī)器人難以判斷執(zhí)行進(jìn)度，也容易在任務(wù)延長(zhǎng)或環(huán)境變化時(shí)出現(xiàn)誤差累積。Act2Goal 通過在動(dòng)作生成之前引入目標(biāo)條件世界模型，對(duì)從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的演化過程進(jìn)行建模，并生成一系列中間視覺狀態(tài)作為任務(wù)進(jìn)程的結(jié)構(gòu)化表征，為機(jī)器人動(dòng)作提供明確操作錨點(diǎn)，使機(jī)器人能夠更穩(wěn)定地執(zhí)行長(zhǎng)時(shí)序任務(wù)。

01、端到端目標(biāo)條件策略：從目標(biāo)感知到動(dòng)作規(guī)劃的統(tǒng)一

Act2Goal 的核心在于將目標(biāo)條件世界模型與動(dòng)作生成策略統(tǒng)一于端到端框架，實(shí)現(xiàn)對(duì)任務(wù)演化過程的結(jié)構(gòu)化理解。在每次操作前，系統(tǒng)不僅感知當(dāng)前狀態(tài)和目標(biāo)狀態(tài)，還通過世界模型預(yù)測(cè)從當(dāng)前到目標(biāo)的未來視覺軌跡，為動(dòng)作專家提供連續(xù)、多尺度的規(guī)劃依據(jù)。通過這種方式，目標(biāo)不再是靜態(tài)終點(diǎn)，而是一條可感知、可跟隨的演化路徑，從而顯著提升長(zhǎng)時(shí)序操作的穩(wěn)定性與泛化能力。這一范式帶來了兩個(gè)關(guān)鍵優(yōu)勢(shì)：

長(zhǎng)時(shí)序任務(wù)中保持高精度與全局對(duì)齊：端到端設(shè)計(jì)結(jié)合多尺度時(shí)間規(guī)劃，使機(jī)器人既能精確執(zhí)行短期動(dòng)作，又能保持整體目標(biāo)方向一致。

零樣本泛化與快速適應(yīng)新場(chǎng)景：系統(tǒng)能夠在未見過的物體、目標(biāo)配置或復(fù)雜環(huán)境中穩(wěn)定執(zhí)行，并通過在線自我提升機(jī)制快速適應(yīng)新任務(wù)，進(jìn)一步增強(qiáng)魯棒性和可擴(kuò)展性。

02、多尺度時(shí)域哈希（MSTH）：兼顧短期精細(xì)操作與全局合理規(guī)劃

為了在長(zhǎng)時(shí)序任務(wù)中同時(shí)處理精細(xì)動(dòng)作和全局規(guī)劃，Act2Goal 引入了多尺度時(shí)域哈希（Multi-Scale Temporal Hashing, MSTH）機(jī)制。系統(tǒng)將規(guī)劃過程劃分為：

• 短時(shí)精細(xì)段（Proximal）：連續(xù)高頻采樣，用于精確控制機(jī)械臂動(dòng)作；
• 長(zhǎng)時(shí)粗粒段（Distal）：自適應(yīng)采樣，用于全局路徑規(guī)劃和目標(biāo)對(duì)齊。

這種設(shè)計(jì)使機(jī)器人在復(fù)雜操作中能夠兼顧局部動(dòng)作精度與整體目標(biāo)方向，有效防止誤差累積和目標(biāo)偏離。

MSTH 可同時(shí)應(yīng)用于世界模型的視覺規(guī)劃與動(dòng)作專家模塊的動(dòng)作規(guī)劃。

目標(biāo)驅(qū)動(dòng)的世界模型基于 MSTH 規(guī)則生成操作視頻

03、離線模仿學(xué)習(xí)

為了讓 Act2Goal 具備強(qiáng)大的泛化能力，系統(tǒng)首先通過大規(guī)模離線模仿學(xué)習(xí)進(jìn)行訓(xùn)練。系統(tǒng)微調(diào)預(yù)訓(xùn)練的世界模型，使其能夠生成從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的多視角、多尺度視覺軌跡，并遵循 MSTH 規(guī)則。動(dòng)作生成模塊與世界模型聯(lián)合訓(xùn)練，通過參考軌跡預(yù)測(cè)生成可執(zhí)行動(dòng)作。這種聯(lián)合訓(xùn)練保證了視覺軌跡預(yù)測(cè)不僅真實(shí)可信，而且能夠有效指導(dǎo)動(dòng)作生成，為動(dòng)作規(guī)劃奠定基礎(chǔ)。系統(tǒng)對(duì)整個(gè)端到端模型進(jìn)行行為克隆微調(diào)，使從視覺感知到動(dòng)作生成形成完整閉環(huán)。通過以上訓(xùn)練，Act2Goal 學(xué)會(huì)根據(jù)當(dāng)前狀態(tài)和目標(biāo)狀態(tài)預(yù)測(cè)未來軌跡，并生成可執(zhí)行動(dòng)作，從而具備良好的泛化能力和長(zhǎng)期操作穩(wěn)定性。

部署 Act2Goal 模型的 G01 機(jī)器人在多個(gè)域外任務(wù)上展現(xiàn)出色性能

04、在線自我提升

盡管離線訓(xùn)練使系統(tǒng)具備較強(qiáng)的泛化能力，但在真實(shí)環(huán)境中面對(duì)新任務(wù)、未知物體或復(fù)雜操作鏈時(shí)，機(jī)器人仍可能遇到性能下降。為此，Act2Goal 引入在線自我提升機(jī)制，利用回顧性經(jīng)驗(yàn)重放（HER）實(shí)現(xiàn)自主性能優(yōu)化。

在執(zhí)行過程中，機(jī)器人會(huì)自動(dòng)收集每一步的狀態(tài)、動(dòng)作及執(zhí)行結(jié)果，并將軌跡重新標(biāo)注為新的目標(biāo)示例，存入回放緩沖區(qū)。無論任務(wù)是否成功完成，系統(tǒng)都能利用這些數(shù)據(jù)進(jìn)行端到端微調(diào)，僅更新新增的 LoRA 層參數(shù)，基礎(chǔ)模型保持凍結(jié)。通過這一機(jī)制，機(jī)器人能夠在未見過的環(huán)境和目標(biāo)中快速適應(yīng)，實(shí)現(xiàn)零樣本泛化與長(zhǎng)期穩(wěn)定操作，為復(fù)雜任務(wù)提供強(qiáng)大的魯棒性和可擴(kuò)展性。

部署 Act2Goal 模型的機(jī)器人在線練習(xí)繪制未見過的圖案，持續(xù)提升性能

Act2Goal 的核心貢獻(xiàn)在于重新審視了目標(biāo)條件操作中的一個(gè)基本問題：從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)之間，機(jī)器人是否真正理解過程？通過在策略中顯式引入目標(biāo)條件世界模型，并結(jié)合多尺度時(shí)間建模與深度融合機(jī)制，我們?yōu)槟繕?biāo)條件機(jī)器人操作提供了一種新的建模范式。我們相信，這種“先理解世界如何變化，再?zèng)Q定如何行動(dòng)”的思路，將為更通用、更可靠的機(jī)器人系統(tǒng)提供重要支撐。