智元讓機器人看圖干活，數分鐘自我進化搞定陌生任務！

世界模型讓機器人真正“懂”得如何達成目標。

作者 |許麗思

編輯 |漠影

機器人前瞻12月31日報道，今天，智元發布了一個全新的操作算法Act2Goal。

該方案引入了“目標條件世界模型”，讓機器人在動手執行任務前，就在大腦里把全流程想清楚了，能夠生成一系列中間視覺狀態作為任務進程的結構化表征，為機器人動作提供明確操作錨點。

這種將視覺推理與動作控制合二為一的端到端架構，讓Act2Goal能夠在從未見過的環境和物體面前，展現出較強的零樣本泛化能力。

比如，給機器人一張目標圖片，圖片上是從沒見過的英文單詞，它就可以用記號筆在白板上寫下來。

機器人也可以根據給定的一張關于甜點擺盤的圖像，按照既定位置進行擺盤。

按照圖片指引，機器人挨個把軸承工件逐個插入小孔。

另外，Act2Goal還能自我進化，不需要人類手把手教（無獎勵信號），就能在真實世界的交互中，快速“復盤”自己的行為軌跡。實驗數據顯示，面對高難度的陌生任務，Act2Goal僅需數分鐘的在線自我磨練，成功率就能從30%提升至90%。

比如，17分鐘內，把飲料瓶準確插入杯架內。

在27分鐘內，通過反復練習，繪制未見過的圖案。

01.

端到端目標條件策略：

從目標感知到動作規劃的統一

Act2Goal的核心在于將目標條件世界模型與動作生成策略統一于端到端框架，實現對任務演化過程的結構化理解。

在每次操作前，系統不僅感知當前狀態和目標狀態，還通過世界模型預測從當前到目標的未來視覺軌跡，為動作專家提供連續、多尺度的規劃依據。

通過這種方式，目標不再是靜態終點，而是一條可感知、可跟隨的演化路徑，從而顯著提升長時序操作的穩定性與泛化能力。這一范式帶來了兩個關鍵優勢：

長時序任務中保持高精度與全局對齊：端到端設計結合多尺度時間規劃，使機器人既能精確執行短期動作，又能保持整體目標方向一致。

零樣本泛化與快速適應新場景：系統能夠在未見過的物體、目標配置或復雜環境中穩定執行，并通過在線自我提升機制快速適應新任務，進一步增強魯棒性和可擴展性。

02.

多尺度時域哈希（MSTH）：

兼顧短期精細操作與全局合理規劃

為了在長時序任務中同時處理精細動作和全局規劃，Act2Goal引入了多尺度時域哈希（Multi-Scale Temporal Hashing, MSTH）機制。系統將規劃過程劃分為：

短時精細段（Proximal）：連續高頻采樣，用于精確控制機械臂動作；

長時粗粒段（Distal）：自適應采樣，用于全局路徑規劃和目標對齊。

這種設計使機器人在復雜操作中能夠兼顧局部動作精度與整體目標方向，有效防止誤差累積和目標偏離。

MSTH可同時應用于世界模型的視覺規劃與動作專家模塊的動作規劃。

▲目標驅動的世界模型基于MSTH規則生成操作視頻

03.

離線模仿學習

為了讓Act2Goal具備較強的泛化能力，系統首先通過大規模離線模仿學習進行訓練。系統微調預訓練的世界模型，使其能夠生成從當前狀態到目標狀態的多視角、多尺度視覺軌跡，并遵循MSTH規則。動作生成模塊與世界模型聯合訓練，通過參考軌跡預測生成可執行動作。

這種聯合訓練保證了視覺軌跡預測不僅真實可信，而且能夠有效指導動作生成，為動作規劃奠定基礎。系統對整個端到端模型進行行為克隆微調，使從視覺感知到動作生成形成完整閉環。

通過以上訓練，Act2Goal學會根據當前狀態和目標狀態預測未來軌跡，并生成可執行動作，從而具備良好的泛化能力和長期操作穩定性。

▲部署Act2Goal模型的G01機器人在多個域外任務上展現出色性能

04.

在線自我提升

盡管離線訓練使系統具備較強的泛化能力，但在真實環境中面對新任務、未知物體或復雜操作鏈時，機器人仍可能遇到性能下降。為此，Act2Goal引入在線自我提升機制，利用回顧性經驗重放（HER）實現自主性能優化。

在執行過程中，機器人會自動收集每一步的狀態、動作及執行結果，并將軌跡重新標注為新的目標示例，存入回放緩沖區。

無論任務是否成功完成，系統都能利用這些數據進行端到端微調，僅更新新增的LoRA層參數，基礎模型保持凍結。

通過這一機制，機器人能夠在未見過的環境和目標中快速適應，實現零樣本泛化與長期穩定操作，為復雜任務提供強大的魯棒性和可擴展性。

▲部署Act2Goal模型的機器人在線練習繪制未見過的圖案

05.

結語：先理解再行動，

重構目標條件機器人操作邏輯

Act2Goal的核心貢獻在于重新審視了目標條件操作中的一個基本問題：從當前狀態到目標狀態之間，機器人是否真正理解過程？通過在策略中顯式引入目標條件世界模型，并結合多尺度時間建模與深度融合機制，其為目標條件機器人操作提供了一種新的建模范式。

這種“先理解世界如何變化，再決定如何行動”的思路，將為更通用、更可靠的機器人系統提供重要支撐。