機器人學會“舉一反三”！從未見過空氣炸鍋，卻能烤出紅薯！

在 Generalist AI 發布 Gen-1 兩周之后，具身賽道的另一位重量級玩家 ——Physical Intelligence 也亮劍了，發布了新模型 π 0.7，VLA 又往前走了一步。

這個模型的重大突破在于 —— 它不只是重復訓練中遇到的任務，而是展現出了組合泛化的初步跡象。什么叫組合泛化？舉個例子，你會切菜、會打開燃氣、會翻炒，當你想吃番茄炒蛋時，雖然你從來沒有做過，但只要看一眼菜譜，你也能把這些技能組合起來，把菜做出來。現在的大語言模型之所以那么強大，本質上也是因為具備這種能力。

但在機器人領域，這種能力還沒有大規模涌現。比如現在廣泛使用的 VLA（視覺 - 語言 - 動作）模型，雖然能聽懂各種指令和概念，但它們還不會把學過的技能靈活組合起來用。你給它一個新工具或者沒見過的廚房用具，它就不知道怎么用了。而且，就算是它學過的技能，通常也得專門再「調教」一下，效果才會好。這跟早期那些語言模型很像，處理不同的問題也得單獨做微調。

π (0.7) 看起來不一樣。Physical Intelligence 提到了一個空氣炸鍋的例子。他們從未讓 π0.7 學習過「用空氣炸鍋烤紅薯」這個具體任務。但是，當通過分步的語言指令（就像指導一個第一次使用空氣炸鍋的人那樣）來「輔導」它時，這個模型能夠理解并執行。它需要將「關閉炸籃」、「放置食物」等從不同數據片段中學到的概念組合起來，應用到一個全新的、完整的任務流程中。

研究人員自己也很好奇，π0.7 到底是從哪里學會「空氣炸鍋」這個概念的。畢竟，訓練數據里并沒有直接演示「用空氣炸鍋烤紅薯」的完整過程。由于訓練集的規模很大且非常多樣，很難精確追蹤到是哪幾段數據賦予了模型這個知識。研究人員的推測是，它很可能來自機器人操作數據和大規模視覺語言預訓練的共同作用。

除了組合泛化，π0.7 在跨本體遷移方面的表現也非常亮眼。

在一個疊衣服的例子中，π0.7 被要求控制一個它從未訓練過的、形態差異很大的雙臂機器人（UR5e 系統）來疊衣服。UR5e 系統由兩臺 UR5e 工業機械臂搭配 Robotiq 平行夾爪組成。這臺機器人很難遙操作：機械臂很重，慣性很大，夾爪也相對不夠精確。研究人員之前完全沒有收集過這臺機器人做疊衣服任務的任何數據。

他們讓 π0.7 去控制這臺機器人折疊衣物。出乎意料的是，它能夠穩定地完成這一操作。值得注意的是，該機器人在折疊 T 恤時的物理動作，與他們最初采集訓練數據所用的那臺更小型機器人的動作存在顯著差異。最終，π0.7 在該任務上的成功率，與經驗豐富的遙操作員在同樣使用雙臂 UR5e 系統進行「零樣本」操作時的成功率持平。這些操作員平均擁有 375 小時的遙操作經驗，他們正是最初在原始機器人上采集訓練數據的同一批專家。

除了廣泛的任務泛化能力，研究團隊還希望機器人干活又準又快。之前他們開發了一個叫 Recap 的算法，用強化學習專門優化特定任務的策略，讓機器人動作更穩、速度更快。

以前的做法是為每個任務單獨訓練一個 Recap 專家模型。但現在他們換了個思路：把 Recap 訓練過程中產生的經驗連同策略元數據一起喂給 π0.7。

通過這種知識蒸餾，π0.7 這一個通用模型就學會了 Recap 優化的所有技巧。結果是，無論是疊衣服、做咖啡還是折盒子，π0.7 的成功率和速度都達到了之前專門訓練的 Recap 專家模型水平，有時甚至更好。

也就是說，現在他們不再需要為每個任務單獨維護一個專家模型，一個通用模型就能搞定所有活兒，這也是語言模型領域發生過的重要轉折。

π0.7 是一個通用模型，因為它能夠控制各種不同的機器人執行各種不同的任務。前面提到的那些都是針對特定能力（比如泛化性、跨本體遷移）做的專門測試，除此之外他們還試了更多日常場景 —— 像削蔬菜、用清潔劑擦玻璃門這些活兒它都能干。

π0.7 為何如此強大？

π0.7 為什么能泛化得這么開？核心在于數據要雜，但提示要細。

基礎模型想泛化好，本來就得多喂各種來源的數據—— 他們匯集了幾十種不同機器人的操作記錄、人類演示視頻，還有各種自主策略跑出來的實驗數據。

不過，光是把這些數據混在一起可不行。關鍵是要在「提示詞」上下功夫：不僅要告訴模型做什么，還要告訴它怎么做（steer）。

這套提示框架讓 π0.7 可以把以前難以合并的數據源統一利用起來，包括：

有了這些豐富的標注信息，π0.7 就能放心地使用更多類型的數據。舉個例子，那些質量不高的自主數據，本來可能會「教壞」模型，讓模型學出低質量的動作。但只要給這類數據打上合適的標簽，比如「質量偏低」或「速度偏慢」，模型就能正確理解，不會照單全收。

下圖展示了模型架構的整體概況：

π0.7 是一個統一的通用模型，它具備一種「組合式泛化」的能力 —— 不僅能聽懂各種指令、看懂視覺子目標，而且開箱即用，表現相當出色。即便是以前需要專門訓練、精細調優的「專家模型」才能完成的任務，它也能直接上手。

研究人員認為，像 π0.7 這樣能力強、可操控的模型，未來有可能解決更復雜、從未見過的任務。怎么做到呢？讓模型自己「想一想」，先思考可能用什么方法去完成任務，利用它遵循多種提示的能力，把這些想法落地成具體的動作，然后再根據執行結果反思、調整方案。

所以，高效的提示遵循和泛化能力，不僅讓人更方便地告訴機器人「我想讓你做什么」，還能讓現代基礎模型把它們的語義推理和問題解決能力「翻譯」成物理世界中的行動。換句話說，讓機器人真正理解并動手干活。

除了這些展望，Physical Intelligence 團隊還分享了他們關于世界模型以及未來 scale 方向的看法。團隊成員 Lucy Shi 提到，他們原本賭世界模型會是機器人泛化能力的關鍵，結果數據規模一拉大，VLA 基線就把 world model 吃掉了，而且架構簡單得多。

不過，他們也沒有完全否定 world model。在 π0.7 中，他們仍然使用了輕量級 world model 來生成視覺子目標。

同時，Lucy Shi 也發現，現在模型能力是提上來了，但評估又成了新的瓶頸。數據那么多，你很難確定模型到底見沒見過某個任務相關的數據，因此泛化也很難定義。這也是未來值得發力的一個方向