π0.7來了！涌現(xiàn)出組合泛化、跨本體遷移能力，VLA又行了？

機(jī)器之心編輯部

在 Generalist AI 發(fā)布 Gen-1 兩周之后，具身賽道的另一位重量級玩家 ——Physical Intelligence 也亮劍了，發(fā)布了新模型 π 0.7，VLA 又往前走了一步。

這個模型的重大突破在于 —— 它不只是重復(fù)訓(xùn)練中遇到的任務(wù)，而是展現(xiàn)出了組合泛化的初步跡象。什么叫組合泛化？舉個例子，你會切菜、會打開燃?xì)狻矗?dāng)你想吃番茄炒蛋時，雖然你從來沒有做過，但只要看一眼菜譜，你也能把這些技能組合起來，把菜做出來。現(xiàn)在的大語言模型之所以那么強(qiáng)大，本質(zhì)上也是因為具備這種能力。

但在機(jī)器人領(lǐng)域，這種能力還沒有大規(guī)模涌現(xiàn)。比如現(xiàn)在廣泛使用的 VLA（視覺 - 語言 - 動作）模型，雖然能聽懂各種指令和概念，但它們還不會把學(xué)過的技能靈活組合起來用。你給它一個新工具或者沒見過的廚房用具，它就不知道怎么用了。而且，就算是它學(xué)過的技能，通常也得專門再「調(diào)教」一下，效果才會好。這跟早期那些語言模型很像，處理不同的問題也得單獨做微調(diào)。

π (0.7) 看起來不一樣。Physical Intelligence 提到了一個空氣炸鍋的例子。他們從未讓 π0.7 學(xué)習(xí)過「用空氣炸鍋烤紅薯」這個具體任務(wù)。但是，當(dāng)通過分步的語言指令（就像指導(dǎo)一個第一次使用空氣炸鍋的人那樣）來「輔導(dǎo)」它時，這個模型能夠理解并執(zhí)行。它需要將「關(guān)閉炸籃」、「放置食物」等從不同數(shù)據(jù)片段中學(xué)到的概念組合起來，應(yīng)用到一個全新的、完整的任務(wù)流程中。

更有趣的是，經(jīng)過幾次這樣的語言輔導(dǎo)后，研究人員可以微調(diào)一個高層策略，讓模型完全自主地生成這些語言子目標(biāo)，從而獨立完成整個空氣炸鍋任務(wù)。這說明 π0.7 能夠?qū)⒂^察到的、零散的行為片段組合起來，形成全新的、連貫的行為序列，這就像大型語言模型組合文本片段一樣。

研究人員自己也很好奇，π0.7 到底是從哪里學(xué)會「空氣炸鍋」這個概念的。畢竟，訓(xùn)練數(shù)據(jù)里并沒有直接演示「用空氣炸鍋烤紅薯」的完整過程。由于訓(xùn)練集的規(guī)模很大且非常多樣，很難精確追蹤到是哪幾段數(shù)據(jù)賦予了模型這個知識。研究人員的推測是，它很可能來自機(jī)器人操作數(shù)據(jù)和大規(guī)模視覺語言預(yù)訓(xùn)練的共同作用

他們花了不少力氣去搜尋，最終找到了兩段相關(guān)的家庭數(shù)據(jù)：一段是機(jī)器人關(guān)閉空氣炸鍋，標(biāo)注為「把炸籃推進(jìn)空氣炸鍋」；另一段是「把空氣炸鍋的炸籃放在臺面最左邊」。此外，他們還找到了開源 DROID 數(shù)據(jù)集中一臺 Franka 機(jī)械臂的相關(guān)操作片段。有趣的是，這些片段看起來與 π0.7 在實際實驗中用移動機(jī)器人執(zhí)行空氣炸鍋任務(wù)時的行為差異很大。這說明 π0.7 并不是簡單模仿某一段數(shù)據(jù)，而是像大型語言模型組合網(wǎng)絡(luò)上不同文本片段那樣，把這些看似不同的、零散的行為片段重新組合起來，泛化成一個全新的、連貫的「向空氣炸鍋裝入紅薯」的任務(wù)。他們認(rèn)為。這是組合泛化能力的生動體現(xiàn)。

除了組合泛化，π0.7 在跨本體遷移方面的表現(xiàn)也非常亮眼

在一個疊衣服的例子中，π0.7 被要求控制一個它從未訓(xùn)練過的、形態(tài)差異很大的雙臂機(jī)器人（UR5e 系統(tǒng)）來疊衣服。UR5e 系統(tǒng)由兩臺 UR5e 工業(yè)機(jī)械臂搭配 Robotiq 平行夾爪組成。這臺機(jī)器人很難遙操作：機(jī)械臂很重，慣性很大，夾爪也相對不夠精確。研究人員之前完全沒有收集過這臺機(jī)器人做疊衣服任務(wù)的任何數(shù)據(jù)。

他們讓 π0.7 去控制這臺機(jī)器人折疊衣物。出乎意料的是，它能夠穩(wěn)定地完成這一操作。值得注意的是，該機(jī)器人在折疊 T 恤時的物理動作，與他們最初采集訓(xùn)練數(shù)據(jù)所用的那臺更小型機(jī)器人的動作存在顯著差異。最終，π0.7 在該任務(wù)上的成功率，與經(jīng)驗豐富的遙操作員在同樣使用雙臂 UR5e 系統(tǒng)進(jìn)行「零樣本」操作時的成功率持平。這些操作員平均擁有 375 小時的遙操作經(jīng)驗，他們正是最初在原始機(jī)器人上采集訓(xùn)練數(shù)據(jù)的同一批專家。

視頻鏈接：https://mp.weixin.qq.com/s/tYWiq0mR3Ohg-V1FxCfunA?click_id=128

除了廣泛的任務(wù)泛化能力，研究團(tuán)隊還希望機(jī)器人干活又準(zhǔn)又快。之前他們開發(fā)了一個叫 Recap 的算法，用強(qiáng)化學(xué)習(xí)專門優(yōu)化特定任務(wù)的策略，讓機(jī)器人動作更穩(wěn)、速度更快。

以前的做法是為每個任務(wù)單獨訓(xùn)練一個 Recap 專家模型。但現(xiàn)在他們換了個思路：把 Recap 訓(xùn)練過程中產(chǎn)生的經(jīng)驗連同策略元數(shù)據(jù)一起喂給 π0.7。

通過這種知識蒸餾，π0.7 這一個通用模型就學(xué)會了 Recap 優(yōu)化的所有技巧。結(jié)果是，無論是疊衣服、做咖啡還是折盒子，π0.7 的成功率和速度都達(dá)到了之前專門訓(xùn)練的 Recap 專家模型水平，有時甚至更好

也就是說，現(xiàn)在他們不再需要為每個任務(wù)單獨維護(hù)一個專家模型，一個通用模型就能搞定所有活兒，這也是語言模型領(lǐng)域發(fā)生過的重要轉(zhuǎn)折。

視頻鏈接：https://mp.weixin.qq.com/s/tYWiq0mR3Ohg-V1FxCfunA?click_id=128

π0.7 是一個通用模型，因為它能夠控制各種不同的機(jī)器人執(zhí)行各種不同的任務(wù)。前面提到的那些都是針對特定能力（比如泛化性、跨本體遷移）做的專門測試，除此之外他們還試了更多日常場景 —— 像削蔬菜、用清潔劑擦玻璃門這些活兒它都能干。

視頻鏈接：https://mp.weixin.qq.com/s/tYWiq0mR3Ohg-V1FxCfunA?click_id=128

π0.7 為何如此強(qiáng)大？

π0.7 為什么能泛化得這么開？核心在于數(shù)據(jù)要雜，但提示要細(xì)。

基礎(chǔ)模型想泛化好，本來就得多喂各種來源的數(shù)據(jù)—— 他們匯集了幾十種不同機(jī)器人的操作記錄、人類演示視頻，還有各種自主策略跑出來的實驗數(shù)據(jù)。

不過，光是把這些數(shù)據(jù)混在一起可不行。關(guān)鍵是要在「提示詞」上下功夫：不僅要告訴模型做什么，還要告訴它怎么做（steer）。

具體來說，研究人員給模型設(shè)計了一套多樣化的提示結(jié)構(gòu)，包含多模態(tài)信息。比如，除了文字描述任務(wù)，還可以給一張「視覺子目標(biāo)」圖片，告訴模型物體最終要擺成什么樣；也可以給一個期望的任務(wù)時長，告訴模型做快一點還是慢一點。這些額外信息能消除行為上的歧義，讓模型從不同策略、不同水平的數(shù)據(jù)中都能學(xué)到東西。

這套提示框架讓 π0.7 可以把以前難以合并的數(shù)據(jù)源統(tǒng)一利用起來，包括：

• 描述任務(wù)和每一步的語言指令；
• 描述操作方式（比如快慢、質(zhì)量高低）的元數(shù)據(jù)；
• 控制模式標(biāo)簽（用關(guān)節(jié)控制還是末端控制）；
• 視覺子目標(biāo)圖片 —— 可以在測試時由世界模型實時生成，幫助模型理解「下一步長什么樣」。

有了這些豐富的標(biāo)注信息，π0.7 就能放心地使用更多類型的數(shù)據(jù)。舉個例子，那些質(zhì)量不高的自主數(shù)據(jù)，本來可能會「教壞」模型，讓模型學(xué)出低質(zhì)量的動作。但只要給這類數(shù)據(jù)打上合適的標(biāo)簽，比如「質(zhì)量偏低」或「速度偏慢」，模型就能正確理解，不會照單全收。

在論文中，Physical Intelligence 還公布了 π0.7 的更多細(xì)節(jié)。

π0.7 基于 π0.6 的 VLA 架構(gòu)與 MEM 記憶系統(tǒng)構(gòu)建，并新增多模態(tài)上下文條件調(diào)制。模型包含以 Gemma3 4B 視覺語言模型初始化的 VLM 主干（含 0.4B 視覺編碼器），以及 0.8B 參數(shù)的流匹配動作專家，總參數(shù)約 5B。

下圖展示了模型架構(gòu)的整體概況：

大家如果關(guān)心更多細(xì)節(jié)，可以去論文里找找看：

• 論文標(biāo)題：π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
• 論文鏈接：https://www.pi.website/download/pi07.pdf

未來方向：數(shù)據(jù)和上下文才是關(guān)鍵？

π0.7 是一個統(tǒng)一的通用模型，它具備一種「組合式泛化」的能力 —— 不僅能聽懂各種指令、看懂視覺子目標(biāo)，而且開箱即用，表現(xiàn)相當(dāng)出色。即便是以前需要專門訓(xùn)練、精細(xì)調(diào)優(yōu)的「專家模型」才能完成的任務(wù)，它也能直接上手。

研究人員認(rèn)為，像 π0.7 這樣能力強(qiáng)、可操控的模型，未來有可能解決更復(fù)雜、從未見過的任務(wù)。怎么做到呢？讓模型自己「想一想」，先思考可能用什么方法去完成任務(wù)，利用它遵循多種提示的能力，把這些想法落地成具體的動作，然后再根據(jù)執(zhí)行結(jié)果反思、調(diào)整方案。

所以，高效的提示遵循和泛化能力，不僅讓人更方便地告訴機(jī)器人「我想讓你做什么」，還能讓現(xiàn)代基礎(chǔ)模型把它們的語義推理和問題解決能力「翻譯」成物理世界中的行動。換句話說，讓機(jī)器人真正理解并動手干活。

除了這些展望，Physical Intelligence 團(tuán)隊還分享了他們關(guān)于世界模型以及未來 scale 方向的看法。團(tuán)隊成員 Lucy Shi 提到，他們原本賭世界模型會是機(jī)器人泛化能力的關(guān)鍵，結(jié)果數(shù)據(jù)規(guī)模一拉大，VLA 基線就把 world model 吃掉了，而且架構(gòu)簡單得多。

她把這個「苦中帶甜」的教訓(xùn)寫成論文和 π0.7，結(jié)論是：大規(guī)模多樣數(shù)據(jù) + 正確上下文，就能自然涌現(xiàn)出驚人的組合泛化能力，很多過去覺得「很難」的問題其實沒那么難。

不過，他們也沒有完全否定 world model。在 π0.7 中，他們?nèi)匀皇褂昧溯p量級 world model 來生成視覺子目標(biāo)。

同時，Lucy Shi 也發(fā)現(xiàn)，現(xiàn)在模型能力是提上來了，但評估又成了新的瓶頸。數(shù)據(jù)那么多，你很難確定模型到底見沒見過某個任務(wù)相關(guān)的數(shù)據(jù)，因此泛化也很難定義。這也是未來值得發(fā)力的一個方向

參考鏈接：https://www.pi.website/blog/pi07