漫畫：大模型“強控”具身智能機器人？

廢話不多說，

接通宋言博士的電話，

第一句就是：“你看清華大學那篇RDT論文了嗎？”

異口同聲地回答：“當然看了”

連寒暄都省了，用“論文看了嘛？”，

確認一下好友身份。

若要沒看，

那咱們就不再是朋友了。

宋言博士對這篇論文評價很高，

（說明譚老師我欣賞論文的品味也很高呢。）

一句話總結，把擴散模型思路引入機器人。

氛圍已經烘托到這里了，

這篇就聊這個。

宋言博士是元蘿卜機器人系統架構師，

一位從清華大學力學博士轉來機器人行業的“轉行博士”。

密切關注大模型最新進展是我倆的共同愛好。

大模型控制機器人很有意思，

畢竟，腦子是個好東西，

希望你有，我有，大家有，機器人有，

既然好好聊，我請到了，

論文RDT的第一作者清華大學劉松銘博士，

中科紫東太初大模型團隊機器人總監：劉榮博士，

武漢人工智能研究院研究員：易東博士，

元蘿卜機器人系統架構師：宋言博士。

分析機器人能做啥：題目：“圖片中有 4 個水槽。哪個箭頭指向的是離觀察者最近的水槽？”分析機器人能做啥：Germini Robotics到底做得如何呢？（二）競爭加劇，“含量”提升

（一）強勢玩家出場

先說有哪些知名玩家？

再說下各家玩法。

第一個，

谷歌很堅定地摸索大模型控制機器人道路，

接連推出，

Robotic Transformer 1，

Palm-E，

Robotic Transformer 2 （2023年7月），

后面，Robotic Transformer -H（2024 年 3 月），

增加了語言模型對機器人細節動作的理解；

后來，RT1演化成模塊，

從Palm-E開始，

就調用RT1這個模塊處理動作。

RT1自有語言理解能力，

所以，這種模塊不可以說是：

相對獨立且只負責動作的模塊。

RT-2之后的模型，所有的都在一套網絡里完成，

但沒有用上擴散模型。

直到Germini Robotics ER這一代，

終于用上了擴散模型，

擴散模型不僅是獨立子模塊，

而且跑在在機器人硬件上。

劉榮博士和易東博士共同認為：

雖然Germini Robotics是閉源，

但是，它的視覺語言模型，

很可能是目前世界上最好的。

谷歌團隊搞視覺語言模型由來已久，信心堅定，

Germini Robotics自然繼承了很多優點：

（1）對空間理解能力特別強，

有的模型僅能把空間位置關系，

比如，前后關系說對，

這已經很強了，

然而，Germini Robotics模型可以把廚房工具的把手直接框出來，

比如炒菜產子的手柄。

我們詳細解釋一下：

一張圖片，有的模型能說出圖片里有人，

有的模型能把模型里的人框出來，

那么，這兩種模型完全不在一個水平上，

后者強太多了。

機器人要理解周圍的環境，不僅僅是“看見”一個平面圖片，而是要知道物體的形狀、大小、距離和位置（3D感知）。Germini Robotics不僅對空間的理解走到三維這一步，而且能夠輸出三維理解的結果。

（2）推理能力也很強

怎么強？上考試題

（ERQA真是個好東西，前面漫畫也有）

第一題：軌跡推理（Trajectory Reasoning）

題目：“大約應該沿著哪條彩色軌跡拉動拉鏈，以便開始拉上行李箱？”

選項：

A. 藍色（正確答案）

B.紫色

C. 綠色

D. 紅色

分析機器人能做啥：

機器人需要理解拉鏈的起點和方向，

判斷正確的運動軌跡。

這需要 3D 空間感知和運動規劃能力，

讓機器人知道如何正確拉上拉鏈，

而不是隨意亂拉。

第二題：動作推理（Action Reasoning）

題目：“應該如何移動扳手，使其準備好旋轉最靠近它的六角螺絲？”

A. 向前和向右（正確答案）

B. 向上和向左

C. 向前和向左

D. 以上都不是

機器人需要理解工具（扳手），

如何作用于目標（螺絲），

并找到正確的操作方向。

這涉及物理交互（Physics-based Interaction），

讓機器人知道如何調整扳手的角度來正確擰螺絲。

第三題：空間推理（Spatial Reasoning）

A. 沒有箭頭指向最近的水槽（ 正確答案）

B. 藍色

C. 紅色

D. 青色

機器人需要理解深度和空間關系，

判斷哪個物體最近。

這涉及 3D 視覺感知（3D Perception），

讓機器人能識別前后關系，

而不是僅僅根據顏色選擇答案。

（3）Germini Robotics盡力理解物理世界

理解世界，

才能是真智能機器人。

比如物體下落，

比如，掃把靠在墻上放得不好要劃倒，

它的模型理解這點，

機器人前去扶正掃把。

機器人不僅語言，思考聰明，

還要行動聰明，

理解物理世界是機器人領域的遠大理想，

也是機器人自如行動于物理世界的前提。

也僅在初級理解階段，機器人只是能做選擇題，

如果把考試題目換成開放性試題，

那就是另一個難度了。

綜上所述，谷歌的技術路線，

以理解物理世界為終極目標，

（理解數字世界不在話下）。

谷歌的“故事”，總是格外容易進入，

你被故事帶著走，

讀懂谷歌，更容易看懂其他團隊，

很多人指責谷歌創新能力衰退，

而我看來，谷歌更像一個值得信任的中年人。

往往是最好的“參考標準”。

萊文教授也是我在硅谷最希望拜訪的教授之一。朱軍教授團隊我觀察了很多年，

再把目光移到其他團隊：

第二個Octo模型團隊（Octo Model Team），

這個團隊的成果其實也可被視為谷歌系列工作，

谷歌和美國三所名校都參與了（24年5月26日），

團隊核心人物之一，

美國加州伯克利大學謝爾蓋·萊文教授

英文名是Sergey Levine，

他在一次演講中也談到：

“擴散模塊規模小，會限制模型能力?！?/p>

第三個，清華大學朱軍教授團隊

Robotics Diffusion Transformer (RDT)，

這個就是文章一開頭，

和宋言博士電話里聊到的論文。

業界地位不容小覷。另外，論文中是雙臂任務，雙臂比單臂更難。

有個很好的例子，人類很容易理解倒水"1/3 杯" ，

然而，指揮機器人動作的模型在訓練的時候，

只學過 "少量""半杯" "滿杯" 三種水位。

從來沒學過 "1/3 杯"，

也就是說，

RDT模型令機器人“聽懂”以前沒學過的指令，

依然能成功完成任務，

這說明AI模型并不是死記硬背，可舉一反三。

配套雙臂數據集也格外有看點。

第四個，Pi-Zero模型屬于“物理智能”團隊，

英文名是Physical Intelligence，雖然沒有引入擴散模型，不過亮點是，

僅從名字上觀察，

該公司愿景想讓機器人理解世界的規則。

現在看來，這是種雄心壯志。

再觀察，RDT和Pi-Zero均在動作模塊中，

引入擴散模型，

技術含量點在于，主干模型中用上了擴散模型，

而Octo模型只是用了一小部分，

RDT和Pi-Zero模型則將擴散模型規模擴大了很多。

換句話說，“擴散模型”含量在提升。

第五個，Figure 02，部分擴散模型。

第六個，字節跳動的GR系列的單臂任務

2024年10月，

字節在這個方向上有著自己的理解，

他們認為，模型對空間的理解能力強是核心，Diffusion Policy Learning里的Policy ，

他們將動作理解為一個序列，

模型提高對視頻的理解力，

機器人動作性能才能提高。

是時候總結這些玩家的玩法特點了。

第一點，用VLA大模型做基座，

既然可以用已有的大模型抽特征，

可以純語言模型提語言特征，

可以純視覺模型提視覺特征，

也可以用圖文模型提兩種特征，

怎么組合都行。

既然是VLA模型，

只要是給它下達任務，機器人直接做動作，

一套輸出行云流水輸出機器人動作（端到端）。

第二點，特別重要的是動作模塊，

因為機器人需要給它動作信號，才能行動。

早期動作模塊不用擴散模型，

后來核心組件由擴散模型構成，

也就是說在VLA模型的基礎上，

擴散模型作為一個獨立的子模塊（head）被引入，

能夠看到，“擴散模型含量在提高，從子模塊，走向骨干，

美國眾多知名團隊如此，

國內一流團隊亦如此。

結論呼之欲出，

擴散模型正在成為機器人算法領域的關鍵技術之一，很有前途。

（三）底層原理

秉持我一貫的風格，

要聊就聊透。

好好理解擴散模型用于機器人操作底層原理。

我相信，當你理解了擴散模型的“隱藏實力”，

就不會問why，而是why not。

從“為什么用在機器人身上？”，

變成了“為什么不用在機器人身上？”

要我說，擴散模型足夠強大，足夠基礎。

而武漢人工智能研究院易東博士給我的答案是：

一種廣泛適用的連續高維概率密度函數估計（和采樣）方法。

確實深刻。

不僅AI畫圖可用，機器人，自動駕駛等亦可用，

一切皆可探索。

先復習一下擴散模型用于AI畫圖，

這是一個從“壞圖”中去掉噪聲變成“好圖”的過程。

當你告訴AI“我想生成一幅日落的海灘和一群泳衣模特”，

（我的咒語，當然是男模特）

它就會從一張完全隨機的“雪花屏”圖片開始，

一步步去掉噪聲，最終生成你想要的“好圖”。

去掉噪聲，這是一個思想，很早就有了，

這道題讓擴散模型來做，它能生成。

甚至可得到一組連續動作。

機械臂當下在什么位置？

把機器臂控制到什么位置去？

有了時間長度的位置信息，本身就是軌跡信息，

以此類推，擴散模型一直預測動作，

機械臂一直完成任務，

任務可以是疊衣服，端茶倒水……

這時候，機器人能力瞬間爆棚。

（四）給機器人“出”策略

既然我這么看好擴散模型和機器人操作，

那我就很想知道，這個頭是怎么開的？

我們不得不提到一篇論文，

2023年，開創性論文：

關于機械臂動作策略生成（Diffusion Policy Learning），

它第一次把擴散模型用到機器人身上，

開辟了一種機器人的技術方向，跟隨者眾。

我特意讓宋言博士講解了這點，“讓我們再來談談這件事的本質。Diffusion采用連續的形式去建模動作分布，自回歸則用離散類別去模擬。前者昂貴而有效，后者簡單（僅需類似輪盤賭的方法）但失真。我們目前選擇了最穩的辦法。但也不好說，也許有一天我們會猛然發現這個世界的本質是離散的，只不過我們缺少合適的離散化方法?！?/p>

我就很喜歡他對技術本質那種淺顯直白的表達。

策略（Policy）這個術語，

是具身機器人專業術語，

用擴散模型來“學習策略”。

策略是強化學習中的一個核心概念，

也是最初入門強化學習時，

最先接觸到的重要術語之一。

這樣解釋吧：

在使用強化學習來玩超級瑪麗游戲時，

從能找到一種算法（馬爾可夫鏈），

為我們提供一種簡單又實用的方式，

來理解和解決游戲人物面對的難題。

超級瑪麗當前的狀態是“踩在蘑菇上”，

下一個動作是什么，

向左走，向右走？跳起？還是頂磚頭？

基于超級瑪麗當前的狀態，要做一個動作的選擇，

這個選擇就叫策略（Policy）。

強化學習的目標是學習出一個最優的策略，

超級瑪麗能夠盡量多吃道具得分，

而且盡可能別掛掉。

從超級瑪麗聊回機器人，攝像頭拍到的照片（場景），

或者人類的命令都是初始狀態（State），

選擇下一步如何行動就是策略（方法論）。

傳統機器人預先編好的程序，

而具身機器人和環境交互出策略。

機械臂要拿葡萄，

下一步把手臂移到葡萄上方。

看來，擴散模型輸出了正確的策略。

不過，我再引用一句清華大學劉松銘博士的原話：

在我看來，越是高手，

越喜歡思考算法背后的哲學意義。

有時候，猛一聽，

都不像在聊計算機。

（五）清華大學論文RDT

從前面的玩家玩法總結中能看到，

清華大學論文RDT是繞不過去了，

那就有請論文第一作者劉松銘博士，

我觀察到對他對具身智能的思考十分深刻。

以下由對話形式呈現：

第一個問題：我們怎么理解擴散模型和自回歸模型？

他回答：自回歸有兩個關鍵問題：

1. 離散化：自回歸需要基于離散概率采樣，而具身的action天然連續。這二者之間會存在量化誤差，而具身的操作任務對誤差極其敏感。對于靈巧操作任務，可能需要亞毫米精度。

2. 自回歸需逐個生成詞元，受限于端側硬件（顯卡帶寬小），會導致模型推理速度較慢，而具身對控制頻率有較高要求（一般操作任務，至少需要10Hz推理頻率，而100ms對于VLM或者VLA來說，太短了）。雖然這兩點目前業界都有一些解決方案，但遠遠達不到完美。

本質在于，在高維連續分布中進行采樣并不簡單，

是一個復雜的問題（non-trivial problem），

而擴散模型是解決這一問題的有力工具：

它本身是連續的，并且擴散過程不依賴自回歸，

它是并行計算的，極大提升了推理速度。

經過蒸餾，單步擴散（one-step Diffusion），

甚至可以完成拋投等動態操作任務。

第二個問題：你們在擴散模型上做了什么關鍵工作？

1.我們首次將擴散模型在具身任務上擴展到十億參數規模，我們的實驗證明的擴散模型路線在具身領域是可擴展的。計算規模的擴大會直接帶來性能提升。為了能讓這個模型擴展，我們在擴散模型去噪網絡架構上做了相當多的工作：包括選擇合適的normalization方法，選擇合適的條件注入方式以及提升模型對非線性的適應能力。這些都是具身領域都有的挑戰。這些工作盡管比較工程，但都是擴展模型必不可缺的，我們的消融實驗表明缺少了任意一項技術，模型的擴展性都會失敗。這些在可擴展性上的努力是Diffusion Policy的關鍵。這也讓我們成為目前最大的擴散結構，Pi0的擴散模型部分只有300M，我們認為這會影響它的表達能力。

2.為了能支撐這么大規模模型的訓練，我們準備了相當多的開源數據。當然，這里面的工作并不是幾行代碼就搞定的。我們獨家的數據集配方里包含了46個不同機器人數據，為了能訓練發揮出最大的效果，團隊逐個數據集去清洗，清洗掉那些有錯誤或者傳感器異常的數據。實驗中的“臟活累活”實際上對模型性能提升非常重要。

“Data is almost everything.”為了不讓別人重復臟累活，我們將數據處理的代碼全部開源。此外，我們注意到，可用的雙臂數據集非常少。于是，采集了6K條雙臂數據，精心設計了多項任務，是目前雙臂數據集中多樣性最好的之一。

3.在不懈“調參”下，我們的模型取得了不錯的性能。有時候確實有點像老廚師烹飪，沒有太多規律，摸索了很多配方，把我們發現的最好的，開放給大家）。據開源社區反饋，即使Pi0發布之后，我們的模型依然很能打（嘿嘿）。我推測，不同的模型有各自適用的任務。不過，缺點也有，純擴散結構比較吃算力，但算力給夠模型的性能可以持續提升。感謝劉松銘博士，他對RDT的講解十分細致。

（六）學術爭議

我發現，對機器人動作軌跡生成這個件事的思考，

其中一個爭議點在于：

該用自回歸的方法做，

還是用生成式的方法做？

其實這是在討論自回歸和擴散的關系。

而且AI畫畫和機器人動作操作也有所不同。

易東博士認為：

“各有各的場景和優勢，也能融合。

圖像生成方向也有結合。比如何愷明的工作MAR，先自回歸，然后擴散，”

而元蘿卜機器人系統架構師宋言博士認為：

控制機器人的手臂去拉抽屜，

抓抽屜可以從上面抓，

也可以從下面抓，角度差了180度，

有了兩條數據（上和下），用自回歸的方法，

這兩條數據會相互干擾，

機器人動作操作忌諱相互干擾的數據。

機器人做一件事情，

可以有很多種動作去做這件事。

比如，抓取一個杯子，很多角度都能取到物品。

擴散模型的優勢是把所有的動作都建模出來，

自回歸的思路是無論多么復雜都回歸到一個點上，

所謂一個點就是一條確定的路徑，

而不能做多方面的探索。

我又和中科紫東太初大模型團隊機器人總監劉榮博士聊了聊，他認為：

1.擴散模型和自回歸是目前生成式方法的兩個最主要的方向；

2.一般認為，自回歸擅長處理可變長度序列的預測問題，比如。現在語句生成，但是自回歸直接生成預測的詞元，被認為是離散的，會損失物理值的大小關系，這個對行為輸出來說比較重要；

3.而擴散模型一般處理定長序列，比如圖像生成（圖像大小是一定的），

好處是它的生成是連續的，這是因為擴散模型屬于先預測分布再生成，連續值輸出一般認為更適合具身機器人任務。

（七）尾聲

另一位專家劉榮博士則提出：

最近的機器人在視頻中非常歡脫，

有些難辨真假，可能產生一種誤解，

具身智能落地就在眼前。

其實很多機器人從業者，對目前進展不滿意：

步子不夠大，也不夠爆發。

甚至有悲觀觀點，人形機器人至少五年，

乃至更長時間都無法落地。

不管機器人多會?？幔举|是多少錢能用得劃算。

有觀點認為：現在的很多開源工作，

距離商業化還很遙遠，

為了展示技術實力，

把數據都用起來了（數據用的多），

有學習能力（零樣本，小樣本），

把流程跑通（完成簡單的行動）。

“機器人的能力，不是停留在展示層面，

而是在性能指標小數點后面的比拼切磋中，

真正摸清前行的方向?！?/p>

無論如何，機器人落地是加速的。

你看，擴散模型正悄然成為智能機器人算法的關鍵技術之一?！坝谐蝗眨瑪U散模型的影響力不會亞于 Transformer?！薄讝|博士如此預測。

坦白講，我也是這個態度。

擴散模型的高光時刻并不遙遠。

這篇聊了很多專家，很痛快，不由感慨一句，

能和這些技術大神交朋友真爽，

用技術博客分享洞見，

只是我享受學習和友誼的副產品。