阿里達摩院開源具身大腦基模：轉身就忘事的機器人有救了

衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI

你斥巨資買回家的全能家務機器人，正在執行“把藥片拿給奶奶”的任務。

它在大腦里推理得有條有理：“奶奶在沙發上，藥在茶幾，我要先去茶幾那……”

結果站在茶幾前的它，對著上面的半瓶可樂陷入了沉思。

短暫的停頓之后，機械臂伸出，抓起了遙控器。

恭喜你！你家的具身機器人翻車了。

其實，“一旦被扔進物理世界做任務，智商立刻欠費”是具身智能機器人當下的尷尬現狀。

因為缺乏對三維物理空間的感知，模型無法像人類一樣建立空間坐標系，無法記住剛剛轉身后背對著的物體，也無法判斷目標是否仍然存在于空間中。

這種“腦子學會了，手跟不上”的現象，本質上是因為現有的大模型大多是“缸中之腦”，它們只見過二維的圖片和文本，從未真正理解過物理世界的深度與連續性。

現在，阿里達摩院出手了。

今天，達摩院開源了RynnBrain具身大腦基礎模型，從2B到30B，全系列共計7個。

這是業界首個擁有時空記憶的具身大腦基礎模型，其最大的特點是給具身機器人裝上了一個能理解“時”與“空”的大腦：它不僅能看懂現在的畫面，還能記住過去的軌跡，甚至預判未來的動作。

在20項具身Benchmark上，RynnBrain全面超越了英偉達的Cosmos-reason2和谷歌的Gemini Robotics ER 1.5等頂尖模型，輕松實現16個SOTA。

達摩院這次算是開了個好頭。

技術探索一旦有了苗頭，就不怕等不來雪球效應，到了全能家務機器人真正能進咱家門的時候……應該就不會翻車了吧？

RynnBrain，首個擁有時空記憶的具身大腦基礎模型

RynnBrain的核心優勢可以用“小而美”形容。

RynnBrain-30B-A3B作為首個MoE架構的具身基礎模型，展現了極致的效率美學：

僅需3B的推理激活參數，性能卻超越了72B規模的Pelican-VL（當前規模最大的具身基礎模型）。

對于機器人這種對端側算力、功耗極其敏感的設備來說，激活參數越小，意味著響應速度越快，硬件成本越低，落地的可能性就越大。

達摩院表示，RynnBrain是在Qwen3-VL的基礎上進行訓練。

為了解決大模型訓練慢、成本高的問題，達摩院團隊在RynnBrain中使用了自研的RynnScale架構。

這套架構對Dense模型和MoE模型都進行了深度的訓練速度優化，使得在同等計算資源下，訓練速度直接提升至200%。

所以RynnBrain不僅跑得快，迭代進化的速度也比別人快，單位時間內可完成更多實驗輪次。

當然，模型好不好，數據是關鍵。

為了訓練這個大腦，達摩院準備了超過2000萬對的高質量語料。這些數據經過了精心的設計和清洗。

首先，團隊復用了自研Video-Llama 3視頻大模型的通用多模態訓練數據，并融合了LLaVA-OV-SI、LLaVA-Video等開源視頻問答數據，打好了底座。

其次，為了增強具身認知，他們引入了物體認知、空間認知和計數相關的數據。

這里有一個很有意思的細節：團隊自己生成了100萬對“自我為中心”的OCR問答數據。

為什么要強調“自我為中心”？

因為機器人眼中看到的世界是隨著移動不斷晃動的畫面，是近大遠小的透視。

加入OCR數據能讓機器人看懂藥瓶上的標簽、門牌上的數字，對解決實際任務很有幫助。

在輸入輸出端，RynnBrain也做到了極致的靈活。

輸入端，它可以接受任意分辨率的圖片、多圖和視頻輸入。

無論是高清的攝像頭畫面，還是模糊的監控截圖，它都能處理——這滿足了用戶在不同場景、不同硬件條件下的視覺輸入需求。

輸出端，它有很強的多模態輸出能力。

RynnBrain可以輸出區域、軌跡、點集、夾爪位姿、文本等多種具身相關的模態。

它不僅能告訴你“那個蘋果在桌子上”，還能直接告訴機械臂“把爪子移動到坐標(x,y,z)，以30度的角度抓取”，為后續導航、規劃與操作任務提供統一的認知接口。

這些設計共同構成了RynnBrain作為“具身大腦”的基本形態。

有時空記憶，懂物理空間推理，拓展性良好

回到我們開頭假設的場景，一個問題擺在眼前：為什么現有的VLM（視覺語言模型）在做具身大腦時經常翻車？

核心原因是它們缺乏對物理世界的深刻理解。

它們能識別圖片里的貓，但不知道這只貓在三維空間里的位置，更不知道當你轉身后，家里的小貓還在不在貓窩里（此處很難不發出喵喵叫的聲音.mp3）。

達摩院具身智能實驗室的相關研究人員告訴量子位，之所以把RynnBrain定位為“具身基礎模型”，是因為它針對性地提出了三個相互耦合的關鍵能力點。

第一，它擁有了“時空記憶”。

傳統的模型往往是“健忘”的，處理視頻時也是一幀一幀地看，看完了就忘。

而RynnBrain能夠在其完整的歷史記憶中定位物體、目標區域，甚至預測運動軌跡。

這就賦予了機器人一種“全局時空回溯能力”。

想象一下，機器人在廚房里忙活。它先在水槽邊洗了菜，然后轉身去冰箱拿肉。在普通模型眼里，轉身的那一刻，水槽和菜就“消失”了。

但對于RynnBrain來說，它的大腦里構建了一個涵蓋空間、位置、事件、軌跡的多維度表征。

它清楚地記得水槽在身后的哪個方位，剛才洗好的菜放在了水槽的左邊還是右邊。

這種能力對于長程任務至關重要。

比如“把藥拿給奶奶”這個任務，中間可能被打斷，可能需要繞過障礙物。

RynnBrain擁有時空記憶，所以任務中途哪怕發生插曲，也都還能準確地找回之前的任務斷點，繼續執行。

第二，它掌握了“物理空間推理”。

RynnBrain采用了一種全新的“文本與空間定位交錯”的推理策略。

推理過程中，模型不僅生成語言判斷，還會同步給出對應的空間指向信息。

它的推理過程是這樣的：“首先走向[桌子]（對應視頻幀中的區域坐標），然后伸出手對準[蘋果]（對應物體的邊界框），避開旁邊的[水杯]（對應障礙物的點集）……”

這種推理方式，就像是人類在指揮別人干活時，一邊說話一邊用手指指點點，具身模型理解指令時就更簡單、更輕松。

推理與定位被強制綁定，推理結果天然受到物理世界約束，能夠大幅降低具身任務中常見的幻覺問題。

在具體實現上，達摩院圍繞計數、物體定位、操作點定位、區域定位和軌跡預測等任務構建了系統化的數據與評測流程。

尤其在計數任務中，強調“先定位再計數”，顯著提升了復雜場景下的穩定性。

第三，它展現了良好的可拓展性。

RynnBrain不僅僅是一個好用的模型，更是一個強大的基座。

達摩院團隊在RynnBrain基礎模型上，微調了視覺語言導航和精準操作規劃模型，結果令人驚喜。

• 在導航任務中，他們使用了SOTA模型StreamVLN的訓練數據對RynnBrain進行微調。
• 在沒有任何架構改進的情況下，RynnBrain-Nav的導航成功率比StreamVLN直接提高了2%-3%。
• 如果把RynnBrain作為基礎模型，利用相同數據訓練，能讓微調出的導航模型能力提升5%。

在操作規劃任務中，僅使用幾百條數據微調后，RynnBrain-Plan-30B（A3B）就在域內和域外的任務上全面超越了Gemini 3 Pro。

咱就是說，RynnBrain在預訓練階段打下的底子確實非常厚實。

從模型開源到生態補齊，達摩院系統性修復具身認知斷層

具身智能發展至今，仍面臨數字世界（二維、離散）與物理世界（三維、高熵）之間的巨大斷層。

為了跨越這個斷層，業界目前主要在探索兩條路徑。

• 一是從通用VLM演化，優勢是泛化強，劣勢是操作精度弱。
• 二是從動作策略（VLA）切入，優勢是執行準，劣勢是數據稀缺、換場即廢。

達摩院團隊透露，他們從第一性原理、泛化性角度以及工程化實踐三個維度出發，深入思考后，傾向于采用“大小腦分層架構”。

以RynnBrain為代表的“大腦”負責長程規劃、場景理解與時空記憶；執行層“小腦”則專注電機控制與動作執行。

這一架構在理論上更有利于泛化，在工程上也更便于模塊化迭代。

這套架構的加持下，面對“把3個面包裝到2個盤子里”這種任務，擁有長程規劃和空間規劃能力的具身機器人就有自己的機智解法。

雖然項目作者直言兩種路線目前尚未收斂，也難言好壞優劣之分，但RynnBrain的出現，首次為這種分層架構提供了可直接落地的大腦層實現。

說到這兒，大家可以問那個問題了：開源不？

開，而且是全方面開。

此次達摩院不僅開源了RynnBrain模型，還配套開放了完整的推理訓練代碼、以及包含22項細粒度指標的全新評測基準RynnBrain-Bench。

該測試涵蓋物體認知、空間認知、物體定位及具身點預測四大維度，側重考察模型對視頻序列的理解與時空定位能力。

通過開源這一大腦底座，開發者能直接在公認的基礎設施上進行二次開發，將精力轉向硬件優化或垂直場景應用。

這里想就兩個點展開說幾句。

一來，“通過RynnBrain補齊大腦的物理常識，再通過開源把這套常識變成行業的公共基礎設施”這個動作，讓達摩院“想做具身生態的建設者”這事兒藏不住了。

二來，此次開源RynnBrain，發布RynnBrain-Bench等一系列動作，降低了困擾行業的三大門檻，意義深遠。

第一道是研發門檻，告別重復造輪子。

以往每家公司都需自行訓練模型讓機器人理解“左邊”或“障礙物”，現在RynnBrain將這些物理常識打包成公共基礎設施，隨拿隨用。

第二道是系統門檻，解決認知狀態不共享的頑疾。

在RynnBrain的統一表征下，導航、規劃與操作模塊對物理世界的理解達成一致，信息的無損流轉極大地提升了系統整體效率。

第三道是協作門檻。

RynnBrain-Bench提供了一把統一的標尺，讓不同團隊能在相同的參照系下評估模型能力，驅動行業良性競爭。

跳出模型本身來看，達摩院在具身智能這邊，路線已經相對清晰了。

用最簡單易懂的話說，他們在賭。

賭具身智能的未來不是一家獨大，而是百花齊放；賭通用的物理世界認知，是所有機器人走向實用的必經之路。

畢竟具身智能最終拼的，不是參數規模或Demo視覺效果。

咱們期待的是機器人有朝一日能絲滑可靠地推開通往物理世界的大門。

現在，這扇通往真實世界的大門已經被RynnBrain推開了一條縫。剩下的，就看這個被激活的生態，能在這條路上跑出怎樣的驚喜了。

GitHub：
https://github.com/alibaba-damo-academy/RynnBrain
抱抱臉：
https://huggingface.co/collections/Alibaba-DAMO-Academy/rynnbrain
項目主頁：
https://alibaba-damo-academy.github.io/RynnBrain.github.io/