![]()
隨著具身智能的向前發展,傳統的VLA技術路線正在面臨越來越多的挑戰。
所謂VLA模型,即視覺-語言-動作模型。它的技術邏輯可以簡單描述為,將人類指令和外界多模態信息(聲音、圖像、視頻)轉化為計算機語言,繼而控制機器人行為。
但在VLA模型的訓練中,互聯網上的靜態、非結構化文本和圖像數據,并不是訓練所需的核心數據。物理世界數據的稀缺與復雜性,成為了制約VLA模型能力躍升的主要瓶頸。
VLA之后,具身智能接下來將往何處去?這成為了具身智能整個行業,都在試圖解決的問題。
近日,螞蟻靈波對外開源了LingBot-Depth、LingBot-VLA 、LingBot-World 以及LingBot-VA系列模型。其中 LingBot-VA 所代表的“邊預測、邊行動”的具身世界模型范式,正與行業近期的探索形成呼應。而四個模型的開源,則將這套能力拆成可復用的模塊與接口,為開發者提供從研究驗證到工程試驗的基礎設施,從而降低具身智能研發與集成門檻。
LingBot-VA開源,首創“自回歸視頻-動作范式”
螞蟻靈波開源周中, 具身世界模型LingBot-VA成為了收官之作,其核心突破在于它改變了機器人的思考方式。
傳統機器人主要基于“視覺-語言-動作”范式,其決策模式類似于“條件反射”:看到什么,就做什么。這種方式難以應對需要多步驟規劃和因果推理的復雜任務。
LingBot-VA則讓機器人具備“腦補”能力。
![]()
在物理執行動作之前,它會在內部模擬并推演未來幾秒的世界狀態變化,再根據這個推演結果來決定當前的最佳動作。這使得機器人能夠像人一樣“先思后行”,顯著提升了在復雜、長時序任務中的可靠性和智能水平。
實現這一切的基礎在于,LingBot-VA在核心范式上的創新。
LingBot-VA首創了“自回歸視頻-動作范式”:將大規模視頻生成模型與機器人控制深度融合,模型在生成“下一步世界狀態”的同時,直接推演并輸出對應的動作序列。
具體而言,Mixture-of-Transformers (MoT) 架構讓視頻流(寬而深,負責視覺推演)與動作流(輕而快,負責運動控制)共享注意力機制又保持獨立;閉環推演機制:每一步生成都納入真實世界的實時反饋(如攝像頭數據),形成“預測-執行-感知-修正”的循環,防止幻覺漂移。
最后,異步推理管線讓動作預測與電機執行并行處理,大幅降低延遲。
得益于LingBot-VA的技術創新,機器人在制作早餐、插入試管、疊衣物等長時序、高精度、柔性物體操控任務中,成功率相較業界基線模型平均提升約20%;在雙臂協同操作基準RoboTwin 2.0上成功率首次超過90%,在長時序終身學習基準LIBERO上達到98.5%的平均成功。
LingBot 系列開源,構建具身智能的通用基礎設施
除了LingBot-VA之外,螞蟻靈波還連續開源了LingBot-Depth(空間感知)、LingBot-VLA以及LingBot-World。這四者共同構成了一套覆蓋“感知-理解-模擬-行動”的完整具身智能技術棧。
LingBot-Depth?相當于機器人的“眼睛”,通過高精度空間感知模型,解決透明、反光物體識別難題,透明物體抓取成功率從0提升至50%。
LingBot-VLA?,類似于機器人的“大腦”,讓機器人理解指令并規劃基礎動作。基于2萬小時真實機器人數據訓練,LingBot-VLA在GM-100基準測試中,成功率超越基線模型Pi0.5。
![]()
可以看到,與業內主流的“仿真到現實”(Sim-to-Real)路徑不同,螞蟻靈波更篤信基于真實世界數據訓練的價值。
LingBot-VLA覆蓋了9種主流雙臂機器人構型(包括 AgileX,Galaxea R1Pro、R1Lite 、AgiBot G1等),實現了讓同一個“大腦”可以無縫遷移至不同構型的機器人,并在任務變化、環境變化時保持可用的成功率與魯棒性。
與高精度空間感知模型LingBot-Depth配合,LingBot-VLA還能獲得更高質量的深度信息表征,通過“視力”的升級,真正做到“看得更清楚、做的更明白”。
LingBot-World,則是機器人的“數字演練場”。
利用多階段訓練和并行加速,LingBot-World可以實現長達近10分鐘的連續、穩定和無損視頻生成,以解決視頻生成中的常見挑戰——“長時漂移”,也即長時間的生成通常會出現物體變形、細節崩潰、主體消失或場景結構崩潰等現象。
同時,LingBot-World在長序列一致性、實時響應性以及對行動和環境動態之間的因果關系進行建模方面表現出色。這使得它能夠在數字空間中“想象”物理世界,為人工智能代理提供一個具有成本效益、高保真環境,用于試錯學習。
“機器人規模化的主要阻礙不在硬件,而在’反復訓練/再訓練(retraining)‘,也就是每做一個新任務或換一種機器人,往往就要重新采數據、重新調參,工程成本很高。這也是機器人很難從試點走向大規模部署的原因之一。”
MarkTechPost CEOAsif Razzag表示,螞蟻靈波發布的一系列模型很有意思,從感知到認知,全棧(full-stack)體系,每個模型互為助力,并且全部開源。
也正是基于這樣的設計,全面開源的LingBot系列模型,構建了具身智能完整的通用基礎設施,讓開發者可以按需選用或組合。這種新的研究范式,在降低具身智能研發門檻的同時,也加速了具身智能從實驗室走向產業化的進程。(文 | 科技潛線,作者 | 饒翔宇 編輯 | 鐘毅)
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.