這么哇塞的世界模型，竟然是開源的！

金磊 發自 凹非寺
量子位 | 公眾號 QbitAI

整整三天，一波接一波連續開源。

在機器人的眼睛（LingBot-Depth）和機器人的大腦（LingBot-VLA）之后，剛剛，螞蟻靈波又開源了一個大的：

通用的世界模型——LingBot-World。

是可以支持在10分鐘時長里，一直生成、一直交互的那種，來感受一下這個feel：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

不難看出，視覺效果已經做到了與DeepMind推出的Genie 3不相上下，但時間維度上明顯是更長。

而且LingBot-World生成的視頻不只是能看，你也可以深度參與其中。

你可以通過鍵盤（WASD）和鼠標，實時控制視角的推進、旋轉，就像在玩一款3A大作一樣：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

當然，Agent也能夠在生成的世界中自主規劃并執行動作。

與此同時，你也可以用自然語言的方式去實時改變生成世界里的一切。

例如我們“喂”給LingBot-World這樣一張初始圖：

只需輸入“前面放個煙花”（0-10s）、“變成冰雪世界”（10-20s），LingBot-World就會從這張圖開始按照你的要求生成下去：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

言出法隨，真·言出法隨。

不僅如此，LingBot-World一致性這塊也是拿捏的非常到位，例如下面的科幻場景，不論是遠景還是近景，那個光圈始終保持高度的一致性：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

除了一致性之外，記憶力這塊也是值得說道說道。

即便畫面已經離開了視頻中的貓咪一段時間，但當鏡頭轉回來，LingBot-World還能保持持續的記憶，并推斷貓咪在屏外的行為。

就仿佛一切都在自然演進、發生一樣：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

并且LingBot-World還嚴格遵循現實世界的物理規律，同樣是這只貓咪，當它撞到沙發的時候就不會出現穿模的情況，會顯得更加真實：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

如此效果，也難怪剛剛發布，就已經在國內外的網上掀起了不小的熱議：

• 真正的突破不在于視覺。而是它將記憶力、交互和持續性整合到了一起。

但最最最關鍵的是，不同于Genie 3的閉源，LingBot-World選擇的是完全開源！

這也成了網友們直呼“Amazing”的重點：

• 對開源社區來說是個巨大的勝利。
• 如此開源對具身智能來說是個巨大進步。

那么LingBot-World到底是如何做到的呢？

相關論文也已新鮮出爐，我們這就來一探究竟。

LingBot-World是如何煉成的？

從剛才的效果展示和網友討論中，我們不難發現世界模型的三大核心難點：

一致性交互性實時性

因為它不像AI視頻生成那樣，視覺上或許能達標，但最重要的是要按照嚴格物理規律持續地生成下去；從這個層面上來看，更像是一個世界模擬器

為了做到這一點，螞蟻靈波團隊先是在數據層面下了一番功夫。

LingBot-World先是構建了一個混合數據引擎。

一方面，他們收集了海量的真實世界視頻（包括第一人稱和第三人稱視角）；另一方面，利用虛幻引擎（Unreal Engine）合成數據，通過游戲引擎生成的畫面，自帶完美的相機位姿和物理碰撞信息，這是讓模型學會因果關系的關鍵。

其次是分層標注策略，不同于傳統籠統的視頻描述，LingBot-World將描述拆解為三個層級：

• 敘事描述（Narrative Caption）：講故事，描述視頻的整體情節和環境變化。
• 靜態場景描述（Scene-Static Caption）：只描述環境，刻意忽略動作。這讓模型學會將背景與運動解耦。
• 密集時序描述（Dense Temporal Caption）：精確到秒的動作描述，比如“第5秒向左轉，看到了一根柱子”。

數據層面之后，就是在模型層面上的創新。

LingBot-World并沒有從零開始“硬Train”，而是采取了三階段進化策略

階段一是預訓練，目標是先生成一個世界。

團隊基于視頻生成模型進行初始化。這一步不追求交互，只為了讓模型擁有強大的通用視頻生成能力，能夠畫出高保真的紋理和光影。

階段二是中訓練，目的是讓模型掌握物理規律。

為此，團隊引入了混合專家模型架構，這些專家會負責大到構建全局結構和粗略布局（比如山在哪里，路通向哪）的工作，小到填充紋理細節（比如水面的波紋，葉子的脈絡）等。

在這個階段，模型被注入了大量的交互數據和游戲邏輯，學會了“如果我按下W鍵，畫面應該怎么變”。同時，通過漸進式課程學習，模型開始涌現出空間記憶能力，解決了長視頻生成的災難性遺忘問題。

階段三是后訓練，劍指實時性。

由于傳統的雙向擴散模型太慢，團隊引入了因果注意力機制和少步蒸餾技術。

將推理過程從雙向推演變成了自回歸生成，在保證畫質的前提下，將延遲壓縮到了1秒以內（16fps生成速度），真正實現了Real-time Playable。

如此操作下來，在與Genie 3、Mirage 2等頂尖模型的對比過程中，性能上便取得了較為明顯的優勢。

尤其是在長時序一致性和記憶力方面，LingBot-World是做到了生成即記住

螞蟻靈波的布局一下子清晰了

若是單點看LingBot-World這項技術的開源，或許你會覺得它可能只是一個好玩、好用的世界模擬器。

但如果結合前兩天發布的LingBot-Depth和LingBot-VLA，你會發現，螞蟻靈波正在下一盤很大的棋。

因為它不僅僅是三次開源動作這么簡單，背后更是一套完整的具身智能基礎設施

首先是機器人的眼睛（感知），即LingBot-Depth。

螞蟻靈波的LingBot-Depth通過掩碼深度建模，把傳感器缺失的信號視為掩碼，利用視覺上下文把深度圖補全。

結果就是讓機器人即使是面對反光、透明的物體，也能看清楚真實的世界。

其次是機器人的大腦（決策），即LingBot-VLA。

在20000小時真實世界數據加持下，機器人能夠更精準地進行操作，并且更具備極強的泛化能力。

不僅在三個不同機器人平臺上完成了100項任務，成功率碾壓同類模型，訓練吞吐量更是現有框架的1.5到2.8倍。

最后就是機器人的環境（模擬），也就是今天新鮮開源的LingBot-World。

因為真實世界訓練機器人太貴、太慢，也存在一定的安全隱患；但在這里，它能生成無窮無盡的虛擬環境，并且符合物理規律。

不過有一說一，這三個動作并非是簡單做加法，實際上是產生了1+1+1 > 3的化學反應：

LingBot-VLA可以在LingBot-World生成的虛擬環境中進行千萬次推演（Sim-to-Real），以極低的成本學習物理規律。

LingBot-World生成的視頻具有極強的一致性，可以直接轉化為高質量的3D點云，反過來作為訓練數據，讓LingBot-Depth看得更準。

VLA在真實世界的反饋，又能優化World模型的物理準度，讓模擬更逼真。

很明顯，是圍繞具身智能的一個完整閉環

由此，螞蟻靈波下的這盤大棋也就非常清晰了——

把感知（LingBot-Depth）、決策（LingBot-VLA）、模擬（LingBot-World）這三大核心件全部開源，試圖為整個行業提供一套可復用、標準化的產業基礎設施。

但從更長遠角度來看，或許螞蟻靈波目前聚焦在具身智能還只是一個主線，因為如此復用性，同樣也可以用于游戲、AIGC和自動駕駛等。

螞蟻靈波的這盤棋，很有可能還將擴局。

One More Thing：

縱觀螞蟻靈波這三天的開源，一個很直接的體感就是真實。

這不，為了證明LingBot-World不只是個demo，團隊還把實施部署的視頻給放出來了：

視頻地址：https://mp.weixin.qq.com/s/RmN9XbZRif0fdfoejBn6zA

項目主頁：
https://technology.robbyant.com/lingbot-world

GitHub：
https://github.com/Robbyant/lingbot-world-Tech

論文地址：
https://github.com/Robbyant/lingbot-world/blob/main/LingBot_World_paper.pdf

項目權重：
https://huggingface.co/collections/robbyant/lingbot-world
https://www.modelscope.cn/collections/Robbyant/LingBot-World