中山大學(xué)HCP Lab聯(lián)合拓元智慧提出高效世界模型DDP-WM

基于預(yù)訓(xùn)練視覺表征構(gòu)建世界模型已成為具身智能領(lǐng)域的前沿研究方向。以 DINO-WM 為代表的先進(jìn)研究成果表明，基于視覺 Transformer (ViT) 的架構(gòu)能夠精確捕捉復(fù)雜的物理動(dòng)態(tài)，并展現(xiàn)出強(qiáng)大的零樣本規(guī)劃能力。然而，這種不區(qū)分運(yùn)動(dòng)物體和靜態(tài)背景、對所有圖像塊應(yīng)用自注意力的密集計(jì)算范式導(dǎo)致了高昂的計(jì)算開銷，使得決策速度成為實(shí)際部署中一個(gè)巨大的挑戰(zhàn)。

具體來說，目前最先進(jìn)的此類模型 (DINO-WM) 在處理 Push-T 等典型操作任務(wù)時(shí)，其模型預(yù)測控制 (MPC) 的單個(gè)決策循環(huán)耗時(shí)高達(dá)兩分鐘。顯然，這種延遲對于需要與物理世界持續(xù)高頻交互的現(xiàn)實(shí)場景應(yīng)用而言是不可接受的，阻礙了機(jī)器人的大規(guī)模、低成本端側(cè)設(shè)備部署。

近期，中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室 (HCP Lab) 聯(lián)合拓元智慧 X-Era AI 提出了一種新型的高效世界模型框架：DDP-WM (Disentangled Dynamics Prediction World Model)。該框架的核心思想是解耦動(dòng)態(tài)預(yù)測。通過一套系統(tǒng)化的設(shè)計(jì)，將計(jì)算資源精確分配給場景中不同屬性的動(dòng)態(tài)特性，從而在推理速度大幅提升的同時(shí)，還能顯著提升復(fù)雜操縱任務(wù)的規(guī)劃成功率。例如，將 Push-T 任務(wù)的規(guī)劃速度提升 9 倍的同時(shí)，成功率從 90% 提升至 98%。該工作為設(shè)計(jì)高效、高保真度的世界模型提供了一條新途徑。

• 論文標(biāo)題：DDP-WM: Disentangled Dynamics Prediction for Efficient World Models
• 論文鏈接：https://arxiv.org/abs/2602.01780
• 代碼鏈接：https://github.com/HCPLab-SYSU/DDP-WM

I. 動(dòng)機(jī)

DDP-WM 的設(shè)計(jì)源于對現(xiàn)有稠密計(jì)算范式的模型在當(dāng)前主流任務(wù)上工作模式的洞察。大多數(shù)場景的物理交互過程中，實(shí)際發(fā)生變化的區(qū)域面積占比很小；也就是說，絕大部分的計(jì)算都浪費(fèi)在對靜態(tài)背景的無效重復(fù)計(jì)算上。

為直觀地揭示這種計(jì)算冗余的本質(zhì)，該研究團(tuán)隊(duì)對密集模型的內(nèi)部工作機(jī)制及其處理的動(dòng)態(tài)數(shù)據(jù)進(jìn)行了深入分析。 圖 1(a) 使用主成分分析 (PCA) 可視化模型預(yù)測器中每一層特征的演變。例子中我們可以看到，在多層高成本計(jì)算的整個(gè)過程中，靜態(tài)背景區(qū)域的那些 token 幾乎沒有特征上的變化，直接證明了大量的計(jì)算能力浪費(fèi)在了重復(fù)無效計(jì)算上。

圖 1(a)： 密集模型中特征演變的 PCA 可視化，揭示了靜態(tài)背景區(qū)域中大量的冗余計(jì)算。

這種現(xiàn)象的根本在于：大規(guī)模預(yù)訓(xùn)練的視覺基礎(chǔ)模型潛在空間表征，對于稀疏的運(yùn)動(dòng)變化所產(chǎn)生差異具有固有的稀疏性。 將輸入到真實(shí)世界模型的相鄰兩幀的特征圖進(jìn)行相減后可視化（圖 1(b)），只有極小部分特征能看到顯著變化。物理世界中稀疏的運(yùn)動(dòng)動(dòng)態(tài)反映在特征層面上是高度稀疏且結(jié)構(gòu)化的，這與前文觀察到的靜態(tài)背景區(qū)域 token 層間一致性是相符的。

圖1(b)： 相鄰真實(shí)特征之間差異的 PCA 可視化，展示了物理世界動(dòng)力學(xué)在特征層面的固有稀疏性。

基于這種洞察，DDP-WM 確立了其解耦動(dòng)態(tài)預(yù)測 (DDP)的核心設(shè)計(jì)理念。該理念認(rèn)為，觀測場景的潛在狀態(tài)演化可以從根本上分解為兩種不同的動(dòng)態(tài)：一種是稀疏的主動(dòng)態(tài)，由物理交互直接引起而發(fā)生在少數(shù)前景物體上；另一種是上下文驅(qū)動(dòng)的背景更新，由主動(dòng)態(tài)引發(fā)而發(fā)生在更廣泛的區(qū)域內(nèi)。

II. 架構(gòu)：動(dòng)態(tài)分配系統(tǒng)

圖 2：DDP-WM 框架概述。

如圖 2 所示，預(yù)測過程首先用高效的歷史信息融合模塊，通過單層交叉注意力將速度、加速度等高階動(dòng)態(tài)信息注入到當(dāng)前幀特征里，為之后精確預(yù)測提供必要的上下文信息。富含歷史信息的 tokens 經(jīng)過動(dòng)態(tài)定位網(wǎng)絡(luò)來識(shí)別下一幀中的主動(dòng)態(tài)所在區(qū)域；識(shí)別出的主動(dòng)態(tài)區(qū)域通過強(qiáng)大的稀疏主動(dòng)態(tài)預(yù)測器，變換成下一幀的主動(dòng)態(tài)特征；其余背景 tokens 在低秩校正模塊中，在主動(dòng)態(tài) tokens 的指導(dǎo)下高效地修正背景上的細(xì)微變化。

2.1 動(dòng)態(tài)定位：精確識(shí)別主要?jiǎng)討B(tài)區(qū)域

動(dòng)態(tài)定位網(wǎng)絡(luò)的功能是高效、準(zhǔn)確地識(shí)別出下一幀中發(fā)生稀疏的主動(dòng)態(tài)。輸入歷史信息融合后的 token 序列到輕量級(jí)視覺 Transformer (ViT)，輸出一個(gè)稀疏的二值掩碼 M，該掩碼用于標(biāo)記出預(yù)期會(huì)發(fā)生核心物理交互的圖像塊，把計(jì)算資源引向最重要的部分。

2.2 稀疏預(yù)測：將計(jì)算能力集中于核心變化

主動(dòng)態(tài)是物理交互的核心，其變化通常復(fù)雜且非線性，需要強(qiáng)大的模型能力才能捕捉。DDP-WM 使用了一個(gè)強(qiáng)大的稀疏主動(dòng)態(tài)預(yù)測器。該模塊也使用多層 ViT 架構(gòu)，但是它的所有計(jì)算資源只用于動(dòng)態(tài)定位網(wǎng)絡(luò)識(shí)別出來的稀疏前景特征子集。這樣 DDP-WM 就避免了把計(jì)算能力浪費(fèi)在大面積的靜態(tài)背景上，從而可以讓更深、更強(qiáng)的模型來對真正的物理過程進(jìn)行建模。另外，該模塊采用自適應(yīng)長度調(diào)整的方式，可以適應(yīng)不同的場景中動(dòng)態(tài)變化的稀疏輸入序列長度，使得模型能應(yīng)對大幅度運(yùn)動(dòng)導(dǎo)致的大面積畫面變化，在硬件效率和計(jì)算精度之間取得良好的平衡。

2.3 背景更新：低成本自洽校正

DDP-WM 對被視為近似靜態(tài)的大面積背景區(qū)域采用了一種高效的更新策略：用一個(gè)專門設(shè)計(jì)的低秩校正模塊 (LRM)來執(zhí)行低成本的自洽校正。其核心是一個(gè)單向交叉注意力機(jī)制，允許來自前一幀的背景特征查詢主預(yù)測器新生成的前景特征。通過這種方式，背景特征可以以最小的計(jì)算開銷進(jìn)行微調(diào)，從而反映前景物體運(yùn)動(dòng)引起的全局上下文變化。這種設(shè)計(jì)確保了整個(gè)潛在特征空間在演化過程中的一致性和平滑性，對下游規(guī)劃任務(wù)至關(guān)重要。

III. 實(shí)驗(yàn)驗(yàn)證：效率與性能的雙重優(yōu)勢

為了全面評(píng)估 DDP-WM 框架的有效性，研究團(tuán)隊(duì)在五個(gè)具有不同動(dòng)態(tài)特性和任務(wù)復(fù)雜度的仿真環(huán)境中進(jìn)行了廣泛的實(shí)驗(yàn)。這些環(huán)境涵蓋了從簡單的導(dǎo)航（PointMaze、Wall）到精確的桌面操作 (Push-T)，再到柔性體 (Rope) 和多體系統(tǒng) (Granular) 之間復(fù)雜的交互等各種場景。評(píng)估主要集中在規(guī)劃成功率 (SR)、倒角距離 (CD) 和模型預(yù)測控制 (MPC) 的計(jì)算效率等核心指標(biāo)上。

3.1 性能超越現(xiàn)有最佳基準(zhǔn)

實(shí)驗(yàn)結(jié)果表明，DDP-WM 在所有任務(wù)上的規(guī)劃性能均達(dá)到或超過當(dāng)前最先進(jìn)的密集世界模型 DINO-WM。 如表 1 所示，DDP-WM 在 PointMaze 和 Wall 導(dǎo)航任務(wù)中分別取得了 100% 和 98% 的高成功率。在具有挑戰(zhàn)性的剛體操作任務(wù) Push-T 中，DDP-WM 的 MPC 成功率達(dá)到 98%，顯著優(yōu)于 DINO-WM 的 90%。這表明 DDP-WM 提供的高精度預(yù)測能夠?yàn)橐?guī)劃器提供更好的決策支持。

表 1 ：五種仿真環(huán)境下 MPC 規(guī)劃性能對比

在更為復(fù)雜的繩索和顆粒任務(wù)中，難以定義二元成功狀態(tài)；因此，倒角距離被用作評(píng)估操作精度的指標(biāo)。DDP-WM 在這兩項(xiàng)任務(wù)中也取得了最低的倒角距離，這展現(xiàn)了其強(qiáng)大的理解高自由度非剛體變形和復(fù)雜多體動(dòng)力學(xué)的能力。規(guī)劃性能的提升源于高保真的預(yù)測建模質(zhì)量。動(dòng)圖中可以看到，稠密 DINO-WM 在多步預(yù)測后，其生成的 T 形物塊出現(xiàn)了明顯的視覺偽影，例如邊緣模糊羽化、或違背物理常識(shí)的軟體狀扭曲變形；也就是說，對物體剛體特性不能夠準(zhǔn)確地表征。而 DDP-WM 則在整個(gè)過程中保持物塊銳利邊界和物理一致的旋轉(zhuǎn)姿態(tài)。這證明聚焦預(yù)測核心變化區(qū)域能夠顯著提升預(yù)測質(zhì)量。

3.2 效率實(shí)現(xiàn)數(shù)量級(jí)提升

實(shí)驗(yàn)數(shù)據(jù)從三個(gè)方面來度量 DDP-WM 的效率提升：理論計(jì)算成本 (FLOPs)、實(shí)際推理吞吐量、端到端 MPC 決策延遲。動(dòng)態(tài)復(fù)雜的 Push-T 任務(wù)中，DDP-WM 的單步前向推理 FLOPs 為 2.5G，DINO-WM 的單步前向推理 FLOPs 為 23G，兩者之比約為 0.108。該理論上的優(yōu)勢被轉(zhuǎn)化成了實(shí)際推理速度的提高。在單步推理吞吐量測試中，DDP-WM 在 Push-T 任務(wù)上實(shí)現(xiàn)了每秒 1563 個(gè)樣本的吞吐量，相比 DINO-WM 提升了9.2 倍。如此顯著的速度優(yōu)越性在整個(gè) MPC 決策循環(huán)中能夠更顯著地體現(xiàn)；比如，在需要 30 次 CEM 迭代的 Push-T 任務(wù)中，DDP-WM 的單次決策時(shí)間從 DINO-WM 的兩分鐘顯著縮短至 16 秒，這就使得更高頻率的實(shí)時(shí)機(jī)器人控制成為了可能。

3.3 消融實(shí)驗(yàn)

為對框架中各設(shè)計(jì)元素的有效性進(jìn)行驗(yàn)證，研究團(tuán)隊(duì)對 Push-T 任務(wù)進(jìn)行了一系列消融實(shí)驗(yàn)。其核心結(jié)果是：當(dāng)去除低秩校正模塊 (LRM)，并只進(jìn)行稀疏預(yù)測，而將靜態(tài)區(qū)域的特征嚴(yán)格保持與上一幀不變時(shí)，雖然開環(huán)預(yù)測仍然能夠保持超越稠密預(yù)測的高保真建模，但是模型的 MPC 成功率從 98% 急劇下降到 70%。這說明 LRM 解決的并非簡單的開環(huán)預(yù)測精度問題。

IV. 分析：閉環(huán)規(guī)劃中的挑戰(zhàn)與低秩校正

消融實(shí)驗(yàn)揭示了一個(gè)關(guān)鍵現(xiàn)象：雖然簡單的稀疏化方案（即去掉 LRM 的版本，僅預(yù)測前景并直接復(fù)制背景）在多步開環(huán)預(yù)測中表現(xiàn)良好，但在閉環(huán)規(guī)劃中性能急劇下降。研究團(tuán)隊(duì)對不同模型為規(guī)劃器生成的優(yōu)化景觀進(jìn)行了可視化分析。

4.1 優(yōu)化景觀

圖 6：MPC 成本函數(shù)景觀對比。（左圖）移除 LRM 后的稀疏模型生成了一個(gè)崎嶇不平、噪聲較大的成本景觀。 （右圖）完整的 DDP-WM 模型提供了一個(gè)平滑且易于優(yōu)化的漏斗狀地形。

移除 LRM 之后，模型產(chǎn)生的代價(jià)地形崎嶇不平，噪聲大，峰形呈鋸齒狀，沒有明顯的全局最小值（圖 6(a)）。這種地形上任何基于采樣的優(yōu)化器都無法找到有效的下降方向，在閉環(huán)規(guī)劃中就會(huì)失敗。相反的是， 帶有 LRM 的 DDP-WM 模型生成的代價(jià)地形非常平滑，并且有明顯的漏斗狀宏觀結(jié)構(gòu)，中間有一個(gè)深的、唯一的最小值（圖 6(b)）。這種地形給優(yōu)化算法提供了一個(gè)清晰的引力井，從而可以穩(wěn)定地收斂到最優(yōu)解。

4.2 低秩結(jié)構(gòu)

研究團(tuán)隊(duì)進(jìn)一步假設(shè)，這種看似復(fù)雜的全局背景更新本質(zhì)上是低秩的。為了驗(yàn)證這一核心假設(shè)并檢驗(yàn) LRM 是否成功學(xué)習(xí)到這種結(jié)構(gòu)，研究團(tuán)隊(duì)對由真實(shí)特征圖做差得到的背景更新特征圖和 LRM 模塊生成的背景更新特征圖進(jìn)行了主成分分析 (PCA)。 結(jié)果發(fā)現(xiàn)，真實(shí)更新特征圖的累積解釋方差曲線隨著主成分?jǐn)?shù)量的增加，呈現(xiàn)出急劇上升、快速飽和的趨勢（圖 7），有力地證明了真實(shí)特征圖的更新過程本身就是低秩的。另外也可以看到，LRM 模塊生成的更新特征圖的 PCA 曲線和真實(shí)值曲線非常相似。

圖 7：LRM 成功學(xué)習(xí)到真實(shí)的低維結(jié)構(gòu)。（左圖）LRM 預(yù)測的更新特征的 PCA 分析（右圖）真實(shí)更新特征的PCA 分析。

V. 總結(jié)與展望

DDP-WM 的成功表明，通過基于對潛在空間的運(yùn)動(dòng)模式的深刻洞察進(jìn)行有針對性的結(jié)構(gòu)設(shè)計(jì)，完全可以在不犧牲甚至超越現(xiàn)有 SOTA 的前提下，顯著提高世界模型預(yù)測速度。這項(xiàng)工作對于推動(dòng)具身智能走向?qū)嶋H應(yīng)用有重大意義。DDP-WM 把對計(jì)算資源的依賴降低了一個(gè)數(shù)量級(jí)之后，就有可能在更輕量級(jí)的邊緣硬件上部署更高頻、更復(fù)雜的模型來進(jìn)行規(guī)劃，從而為工業(yè)生產(chǎn)和家政服務(wù)等實(shí)際場景中部署先進(jìn)的自主機(jī)器人鋪平道路。