穩定機器人控制的層次主動推理框架

用于穩定機器人控制的層次主動推理框架

A hierarchical active inference framework for stable robotic control

https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X

摘要
本文提出“主動推理–視覺運動策略學習”（AIF-VPL），一種新穎的主動推理框架，將神經科學原理與機器人模仿學習相融合。當前方法難以兼顧穩定性與適應性，而本架構展示了皮層–小腦–脊髓層級計算原理如何解決這一挑戰：在皮層層面，混合Conv-xLSTM網絡結合多模態注意力模塊（MAM），處理時空視覺–本體感覺輸入以進行任務規劃；受小腦啟發的中層采用精度加權變分自編碼器（VAE）實現主動推理，通過迭代動作優化最小化感覺預測誤差，顯著提升運動穩定性（急動度降低35%）；脊髓層面則由xLSTM–Transformer網絡實現低延遲、結構化的動作序列執行。在拖拽（Drag）、轉移（Transfer）與推–T（Push-T）三項操作任務上評估表明，AIF-VPL達成93–100%成功率，優于擴散策略與行為克隆基線。消融實驗驗證了各神經生物學啟發組件的必要性：MAM生成時序一致的表征，主動推理機制使軌跡急動度降低35%。本工作首次實現了層級化主動推理在機器人中的可部署應用，為神經機器人學與計算神經科學搭建了原理性橋梁。

引言
在非結構化環境中實現機器人操作，需無縫整合感知、決策與運動控制（Panda 等，2025；Yang 等，2025）。盡管機器學習已有進展，現有系統仍難以企及生物感覺運動系統的魯棒性與適應性（Billard & Kragic，2019；Todorov，2004）。其根本局限在于：多數機器人架構將感知與動作視為分離模塊（Merel 等，2019），忽略了支撐生物運動控制的層級性、預測性與誤差校正機制（Ijspeert，2008；Tani & Nolfi，1999）。

生物系統通過皮層–小腦–脊髓層級架構應對該挑戰：皮層利用多模態上下文規劃動作（Friston，2010）；小腦通過最小化感覺預測誤差精細調節運動；脊髓則執行低延遲運動指令（Pimentel 等，2023）。盡管該架構已啟發若干計算模型（Buckley 等，2017），現有機器人實現或過度簡化層級結構，或未能在真實任務中部署——尤其缺失一個類小腦的主動推理（AIF）層，以通過持續誤差校正穩定運動（Oliver 等，2022）。

為應對上述挑戰，我們提出一種基于生物學的架構，統一感覺運動控制三大核心原理：

1. 皮層層級處理：采用Conv-xLSTM（長短期記憶）網絡與多模態關聯層，實現視覺與本體感覺輸入的時空整合，支持任務規劃與模仿；
2. 類小腦預測處理：通過精度加權變分自編碼器（VAE）持續最小化感覺預測誤差，模擬主動推理過程；
3. 類脊髓反射控制：由xLSTM–Transformer編碼器網絡實現，確保低延遲運動響應。

該三層架構彌合了高層決策與底層動作執行的傳統鴻溝，同時保持生物學保真度。

本工作的意義體現于三項貢獻：
? 首次在機器人中實現完整皮層–小腦–脊髓主動推理層級的實用化部署，突破了既往純理論或單層建模的局限；
? 證實自由能最小化可有效化解模仿學習中的穩定性–適應性權衡——在任務成功率保持93–100%的前提下，軌跡平滑度提升35.29%；
? 提出一種生物學合理、模塊化的架構，既推動神經機器人學（作為感覺運動理論的實驗平臺），亦促進應用機器人學（作為穩定、可泛化的控制框架）。

章節片段

機器人控制中的模仿學習模仿學習已成為機器人技能習得的基礎范式，可高效地從專家示范中學習操作行為（Hussein 等，2017）。該領域已從早期的行為克隆方法演進為現代概率建模方法。盡管傳統行為克隆實現簡便，卻易受誤差累積與分布偏移影響（Zare 等，2024）。交互式方法（如 DAgger）通過……

整體層級控制框架人類感覺運動系統具有三層架構（圖1a），因此我們亦構建了一種層級化生成式控制框架。高層控制器模擬大腦皮層與基底神經節的運作機制，整合本體感覺與視覺輸入，并確定運動目標（圖1b）。為模擬皮層對多模態信息的學習與注意加工過程，我們引入多模態注意力模塊（MAM），用于融合并……

任務描述我們的隱式層級生成模型使機器人能在仿真環境中自主習得并執行指定的操作任務。我們在三種不同場景中驗證該模型（圖4）：

• Drag（拖拽）任務：機器人利用末端執行器將箱子拉近，隨后拾取隨機生成的木塊并投入箱中，最后將箱子推回原位；
• Transfer（轉移）任務：要求機器人使用……

討論本研究結果表明，我們提出的生物學啟發式層級主動推理框架顯著推進了機器人模仿學習的發展水平。通過映射生物運動系統的皮層–小腦–脊髓組織結構，該架構在穩定性與泛化能力上均優于現有方法。其核心創新在于將多模態感知與層級化控制緊密整合——各層級專精于特定功能……

結論本文提出了 AIF-VPL——一種用于機器人模仿學習的層級化主動推理框架，成功將神經科學原理與可部署控制架構相聯結。通過仿照生物運動系統的皮層–小腦–脊髓組織，本方法實現了三項關鍵進展：（1）皮層層級通過 Conv-xLSTM 網絡與注意力機制實現多模態融合，構建魯棒任務表征；（2）類小腦的主動推理機制通過預測……

原文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S095741742504518X