「被動(dòng)感知」到「理解接觸」！它石智航重磅發(fā)布OmniVTA視觸覺世界模型

新智元報(bào)道

編輯：犀牛

【新智元導(dǎo)讀】從「被動(dòng)感知」到「主動(dòng)預(yù)測」，首個(gè)視觸覺世界模型讓機(jī)器人真正學(xué)會(huì)「理解接觸」。

想象這樣一個(gè)場景：你正在擦桌子、削水果，或者插拔一個(gè)精密零件。

這些動(dòng)作對(duì)人類來說輕而易舉，然而對(duì)于機(jī)器人來說，這些看似簡單的操作卻是一道難以跨越的技術(shù)鴻溝。

近期，它石智航聯(lián)合新加坡國立大學(xué)、復(fù)旦大學(xué)、中科院自動(dòng)化所、清華大學(xué)、中關(guān)村學(xué)院以及北京航空航天大學(xué)六大頂尖機(jī)構(gòu)，推出OmniVTA視觸覺操作框架和OmniViTac大規(guī)模視觸覺數(shù)據(jù)集并發(fā)表相關(guān)論文，讓機(jī)器人實(shí)現(xiàn)從被動(dòng)感知，到對(duì)觸覺進(jìn)行主動(dòng)預(yù)測和閉環(huán)精準(zhǔn)控制，邁出靈巧操作的關(guān)鍵一步。

論文鏈接：https://arxiv.org/pdf/2603.19201

項(xiàng)目主頁：https://mrsecant.github.io/OmniVTA/

數(shù)據(jù)集鏈接：https://huggingface.co/datasets/tars-robotics/OmniVitac

當(dāng)前，業(yè)內(nèi)深陷于一個(gè)反直覺困境：即便觸覺傳感器在機(jī)器人領(lǐng)域已經(jīng)廣泛應(yīng)用，整個(gè)行業(yè)卻深陷「感知更多、做得更差」的困境。

機(jī)器人明明「摸得到」，卻依然「不會(huì)用」。

為什么給機(jī)器人提供額外的觸覺感知，反而可能讓它表現(xiàn)更差？

答案在于，當(dāng)前主流方案對(duì)觸覺本質(zhì)存在根本性誤解。

機(jī)器人操作領(lǐng)域長期缺乏對(duì)接觸動(dòng)態(tài)的建模和對(duì)觸覺信息的有效利用。

當(dāng)前主流方案僅將視覺與觸覺特征簡單拼接后輸入策略網(wǎng)絡(luò)。這種方式看似合理，實(shí)際上卻忽視了觸覺的核心特征。

相較于具備全局語義與連續(xù)觀測能力的視覺，觸覺信號(hào)高度局部且由接觸事件驅(qū)動(dòng)，無法提供全局感知，難以支撐長時(shí)序規(guī)劃。

更關(guān)鍵的是，接觸本質(zhì)上是一個(gè)隨時(shí)間演化的動(dòng)態(tài)過程。

擦拭、削皮、插接、擰緊等操作，都是「接觸狀態(tài)隨時(shí)間不斷變化」的過程。

然而，現(xiàn)有方法通常僅利用當(dāng)前或歷史幾幀觸覺觀測，缺乏對(duì)「接觸如何隨時(shí)間演化」的顯式建模。

結(jié)果是觸覺往往只被用于簡單的接觸檢測或視覺遮擋補(bǔ)償，而無法真正參與對(duì)接觸過程的預(yù)測與決策。

同時(shí)高頻觸覺數(shù)據(jù)缺失也讓模型難以學(xué)習(xí)真實(shí)接觸規(guī)律，操作穩(wěn)定性與泛化性嚴(yán)重不足。

人類真實(shí)行為啟發(fā)

「預(yù)測+反饋」協(xié)同機(jī)制

如何破解這一困局？答案或許就藏在人類自身的神經(jīng)機(jī)制中。

神經(jīng)科學(xué)研究表明，人類在進(jìn)行接觸操作時(shí)，依賴的是一套「預(yù)測+反饋」的協(xié)同機(jī)制：大腦一方面通過前向模型提前預(yù)測動(dòng)作將帶來的感覺變化，另一方面通過實(shí)時(shí)感覺反饋進(jìn)行快速修正，抵消誤差和擾動(dòng)。

正是這種「先預(yù)測再修正」的機(jī)制，讓人類能夠在不確定的環(huán)境中，依然完成穩(wěn)定而靈巧的接觸操作。

「預(yù)測 + 反饋」的協(xié)同機(jī)制。圖源：Motor prediction[1]

本次它石智航聯(lián)合六大頂尖機(jī)構(gòu)，從數(shù)據(jù)底座與技術(shù)框架雙向攻堅(jiān)。在數(shù)據(jù)層面上，團(tuán)隊(duì)發(fā)布了OmniViTac大規(guī)模視觸覺數(shù)據(jù)集，如下圖所示，為后續(xù)模型訓(xùn)練筑牢基礎(chǔ)。

這是迄今為止規(guī)模最大、質(zhì)量最高的視觸覺操作數(shù)據(jù)集之一，目前已收錄2萬余條操作軌跡，覆蓋近百類任務(wù)和百余種物體，并將接觸模式系統(tǒng)性分為擦拭、削皮、切割、抓取、裝配以及手內(nèi)調(diào)整六類，在數(shù)據(jù)采集過程中嚴(yán)格保證視覺、觸覺與動(dòng)作的高精度同步，并保留了原始傳感器頻率。

該數(shù)據(jù)集也同步受到了業(yè)界認(rèn)可，獲得由魔搭社區(qū)（ModelScope）主辦的「EAI-2025年度10大數(shù)據(jù)集」獎(jiǎng)項(xiàng)。

OmniVitac數(shù)據(jù)集

依托 OmniViTac 的多模態(tài)數(shù)據(jù)支持，它石創(chuàng)新提出了 OmniVTA——一種以世界模型為核心的視觸覺操作框架。

該方法的核心思路在于從「被動(dòng)感知觸覺」轉(zhuǎn)向「主動(dòng)預(yù)測觸覺」：機(jī)器人不僅能夠感知當(dāng)前觸覺信號(hào)，還實(shí)現(xiàn)了建模并預(yù)測未來觸覺的演化過程，并以此指導(dǎo)動(dòng)作規(guī)劃與閉環(huán)調(diào)整。

在系統(tǒng)設(shè)計(jì)上，OmniVTA 采用慢–快分層控制結(jié)構(gòu)，如下圖所示：慢系統(tǒng)基于視覺–觸覺世界模型預(yù)測未來觸覺表征并生成動(dòng)作序列，快系統(tǒng)則利用預(yù)測觸覺與實(shí)時(shí)觸覺反饋進(jìn)行反射式高頻控制，從而實(shí)現(xiàn)穩(wěn)定、魯棒且精細(xì)的接觸操作。

OmniVTA系統(tǒng)圖

在此基礎(chǔ)上， OmniVTA通過四個(gè)關(guān)鍵模塊協(xié)同構(gòu)建統(tǒng)一的閉環(huán)控制體系，使機(jī)器人具備「預(yù)測觸覺—理解接觸—修正動(dòng)作」的能力，從而重塑其在復(fù)雜接觸場景中的操作表現(xiàn)：

TactileVAE：通過時(shí)空聯(lián)合編碼與隱式函數(shù)解碼，將高頻、稠密的觸覺3D形變壓縮為低維連續(xù)潛變量表示，如下圖所示。

該模塊不僅在空間上保留細(xì)粒度接觸結(jié)構(gòu)（如剪切、法向形變等），還在時(shí)間上建模觸覺動(dòng)態(tài)變化，從而有效刻畫接觸過程的演化軌跡。

在顯著降低數(shù)據(jù)維度與計(jì)算開銷的同時(shí)，為后續(xù)預(yù)測與控制提可泛化的觸覺表征，使機(jī)器人能夠高效理解當(dāng)前接觸狀態(tài)并快速響應(yīng)環(huán)境變化。

TactileVAE網(wǎng)絡(luò)結(jié)構(gòu)圖

視觸覺世界模型（預(yù)測模塊）：基于雙流擴(kuò)散生成架構(gòu)，在共享?xiàng)l件約束下聯(lián)合建模視覺與觸覺的時(shí)序演化關(guān)系。

視覺分支提供全局語義與幾何先驗(yàn)，觸覺分支聚焦局部接觸動(dòng)態(tài)，兩者在潛空間中協(xié)同對(duì)齊，從而實(shí)現(xiàn)對(duì)未來觸覺信號(hào)的高質(zhì)量預(yù)測。

通過顯式建模「接觸發(fā)生前—接觸發(fā)生中—接觸演化后」的動(dòng)態(tài)過程，該模塊使機(jī)器人能夠提前預(yù)判接觸趨勢（如即將發(fā)生的接觸、接觸強(qiáng)度變化或滑動(dòng)風(fēng)險(xiǎn)），為動(dòng)作規(guī)劃提供前瞻性信息支撐。

自適應(yīng)融合策略（決策模塊）：引入 Latent Tactile Differential（LTD）編碼器，對(duì)當(dāng)前觸覺與預(yù)測觸覺之間的差異進(jìn)行顯式建模，從而提取接觸動(dòng)態(tài)變化的關(guān)鍵信號(hào)。

在此基礎(chǔ)上，結(jié)合門控（gating）機(jī)制對(duì)視覺與觸覺模態(tài)進(jìn)行動(dòng)態(tài)加權(quán)，使策略能夠根據(jù)接觸階段自適應(yīng)調(diào)整感知依賴：在無接觸或遠(yuǎn)接觸階段側(cè)重視覺全局信息，在接觸發(fā)生及演化階段增強(qiáng)觸覺主導(dǎo)作用。

該模塊有效避免了簡單特征拼接帶來的信息沖突問題，使動(dòng)作決策更加精確且具備情境適應(yīng)性。

OmniVTA慢策略：視觸覺世界模型+自適應(yīng)融合策略

反射式觸覺控制器（執(zhí)行模塊）：基于預(yù)測觸覺與實(shí)時(shí)觸覺反饋，在 60 Hz 高頻下輸出單步修正動(dòng)作，對(duì)慢系統(tǒng)生成的動(dòng)作序列進(jìn)行連續(xù)閉環(huán)補(bǔ)償。

該控制器通過建模觸覺誤差（預(yù)測–觀測差異）實(shí)現(xiàn)快速響應(yīng)，可在接觸擾動(dòng)、物體偏移或摩擦變化等情況下即時(shí)修正執(zhí)行軌跡，從而顯著提升操作穩(wěn)定性與精度。

其引入使系統(tǒng)具備類似人類「觸覺反射」的能力，能夠有效彌補(bǔ)低頻規(guī)劃帶來的滯后性。

基于觸覺特征的反射式控制器

實(shí)操驗(yàn)證

從「機(jī)械記憶」到「理解接觸」

實(shí)驗(yàn)數(shù)據(jù)表明，OmniVTA視觸覺操作框架在不同物體、不同接觸模式下均取得了最優(yōu)性能。在位置變化、工具變化和外界擾動(dòng)等情境中，展現(xiàn)出了遠(yuǎn)超傳統(tǒng)方法的魯棒性和泛化能力。

操作過程中實(shí)時(shí)擾動(dòng)-恢復(fù)接觸

更具深遠(yuǎn)意義的是，模型學(xué)習(xí)到了可遷移的接觸動(dòng)態(tài)規(guī)律。

如下圖所示，模型能根據(jù)預(yù)測的接觸狀態(tài)自適應(yīng)調(diào)整視覺與觸覺的權(quán)重，并在不同物體和工具下保持穩(wěn)定表現(xiàn)。

這表明機(jī)器人正在從「執(zhí)行動(dòng)作」走向「理解物理接觸」，逐步具備類似人類的預(yù)測與反饋協(xié)同能力。

門控機(jī)制效果：觸覺和視覺權(quán)重隨操作過程的變化

可以看到，OmniVTA展示了一條清晰的技術(shù)路徑：以「世界模型」為核心，以預(yù)測為先導(dǎo)、反饋為保障，最終使機(jī)器人能夠真正勝任精密裝配、家居清潔與食材備制等工業(yè)生產(chǎn)與日常生活中不可或缺的接觸密集型（contact-rich）任務(wù)。

本次它石聯(lián)合多所頂尖科研機(jī)構(gòu)發(fā)布的OmniVTA框架，不僅在學(xué)術(shù)研究方面有所突破，更具有深遠(yuǎn)的產(chǎn)業(yè)應(yīng)用落地價(jià)值，將具身智能「干活」的能力提升至可落地、可泛化、可規(guī)?；娜赂叨?。

參考資料：

[1] Wolpert, Daniel M., and J. Randall Flanagan. 「Motor prediction.」 Current biology 11.18 (2001): R729-R732.