北大、BIGAI重磅推出TacThru傳感器 觸覺視覺突破操作精度飆升

在機器人操作的世界里，"看得見"和"摸得著"一直是兩個難以兼顧的核心需求。視覺傳感器能捕捉全局環境信息，卻在物體遮擋時失靈；觸覺傳感器能感知接觸細節，卻無法預判接觸前的狀態。

近日，北京大學、北京通用人工智能研究院等機構的研究團隊推出的TacThru傳感器，該傳感器能夠同時實現觸覺與視覺感知，讓機器人在精細操作和接觸密集型任務中展現出超高精準度。

▍傳感器界的"透視眼"：透明設計實現雙感知同步

傳統的視覺觸覺傳感器（VBTS）要么只能二選一工作，要么在復雜背景下追蹤失靈，嚴重限制了機器人的操作能力。TacThru使用了三個創新設計，巧妙解決了上述問題。

通過同步觸覺-視覺感知學習多模態機器人操作

首先是材質方面，團隊選擇全透明彈性體材質。不同于傳統傳感器的半透明或不透明涂層，TacThru采用完全透明的彈性體，配合持續的LED照明，讓內置攝像頭既能"看穿"彈性體觀察外部環境和物體，又能捕捉內部的觸覺信號。這種設計摒棄了繁瑣的模態切換機制，實現了真正意義上的同步感知。

TacThru 傳感器的制備及其與 TacThru-UMI 系統的集成

其次是創新的"關鍵線標記"（Keyline Markers）。研究團隊設計了由黑色內圈（半徑0.6mm）和白色外圈（半徑1.0mm）組成的同心圓標記，即使在復雜背景下，內圈的"關鍵線"也能保持清晰可見。

關鍵線標記設計與濾波實現穩健追蹤

最后是高效穩健的追蹤算法。通過卡爾曼濾波技術，TacThru能精準追蹤64個標記點的位移，計算出剪切力等關鍵觸覺信息，每幀處理時間僅需6.08毫秒，足以支持120Hz的高頻感知和實時操作。實驗顯示，在抓取帶有復雜黑白紋理的塑料瓶時，傳統實心標記會完全失效，而TacThru的標記追蹤成功率保持100%，且無虛假檢測。

值得一提的是，TacThru完全兼容標準VBTS制造流程，僅需更換彈性體材料即可集成到現有系統中，大大降低了實際應用門檻。

▍支持模仿學習框架讓傳感器"學會"靈活運用雙感知

有了強大的傳感器，如何讓機器人高效利用這些多模態信號？研究團隊開發了TacThru-UMI模仿學習框架，將TacThru傳感器與基于Transformer的擴散策略（Diffusion Policy）相結合，構建了一套端到端的學習系統。

TacThru-UMI 的擴散策略架構

該框架的核心在于多模態信號的智能融合。系統同時接收四種輸入：手腕攝像頭的全局視覺信息、TacThru的近距離視覺圖像、標記點位移產生的觸覺數據，以及機器人的本體感受信息。通過DINOv2視覺編碼器和專用MLP網絡，這些異質信號被編碼為統一的特征令牌，再由Transformer模型動態分配注意力權重，根據不同場景智能選擇依賴視覺還是觸覺信息。

在數據采集階段，團隊設計了低成本的硬件平臺，傳感器通過USB實時傳輸圖像，配合HTC Vive Tracker實現穩定的姿態追蹤，所有數據以Zarr格式同步存儲，為模型訓練提供高質量數據支撐。整個系統的硬件成本控制在280美元左右，具備大規模部署的潛力。

▍五大任務實測85.5%平均成功率成功超越傳統方案

為了驗證系統性能，研究團隊在五個典型機器人操作任務中進行了全面測試，涵蓋拾取放置、精細分揀、精密插入等不同場景，并與純視覺、傳統觸覺等基線方案進行對比。

五種操作場景的任務演示

在基礎的"拾取瓶子"任務中，所有方案都取得了95%以上的高成功率，驗證了TacThru-UMI框架的基礎操控能力。而在更具挑戰性的任務中，其優勢則完全顯現：

在"抽取紙巾"任務中，薄軟的紙巾無法產生足夠的接觸力讓傳統觸覺傳感器檢測到，純視覺方案因分辨率不足成功率極低，而TacThru通過近距離視覺觀察，能實時捕捉紙巾的位置和形變，即使出現打滑也能迅速觸發重新抓取，成功率遠超其他方案。

不同傳感模態下的螺栓分揀性能分析

"螺栓分揀"任務要求區分三種外形相似但顏色或頭部形狀不同的M12×25螺栓。全局攝像頭無法分辨這些細微差異，傳統觸覺傳感器也無法區分顏色，而TacThru的近距離視覺感知能捕捉到毫米級的幾何特征和顏色差異，使分揀成功率達到85%，遠超傳統方案的45%。

"懸掛剪刀"任務則考驗觸覺感知的精準性。由于深度信息缺失，視覺無法判斷剪刀是否成功掛在鉤子上，而TacThru通過標記點位移感知到的剪切力變化，能準確識別任務完成狀態，成功率超過80%，是純視覺方案的兩倍多。

最能體現多模態融合優勢的是"瓶蓋插入"任務。當瓶蓋與安裝座的接口可見時，系統優先使用視覺伺服實現精密對齊；當抓取動作造成遮擋時，系統無縫切換到觸覺引導模式，通過接觸力反饋調整姿態，最終實現90%的超高成功率，展現出自適應不同場景的強大能力。

不同操作任務與傳感模態下的定量結果

綜合五個任務的表現，TacThru-UMI的平均成功率達到85.5%，相比純視覺方案（55.4%）提升54.3%，相比交替式觸覺-視覺方案（66.3%）提升29.0%，在薄軟物體操作、精細識別、精密裝配等關鍵場景中表現尤為突出。

▍機器人操作正式從單感依賴到多感協同邁進

TacThru的突破不僅在于技術層面，更構建了一種新的機器人操作范式。傳統機器人操作往往依賴單一傳感模態，或需要復雜的邏輯切換來協調多模態信息，而TacThru通過同步感知和智能融合，讓機器人自然習得"該看時看，該摸時摸"的操作智慧。

這種范式轉變帶來了三大核心價值：一是擴展了機器人的操作邊界，使薄軟物體等傳統難題成為可能；二是提升了操作的魯棒性，在遮擋、光照變化等復雜環境中仍能穩定工作；三是降低了應用門檻，兼容現有制造流程和視覺處理管道，無需大規模改造即可集成。

研究團隊表示，未來將進一步通過大規模數據采集和觸覺仿真，訓練更專用的特征編碼器，并探索更復雜的靈巧操作任務。隨著這項技術的成熟，機器人有望在工業裝配、醫療輔助、家庭服務等領域實現更精準、更靈活的操作，離真正的智能化又邁進了一大步。

論文鏈接：https://arxiv.org/abs/2512.09851

項目地址：https://tacthru.yuyang.li/