搭載AI的新一代可穿戴傳感實現高動態條件下的精準識別

最近，在某些繁華城市的街頭，總能看到一些新奇的畫面：機器人身著衣服，與常人無異，行走在街上。它們有著看似人類的舉動，但實際上，它們很難理解一些行動背后所帶有的目的，尤其是這些動作與交互息息相關。

這就是現代人機協作的根本瓶頸：機器人掌握視覺、感知和操作能力，卻缺少真正理解人的方法。針對這種情況，加州大學圣地亞哥分校（University of California San Diego）的一支團隊給出了一種全新思路：用可穿戴多模態信號 + AI 推理，實現可靠的現實環境中的手勢識別。

相關的研究內容以「A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors」為題，于 2025 年 11 月 17 日發布在《Nature Sensors》。

論文鏈接：https://www.nature.com/articles/s44460-025-00001-3

可穿戴設備的增強

可穿戴設備在生活中的許多地方都展現出前所未有的潛力。當前的人機協作方式之所以不夠順暢，其根本原因在于機器人能夠接收到的有效信息太少。視覺系統可以看見手的移動，卻無法區分動作背后的語義；語音控制對于處理復雜任務幾乎無能為力；按鈕、界面和遠程操控更是與自然動作相距甚遠。

更深層的問題在于，機器對人的內部狀態完全「不可見」。視覺系統看不到疲勞、看不到微小的肌肉變化、看不到用戶即將失穩的趨勢，而這些恰恰是影響協作效率和安全的關鍵因素。信息不足導致誤解，誤解又進一步降低協作效果。

為了打破這些限制，AI 的加入帶來了更廣闊的解決思路。相關研究團隊的核心思想很簡單：用 AI 捕獲環境信息與手勢信號并推理其中的信息，處理完后再發送給設備。

圖 1：抗噪聲人機界面概述。

他們所設計的深度學習增強型可穿戴傳感器，能夠在存在多種真實世界運動偽影的情況下準確識別手勢。這包括一個六通道慣性測量單元（IMU）、一個肌電圖（EMG）模塊、一個藍牙微控制器單元和一個定制電池，全部安裝在織物基板上。

在信號采集層面，可穿戴設備不僅記錄動作軌跡，還同步采集肌電、姿態、加速度等生理信息。這些信號是視覺看不到的，卻是人類動作意圖最直接的映射。

圖 2：多通道采集手勢信號和運動偽影。

在推理層面，AI 模型成為整個系統的「大腦」。它將這些多模態信號融合，提取出「用戶接下來要做什么」「用戶此刻的目標是什么」等深層語義。機器人可以根據這些推斷，提前規劃自己的動作，包括跟隨、避讓、協助、減速或接管任務。

通過在復合數據訓練集上進行三種深度學習網絡的比較，與實驗后進一步驗證模型在未預訓練的真實世界中會有怎樣的表現，團隊所采用的模型在所有條件下的識別準確率均保持高度穩定（>94%），應用基于參數的遷移學習也進一步增強了模型的泛化能力。后者將所有 19 種手勢的最小識別準確率從 >51% 提高到 >92%。

圖 3：基于深度學習和遷移學習的手勢分類。

最終，在執行層面，這套系統讓機器人具備了「共享智能」。它可以在用戶剛準備發力時就開始提供支撐；在用戶逐漸疲勞時主動接管負載。

協作更快、更穩

團隊在多種實際任務中測試了該框架，包括協作搬運、精細裝配、共同移動負載等，結果一致表明，系統顯著提升了協作效率和整體自然度。即使是存在大量偽影的情況下，團隊依然實現了相當的手勢識別性能：手勢與機械臂動作之間的延遲約為 1.3 秒。

當配備在復合數據集上訓練的 CNN 時，即使受試人員處在跑動中，機械臂也能夠精確執行預期動作。這種穩定也擴展到了試管溶液轉移、高頻振動、方向變化等組合中。

圖 4：抗噪聲人機界面的水生應用。

通過大量采集海洋波浪的數據，生成的模擬潛水員在疊加模擬海浪干擾的 IMU 信號上進行測試時，召回率、精確率、特異性和 F1 分數均接近~1。

更廣泛的影響

團隊意識到，運動干擾并非僅限于水下環境。這是可穿戴技術領域普遍面臨的挑戰，長期以來限制了此類系統在日常生活中的表現。

即使這項技術仍有更大的優化空間（比如減少延遲與簡化的識別任務），但它仍然是一種全新的可穿戴傳感器的可靠抗噪方法。它能為下一代可拉伸的無線穿戴設備指引了方向。