這兩天,在社交媒體 X 上,一種“穿墻透視技術”引起了廣泛討論。
這是 GitHub 平臺的一個開源項目 WiFi-DensePose,截至目前已獲得 3 萬+ 星標。
簡單來理解,它僅通過路由器的 Wifi 信號就可以穿透墻壁,實時推斷室內人體的精確的運動軌跡和姿態。關鍵是,它不需要攝像頭或云計算、沒有激光雷達和傳感器,甚至連特殊硬件都不需要。
![]()
![]()
圖丨相關推文(來源:X)
現在,當我們通常用攝像頭進行監控,在光線條件不佳的環境下,例如遇到遮擋、光線昏暗甚至完全黑暗等情況,不僅所拍攝的影像模糊,還涉及到隱私泄露等問題。另一方面,激光雷達等設備使用門檻較高,不僅價格高昂,還費電。
該系統所使用的 WiFi 設備簡單、成本低,不僅能實現信號穿墻,還不受光線等客觀條件的限制,也不會拍攝到人臉。
根據項目公開資料,該系統以 54,000 幀/秒的處理速度運行,即便多人同時在室內也可實現穿墻檢測,探測深度可達 5 米。系統完全在低成本硬件支持下運行,例如 ESP32 傳感器網絡(每個節點成本低至約 1 美元),整個模型僅需 55 KB 內存。
從硬件成本來看,該系統只需要普通 3 天線 WiFi 路由器,總成本大概在 54 美元。與激光雷達(約 700 美元)相比,具有顯著的價格優勢。
這種技術在不侵犯隱私的條件下,能夠監測室內人體的姿態。此外,該系統在無需任何可穿戴設備的條件下,還可以檢測呼吸頻率(6-30 次/分鐘)和心率(40-120 次/分鐘)。
小型可編程邊緣模塊在本地分析信號,并隨時間的推移學習房間的射頻特征,從而使系統能夠將環境與內部發生的活動進行區分,相當于在普通環境下獲得了一種空間感知能力。
![]()
圖丨工作原理(來源:GitHub)
這項技術的原型來自卡內基梅隆大學團隊的學術成果,相關論文題目為“DensePose from WiFi”。該系統的關鍵技術在于 WiFi 設備的信道狀態信息(CSI,Channel-state-information),通過 3 個發射天線和 3 個接收天線采集信號。
![]()
(來源:GitHub)
但是,CSI 一般僅用于二維感知,為更好地進行空間感知,研究人員對原始 CSI 信號進行相位去噪與校準處理,以消除因設備時鐘不同步,以及環境干擾所引發的隨機漂移和跳變等問題。
![]()
(來源:GitHub)
研究人員以 100Hz 的采樣率在 30 個子載波頻率中進行采集,然后他們將 5 個連續的 CSI 樣本整理成特定維度的幅度與相位張量,將它們作為模型的輸入數據。
![]()
(來源:GitHub)
在模型設計方面,該團隊使用了兩階段的深度學習框架。第一階段是模態轉換網絡,基于多層感知機與卷積-反卷積結構,把 CSI 信號映射成三通道特征圖,進而實現了 1D 信號向 2D 空間表示的轉化。
第二階段通過改進的 DensePose-RCNN 結構,來評估人體檢測、關鍵點定位和密集姿態的特征。值得關注的是,它可以還原出人體的三維表面信息。
![]()
(來源:arXiv)
另一方面,研究團隊采用遷移學習策略來提升訓練效率。首先,研究人員用基于圖像的 DensePose 模型當做教師網絡,然后對比 WiFi 信號生成的中間特征圖和圖像生成的特征圖,通過最小化兩者之間的差異來指導學生網絡的訓練。
結果顯示,該方法將訓練所需迭代次數顯著減少到 14.5 萬次,同時提升了模型的收斂速度和泛化能力。
這個系統在多種場景具有應用前景,例如居家場景,實時觀測老人或兒童的摔倒和日常活動行為;在智能家居場景,也可根據監測到的姿勢進行智能響應;此外,還可用于室內安防,來監測是否有異常情況。
未來,隨著技術的發展和優化,該技術有望成為兼具實用性和隱私保護的感知方式,并與當下傳感器在特定場景下的應用形成一種互補的方案。
參考資料:
https://x.com/oliviscusAI/status/2030602059712471112
https://github.com/ruvnet/RuView
https://arxiv.org/pdf/2301.00250
運營/排版:何晨龍
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.