人體姿態估計與步態識別技術演進：從傳統輪廓到骨架模型范式轉變

人類步態如指紋般獨特，卻又難以偽裝。在人工智能視覺領域，一場從輪廓到骨架的技術革命正悄然改變著步態識別的實現方式。傳統方法依賴人體輪廓提取特征，常受衣物、環境干擾；而基于人體姿態估計的骨架方法則直擊步態本質——關節運動模式。當現代深度學習技術遇見古老的＂觀形辨人＂智慧，警方失準率高達98%的人臉識別系統或將迎來強力補充。本文全面梳理人體姿態估計在步態識別中的數據集、模型與評估指標，揭示技術演進背后的挑戰與機遇，探索這一技術如何在安防監控、醫療康復與體育訓練等多領域釋放潛能。

步態識別進化論

步態識別技術，說白了就是通過分析人走路的姿勢來辨認個體身份。這種技術能在遠距離、低分辨率下發揮作用，甚至在人臉識別完全失效的情況下仍能正常工作。這種生物特征識別方式相比指紋和面部識別有著獨特優勢：它不需要接觸式采集，不需要高清圖像，還很難被刻意偽裝。

早在1977年，研究人員就發現步態可以作為識別個體的有效手段。步態中的速度、步頻、步長、步幅等特征組合起來對每個人來說都是獨一無二的，可以視為一種生物特征數據。有趣的是，人們很難改變自己的步態而不影響正常行走，這讓步態識別在安防領域顯得格外有價值。

在過去幾十年里，步態識別技術沿著兩條平行路徑發展。傳統的輪廓法將人體從背景中分離出來，形成黑白剪影圖像進行分析。這種方法在2003年就有了代表性成果，如王良等人通過分析剪影圖像實現了82.5%的識別準確率。隨著技術發展，研究者們提出了步態能量圖（GEI）概念，簡單理解就是將一個完整步態周期的剪影疊加成單一圖像，保留了步態的動態和靜態信息。2006年由Ju Han和Bir Bhanu提出的GEI方法使識別準確率躍升至89%。

不過，輪廓法也有明顯缺點。人體剪影容易受到服裝、配飾和環境雜亂的影響，而且很多數據集為了保護隱私只提供預處理后的剪影圖像，無法支持更先進的分析。更重要的是，從不同角度拍攝的剪影差異很大，例如當攝像頭位于高處俯拍時，常會出現＂自遮擋＂現象——身體的一部分擋住了另一部分。

這就引出了人體姿態估計（HPE）的重要性。HPE技術能直接從圖像中提取人體關節位置和連接信息，構建出骨架模型。這種方式不受衣物、配飾影響，能更準確反映步態的本質特征。2018年姚凌翔等人提出的骨架步態能量圖（SGEI）方法，將HPE與傳統GEI結合，在面對不同服裝影響時表現出了更強的魯棒性，實現了92.09%的識別準確率。

深度學習的興起也極大推動了HPE技術進步。2016年，DeepPose首次將深度神經網絡應用于姿態估計，雖然初期表現不如傳統方法，但開創了新方向。到了2019年，Newell等人的＂沙漏網絡＂和OpenPose等模型使得實時多人姿態估計成為可能，準確率達到了驚人的75.6%。

骨架法相比傳統輪廓法的優勢在于更接近步態本質。就像醫生不會通過病人的衣著判斷病情一樣，真正的步態識別也應當關注骨骼關節運動方式而非外表。統計分析顯示，兩種方法目前在準確率上不相上下，但骨架法在應對復雜現實環境時潛力更大。

數據驅動的突破

技術進步離不開高質量數據集。2D人體姿態估計領域有幾個重量級數據集：微軟的COCO數據集包含20萬張圖像，涵蓋91種不同物體類別；MPII Human Pose數據集包含4萬張圖像，每張都有關節標注、軀干和頭部3D朝向、關節遮擋標簽和活動標簽。這些大型數據集為訓練復雜的深度學習模型提供了基礎。

3D姿態估計對數據要求更高，Human3.6M數據集包含360萬條記錄，是通過動作捕捉技術在實驗室環境中收集的。MPI-INF-3DHP數據集則包含130萬條記錄，專注于3D姿態信息。PANOPTIC Studio數據集采用了一個特殊的多攝像頭穹頂系統捕捉29.7萬條3D姿態數據。

步態識別專用數據集則各有特色。CASIA步態數據庫B包含124個主體的13，640條記錄，是通過RGB攝像頭在室內環境捕捉的。TUM-GAID數據集結合了RGB-D相機和麥克風數據，包含305個主體的3，370條記錄。OU-MVLP數據集規模最大，囊括了10，307名參與者的144，298條記錄。

這些數據集雖然數量可觀，但存在明顯局限性。比如，大多數2D姿態估計數據集缺乏多視角信息，只有9%的數據集包含多個視角，且基本不包含2D多視角數據。在環境多樣性方面，約42%的數據集沒有包含室內外不同場景，而只有4%的3D數據集包含戶外圖像。

標注方式也存在問題，84%的數據集僅包含關鍵點或標記點標注，缺乏更豐富的語義信息。對于步態識別來說，遮擋問題尤為重要，但只有41%的數據集包含遮擋標注。此外，大多數姿態估計數據集以常規姿勢如站立和行走為主，罕見姿勢如倒立或瑜伽動作的數據很少，這限制了模型泛化能力。

步態識別數據集也面臨特殊挑戰。參與者數量有限是常見問題，如PKU數據集只有18名參與者，KinectREID僅71人。許多數據集僅限于室內環境拍攝，如OU-MVLP、SOTON和TUM-GAID等。雖然MARS數據集嘗試捕捉真實戶外環境，但拍攝角度和距離不一致，且未標注這些信息，影響了基于骨架的方法使用。

由于隱私保護要求，一些數據集如CASIA-B只提供預處理后的剪影而非原始RGB圖像，這使得骨架法無法直接應用。數據集多樣性不足也是普遍問題，大多數參與者是研究人員的同事、學生或社交聯系人，導致在種族、年齡、性別、身高和體重方面的表現性不足。這種有限的多樣性會影響機器學習模型的訓練和泛化能力。

拍攝角度不一致或單一也是常見問題。很多數據集如GRIDDS只從單一角度拍攝，而CASIA-B雖有多角度但標注不一致。這一點尤為關鍵，因為步態識別和姿態估計的準確性都受視角影響。

服裝多樣性也很重要，因為輪廓法受服裝影響較大，但只有少數數據集如MPI-INF-3DHP包含不同服裝的樣本。采用標記點動作捕捉的數據集通常要求參與者穿緊身衣并附著標記點，這進一步限制了服裝多樣性。

最后，人群密度也是現有數據集的盲點。現有數據集缺乏大量高度重疊的人體圖像，這使得訓練出的模型在擁擠場景中表現不佳。

針對這些局限性，研究人員建議未來的數據收集應當：1）擴大參與者樣本并確保多樣性；2）為每位參與者記錄多種服裝和配飾；3）為每位參與者捕捉多個完整步態周期；4）在多種真實環境（室內外）進行記錄；5）保留原始RGB數據；6）從多角度記錄并標注角度信息。只有解決這些數據挑戰，人體姿態估計技術才能在步態識別領域發揮最大潛力。

骨架模型解析術

人體姿態估計（HPE）的技術方法多種多樣，可根據不同應用場景選擇最合適的方案。從最基礎的二維單人姿態估計（2D SPPE）開始說起，這類方法主要分為回歸法和體部檢測法兩大路線。

回歸法采用端到端框架，直接從輸入圖像學習到身體關節位置的映射。2014年提出的DeepPose是這一領域的開創性工作，它基于Krizhevsky等人的深度神經網絡架構，通過級聯回歸器逐步精確關節坐標。2015年，迭代誤差反饋（IEF）網絡在此基礎上引入了自修正機制，將估計誤差反饋到輸入中進一步提高精度。2019年，Luvizon等人提出了一種軟argmax方法，可直接將特征圖轉換為關節坐標，創建了完全可微分的框架，無需生成人工標記真值。

體部檢測法則專注于訓練身體部位檢測器來確定關節位置。這通常包含兩個階段：首先生成關鍵點熱圖，然后將估計的關鍵點組裝成身體姿勢。近年來的研究如OpenPose、PersonLab和Stacked Hourglass Networks都將體部檢測視為熱圖檢測問題。熱圖相比關節坐標提供更豐富的監督信息，保留了空間位置信息，非常適合訓練卷積神經網絡（CNN）。

在性能對比上，體部檢測法通常優于回歸法。2019年Debnath等人的體部檢測模型達到了96.4%的PCKh@0.2準確率，而同期最佳回歸模型FPD的PCKh@0.5準確率為91.1%。不過體部檢測法也容易產生假陽性，這是其主要缺點。

二維多人姿態估計（2D MPPE）則更為復雜，主要有自上而下和自下而上兩種策略。自上而下方法先用Faster R-CNN或Mask R-CNN等算法檢測每個人的邊界框，再對每個人單獨進行姿態估計。這種方法的挑戰在于計算復雜度隨圖像中人數增加而線性增長，且可能產生冗余檢測。

自下而上方法則先檢測圖像中所有關鍵點，再將它們分組形成個體姿勢。DeepCut和DeeperCut通過整數線性規劃實現圖形解析，而OpenPose則使用貪婪解析算法降低復雜度。自下而上方法的優勢在于計算時間基本恒定，不受圖像中人數影響，但需要解決前景-背景不平衡問題。

近年來，還出現了一階段多人姿態估計方法，試圖在單步驟中同時完成關節位置估計和分組。這類方法可分為邊界框法、關聯嵌入法和基于偏移的方法，各有特點。

轉向三維人體姿態估計（3D HPE），技術路線同樣分為單人和多人兩大類。3D單人姿態估計又可分為基于模型和無模型方法。基于模型方法利用參數化身體模型模板估計人體姿勢，如Wi-Mose和人體網絡（BodyNet）。這些方法通常使用運動學模型或體積模型表示人體結構。

無模型方法則直接學習外觀與身體姿勢之間的映射，如HEMlets Pose。一種常見策略是二維到三維提升，即先執行2D姿態估計，再將結果提升到3D空間。Chen和Ramanan使用最近鄰匹配實現記憶機制，而Zhou等人則引入＂部分中心熱圖三胞胎＂作為中間狀態，縮小2D估計與3D插值之間的差距。

3D多人姿態估計同樣有自上而下和自下而上兩種路線。Moon等人提出了相機距離感知方法，包含RootNet（估計每個檢測人物的相機中心坐標）和PoseNet（估計相對于根部的3D姿勢）。LCR-Net則為每個人生成潛在姿勢并使用回歸器精細化，而LCR-Net++通過合成增強訓練數據改進了泛化能力。

在自下而上方法中，Mehta提出的＂遮擋魯棒姿勢圖＂（ORPM）能在強部分遮擋下產生全身姿勢估計。Zhen等人則通過推理人與人之間的遮擋和骨骼長度約束，重建3D姿勢。

技術選擇上，不同方法各有優劣。基于模型的3D SPPE方法如Wi-Mose表現最佳，MPJPE誤差僅29.7mm，而最佳無模型方法HEMlets Pose的MPJPE為39.9mm。不過，無模型方法通常速度更快。同樣，自上而下的3D MPPE方法HMOR（MPJPE為30.5mm）優于自下而上方法LCR-NET（MPJPE為72.7mm），但后者計算效率更高。

深度學習技術正逐漸成為姿態估計領域的主流。相較于2D HPE，3D HPE在深度學習應用上起步較晚，但發展勢頭強勁。有趣的是，雖然光流等時序特征在2D HPE中已經顯示出價值，但在3D HPE中尚未得到充分探索，這可能是未來的研究方向。

應用領域新紀元

人體姿態估計和步態識別技術正在多個領域展現出巨大應用潛力。這些技術如同一把多面刃，能在安防監控、醫療康復、體育訓練等眾多領域發揮作用。

在安防領域，步態識別被視為生物識別的重要補充手段。BBC在2018年報道，英國警方部署的人臉識別工具準確率令人震驚地低——誤報率高達98%。同樣，英國媒體INDEPENDENT也指出，倫敦都會警察局和南威爾士警察局使用的人臉識別技術常將無辜民眾錯誤識別為嫌疑人。在這種情況下，步態識別技術顯示出獨特優勢：它能在人臉識別失效的情況下——如低分辨率圖像或面部被遮擋時——仍然有效。

犯罪嫌疑人識別是一個關鍵應用場景。警方經常需要從低質量的監控錄像中識別人物，而這些錄像通常遠距離拍攝，分辨率不高，人臉細節模糊。步態識別技術能從人物走路姿勢提取生物特征，即使嫌疑人刻意改變外表或遮擋面部，步態特征也難以徹底偽裝。這就是為什么研究者們將步態描述為＂難以偽裝的遠距離生物特征＂。

邊境安全和公共場所監控也是顯著應用領域。在機場、火車站等人流密集區域，安防系統可以利用步態識別技術識別可疑人員，無需近距離接觸或高質量圖像。同樣，在商店防盜系統中，這項技術也能幫助識別曾經的盜竊嫌疑人。

醫療康復領域也從這些技術中獲益匪淺。不正常的步態可以指示各種健康問題，從神經系統疾病到骨骼肌肉損傷。物理治療通常昂貴且勞動密集，患者往往面臨漫長等待。自動化步態分析系統可以輔助家庭康復訓練，為患者提供實時反饋，加速恢復過程。

具體應用實例包括Ropars等人在2015年的研究，他們使用動作捕捉數據分析肩部活動范圍，評估肩部過度松弛——這是肩部不穩定的主要風險因素。類似地，其他研究者利用動作捕捉技術診斷膝蓋損傷。這些方法都可以通過人體姿態估計技術替代昂貴的動作捕捉系統，使技術更加平民化。

步態分析還能用于預測跌倒風險。2020年，Kleanthous等人證明了通過步態分析可以識別步態不平衡和預測潛在跌倒，這對養老院等場所的老年人照護尤為重要，可以讓護理人員更快響應緊急情況。

體育運動是另一個受益于這些技術的領域。正確的姿勢和技術對運動表現和傷病預防至關重要。步態分析已被證明是定量比較運動員表現的有效方法，特別是在短跑等項目中。它使醫生和教練能夠分析運動員的生物力學特性，幫助他們在運動中更有效率。

對于拳擊、柔道、臺球、標槍、板球和足球等運動，全身姿勢對最佳表現至關重要。人體姿態估計提供了自動分析運動員表現的機會，有助于運動教練工作。2019年，Tharatipyakul等人使用人體姿態估計比較用戶和教練的太極拳技術，通過計算肩膀、臀部、上下臂以及上下腿之間的平均角度差異來評估用戶表現。

同年，Takeichi等人利用人體姿態估計分析跑步者表現，使用六項指標：速度、步頻、步長、垂直振蕩、軀干角度、手臂擺動角度和腿部擺動角度。Wang等人則使用人體姿態估計追蹤滑雪運動員，通過精細化基本圖像姿態估計模型生成的粗略熱圖來實現。這種方法成功估計了不尋常的身體姿勢，如倒立的人，這對滑雪和滑雪板等運動特別重要。

雖然這些研究都展示了技術潛力，但仍有很大進步空間。例如，大多數系統提供的反饋相對簡單，如將姿勢分類為＂好＂或＂壞＂，卻缺乏如何改進的具體指導。未來的系統可能會提供更為詳細的反饋，例如告訴拳擊手是提高還是降低防守姿勢，或者建議手部位置調整。

這些技術面臨的主要挑戰包括實時處理復雜場景的能力、處理遮擋問題、以及應對不常見姿勢的能力。目前，大多數姿態估計系統在處理常規姿勢如站立和行走方面表現良好，但在面對倒立、瑜伽動作等不尋常姿勢時準確率下降。同樣，在擁擠場景中，多人相互遮擋會大大增加識別難度。

技術發展趨勢顯示，深度學習將繼續推動這一領域進步。未來研究方向可能包括：1）基于3D姿態估計的步態識別，這將允許提取更多步態特征，如步幅寬度；2）基于姿態估計的犯罪或暴力檢測與分類，通過識別打、踢、投擲等動作自動向執法機構發出警報；3）實時光流計算的機器學習模型，解決當前需要預處理的限制；4）不依賴關鍵點學習的新方法，可通過身體部位分割和定位克服遮擋問題；5）基于姿態估計和步態分析的智能運動教練系統，為各種運動和武術提供精確指導。

這些技術不僅有望提升安全級別、改善醫療成效、優化運動表現，還可能改變我們與機器交互的方式。隨著技術不斷成熟，人體姿態估計和步態識別將在更多領域找到應用，創造出更智能、更安全、更健康的社會。

參考資料

1. Topham， L. K.， Khan， W.， Al-Jumeily， D.， &； Hussain， A. （2022）. Human Body Pose Estimation for Gait Identification: A Comprehensive Survey of Datasets and Models.

2. BBC （2018）. Face recognition police tools ＂staggeringly inaccurate＂.

3. Independent （2018）. Metropolitan Police＇s facial recognition technology 98% inaccurate， figures show.

4. Cao， Z.， et al. （2021）. OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.

5. Teepe， T.， et al. （2021）. GaitGraph: Graph Convolutional Network for Skeleton-Based Gait Recognition.