如何使用自動駕駛激光雷達獲得的點云圖進行障礙物識別？

[首發于智駕最前沿微信公眾號]自動駕駛自商用化以來，是否加裝激光雷達一直是大家爭議的熱點，作為眾多車企選擇的主要感知硬件，激光雷達只能獲得點云圖，那自動駕駛系統是如何通過點云圖來進行障礙物識別的？

依托點云的“障礙物識別”方法

其實激光雷達給出的是三維點云——也就是一堆帶坐標（通常為x,y,z，有時帶強度/intensity、回波數/echo等額外通道）的離散點。每個點代表從傳感器到某個表面反射回來的激光脈沖的測距結果。點云最大優點在于可以直接、精確地測得三維幾何信息，利于判斷物體的形狀與距離，但它并不是整齊的像素網格，而是稀疏、不規則、受視角和距離影響顯著的點集。

使用點云進行“障礙物識別”其實可以分成幾個階段，即預處理（濾噪、裁剪、下采樣等）、地面/背景分離、點云分割與聚類、為每個聚類擬合包圍框并分類、后處理與跟蹤等。有很多技術方案是使用經典幾何/統計方法做快速分割和聚類，再把得到的候選體送入學習器做分類；近年來端到端學習的3D點云目標檢測也越來越主流。

預處理作為障礙物識別的第一步，看似只是對點云數據進行基本處理，但其實非常重要。激光雷達的一次掃描會包含噪聲點（由反射弱或多路徑造成）、不感興趣區域（例如車頂、側邊遠處的建筑）以及測距分布極不均勻的情況（近處點密、遠處點?。?。常見的預處理工作包括用盒體/視野裁剪（把z、x、y范圍限制到我們關心的區域），用統計離群點移除（例如統計每點距離鄰居的平均距離，剔除顯著異常值），以及體素網格（voxel grid）或均勻下采樣來降低點數、保證處理速率。下采樣一定要避免過度，過度下采樣會讓遠處或小目標消失，尤其是在高速場景下遠距目標本來就只有少點，因此要根據傳感器點密度與后端算法的需求調整體素大小或采用分層下采樣策略（近距高密度、遠距低密度）。這一階段往往決定了系統能否在實時約束下保持較高的檢測召回。

地面分離是道路簡而言之就是把“地面/路面”點剔除，有利于突出真正的障礙物（車輛、行人、立柱等）。常用的方法有基于模型擬合的RANSAC平面擬合、基于柵格/高度圖的地面提取、以及按掃描線（laser ring）做逐環地面分類。RANSAC優點是概念簡單且對噪聲有魯棒性，但在復雜路面（坡度、路基起伏、障礙物覆蓋）或點云稀疏時容易失敗，需要調整內點閾值與迭代次數；基于高度圖的方法更適合移動平臺，把點云投影到水平柵格上，統計每格的最低點并應用地形濾波（例如形態學濾波或坡度閾值），對非平坦路面更友好，但需要選好柵格分辨率以平衡細節和噪聲。

把地面點去掉后，下一步是把剩余點按“連通性”或“密度”分成若干個簇（cluster），每個簇通常對應一個物體候選體。常用歐氏距離聚類（Euclidean Cluster Extraction）或密度基聚類算法（DBSCAN）來完成這一操作。歐氏距離聚類即對每個點找一定半徑內的“鄰居”，把相互可達的一組點歸為一類；這個方法速度快、實現簡單，是PCL中的標準實現，但對參數（鄰域半徑與簇的最小點數）敏感，且在目標近距離相互接觸或在高密度背景中容易把多個物體合并。DBSCAN更能處理非球形簇和噪聲，但計算量通常更大些且參數選擇也不容易自動化。工程上常會結合基于掃描線的分割（對激光雷達的每個水平環做斷點檢測，適合車道場景）與歐氏距離聚類，以兼顧速度與分離能力。PCL在這方面有成熟模塊可直接調用。

對每個聚類，需要擬合一個三維包圍框并做分類。包圍框可以是軸對齊的（AABB），也可以是朝向框（oriented bounding box），后者在車道場景下更實用，因為車輛通常朝某一方向排列。用最小二乘法或PCA（主成分分析）可以快速估計簇的主方向并生成朝向框。傳統方法會為每個簇提取如尺寸、點密度、形狀直方圖（例如基于表面法線的特征）、高度分布等若干幾何特征，然后用簡單分類器（SVM、隨機森林）判斷是車、人、還是其它障礙物。這樣的方案在樣本較少、計算資源受限時仍然有優勢，且對解釋性好（你能看到每個特征為什么分錯）。不過，手工設計特征往往難以覆蓋如遮擋、變形或車內空隙反射導致的點云斷裂等復雜的現實變化。

技術難點及解決方案

近幾年深度學習直接作用于點云的技術迅猛發展，帶來了更高的準確率與更少的手工工程量，但也引入了對標注數據與算力的高需求。點云深度方法大致分為三類體系，即點級方法（point-based）、體素方法（voxel-based）和柱/鳥瞰融合方法（pillar/BEV）。PointNet是點級方法的開山作，它直接接受原始點集作為輸入，通過對點做共享MLP（即對每點同樣的多層感知器）然后做全局池化來獲得不受點排列影響的全局描述，這使得網絡能直接處理不規則點集并完成分類/分割任務。PointNet的思想后來被擴展為PointNet++以處理局部結構，成為點云處理的重要基石。

但是在自動駕駛場景的“實時檢測”任務上，把原始點云直接送進點級網絡在計算上不夠高效，因此有方案提出把點云先轉為規則張量的做法。VoxelNet把點云分成體素（3D voxel），在每個體素內部用一個小網絡（VFE）把點集合編碼成固定維表示，再把體素化的特征用卷積網絡去做檢測；這種方法兼顧了點的細節與網絡的并行計算。SECOND在VoxelNet的基礎上引入了稀疏卷積（sparse convolution），大幅加速了稀疏體素的卷積計算，使得體素方法在速度與精度之間達到更好平衡。PointPillars則提出先把點云投影到豎直的“柱”（pillar）上，生成二維柵格上的每格特征圖，然后用常規的二維卷積做后續處理，這種設計把三維問題變成了二維卷積問題，極大提高了速度且在基準上表現良好，成為了廣泛采用的折中方案。上述這些端到端深度檢測方法在公開基準（例如KITTI）上推動了性能的顯著提升，但也帶來了對大量帶標注點云的依賴以及對推理算力的要求。

模型訓練與部署帶來的一系列工程問題同樣需要解決。首先是數據標注與數據增廣，點云標注成本高（需要對3D包圍框進行精確標注），而且不同激光雷達型號的點密度、視場不同，訓練的模型在不同傳感器或場景間遷移性差。因此常用的做法包括仿真數據增強、把點云投影到BEV（鳥瞰）或結合相機圖像做多模態訓練，以及對訓練樣本做尺度/旋轉/點丟棄等仿真噪聲增強。其次是類不平衡問題，道路場景中車輛遠多于行人或騎行者，訓練時容易偏向多數類，需要用采樣、損失加權或在線難例挖掘（hardnegativemining）來緩解。再有就是實時性問題，在車規級平臺上，算力受限時必須在模型精度與延遲間做折中，常見策略是先用輕量級的點云前處理快速生成高召回候選，再用較重的二次分類器精判，或者把檢測模型做蒸餾、量化以降低延遲。

環境與天氣條件對激光雷達影響也要認真對待。雨、雪、霧會降低回波強度并引入虛假散斑，導致點云噪聲增多與遠距目標丟失。激光雷達也會受到表面材料（高反射或吸光材料）與玻璃的影響，造成點云孔洞或反射假點。在這些情況下，簡單的幾何閾值往往不再可靠，使用多時刻融合（temporal smoothing）、運動補償（因為旋轉式激光雷達在掃描期間平臺可能已移動，需做去畸變）、以及與相機/毫米波雷達的傳感器級融合變得必要。運動補償通常依賴IMU/里程計信息，將點云從逐點時間戳還原到同一參考時刻，減少由于車輛運動帶來的形變，這在高速行駛或旋轉掃描器（VLP/Velodyne）場景下尤其重要。

在檢測以外，跟蹤（tracking）是保障系統穩定感知的關鍵環節，把逐幀檢測到的包圍框做數據關聯，維持目標ID與軌跡，用卡爾曼濾波（標準卡爾曼、擴展卡爾曼或無跡卡爾曼）、匈牙利算法做幀間匹配，或使用基于軌跡的ReID特征做關聯，都能顯著降低錯檢/漏檢帶來的瞬時決策風險。對速度估計和軌跡預測的精度將直接影響規劃與決策模塊，因而有方案中會把跟蹤作為檢測后必要且輕量的模塊來部署。

那如何評估檢測效果？

常見指標有基于交并比（IoU）計算的平均精度（mAP）、不同距離下的召回率與誤報率、以及延遲（從點云到檢測結果的時間）。公認的公開基準如KITTI提供了標準化的測試集與評價方法，很多算法都以KITTI上的3D檢測成績作為對比參考，但要注意KITTI的采樣和標注有其偏向（比如以車輛為主、場景集中在城市道路），在其它場景（高架、高速、鄉村）模型表現會有所不同，因此工程驗證要覆蓋目標部署環境。

在工程實踐中，有些組合策略往往更穩妥，如先用快速的經典方法做高召回候選（比如基于體素柵格+Euclidean clustering得到一批候選簇），再把這些候選與相機的二維檢測或深度模型的分類頭做融合判斷；或者在計算資源允許時直接部署端到端的深度檢測模型（例如PointPillars、SECOND），并配合輕量級后處理（非極大值抑制NMS、跟蹤）以保證穩定輸出。若項目面向量產或車規級應用，還需要考慮模型的壓縮、定點化，以及在不同硬件（CPU、GPU、DSP、NPU）上的推理性能測試。

再來說一說細節與容易出錯的地方，第一，地面分離閾值與柵格分辨率是兩個最常被調壞的參數，若設置不當會把低矮障礙誤判為地面或把地面碎點誤判為障礙；第二，聚類半徑和最小簇大小直接決定了是否能分清相鄰車輛或保留行人這樣的小目標；第三，點云的畸變補償若忽視，會在轉彎或不均速行駛時導致連續幀匹配失?。坏谒模瑥姸龋╥ntensity）通道往往被低估，實際上對區分玻璃/反光物體與真實實體非常有用，應在特征或網絡輸入中加以利用；第五，遠距離目標常常只有極少點，深度學習模型容易忽視，這時需要在訓練時做專門的難例增強或在感知系統層面上把遠近分成不同的處理通道以提高遠距召回。

如果你在團隊內做點云檢測，需要盡可能構建多樣化的標注集，覆蓋不同傳感器、不同視距、晝夜、雨雪等天氣，并利用半自動標注工具（例如基于軌跡傳播的批量標注）來減低人工成本。數據增強也非常重要，隨機旋轉（繞豎軸）、尺度變換、隨機刪除點（模擬點丟失）、以及把labeled objects插入不同場景（拼接增強）都是常用技巧，能顯著提升模型的魯棒性。

再談深度學習的一些工程取舍，點級網絡（PointNet/PointNet++）對小目標與細節敏感，但在大范圍場景上計算成本高；體素/稀疏卷積方法在速度上更易優化（稀疏卷積可以在稀疏體素上高效運算），且更容易與現有的卷積加速庫對接；pillar/BEV方法在速度和工程化上最容易落地，因為BEV表示可以直接利用二維卷積網絡的成熟生態并與相機BEV或高清地圖數據對齊。實際產品中常把這些方法做成多級架構，即輕量級快速檢測作為預判，嚴格檢測作為確認，跟蹤模塊串聯保證輸出穩定。

未來發展方向

未來，有幾個方向值得關注。傳感器融合會越來越普遍，相機能提供豐富的語義信息和顏色，對識別類別很有幫助；毫米波雷達對惡劣天氣更穩健，能彌補激光雷達在雨雪的不足。在模型相關的技術中，半監督學習、弱監督和仿真數據（合成點云）將緩解標注瓶頸；同時，Transformer與大模型思路正在向點云領域擴展，嘗試用更通用的表示去整合多模態信息。工程上則會更多地把魯棒性（對天氣、對傳感器變化的穩定性）作為首要考量，而不僅僅是單一基準分數。

最后給出一段落式的實踐建議，如果你正在起步做點云障礙物識別，建議先實現一個穩定的經典流水線，即點云去噪→地面分離（柵格或RANSAC）→歐氏距離聚類→幾何特征分類→跟蹤。用這套流程你可以在很短時間內得到穩定可用的檢測結果，便于和規劃/控制聯調。同時并行開展基于PointPillars或VoxelNet的深度模型開發，把深度模型當成第二階提升手段；在數據方面優先建設多場景標注集并做強數據增強策略；在部署時重視延遲測試與模型壓縮（量化、蒸餾）。對于復雜環境（隧道、雪天、高速）盡量引入多傳感器融合和時間域信息以提升魯棒性。