自動駕駛模型是如何“看”懂點云信息的？

[首發于智駕最前沿微信公眾號]在自動駕駛中，點云是一個非常重要的感知信號，如激光雷達（LiDAR）生成的點云，其實就是三維空間里一堆帶坐標、強度和時間戳的點。單幀點云看起來像“星星撒一地”，不像圖像那樣有整齊的像素網格，也沒有顏色（除非和相機融合），更沒有直接的語義標記。

圖片源自：網絡

機器要“學會”點云里的東西，不僅要解決輸入怎么表示成模型能接受的數值結構，還要學習如何把人類的語義（比如“這是行人”“這是車道”）映射到這些數值上。

想將點云變成模型能理解的內容，就是把無結構的幾何信息，經過清洗、編碼、標簽化等一系列流程后，變成有結構的張量和監督信號，然后用合適的網絡或算法去學習這些映射關系。

如何將點云變成符合模型學習的信息？

自動駕駛汽車上采集的原始點云并不能直接使用，其會有孤立噪聲點、有地面反射、有雨雪霧，還有車輛運動導致的掃描畸變等問題。為了使點云能夠符合模型使用要求，首先要做的就是預處理，這一步的目標是把原始點云規范化，減少干擾，同時保留判別性信息。預處理包括時間同步和畸變補償（把點按時間補償到統一坐標系）、去地面和降噪（去掉地面和平面噪聲以便更好分割物體）、下采樣（用體素化或隨機采樣減少點數，讓后續計算更可控）等操作。這些操作對模型訓練和推理的穩定性至關重要。

圖片源自：網絡

神經網絡其實更喜歡規則的張量，而點云卻是無序的集合，因此要解決點云的“表示”問題。對此有直接以點集合為輸入，設計點級網絡；把點云離散到體素格子上，用稀疏卷積；把點云投影成二維圖像（例如鳥瞰圖BEV或視角的range image），用2D卷積；以及使用混合手段，把不同表示結合起來等主流做法。不同的方法，會影響模型的計算復雜度、內存占用和對細節的保留，如點級方法保留細節好但計算貴，BEV快且對規劃友好但高度信息丟失。

除了空間表示外，還會從點中提取一些工程特征，每個點的回波強度、局部密度、法向量估計、點到最近地面的高度等信息，都可以和坐標一起作為網絡輸入，幫助模型學到更豐富的幾何線索。

模型如何學會點云里面的內容？

模型要學會“這是什么”和“在哪里”，就得有人先教它。教的方式就是給點云打標簽，比如把每個點標上類別（路、車、人），或者用一個三維的長方體把車或行人圈起來，甚至標出它們的速度和行走軌跡等。標注質量將直接決定模型上限，因此半自動標注工具、投影到圖像做輔標、以及合成數據等常被用來進行輔助。

在訓練模型的時候，不僅要教會模型認東西，告訴它“這是車/這是人/這是路”；還要教會它把物體用三維框圈起來，告訴它框應該放在哪兒、多大；更要教會它判斷框的朝向和框跟真實物體重合得有多好。

圖片源自：網絡

此外，為了讓模型魯棒性更高，還要學習一些邊緣場景，可調整不同類別場景出現的頻率，讓模型不僅看得懂常見的東西，也看得懂更加復雜的場景。在訓練模型時，可以讓模型對自己判斷有多少有把握給出一個定義，這樣系統在用它的結果時就知道該信多少。

在訓練模型時，數據增強也很重要，所謂數據增強，就是把已有數據稍微改一改來增加多樣性。可通過隨機旋轉、放縮、平移點云，故意刪掉部分點、加點噪聲，或者把一個場景里的真實物體復制到另一個場景里等做法來進行數據增強。這樣可以讓模型在應對遮擋、點稀疏或遠處目標的情況時表現得更加出色。

最近流行的還有自監督或對比學習，即先讓模型在大量沒標簽的點云上學會“看懂形狀和結構”的能力，然后只用很少的人工標簽微調，就能達到不錯的效果，這樣做能大幅減少人工標注的工作量。

模型訓練后如何部署？

訓練出模型只是第一步，但想把模型安全地用在車上還有很多工作要做。首先要有嚴格的評估指標，用來衡量模型在檢測、分割和跟蹤上的表現。檢測任務常用平均精度（mAP）和3D框的重合度來評價，分割任務常用mIoU。這些指標可以幫助我們比較不同模型和不同訓練配置的優劣，但僅有離線指標還不夠，還要在更接近真實的場景里做場景覆蓋測試和壓力測試，保證模型在稀有或極端情形下的表現可接受。

部署階段需要把訓練好的模型做壓縮和優化，以滿足車端的算力和延遲約束，可通過模型剪枝、權重量化、使用稀疏運算庫等方式來達到這一要求。當然，一定要保證在壓縮和優化的同時保證推理時的精度降損可控。部署之后還要做A/B測試和在線回歸監測，持續觀察模型在真實道路上的表現，如果出現退化或異常，需要能快速回滾到上一個穩定版本。

圖片源自：網絡

練時的數據環境（傳感器類型、安裝高度、城市布局）和模型實際運行的環境可能有差別。為了減少這種差別帶來的性能下降，要做域自適應、數據擴充或周期性的在線微調。對于長期運行的車隊，還要建立數據閉環，把線上采集到的異常場景回傳、做標注并周期性重訓練，從而持續提升模型對現實世界的適應能力。

最后的話

想把點云變成模型能學的東西，應先把點云清洗和規整成模型可以處理的形式，再把人類的語義用標簽和訓練目標教給模型，通過合理的表示、增強和訓練策略讓模型學會識別類別、定位物體并估計不確定性。把這些能力工程化后，配合持續的數據閉環和安全機制，自動駕駛車輛才能使用點云數據在復雜的真實世界里安全、可靠地運行=\