自動(dòng)駕駛中常提的GOD有什么作用？

[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛領(lǐng)域，“障礙物檢測(cè)”是一個(gè)非常重要且經(jīng)常會(huì)被提到的問題，在障礙物檢測(cè)領(lǐng)域，其實(shí)還有一個(gè)更細(xì)分的領(lǐng)域，那便是“通用障礙物檢測(cè)”（GOD，General Obstacle Detection）。之所以要研究GOD，是因?yàn)閭鹘y(tǒng)的目標(biāo)檢測(cè)系統(tǒng)一般只能識(shí)別如行人、車輛、自行車、交通錐等預(yù)先定義好的有限類別。

但真實(shí)真實(shí)交通場(chǎng)景中，經(jīng)常會(huì)出現(xiàn)像是掉落的貨箱、翻倒的圍欄、突然出現(xiàn)在車道上的大塊塑料布、動(dòng)物、臨時(shí)擺放的工具箱、被雨水反光蓋住的塑料膜，甚至奇形怪狀的殘骸等各種意料之外的東西。這些東西在類別上會(huì)被定義為是“未知”的，但對(duì)于自動(dòng)駕駛來說卻是實(shí)際存在且絕不能忽略的。

GOD的任務(wù)就是將障礙物檢測(cè)做到“通用”，其不僅要檢測(cè)已知類別的物體，還要盡可能識(shí)別出訓(xùn)練集中未出現(xiàn)過的異常物體，為后續(xù)的跟蹤、預(yù)測(cè)與規(guī)劃模塊提供關(guān)鍵的安全依據(jù)。

圖片源自：網(wǎng)絡(luò)

更簡(jiǎn)單理解下，GOD不僅要判斷“那是行人”或“那是車輛”，還要在不同光照、天氣和速度條件下都能精準(zhǔn)告訴你“前方有個(gè)實(shí)體，它會(huì)擋路或影響行駛安全”。這種能力在城市復(fù)雜路況、臨時(shí)施工路段、惡劣天氣等場(chǎng)景中尤為重要，因?yàn)樽詣?dòng)駕駛不能僅依賴識(shí)別少數(shù)幾種固定標(biāo)簽來保證安全，它必須對(duì)未知、罕見和危險(xiǎn)情況保持高度敏感。

GOD是如何工作的？

GOD的輸入來源并不是單一的，最常見的輸入來源是攝像頭圖像和激光雷達(dá)點(diǎn)云，有時(shí)還會(huì)融合毫米波雷達(dá)或超聲波傳感器數(shù)據(jù)。攝像頭天然對(duì)語(yǔ)義和紋理敏感，激光雷達(dá)則能提供精確的三維幾何信息。

圖片源自：網(wǎng)絡(luò)

一個(gè)實(shí)用的GOD，其核心任務(wù)是將不同傳感器的信息融合，并輸出一組統(tǒng)一的“候選障礙物”。這些障礙物的表示形式可以是邊界框、分割掩碼，也可以是鳥瞰圖下的占據(jù)柵格。不僅如此，每個(gè)候選障礙物還會(huì)附帶一系列像是置信度（它真是障礙物的把握有多大）、速度估計(jì)（它移動(dòng)得多快）、類別概率（如果能夠識(shí)別的話），以及不確定性評(píng)估（對(duì)上述所有判斷的可靠程度進(jìn)行打分）等關(guān)鍵屬性。

部分GOD會(huì)沿用典型檢測(cè)架構(gòu)，先用卷積或Transformer提取特征，再通過檢測(cè)頭輸出邊界框和分類信息。與常規(guī)障礙物檢測(cè)不同的是，GOD更強(qiáng)調(diào)兩點(diǎn)，一是處理“開放集合”問題的能力，也就是能識(shí)別“我不知道這是什么，但它很重要”的物體；二是對(duì)小物體、透明物體、反光物體和部分遮擋物具有更強(qiáng)的魯棒性。為實(shí)現(xiàn)這些目標(biāo)，很多方案中會(huì)引入異常檢測(cè)子模塊、輸出分割式掩碼、融合幾何一致性校驗(yàn)（比如將激光雷達(dá)深度投影與相機(jī)檢測(cè)結(jié)果對(duì)比，不一致時(shí)提高關(guān)注等級(jí)）等技術(shù)。

對(duì)于GOD來說，時(shí)間維度非常關(guān)鍵。GOD不會(huì)僅憑單幀圖像就做出判斷，而是會(huì)結(jié)合時(shí)序信息來增強(qiáng)穩(wěn)定性，通過運(yùn)動(dòng)學(xué)一致性跟蹤，可以濾除臨時(shí)誤檢，也能維持被短暫遮擋但已出現(xiàn)在軌跡上的物體。

GOD的核心技術(shù)點(diǎn)與實(shí)現(xiàn)細(xì)節(jié)

GOD可基于傳統(tǒng)的一階段或兩階段檢測(cè)器實(shí)現(xiàn)，一階段檢測(cè)器（如基于錨框的RetinaNet，或無錨框的CenterNet、FCOS）直接預(yù)測(cè)目標(biāo)位置與類別；兩階段檢測(cè)器（如Faster R-CNN系列）則是先生成候選區(qū)域，再對(duì)其進(jìn)行精細(xì)分類與調(diào)整。近年來，Transformer架構(gòu)（如DETR及其系列模型）也被引入障礙物檢測(cè)領(lǐng)域，它能夠直接建模全局上下文關(guān)系，但在實(shí)際應(yīng)用中，仍需考慮計(jì)算成本與收斂速度。

在骨干網(wǎng)絡(luò)設(shè)計(jì)上，模型需兼顧性能與效率。對(duì)于視覺輸入，常采用ResNet、EfficientNet等經(jīng)典網(wǎng)絡(luò)提取特征，為適應(yīng)車規(guī)級(jí)芯片的算力限制，也會(huì)使用更輕量的MobileNet、GhostNet來實(shí)現(xiàn)。而對(duì)于激光雷達(dá)點(diǎn)云數(shù)據(jù)，常用的處理方法是基于體素的三維卷積、基于點(diǎn)直接處理的PointNet/PointNet++，或是采用近年來效率更高的稀疏卷積架構(gòu)。

圖片源自：網(wǎng)絡(luò)

GOD不僅要優(yōu)化目標(biāo)定位和分類精度，還會(huì)引入專門的異常/新穎性損失，以提高對(duì)未見類別的敏感度。一些技術(shù)方案中會(huì)使用對(duì)比學(xué)習(xí)或自監(jiān)督預(yù)訓(xùn)練，幫助模型掌握“正常背景”的分布，從而更容易識(shí)別偏離分布的物體。還有一種思路就是將檢測(cè)任務(wù)拆為兩部分，常規(guī)的有限類別檢測(cè)使用交叉熵或Focal Loss等優(yōu)化，而“通用物體存在性”則通過自監(jiān)督異常分?jǐn)?shù)或重建誤差來表示。

訓(xùn)練數(shù)據(jù)是決定效果的關(guān)鍵，要讓檢測(cè)器對(duì)各種“奇怪”的物體有感知能力，僅靠現(xiàn)有的行車數(shù)據(jù)集是不夠的，還需引入額外的稀有樣本、合成數(shù)據(jù)，或利用仿真環(huán)境生成的異常場(chǎng)景來擴(kuò)展訓(xùn)練集。常用的數(shù)據(jù)增強(qiáng)手段包括隨機(jī)遮擋、顏色擾動(dòng)、光照變化與幾何畸變等；還有更進(jìn)階的做法就是將單幀圖像與激光雷達(dá)生成的稠密深度或鳥瞰投影結(jié)合，利用幾何一致性監(jiān)督提升對(duì)透明或反光物體的檢測(cè)能力。

聊了這么多技術(shù)細(xì)節(jié)，那GOD的實(shí)際效果會(huì)如何呢？傳統(tǒng)目標(biāo)檢測(cè)是依賴mAP（平均精度）、精確率/召回率、IoU（交并比）等靜態(tài)指標(biāo)進(jìn)行評(píng)估的。但對(duì)于通用障礙物檢測(cè)（GOD），這些指標(biāo)并不完全適用，其必須考量漏檢與誤報(bào)所帶來的實(shí)際風(fēng)險(xiǎn)。如果漏檢一個(gè)車道上的箱子，就可能直接導(dǎo)致碰撞事故，而頻繁的誤報(bào)則會(huì)無故觸發(fā)緊急制動(dòng)，這不僅會(huì)嚴(yán)重影響乘坐體驗(yàn)，也會(huì)帶來不必要的跟車風(fēng)險(xiǎn)。因此，GOD的評(píng)估體系必須超越靜態(tài)指標(biāo)，納入如“安全臨界距離”或“碰撞時(shí)間”等體現(xiàn)實(shí)時(shí)威脅程度的動(dòng)態(tài)因素。

GOD會(huì)有哪些挑戰(zhàn)？

將GOD應(yīng)用到實(shí)車上，其實(shí)會(huì)遇到很多現(xiàn)實(shí)問題。由于傳感器本身存在局限，相機(jī)在夜晚或逆光條件下性能會(huì)下降，激光雷達(dá)對(duì)透明物體（如玻璃、薄膜）不敏感，毫米波雷達(dá)對(duì)小物體分辨率低。這就需要不同傳感器之間互相補(bǔ)足。為了解決這個(gè)問題，比較穩(wěn)妥的做法是對(duì)不同傳感器的檢測(cè)結(jié)果進(jìn)行融合判斷，如果相機(jī)識(shí)別到有明顯紋理但激光雷達(dá)沒有回波的物體，系統(tǒng)不會(huì)立即下結(jié)論，而是將其標(biāo)記為“高不確定性”障礙物，交由跟蹤與規(guī)則模塊持續(xù)觀察。同時(shí)，系統(tǒng)也會(huì)結(jié)合場(chǎng)景上下文進(jìn)行判斷，從而確保行車安全，像是在施工區(qū)域，就可以根據(jù)高精地圖或地理數(shù)據(jù)庫(kù)信息，提高對(duì)該區(qū)域的檢測(cè)敏感度。

由于真實(shí)的交通環(huán)境是開放的，且會(huì)存在很多的長(zhǎng)尾問題，真實(shí)道路上的物體種類和形態(tài)變化一定會(huì)遠(yuǎn)超訓(xùn)練集的覆蓋范圍。因此需要擴(kuò)大訓(xùn)練集，對(duì)稀有場(chǎng)景進(jìn)行標(biāo)注和加強(qiáng)采樣；還要采用無監(jiān)督/自監(jiān)督方法建立“正常世界”模型，將任何偏離正常分布的物體視為潛在障礙；此外，還需借助元學(xué)習(xí)或少樣本學(xué)習(xí)，讓模型快速適應(yīng)新出現(xiàn)的類別。

障礙物檢測(cè)測(cè)試，圖片源自：網(wǎng)絡(luò)

車輛在高速行駛時(shí)，檢測(cè)模塊的延遲必須控制在幾十毫秒內(nèi)，而算力受限于車載計(jì)算平臺(tái)（往往是功耗和散熱受限的車規(guī)級(jí)SoC）。想讓GOD檢測(cè)正常，就需要做大量?jī)?yōu)化工作，其實(shí)包括模型壓縮、量化、使用高效算子加速推理、將部分計(jì)算任務(wù)調(diào)度到專用加速器上，以及在系統(tǒng)層面進(jìn)行優(yōu)先級(jí)管理（如將車道保持和前方最近障礙物檢測(cè)設(shè)為更高優(yōu)先級(jí)）等。降級(jí)策略的設(shè)計(jì)也是非常有必要的，當(dāng)計(jì)算資源緊張或傳感器異常時(shí)，系統(tǒng)應(yīng)能夠切換到如降低車速、增大安全車距，或交由遠(yuǎn)程人工監(jiān)控等更保守但更可靠的感知/規(guī)劃模式。

一個(gè)合格的GOD系統(tǒng)不僅要在標(biāo)準(zhǔn)測(cè)試集上表現(xiàn)良好，還必須能夠應(yīng)對(duì)對(duì)抗攻擊（例如針對(duì)相機(jī)的貼紙干擾）、光學(xué)失真，以及部分傳感器失效等情況，并具備明確的降級(jí)處理機(jī)制。因此，要利用仿真場(chǎng)景進(jìn)行大規(guī)模corner case測(cè)試，甚至將現(xiàn)實(shí)世界中出現(xiàn)的故障樣本回放到仿真環(huán)境中進(jìn)行壓力驗(yàn)證，從而確保魯棒性。

最后的話

GOD的目的是將一個(gè)開放的、無限可能的物理世界，與一個(gè)封閉的、由數(shù)據(jù)驅(qū)動(dòng)的計(jì)算系統(tǒng)進(jìn)行調(diào)和。它并不是一個(gè)靜態(tài)的模型，而是一個(gè)動(dòng)態(tài)的、持續(xù)學(xué)習(xí)的“生態(tài)系統(tǒng)”。這個(gè)系統(tǒng)的效能，直接取決于它能否將現(xiàn)實(shí)世界中“未曾見過”的威脅，成功地轉(zhuǎn)化為算法可理解的“不確定性”或“異常”。