一個(gè)完整的自動(dòng)駕駛感知系統(tǒng)包含些什么？

[首發(fā)于智駕最前沿微信公眾號(hào)]把自動(dòng)駕駛想像成一個(gè)有眼耳和大腦的司機(jī)。感知系統(tǒng)就是它的“眼睛”和“耳朵”，負(fù)責(zé)把諸如前方有一輛車(chē)、左側(cè)有個(gè)行人過(guò)馬路、右邊車(chē)道被施工封閉了、紅燈亮了等外界的光、雷達(dá)回波、距離、速度這些原始信號(hào)變成機(jī)器能看懂的“事實(shí)”。感知并不是單一模塊的工作，而是一整套從硬件到軟件、從標(biāo)定到算法、從實(shí)時(shí)性到冗余設(shè)計(jì)的組合工程。沒(méi)有可靠的感知，后面的預(yù)測(cè)和規(guī)劃就像盲駕，再聰明的決策也可能撞上現(xiàn)實(shí)。

如果將感知拆分，可以分為“傳感器”和“算法”兩大塊，但其中還包含時(shí)間同步、標(biāo)定、數(shù)據(jù)融合、狀態(tài)估計(jì)，以及在線自檢與降級(jí)（當(dāng)某種傳感器失效時(shí)系統(tǒng)如何優(yōu)雅退化）等內(nèi)容。

感知系統(tǒng)由哪些核心部分組成

感知系統(tǒng)最主要的就是傳感器，常見(jiàn)的有攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)、超聲波以及慣性測(cè)量單元（IMU）與車(chē)輪里程計(jì)等。攝像頭擅長(zhǎng)識(shí)別如識(shí)別交通燈、交通標(biāo)識(shí)和文本信息等顏色和細(xì)節(jié)，；激光雷達(dá)能給出高精度的三維點(diǎn)云，適合檢測(cè)物體形狀和測(cè)距；毫米波雷達(dá)在雨雪霧等能見(jiàn)度差的情況下仍然能穩(wěn)定測(cè)出物體距離和速度；超聲波適合近距離的低速泊車(chē)感知；IMU 和里程計(jì)則提供車(chē)輛自身的運(yùn)動(dòng)狀態(tài)，幫助把傳感信息放到一致的時(shí)間與空間坐標(biāo)系里。不同傳感器各有長(zhǎng)短，在車(chē)輛上常常把它們按能力互補(bǔ)地組合起來(lái)，形成穩(wěn)健的感知“傳感網(wǎng)”。

雖然不同傳感器在采集數(shù)據(jù)時(shí)是同一個(gè)交通場(chǎng)景，但想要把相機(jī)的像素、雷達(dá)的回波、LiDAR 的點(diǎn)云放到同一個(gè)“地圖”上，必須做精確的時(shí)間戳對(duì)齊和外參/內(nèi)參標(biāo)定。標(biāo)定包括內(nèi)參（比如相機(jī)的焦距、畸變參數(shù)）和外參（不同傳感器之間的相對(duì)位置與朝向）。這一步看起來(lái)枯燥，但它決定了后續(xù)融合的基礎(chǔ)精度，往往直接影響檢測(cè)、跟蹤偏差以及定位誤差。

還有就是感知算法鏈路，通常分為感知前處理、檢測(cè)與分割、跟蹤與軌跡估計(jì)、語(yǔ)義理解與場(chǎng)景解析這幾層。前處理包含去噪、點(diǎn)云下采樣、圖像增強(qiáng)等；檢測(cè)與分割負(fù)責(zé)把原始數(shù)據(jù)變成“我看見(jiàn)了什么”，檢測(cè)框、實(shí)例掩碼或語(yǔ)義類別；跟蹤模塊把一幀幀的檢測(cè)結(jié)果關(guān)聯(lián)起來(lái)，給每個(gè)目標(biāo)一個(gè)穩(wěn)定的ID并估計(jì)速度、加速度；語(yǔ)義理解則把這些目標(biāo)放進(jìn)更復(fù)雜的語(yǔ)境里，比如判斷某個(gè)行人是否有橫穿馬路的意向、車(chē)道哪兒是可通行區(qū)域、哪里可能有臨時(shí)障礙物。

自動(dòng)駕駛系統(tǒng)涉及到多個(gè)傳感器，無(wú)可避免地就要涉及到傳感器融合。融合的層級(jí)可以是像素級(jí)、特征級(jí)或決策級(jí)，也可以是把點(diǎn)云先換成鳥(niǎo)瞰視圖再與相機(jī)特征融合的方式。融合要解決如不同傳感器的分辨率差異、視角遮擋、時(shí)間延遲、數(shù)據(jù)頻率不一致等問(wèn)題。合理的融合策略能顯著提升遠(yuǎn)近、靜動(dòng)目標(biāo)的探測(cè)能力，也更容易滿足冗余與安全要求。

定位與地圖（有時(shí)候感知和定位會(huì)耦合得很緊）也是感知系統(tǒng)中非常重要的一環(huán)。高精地圖或局部地圖能提供車(chē)道線、靜態(tài)障礙、路緣等先驗(yàn)，使感知在復(fù)雜場(chǎng)景下更穩(wěn)。當(dāng)?shù)貓D不可用時(shí)，感知需要承擔(dān)更多的工作，像實(shí)時(shí)構(gòu)建占用網(wǎng)格或做視覺(jué)里程計(jì)（VO）/激光SLAM。這部分對(duì)實(shí)時(shí)性和算力要求都不低。

評(píng)估與在線自檢在感知系統(tǒng)中也很重要。評(píng)估包括離線的指標(biāo)（mAP、召回率、F1、跟蹤精度等）和在線健康檢測(cè)（傳感器是否有異常、模型是否漂移）。在線自檢非常關(guān)鍵，當(dāng)某個(gè)傳感器被雪覆蓋或者相機(jī)鏡頭被污漬遮擋時(shí)，系統(tǒng)必須能迅速發(fā)現(xiàn)并切換到安全策略，提醒乘客接管或降低功能級(jí)別。

感知既有大量信號(hào)預(yù)處理和幾何計(jì)算，也有深度學(xué)習(xí)推理。這要求在車(chē)端部署高性能的SoC/GPU/NPU，同時(shí)做能耗與實(shí)時(shí)調(diào)度的工程權(quán)衡。很多車(chē)企選擇把復(fù)雜的訓(xùn)練放到云端，實(shí)時(shí)推理留在車(chē)端，這樣既保證模型不斷進(jìn)步，又能滿足低時(shí)延要求。

感知的工作到底怎么工作？

想象一輛車(chē)正沿城市道路行駛。攝像頭拍到的光線先經(jīng)過(guò)鏡頭畸變校正，再被送進(jìn)卷積網(wǎng)絡(luò)做特征提取，網(wǎng)絡(luò)會(huì)給出類別（車(chē)、人、騎行者）、邊界框和像素級(jí)分割。同時(shí)，LiDAR發(fā)回來(lái)的點(diǎn)云會(huì)做體素化或投影成鳥(niǎo)瞰圖，進(jìn)入專門(mén)的3D檢測(cè)網(wǎng)絡(luò)，識(shí)別立體目標(biāo)并估計(jì)相對(duì)高度與尺寸。毫米波雷達(dá)則持續(xù)輸出距離與徑向速度，在深度學(xué)習(xí)模型難以可靠判斷物體速度時(shí)提供穩(wěn)健的速度信息。

各感知流的輸出經(jīng)過(guò)時(shí)間同步后進(jìn)入融合模塊。融合模塊會(huì)把相機(jī)的類別與LiDAR的距離結(jié)合，修正目標(biāo)的三維位姿；再用雷達(dá)的速度信息確認(rèn)該目標(biāo)是靜止還是移動(dòng)。接下來(lái)是跟蹤器，它根據(jù)目標(biāo)的歷史軌跡進(jìn)行關(guān)聯(lián)，用卡爾曼濾波或更復(fù)雜的隨機(jī)濾波器來(lái)平滑位置與速度估計(jì)。最終，感知把一幅幀的“我看見(jiàn)了什么、它在哪里、它往哪兒去”交給預(yù)測(cè)模塊，用于后續(xù)規(guī)劃與控制。

一個(gè)好感知系統(tǒng)不僅要準(zhǔn)確地說(shuō)出“有個(gè)行人”，還要給出置信度（這件事有多確定）、近中遠(yuǎn)距離不確定性以及對(duì)異常情況的提示（比如“相機(jī)被強(qiáng)光遮擋”）。這種不確定性表達(dá)對(duì)安全決策非常關(guān)鍵，因?yàn)橐?guī)劃模塊要根據(jù)不同置信度采取不同保守策略。

為何感知是自動(dòng)駕駛里最難的一環(huán)？

環(huán)境條件的不確定性是自動(dòng)駕駛汽車(chē)需要面對(duì)的首要難題。大霧、強(qiáng)逆光、夜間、雨雪都會(huì)讓攝像頭性能急劇下降。LiDAR 在大雪時(shí)會(huì)產(chǎn)生大量假點(diǎn)，雷達(dá)在復(fù)雜金屬結(jié)構(gòu)附近可能發(fā)生多徑干擾。為此需要傳感器冗余和多模態(tài)融合，用弱傳感器補(bǔ)強(qiáng)強(qiáng)傳感器的短板，同時(shí)在軟件層面做感知信號(hào)的質(zhì)量評(píng)估與權(quán)重調(diào)整。

還有一個(gè)就是長(zhǎng)尾問(wèn)題，也就是那些極其罕見(jiàn)但可能致命的場(chǎng)景，可能導(dǎo)致安全事故。數(shù)據(jù)驅(qū)動(dòng)的模型在常見(jiàn)場(chǎng)景上表現(xiàn)很好，但對(duì)極端場(chǎng)景（比如街頭突然出現(xiàn)推車(chē)或非標(biāo)路障）往往沒(méi)有足夠訓(xùn)練樣本。解決辦法包括數(shù)據(jù)增強(qiáng)、模擬器生成稀有場(chǎng)景、主動(dòng)學(xué)習(xí)以便把真實(shí)稀有樣本送回訓(xùn)練鏈路，以及把規(guī)則化的幾何檢測(cè)與學(xué)習(xí)方法混合使用，形成不易被數(shù)據(jù)稀缺拖垮的混合感知體系。

實(shí)時(shí)性和算力限制也是感知系統(tǒng)設(shè)計(jì)不得不面對(duì)的問(wèn)題。感知算法要在幾十毫秒甚至更短時(shí)間內(nèi)完成推理和融合，才能保證規(guī)劃有足夠的反應(yīng)時(shí)間。這就需要高效的模型壓縮、量化、算子優(yōu)化，以及把關(guān)鍵工作放在低延遲的車(chē)端硬件上。同時(shí)，系統(tǒng)設(shè)計(jì)要允許在極端算力或傳感器受限情況下，感知只保留最關(guān)鍵的功能（比如只檢測(cè)大型移動(dòng)目標(biāo)和車(chē)道邊界），并將控制權(quán)或警示交給駕駛員。

系統(tǒng)可解釋性與安全標(biāo)準(zhǔn)也是必須解決的問(wèn)題。感知模型往往是復(fù)雜的深度網(wǎng)絡(luò)，工程團(tuán)隊(duì)要做大量的安全分析，證明在多數(shù)可預(yù)見(jiàn)的情況下系統(tǒng)會(huì)保持安全。行業(yè)里常常把功能安全（ISO 26262）與“意外功能安全”（SOTIF, Safety Of The Intended Functionality）放在一起討論，既要預(yù)防硬件故障，也要應(yīng)對(duì)模型在合法輸入下的錯(cuò)誤行為。實(shí)踐中會(huì)結(jié)合冗余傳感、規(guī)則檢測(cè)器與護(hù)欄式規(guī)劃策略來(lái)降低風(fēng)險(xiǎn)。

人為因素與法規(guī)限制也會(huì)影響感知設(shè)計(jì)。不同市場(chǎng)對(duì)傳感器（比如LiDAR）接受度不同，法規(guī)對(duì)可用數(shù)據(jù)（車(chē)外攝像頭捕捉到行人的面部等隱私信息）有嚴(yán)格約束。設(shè)計(jì)團(tuán)隊(duì)要在技術(shù)、成本、合規(guī)之間找到平衡點(diǎn)。

如何把感知系統(tǒng)設(shè)計(jì)好？

一個(gè)可落地的感知系統(tǒng)里充斥著大量“細(xì)節(jié)決定成敗”的工作。硬件層面，需要做散熱、抗振動(dòng)、防水防塵、鏡頭除霧與加熱、防雨刷聯(lián)動(dòng)等物理工程，任何一個(gè)小失誤都可能導(dǎo)致夜間或雨天感知失效。標(biāo)定工作也不是一次性任務(wù)；裝車(chē)以后溫度變化、車(chē)身微小變形都會(huì)引起外參漂移，所以要設(shè)計(jì)自動(dòng)標(biāo)定或定期校驗(yàn)流程。

數(shù)據(jù)層面的工作量也非常大。標(biāo)注不僅僅是畫(huà)框那么簡(jiǎn)單，復(fù)雜場(chǎng)景需要標(biāo)注速度、遮擋等級(jí)、可通行性、行為意圖等豐富標(biāo)簽；數(shù)據(jù)質(zhì)量管理包括標(biāo)簽一致性檢驗(yàn)、異常樣本篩查、以及對(duì)模型失誤的回放分析。這些流程直接決定模型能否在真實(shí)世界里長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。

模型上線后，運(yùn)營(yíng)團(tuán)隊(duì)要持續(xù)做A/B測(cè)試、在線評(píng)估、以及從車(chē)輛回傳的稀有場(chǎng)景中做樣本補(bǔ)充。整個(gè)閉環(huán)的效率決定了系統(tǒng)迭代的速度和安全性。很多公司把這個(gè)閉環(huán)稱作“感知數(shù)據(jù)閉環(huán)”，即把實(shí)際運(yùn)行中遇到的問(wèn)題快速轉(zhuǎn)為標(biāo)注樣本、再進(jìn)入訓(xùn)練、再回到線上驗(yàn)證。

在設(shè)計(jì)感知系統(tǒng)時(shí)，和上游公司（傳感器供應(yīng)商）、下游模塊（預(yù)測(cè)、規(guī)劃、控制）以及法規(guī)審查部門(mén)的溝通同樣重要。感知不是孤立模塊，接口定義、置信度語(yǔ)義、故障報(bào)告方式都需要跨團(tuán)隊(duì)約定好，才能在整車(chē)層面做到協(xié)調(diào)一致。

最后的話

感知聽(tīng)起來(lái)是在做“看圖識(shí)物”的事情，但真正的難點(diǎn)在于把物理信號(hào)、數(shù)學(xué)模型、系統(tǒng)工程和安全機(jī)制結(jié)合起來(lái)，形成能在各種真實(shí)道路條件下穩(wěn)定運(yùn)行的能力。它既包含深度學(xué)習(xí)等前沿算法，也離不開(kāi)標(biāo)定、同步、工程級(jí)的健壯實(shí)現(xiàn)與運(yùn)營(yíng)閉環(huán)。