什么是自動(dòng)駕駛決策系統(tǒng)？發(fā)展有何挑戰(zhàn)？

[首發(fā)于智駕最前沿微信公眾號(hào)]把自動(dòng)駕駛汽車(chē)想象成一個(gè)不斷學(xué)習(xí)并做決定的人，車(chē)上的“眼睛”負(fù)責(zé)看（感知）、“記憶/推理”負(fù)責(zé)想（預(yù)測(cè)與決策）、“手腳”負(fù)責(zé)做（規(guī)劃與控制），決策系統(tǒng)則處在這個(gè)鏈條的中間位置。它把來(lái)自感知（相機(jī)、雷達(dá)、激光雷達(dá)、定位、地圖等）的信息和預(yù)測(cè)模塊（對(duì)周?chē)腥恕④?chē)輛未來(lái)行為的猜測(cè)）整合起來(lái)，輸出“我下一步要怎么走、以什么速度走、如何避讓”等指令。決策并不是單一的動(dòng)作，而是一個(gè)層級(jí)化的流程，先想清楚要干什么（行為層，像是“變道”“左轉(zhuǎn)”“減速跟車(chē)”），再把這個(gè)行為轉(zhuǎn)成一條具體的、安全可執(zhí)行的軌跡（軌跡層），最后把軌跡交給底層控制器去跟蹤（控制層）。

決策系統(tǒng)要同時(shí)滿(mǎn)足安全（永遠(yuǎn)優(yōu)先）、舒適（不要讓乘客暈）、合法（遵守交通規(guī)則）、高效（不無(wú)謂地慢）以及可解釋?zhuān)ǔ隽藛?wèn)題能查原因）等要求。但這些要求恰恰會(huì)產(chǎn)生沖突，最安全的動(dòng)作可能太保守影響效率，最快的動(dòng)作可能帶來(lái)風(fēng)險(xiǎn)，所以決策系統(tǒng)本質(zhì)上是在這些要求之間做權(quán)衡的過(guò)程。

經(jīng)典與主流的方法：層級(jí)、優(yōu)化與規(guī)則

長(zhǎng)期以來(lái)，自動(dòng)駕駛的決策與規(guī)劃主要沿著“層級(jí)化＋優(yōu)化/采樣”的路線發(fā)展，系統(tǒng)會(huì)先基于地圖和當(dāng)前交通情形選擇一個(gè)合理的策略，例如在交叉口是“先等候再左轉(zhuǎn)”還是“突出加速通過(guò)”，通過(guò)這些合理的策略，可以確保自動(dòng)駕駛汽車(chē)安全行駛。

為了能夠生成更安全的軌跡，常用的方法分為兩類(lèi)，即采樣/搜索類(lèi)和優(yōu)化類(lèi)。采樣類(lèi)方法通過(guò)生成若干候選軌跡（基于軌跡庫(kù)或隨機(jī)采樣），評(píng)估每條軌跡的代價(jià)（碰撞風(fēng)險(xiǎn)、舒適性、距離、法規(guī)約束等），然后選擇代價(jià)最低的那一條。這類(lèi)方法實(shí)現(xiàn)直觀，但當(dāng)情形復(fù)雜時(shí)需要大量候選樣本，計(jì)算量容易爆炸。

優(yōu)化類(lèi)方法把軌跡看成一個(gè)連續(xù)的函數(shù)，用數(shù)學(xué)優(yōu)化求最小代價(jià)路徑，常見(jiàn)的工具包括基于拉格朗日的優(yōu)化、迭代線性二次調(diào)節(jié)（iLQR）、以及模型預(yù)測(cè)控制（MPC）。MPC特別受歡迎，因?yàn)樗褎?dòng)力學(xué)約束、狀態(tài)與控制約束直接納入優(yōu)化問(wèn)題，還能以有限時(shí)域滾動(dòng)優(yōu)化的方式去應(yīng)對(duì)環(huán)境變化，這使得控制既能考慮未來(lái)又能實(shí)時(shí)運(yùn)行。

除了純數(shù)學(xué)的優(yōu)化外，規(guī)則/符號(hào)化方法也被廣泛用于保證安全行駛。例如Mobileye提出的Responsibility-Sensitive Safety（RSS）提出了一套數(shù)學(xué)化的“常識(shí)駕駛規(guī)則”，用來(lái)判斷何時(shí)應(yīng)該采取防御性動(dòng)作，從而為系統(tǒng)提供白盒式的安全保證。RSS強(qiáng)調(diào)可驗(yàn)證性與可解釋性，是工業(yè)界推行“可證明安全”思路的代表之一。

在很多商用系統(tǒng)里，還會(huì)加一層“安全裁判”或“監(jiān)護(hù)層”（supervisorysafetylayer），它不是去生成軌跡，而是在主規(guī)劃動(dòng)作可能造成危險(xiǎn)時(shí)進(jìn)行攔截或修正。近年常把學(xué)習(xí)型模塊（負(fù)責(zé)復(fù)雜場(chǎng)景下做出靈活行為）與基于物理/規(guī)則的安全模塊（保證萬(wàn)一學(xué)習(xí)出錯(cuò)時(shí)仍不致于發(fā)生危險(xiǎn)）結(jié)合起來(lái)，形成“學(xué)習(xí)+證據(jù)化安全”的混合結(jié)構(gòu)。

近兩年的新技術(shù)熱點(diǎn)

現(xiàn)在自動(dòng)駕駛行業(yè)有一個(gè)非常明顯的趨勢(shì)，第一個(gè)是把預(yù)測(cè)與規(guī)劃之間的界限變得模糊，過(guò)去感知負(fù)責(zé)“看”，預(yù)測(cè)負(fù)責(zé)“猜未來(lái)”，規(guī)劃負(fù)責(zé)“決定”；現(xiàn)在越來(lái)越多的工作嘗試把世界建模（worldmodeling）、多主體行為預(yù)測(cè)與軌跡生成緊耦合，甚至把規(guī)劃也放到同一個(gè)學(xué)習(xí)框架里去訓(xùn)練。

Transformer架構(gòu)因其優(yōu)秀的時(shí)序與交互建模能力被廣泛采用。像MTR（Motion TRansformer）和Agent Former這樣的工作展示了Transformer在多主體、長(zhǎng)時(shí)序軌跡預(yù)測(cè)上的強(qiáng)勁表現(xiàn)；它們能夠用自注意力機(jī)制去捕捉不同交通參與者之間的交互，從而生成更合理、具多模態(tài)性的未來(lái)軌跡預(yù)測(cè)。

與之相關(guān)的第二個(gè)趨勢(shì)是擴(kuò)散（diffusion）模型被引入到軌跡預(yù)測(cè)與采樣生成領(lǐng)域。擴(kuò)散模型擅長(zhǎng)從復(fù)雜分布中生成高質(zhì)量且多樣化的樣本，擴(kuò)散方法能更好地表達(dá)未來(lái)的不確定性，生成的軌跡模式通常比傳統(tǒng)高斯混合或簡(jiǎn)單回歸更豐富。

第三個(gè)大趨勢(shì)是BEV（Bird’s Eye View，俯視圖），把原始相機(jī)/雷達(dá)/激光點(diǎn)云數(shù)據(jù)先投影或轉(zhuǎn)換成車(chē)輛局部的俯視格網(wǎng)或向量化地圖，再在這個(gè)BEV表示上做感知、軌跡預(yù)測(cè)和規(guī)劃。BEV的好處在于它把空間結(jié)構(gòu)顯式化，使得后續(xù)的規(guī)劃模塊可以直接在統(tǒng)一的空間中做代價(jià)評(píng)估與軌跡優(yōu)化。

第四個(gè)值得注意的方向是“大模型”與多模態(tài)模型的嘗試。一些公司和研究團(tuán)隊(duì)嘗試把大型多模態(tài)神經(jīng)網(wǎng)絡(luò)應(yīng)用到駕駛場(chǎng)景，用更大的模型去整合相機(jī)幀、點(diǎn)云、地圖和歷史軌跡，甚至把語(yǔ)言或世界知識(shí)納入決策過(guò)程。像是Waymo與Google的多模態(tài)/大模型合作方向在內(nèi)部探索將大型多模態(tài)模型用于世界建模和軌跡生成的可能性（如EMMA），其目標(biāo)是用更通用的模型來(lái)縮短“模塊間信息斷層”、增強(qiáng)推理能力，但同時(shí)也面臨計(jì)算與工程化挑戰(zhàn)。

上面這些技術(shù)趨勢(shì)的共同點(diǎn)是更強(qiáng)調(diào)“聯(lián)合建模”和“不確定性建模”。傳統(tǒng)系統(tǒng)里每一層獨(dú)立優(yōu)化，信息在層與層之間被“壓縮”傳遞；新趨勢(shì)嘗試在更大的端到端或半端到端框架里聯(lián)合訓(xùn)練，以避免信息損失，同時(shí)用概率模型或生成模型來(lái)保留和利用不確定性（比如何時(shí)可能發(fā)生緊急剎車(chē)、其他車(chē)輛可能的多種軌跡等），從而讓規(guī)劃在面對(duì)多種可能未來(lái)時(shí)更穩(wěn)健。

安全、可驗(yàn)證性與工程化挑戰(zhàn)

技術(shù)強(qiáng)并不意味著立刻可以上路，自動(dòng)駕駛決策系統(tǒng)面臨極高的工程與合規(guī)門(mén)檻。安全與可驗(yàn)證性就是其中一個(gè)，機(jī)器學(xué)習(xí)模型尤其是端到端、深度網(wǎng)絡(luò)通常是“黑盒”，在極端或稀有場(chǎng)景下可能會(huì)產(chǎn)生不可預(yù)測(cè)的行為。為此，在實(shí)際應(yīng)用時(shí)一直強(qiáng)調(diào)在系統(tǒng)中保留可解釋和可驗(yàn)證的模塊，或者在學(xué)習(xí)模塊外加上可證明的安全層，并結(jié)合控制屏障函數(shù)（Control Barrier Functions,CBF）等技術(shù)來(lái)保證系統(tǒng)滿(mǎn)足安全約束。近年來(lái)有方案把實(shí)時(shí)MPC與CBF結(jié)合，證明在城市場(chǎng)景下能以可計(jì)算的代價(jià)提供安全保障，這類(lèi)方法在可證明安全方面是有實(shí)際意義的進(jìn)展。

實(shí)時(shí)性與算力也是決策系統(tǒng)發(fā)展需要考慮的難題，擴(kuò)散模型、巨型Transformer、以及多模態(tài)大模型在訓(xùn)練與推理上都很吃資源。實(shí)際車(chē)輛的算力、功耗、散熱和延遲都有硬性限制，任何決策模型必須在嚴(yán)格的延遲預(yù)算內(nèi)給出輸出。常見(jiàn)的做法是混合采用，在邊緣用輕量化或確定性模塊做“快尚能”決策（fast-fallback），在云或離線環(huán)境中用大模型做策略更新、數(shù)據(jù)采樣或仿真訓(xùn)練。

還有一個(gè)難題就是對(duì)稀有/危險(xiǎn)場(chǎng)景的處理，在現(xiàn)實(shí)的交通場(chǎng)景中，會(huì)出現(xiàn)很多危險(xiǎn)但少見(jiàn)的邊緣場(chǎng)景，但正因?yàn)樗鼈兾ｋU(xiǎn)，系統(tǒng)必須在這類(lèi)場(chǎng)景上能夠靈活處理。其中解決辦法包括大量合成數(shù)據(jù)、基于仿真的極端場(chǎng)景生成（scenariogeneration）、重要性采樣與對(duì)抗式訓(xùn)練，或者用基于規(guī)則的強(qiáng)制安全邊界來(lái)覆蓋學(xué)習(xí)系統(tǒng)的盲點(diǎn)。此外，如何對(duì)學(xué)習(xí)系統(tǒng)做形式化驗(yàn)證仍然是一個(gè)開(kāi)放問(wèn)題，這就需要結(jié)合可解釋AI、可證實(shí)安全理論與充分的實(shí)測(cè)/仿真驗(yàn)證框架。

法規(guī)與社會(huì)信任其實(shí)一直是自動(dòng)駕駛發(fā)展最難平衡的問(wèn)題，決策系統(tǒng)的行為牽涉到責(zé)任歸屬和倫理問(wèn)題。像Mobileye的RSS試圖把“常識(shí)駕駛”數(shù)學(xué)化，雖然這方便證明和溝通，但也引出了責(zé)任與法律層面的討論。有很多技術(shù)的做法是把透明性與可追溯性做為產(chǎn)品化的基本要求，決策日志、黑匣子式的數(shù)據(jù)記錄與回放、以及在系統(tǒng)內(nèi)置的可解釋性接口，都是建立社會(huì)信任的必要手段。

最后的話(huà)

自動(dòng)駕駛決策系統(tǒng)既依賴(lài)嚴(yán)謹(jǐn)?shù)目刂评碚撆c優(yōu)化算法，也依賴(lài)對(duì)復(fù)雜交通場(chǎng)景的統(tǒng)計(jì)學(xué)習(xí)與數(shù)據(jù)驅(qū)動(dòng)建模，雖然經(jīng)典的分層優(yōu)化與規(guī)則化方法在安全性與可解釋性上有天然優(yōu)勢(shì)，但Transformer、擴(kuò)散模型、BEV表示和多模態(tài)大模型等新技術(shù)更是為系統(tǒng)帶來(lái)了更強(qiáng)的建模能力和面對(duì)不確定性的柔性。

雖然技術(shù)快速進(jìn)步很吸引人，但真正能在復(fù)雜道路場(chǎng)景中穩(wěn)定、可解釋、可監(jiān)管地運(yùn)行，仍然需要時(shí)間、系統(tǒng)化的工程實(shí)施以及規(guī)范化的驗(yàn)證流程。研究方向上的每一個(gè)“新潮詞”都值得關(guān)注，但在把它推向道路時(shí)要多一分謹(jǐn)慎、多一分驗(yàn)證。