自動駕駛中的軌跡預測，到底是預測什么？

[首發于智駕最前沿微信公眾號]軌跡預測一直是自動駕駛中的重點，它可以讓自動駕駛汽車對未來的工作提前謀劃。所謂軌跡預測，簡單理解就是自動駕駛系統對道路上那些會動的對象（其他車輛、行人、自行車、摩托車等）未來一段時間內可能走什么路線、到什么位置、以什么樣的速度/方向移動的一種“預測”。

圖片源自：網絡

比起這些對象當前在什么位置、朝哪個方向走，軌跡預測多了對未來的判斷，其不僅可以確定“現在在哪里”，還要猜測“接下來可能去哪兒”、以及“可能怎么行動”。這是自動駕駛系統在感知（看到周圍）之后與規劃和控制（決定自己車下一步怎么走）之前的一個關鍵動作。

軌跡預測并不是簡單識別或檢測別車／行人，而是要推斷未來。這一點和人類司機做判斷很像，當你開車時，不只是看前面有沒有車，也會判斷那輛車是不是可能突然變道／加速／減速／轉彎。自動駕駛所做的，是把這種判斷轉成算法，讓機器也能提前預估可能發生的情況。

為什么自動駕駛系統需要“軌跡預測”

真實的道路情況瞬息萬變，別的車可能突然變道、有人可能橫穿馬路、有行人或騎車人可能忽然加速或減速。想要安全駕駛，只是知道“他們現在在哪里、速度是多少”是完全不夠的。如果系統只是被動反應，就容易出問題，尤其當速度較高、道路復雜的時候，沒有預測，車輛就只是橫沖直撞，非常危險。

軌跡預測的作用，就是讓自動駕駛系統對周圍交通參與者未來可能的動作有一個大致預判。這樣自動駕駛系統就能在做路徑規劃和操控之前，考慮到這些不確定性，預留安全距離、調整速度、選擇合適方案。

圖片源自：網絡

舉個例子，當另一輛車突然變道到自動駕駛汽車的車道上，自動駕駛系統通過軌跡預測，就能判斷是否要提前減速、變道避讓，以避免事故發生。又或者行人可能從路邊走出來，自動駕駛系統預測到可能會穿過馬路，這時自動駕駛系統就會提前做好剎車或繞行準備。

也就是說，軌跡預測提升了自動駕駛的“前瞻性”和“主動安全”能力。感知模塊只負責看見現在／剛剛發生的事；而預測模塊負責想象未來可能發生的事，然后把這個想象交給決策／規劃模塊，讓車輛提前做出安全、合理的動作。

如何實現軌跡預測？

軌跡預測要做的就是把“現在看見的東西”變成“對未來幾秒鐘的合理猜測”。要做到這件事，模型離不開三類關鍵信息的輸入，也會輸出不同形式的預測結果，實現的方法也各有優劣。

1）輸入的是什么？

• 靜態環境/地圖信息：靜態環境/地圖信息包括如車道線、交叉口、車道形狀、道路結構、禁行區、轉彎區、紅綠燈、交通標志等信息。也包括高精地圖(HDmap)或簡化版本地圖中對道路空間結構的描述。
• 動態對象當前及過去的狀態：動態對象當前及過去的狀態就是周圍車輛、行人等的當前位置、速度、航向、過去一段時間的軌跡／運動歷史。因為對象過去怎么走、速度方向是多少，對預測未來很關鍵。
• 交通參與者之間的交互關系：不同車輛、行人與它們之間的相互影響，一輛車的行為可能受到旁邊車、前車、后車，乃至道路標志、信號燈、行人、騎車人的影響。為了更好地實現預測，這些交互也會作為輸入特征來考慮。

2）輸出的是什么？

軌跡預測的輸出，一般是未來一段時間內（通常幾秒到5 s～6 s不等，具體視系統設計而定）的軌跡，其中包括未來每個時刻該對象可能的位置、速度、方向。也可能包括多個可能性。

因為未來不確定，一個對象可能有幾種行為（直走、變道、減速、急剎、轉彎……），所以預測結果不會是單一軌跡，而是多種可能軌跡+各種可能性的概率／置信度（即多模態預測）。

有時候自動駕駛系統只需要知道未來終點大致在哪、什么時候到達，但有時會需要完整的時間序列軌跡。帶概率的多模態輸出能讓后續的規劃模塊在面對多種可能時做出更穩妥的決策。

圖片源自：網絡

3）常見的技術路線/方法

在早期想實現軌跡預測，可以用比較簡單的物理模型+運動學/動力學模型+假設方法，該方法是通過假設車輛目前速度、加速度、車輛動力限制等信息，基于物理運動模型去預測短期軌跡。但這種方法對復雜場景（變道、剎車、跟車、群體交互、行人穿行等）適應性較差。

近年來，更常用的是數據驅動(data-driven)或機器學習/深度學習方法。自動駕駛系統通過大量真實交通數據訓練模型，把歷史軌跡+環境信息當輸入，讓模型學會在類似情形下的行為模式，然后預測未來軌跡。

有些模型會把所有附近車輛／行人當作“節點”，構建圖(graph)表示它們之間可能的相互作用關系(誰可能影響誰)；然后通過圖神經網絡(graphneuralnetwork)+編碼器—解碼器(encoder-decoder)／循環神經網絡(RNN/LSTM)／Transformer等結構，對未來軌跡進行預測。還有一些模型會將道路結構、車道線、交通規則、環境語義等靜態信息融合進來，讓預測更符合規則。

自動駕駛系統中的軌跡預測，是一個感知+學習+推斷+環境約束結合的復雜流程，而不僅是按當前速度+前進方向直線推算。

軌跡預測模塊在自動駕駛架構中的位置與作用

自動駕駛系統可以分成感知(perception)→預測(prediction)→規劃/決策(planning&decision)→控制(control/actuation)幾個模塊。軌跡預測正位于感知與規劃之間，是連接兩者的重要橋梁。

• 感知模塊負責識別周圍靜態環境(道路、車道線、建筑、行人、交通標志)和動態對象(其他車輛、行人、自行車等)，告訴系統“現在都有哪些東西，它們在哪里、速度怎樣、朝哪走”。
• 預測模塊接手這些信息，對每個動態對象未來可能的走向做估計，預測軌跡、行為意圖(如變道、減速、轉彎、掉頭、停車、橫穿道路等)，并輸出未來幾秒鐘內各對象可能的位置/速度/軌跡分布。
• 規劃/決策模塊拿到這些預測結果后，考慮自己的車輛應該怎么走：是否要減速、變道、剎車、繞行、停車、讓行……并生成給車輛的決策/行駛方案。
• 控制模塊根據規劃結果，通過轉向、加減速、制動等動作執行具體的控制。

沒有預測模塊，即便感知非常精確，車輛也只能被動反應，只能根據現在看到的情況反應。這種方式在簡單場景或低速情況下可能還行，但在高速、復雜、多目標、多變場景(城市道路、交叉口、高速公路、行人密集區、混合交通)下，很容易出現判斷滯后、反應過慢、避讓不及時、剎車過硬或過急等問題，嚴重影響安全和舒適。

因此，軌跡預測是自動駕駛系統的“安全預判機制”，它讓車輛提前知道可能發生什么，從而預留空間/時間/方案，為后續規劃和控制提供更可靠的輸入。

軌跡預測的局限

軌跡預測對于自動駕駛來說非常重要，但想要做到既準確、可靠，又能實時運行的預測，會面對非常多的問題。

圖片源自：網絡

1）多智能體/多對象交互復雜

道路上有汽車、自行車、行人、摩托車等很多的交通參與者，他們之間會相互影響。一個人的動作可能影響另一輛車的行為，行人與車可能發生互動，自行車可能突然并道……這種多智能體(multi-agent)交互關系復雜且難建模。一個簡單的直線預測顯然不夠。數據驅動模型雖然試圖通過圖模型/神經網絡捕捉這些關系，但要保證對所有復雜場景都適用，依舊非常困難。

2）行為多樣性／不確定性(多模態問題)

同一個交通參與者，在不同時間、情境可能做完全不同的動作。如一輛車可能繼續保持當前車道直行，也可能變道，也可能減速或加速。這意味著未來有多個可能軌跡(multiplepossiblefutures)，而不是唯一確定的一條。預測系統如何同時給出這些可能性，并附上合理概率或置信度，是一個難題。如果系統只輸出單一軌跡，而實際對象走的是另一條，就可能導致碰撞或危險。

3）靜態環境與規則約束整合困難

道路結構、車道線、交通規則(誰有優先權、紅綠燈、行人斑馬線、禁行區、道路狹窄、彎道、坡道…)對車輛／行人的軌跡有很大的影響。一個預測模型如果忽略這些約束，很可能產生荒謬、不符合規則的預測(比如預測行人穿過護欄/逆行、預測車輛穿越建筑物/越線/無視交通規則等)。因此，只有將環境/地圖/規則信息有效融合進軌跡預測，才能確保預測的準確性與行駛的安全性。

4）實時性與算法復雜性/計算資源限制

自動駕駛必須對實時環境迅速反應。預測模塊不能太慢，否則生成的軌跡可能已經過時。但如果想要實時預測，高復雜度模型(深度網絡+多智能體交互+多可能性計算+地圖融合)又會需要大量的計算量。如果實時性不夠、計算資源不夠，或者延遲太高，就不適合實際部署。如何在追求極致預測精度與系統整體響應速度之間找到一個平衡，是非常重要的。

5）評估與現實場景差異(“數據集vs實際駕駛環境”)

很多軌跡預測技術是在固定數據集/過去記錄上訓練/測試的，也就是假設所有對象行為都會按歷史軌跡執行。但真實交通場景，自動駕駛車輛本身會因為預測結果/決策/行為而影響周圍人／車的行為。也就是說，真實世界是互動(interactive)的，一個模型在靜態數據集上的高精度，不一定能在真實道路上表現良好。這種差異(dynamicsgap)是軌跡預測應用到自動駕駛時必須特別關注的問題。

最后的話

隨著自動駕駛系統從輔助駕駛(ADAS)向更高級別(如L3/L4/L5)發展，對安全、可靠、全面感知的需求越來越高。在城市復雜交通、混合交通(汽車+自行車+行人+電動車+摩托+行人)情況下，僅靠看到并反應遠遠不夠。自動駕駛系統必須具備預判能力，能知道別人可能做什么、提前為很多種情況預留應對方案。軌跡預測，就是給自動駕駛系統提供了一雙預見未來的眼睛/大腦。

沒有軌跡預測，自動駕駛就只能看見現在然后反應，容易發生滯后、剎不住、避不及、判斷失誤；有軌跡預測，就可能更安全、平滑，也更像人在駕駛。軌跡預測是自動駕駛系統邁向真正穩健、安全、自主的重要一步。