自動駕駛從模塊化到One Model的進階之路

[首發于智駕最前沿微信公眾號]如果將自動駕駛汽車看作是一臺懂得“看、想、做”的機器，它首先要做的就是借助傳感器全面感知周圍環境，然后對這些信息進行“思考”，并做出預測與決策，預測決策結果最終可以轉化為具體的控制指令并執行。自動駕駛的工作邏輯已經非常清晰，但技術實現路徑卻一直在迭代，并沿著一條清晰的軌跡演進。從專注“理解”的感知模型化，到賦予“思維”的規控模型化，再到協同增效的多模塊端到端，最終一定會走向One Model端到端。

圖片源自：網絡

感知模型化，專注“理解清楚”

自動駕駛的第一階段，主要是做好理解清楚世界這件事。在這個階段，感知系統非常重要，其實現路徑高度依賴于多傳感器（攝像頭、毫米波雷達、激光雷達）的前端融合，而BEV（鳥瞰視角）空間與Transformer架構，因其能統一處理不同來源的特征并建立全局關聯，成為實現這一目標的主要工具，通過硬件與軟件的融合，可顯著提升目標檢測、地圖分割與軌跡跟蹤的可靠性。在這一階段，需要考慮感知精度、低誤報率、對光照和天氣變化的魯棒性等，同時也要保證實時性與可部署性。

圖片源自：網絡

這一階段，自動駕駛模塊邊界清晰，工程責任明確，便于驗證和上線。感知模塊輸出的是明確的如目標的2D/3D框、車道線、語義地圖等中間結果，上層預測與規劃模塊也可以直接讀取這些結果，更容易做安全檢查和異常處理。

獨立的感知模塊使得數據標注和訓練流程相對可控，但也正因如此，系統存在模塊間信息離散、有損傳遞等問題。那些經人為接口（如目標類別、邊界框）抽象后的結果，也無法保留傳感器原始數據中的全部細節。這種信息損失在多數情況下尚可接受，但在需要細粒度環境理解、長時序依賴分析或跨模態信息融合的復雜場景中，就會嚴重阻礙系統做出最佳決策，從而限制其性能上限。

規控模型化，讓“思考”與“行動”也神經化

在規控模型化階段，預測、決策、規劃等“規控”功能開始用神經網絡實現，但系統仍保留“感知”與“規控”兩個相對獨立的模型。也就是說，系統的感知部分可以產出的是一個清晰、可解釋的語義世界圖，而規控部分的預測和規劃任務，則交給了深度學習網絡來完成，不再依賴傳統的規則或優化器。這種架構將學習能力延伸至更高層，使行為策略能夠從數據中學習更復雜的模式，同時也保留了模塊化帶來的可控性。

圖片源自：網絡

規控模型化的確可以讓自動駕駛汽車變得更聰明，因為感知和規控是兩個獨立的模塊，出了問題也容易定位和調試。但也正因為兩者是分開的，兩個模塊之間傳遞信息，就像在傳紙條，總會有細節丟失。可能感知模塊看到的一個細微動作對決策至關重要，但傳過去時卻被壓縮或丟棄了，這就導致決策模型無法充利用全部信息。而且兩個模塊各練各的，即便感知練到滿分，也不代表它給規控的信息就是最有利于最終決策的，這樣反而無法提升自動駕駛的整體性能。

這一階段其實是自動駕駛發展過程中一個折中的階段，由于希望上層更智能，又不愿放棄模塊化帶來的可解釋性與驗證便利，只能做這種選擇。很多頭部公司也正嘗試在規控端引入更多學習能力，同時通過設計更豐富的感知中間表達和更緊密的特征接口，來緩解信息損失的問題。

多模塊端到端，打通關節，信息傳遞更完整

多模塊端到端的關鍵在于接口形式的改變，感知與規劃之間不再通過人為設計的語義標簽或邊界框傳遞信息，而是使用隱式的特征向量進行連接。也就是說，系統在邏輯上仍保留如感知、預測、規劃的“模塊化”劃分，但這些模塊之間傳遞的是高維連續特征，允許梯度跨模塊反向傳播。這樣一來，訓練過程可以同時影響所有模塊，實現跨模塊聯合優化，從而可以實現全局最優解。UniAD等架構就是這一方案的典型代表，將檢測、跟蹤、預測、規劃等任務置于同一框架下聯合訓練，各任務共享特征表示，從而互相促進。

圖片源自：網絡

多模塊端到端的好處是信息保留更完整，網絡可以不依賴人類預設的格式，就學到對下游任務最有價值的中間表達。因為模塊依然存在，可以在部署時保留一定邊界，便于逐步替換或回退，降低了風險。這種架構更是讓訓練效率顯著提升，通過共享特征和聯合損失函數，模型能更充分地利用數據，即使是稀缺場景，也能通過聯合訓練獲得更好的泛化能力。

引入多模塊端到端設計后，系統復雜度也明顯上升，這不僅意味著訓練需要消耗更多的數據與算力，也使得整個流程對超參數和損失權重的設置更加敏感。隨之而來的還有模型可解釋性的降低，當不同任務（如檢測與規劃）的學習目標不一致時，調試難度會大幅增加。由于各模塊深度集成，若系統在某個場景失效，將很難快速定位到具體的原因，這極大地拖慢了認證進程。此外，盡管梯度能夠跨模塊流動以尋求全局最優，但也同時引入了訓練不穩定和梯度沖突的風險，這必須依靠專門的訓練策略和平衡機制來維持穩定。

One Model端到端，自動駕駛完美方案

One Model端到端，是一種更徹底的端到端思路，該架構的目標是從原始傳感器信號（如圖像像素、雷達點云）到最終控制指令或軌跡，全部由一個統一的深度學習模型完成。這里不再有傳統意義上的感知、預測、規劃等模塊劃分，模型內部通過自學形成完成任務所需的全部中間表達和處理路徑。這種架構能完整利用傳感器的每一分信息，避免人為接口造成的信息瓶頸，從而在復雜場景中實現更高的性能與更好的泛化能力。

圖片源自：網絡

One Model端到端需要極大的數據與算力支撐，以覆蓋足夠多的駕駛場景與邊界情況。模型容量、訓練樣本覆蓋面以及監督信號的設計（如行為克隆、逆強化學習、強化學習等混合策略）都會直接影響最終性能。由于這類模型更接近“大模型”范式，可借鑒自然語言處理或視覺大模型中的預訓練-微調策略，先利用海量無標簽或弱標簽數據預訓練，再用少量高質量決策數據進行微調。

該架構中，由于模型一體化，可解釋性與可驗證性問題也出現了，當系統內部沒有清晰的模塊邊界，如何構建安全論證、通過法規或行業認證就成了難題。自動駕駛模型想合規利用，需要解釋系統在特定情境下為何做出某個行為，而“一體化”的黑箱模型很難滿足這一要求。這一方案的魯棒性與可控性也是需要考慮的問題，若系統在稀有場景出錯時，如何快速定位、修復與回滾？傳統模塊化可以只替換一個模塊，而“大模型”可能需要重新訓練或大幅微調。在安全關鍵系統中，冗余設計（如雙通道獨立感知鏈路）是常態，但“一體化”模型如何設計冗余、如何在部分傳感器失效時降級，是必須解決的難問題。

雖然很多人將One Model端到端視為自動駕駛的“終極形態”，但短期內它更可能作為研究前沿或特定場景（如封閉園區、低速環境）的試驗方案，想真正將其落地，還需很長一段路要走。

最后的話

將上述四個階段放在一起看，可以將自動駕駛系統理解為一條從“可解釋、可控”逐步走向“信息完整、潛在性能更強”的技術演進路徑，感知模型化適合將“看清楚”做到極致；規控模型化讓“思考”與“行動”更智能；多模塊端到端在效率與完整性之間找到平衡；One Model端到端雖代表理論上的性能上限，卻伴隨驗證、解釋與部署上的巨大挑戰。無論選擇哪種架構，自動駕駛的最終目的還是服務于人，只有在確保安全的前提下將技術用到極致，才是真正有用的技術架構。