端到端在自動駕駛中起到什么作用？

[首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術的發(fā)展，端到端憑借其獨特優(yōu)勢，被越來越多企業(yè)所推崇。所謂端到端，就是把從傳感器（比如攝像頭、雷達）到車輛動作（轉(zhuǎn)向、油門、剎車）這條鏈條交給學習模型去“整體”學會，而不是把問題拆成一大堆由人寫規(guī)則的子模塊。端到端分為狹義端到端與廣義端到端，狹義端到端指通過單一神經(jīng)網(wǎng)絡將原始信號直接映射為控制指令；廣義端到端則更強調(diào)信息在流程中盡可能保持原始形態(tài)、減少人為壓縮，并通過數(shù)據(jù)驅(qū)動實現(xiàn)整體目標，即使中間仍存在部分工程接口。

狹義端到端自動駕駛架構（單一神經(jīng)網(wǎng)絡模型實現(xiàn)感知、決策規(guī)劃、控制）

廣義端到端自動駕駛架構（神經(jīng)網(wǎng)絡模型實現(xiàn)感知與決策規(guī)劃，不包括控制模塊）

廣義端到端自動駕駛架構（感知和決策規(guī)劃使用神經(jīng)網(wǎng)絡，模塊之間仍有人工設計的數(shù)據(jù)接口）

用更直白的話來理解，傳統(tǒng)自動駕駛像把一輛車拆成感知、定位、預測、規(guī)劃、控制幾個模塊，每個模塊單獨優(yōu)化再接在一起；端到端的想法是，讓一張大網(wǎng)學會從輸入到輸出的整體映射，用數(shù)據(jù)告訴它“這樣做就是好”的標準，而不是每一步都由工程師給出規(guī)則，然后根據(jù)規(guī)則去完成操作。

感知那塊到底發(fā)生了什么變化？

在早期的自動駕駛系統(tǒng)中，感知任務主要集中于二維或三維檢測，其目標是識別圖像中的物體（如車輛、行人、車道線），并將這些帶有標簽的邊界框提供給下游模塊。然而，這種以“框”為核心的數(shù)據(jù)形式，與后續(xù)的路徑規(guī)劃模塊之間存在語義隔閡。

近年來，一種主流趨勢是將多攝像頭、多傳感器的數(shù)據(jù)統(tǒng)一投影到一個共同的“鳥瞰圖”（BEV）空間中。BEV通過將不同視角的信息融合進一個統(tǒng)一的、具備空間一致性的坐標系，極大地便利了路徑規(guī)劃與動態(tài)信息的融合。因此，BEV的普及實質(zhì)上重塑了感知與規(guī)劃之間的接口，使其更易于被端到端的學習模型所理解與利用。

但BEV仍是二維的，缺乏高度信息。于是有方案提出把表示能力往三維擴展，引入“占用網(wǎng)絡”（Occupancy，簡稱OCC）這樣的稠密時空場表示。占用網(wǎng)絡不是簡單地提供“這里有個車”這樣的數(shù)據(jù)，而是把“某個空間點在未來若干幀里被什么占著、有多大概率被占著”等數(shù)據(jù)給厘清出，它把時間維、空間維和不確定性都納進來，對動態(tài)交互的建模更友好。

現(xiàn)階段，“世界模型”的概念越來越火熱，其核心思想是構建一個能夠重建并推演世界動態(tài)的模型，讓系統(tǒng)不僅能“看到現(xiàn)在”，還能“想象未來會發(fā)生什么”。世界模型既能用于生成訓練數(shù)據(jù)（彌補真實長尾樣本短缺），也能在決策時作為內(nèi)部仿真器來評估不同動作的后果。世界模型不僅是感知/認知能力升級的工具，也是端到端訓練和驗證的重要補充，但也要注意，如果世界模型生成的數(shù)據(jù)與真實世界分布差別太大，也會誤導訓練。

端到端自動駕駛架構演進示意圖

決策層怎么學？

完成環(huán)境感知后，如何將決策規(guī)劃交由學習模型，主要有幾種路徑，其一是模仿學習，通過擬合人類駕駛數(shù)據(jù)來快速獲得基礎能力，但泛化性不足，在偏離示范數(shù)據(jù)時表現(xiàn)不佳；其二是強化學習，通過試錯學得魯棒策略，但依賴仿真環(huán)境以規(guī)避現(xiàn)實風險；結合二者優(yōu)勢的路徑也頗為常見，先用模仿學習初始化模型，再通過強化學習在仿真中優(yōu)化長期收益。報告將這些方法均視為實現(xiàn)端到端決策的候選方案。

世界模型在決策層扮演著關鍵角色，它能夠基于當前狀態(tài)，在模型內(nèi)部生成多種合理的未來場景，從而輔助決策模塊進行“前瞻性思考”。這意味著系統(tǒng)無需在現(xiàn)實世界中反復試錯，而是可以在其內(nèi)部模擬環(huán)境中評估不同動作的潛在后果，進而選擇更安全、更有效的策略。這一機制對于處理長尾和極端場景具有重要價值，但若生成場景與真實世界分布存在顯著偏差，也可能引入決策風險，因此必須審慎使用生成數(shù)據(jù)。

此外，還有一種折中路徑，便是“模塊化端到端”。該方案在感知端使用神經(jīng)網(wǎng)絡輸出豐富的中間表征（如BEV特征或時空占用場），而在決策與控制層則保留或并行運行一個相對輕量且可解釋的模型。模塊之間通過特征向量進行交互，而非依賴人類可讀的標簽。這種方式在工程實踐中更易于驗證與調(diào)試，因此被不少國內(nèi)廠商視為當前階段向全端到端系統(tǒng)過渡的可行方案。

工程上必須面對的硬問題有哪些？

想將端到端自動駕駛從技術推導走向大規(guī)模量產(chǎn)，必須跨越數(shù)據(jù)、算力、驗證、可解釋性與持續(xù)學習等一系列現(xiàn)實瓶頸。這些挑戰(zhàn)共同構成了當前技術落地的主要門檻，也決定了產(chǎn)業(yè)競爭的焦點與節(jié)奏。

端到端模型對數(shù)據(jù)的規(guī)模、質(zhì)量及長尾場景覆蓋度均有極高要求。與語言模型可依賴海量公開文本不同，自動駕駛需依賴大量真實行車視頻、車輛狀態(tài)及對應的人類駕駛行為數(shù)據(jù)，且必須覆蓋夜間、雨雪、施工區(qū)、臨時障礙物等稀有場景。特斯拉目前在數(shù)據(jù)規(guī)模上就具備領先優(yōu)勢，其通過影子模式、自動標注與回放訓練構建了高效的數(shù)據(jù)閉環(huán)系統(tǒng)。

端到端訓練還遵循“規(guī)模法則”，更大的模型、更多的數(shù)據(jù)與更長的訓練時間通常帶來性能提升，這推動了對大規(guī)模云端GPU集群的投入。車端與云端算力作為自動駕駛行業(yè)關鍵競爭要素，車端需滿足低延遲與高可靠性，而云端則承擔大規(guī)模訓練任務，目前多數(shù)團隊需依賴千卡級別的訓練資源。

驗證是端到端需要面對的另一大難題。端到端系統(tǒng)難以僅通過傳統(tǒng)離線指標評估真實表現(xiàn)。開環(huán)（離線）評估通過對比模型輸出與人類軌跡，雖簡便但缺乏交互性檢驗；閉環(huán)（在線）仿真可測試系統(tǒng)的交互與恢復能力，但構建高保真、覆蓋長尾場景的仿真環(huán)境本身即為挑戰(zhàn)。可通過構建融合離線評估、閉環(huán)仿真與真實世界影子測試／漸進推送的驗證體系，世界模型雖可部分填補長尾數(shù)據(jù)空白，但其生成偏差帶來的驗證風險不容忽視。

在線/閉環(huán)測試與離線/開環(huán)測試的主要特點與優(yōu)缺點

可解釋性與災難性遺忘是端到端不可不避免的兩個問題。端到端模型天然具有“黑盒”屬性，工程落地與監(jiān)管合規(guī)均要求理解“模型為何做出特定決策”，尤其在事故或異常情況下需具備追溯能力。對于這個問題可以應對的策略包括并聯(lián)視覺語言模型（將中間表征轉(zhuǎn)化為可讀描述）、模塊化檢查點設計，以及在訓練中引入規(guī)則約束等。在災難性遺忘方面，當模型使用新數(shù)據(jù)微調(diào)以改進特定復雜場景時，可能削弱原有能力，實踐中已出現(xiàn)版本回退案例。對此的緩解手段包括舊樣本回放、權重固化等技術。

技術方向上的差異

在技術路徑選擇上，行業(yè)呈現(xiàn)出不同的演進策略。特斯拉堅持純視覺方案，基于BEV+Transformer+占用網(wǎng)絡構建單一端到端模型，依托海量影子模式數(shù)據(jù)和回放訓練機制實現(xiàn)快速迭代。而國內(nèi)主流廠商如華為、小鵬、理想等則普遍采用“模塊化端到端”或“雙系統(tǒng)”架構，在追求性能上限的同時，保留系統(tǒng)的可解釋性與應急處理能力。

需要明確的是，技術落地不僅需要前沿的理念，更依賴扎實的工程化基礎。其中，數(shù)據(jù)閉環(huán)的效率、算力部署的規(guī)模與驗證體系的完備性，共同構成了端到端系統(tǒng)能否穩(wěn)定落地并持續(xù)演進的關鍵支撐。正因如此，“數(shù)據(jù)+算力”才是端到端競爭的核心要素，這也是為何具備資源優(yōu)勢的頭部企業(yè)，在端到端落地的進程中能夠保持明顯的先發(fā)優(yōu)勢。

最后的話

端到端自動駕駛的實現(xiàn)依賴于完整的技術鏈條，感知層面從傳統(tǒng)檢測向BEV和時空占用網(wǎng)絡演進，為決策提供更豐富的環(huán)境表征；決策層面結合模仿學習、強化學習和世界模型推演，使系統(tǒng)具備預測與規(guī)劃能力；工程落地則依靠數(shù)據(jù)閉環(huán)、算力集群和多重驗證體系作為支撐，同時必須解決模型可解釋性與災難性遺忘等現(xiàn)實挑戰(zhàn)。當前技術發(fā)展仍受數(shù)據(jù)質(zhì)量與算力規(guī)模的關鍵制約，這也決定了端到端系統(tǒng)從概念驗證到量產(chǎn)落地的實際進程。