Waymo最新發布的WOD-E2E端到端數據集能做些啥？

[首發于智駕最前沿微信公眾號]隨著自動駕駛技術的發展，該技術已經可以在很多高速路況和部分城市路況展現很好的組合輔助駕駛能力。即便如此，自動駕駛技術依舊未能大范圍使用，之所以會這樣，因為決定自動駕駛是否安全的，不是那99%的正常情況，而是那1%的極少數會發送，但危險性極高的瞬間。

想想一下，如果在高速上駕駛車輛時，忽然有一頭野豬忽然從路側闖入或者前方車輛出現了物體掉落的情況，這些場景雖然發生的可能性很小，但一旦發生，自動駕駛系統就必須做出安全且合理的決策。

就在最近，Waymo把這類“長尾”片段挑出來，整理成WOD-E2E（Waymo Open Dataset for End-to-End Driving），目的就是給端到端駕駛研究提供一個專門的、高真實度的測試工具。

數據集鏈接：
https://github.com/waymo-research/waymo-open-dataset

WOD-E2E的核心價值在于稀缺性和針對性。它不是簡單將常規片段湊在一起再發布，而是從海量行駛數據里精挑細選出那些罕見但具有代表性的危險瞬間，從而方便研究者可以把注意力放在系統最脆弱的環節上。

與其依賴常規數據評估模型，不如用那些能真正暴露問題的關鍵片段來檢驗其安全性。在駕駛的臨界時刻，模型能否做出如合理剎車、及時避讓或穩定維持車道等安全決策，才是檢驗其安全底線的核心測試。將這類數據公開，我們就能在同一套更貼近現實的標準下，比較不同方法的優劣、對齊訓練目標，從而推動端到端系統從“能夠運行”向“能夠安全落地”邁進。

WOD-E2E包含什么？

WOD-E2E數據集由4021個20秒長的真實駕駛片段組成，總時長約十二小時，聚焦在需要即時決策的長尾場景的關鍵瞬間。每個片段配有八個環繞攝像頭的圖像（前、前左、前右、側左、側右、后、后左、后右），覆蓋360度視野，視頻采樣率是10Hz，同時包含自車的歷史軌跡、速度和加速度，以及高層路由指令（如直行、左轉、右轉）。

訓練/驗證集里還公開了未來五秒的真實軌跡，便于監督學習和評估。Waymo把這些片段按場景類型做了劃分，涵蓋施工區域、復雜路口、行人或騎行者的異常交互、多車道競爭、路面異物、特殊車輛交互等多類長尾情形，每類都對應不同的決策挑戰。

WOD-E2E中提出了與人類偏好對齊的Rater Feedback Score（RFS）。傳統的軌跡誤差指標往往只看模型預測與日志軌跡的距離，但在緊急避險情況下，偏離日志軌跡反而可能更安全。

RFS的思路是先讓模型生成多條候選軌跡，再由人工評估員為幾條代表軌跡在安全性、合法性、反應時機、剎車必要性、效率等維度打分，形成參考軌跡集合。模型的預測如果落在某條參考軌跡的“信任區域”內，就獲得對應分值；若偏離則按指數衰減扣分，并設有最低保底分。

這種評價允許存在多種合理動作，強調與人類判斷的一致性，比單純的距離誤差更能反映安全性和可接受性。

圖片源自：參考報告

其實現階段端到端研究有幾類主流范式，在長尾場景上處理各有優勢。把多傳感器信息投影到鳥瞰圖（BEV）后直接在BEV上完成感知與規劃的方法，在空間一致性和全局決策上表現較好，適合復雜路口和多車道規劃。

因為LLM自帶世界知識和推理能力，把多模態輸入映射到語言或語義空間，利用大語言模型（MLLM）進行推理的做法，更擅長處理語義復雜或前所未見的情形。

基于生成式或擴散模型的軌跡器則擅長表達多樣性，能給出多個可行解，利于后端做風險比較與選擇。

如果在WOD-E2E上做有針對性的微調、增加完整環繞輸入或在推理時進行多樣本采樣，就會明顯提升RFS得分；此外，把RFS作為強化學習的獎勵也能推動模型朝更符合人類偏好的方向優化。

WOD-E2E對自動駕駛的影響

WOD-E2E為自動駕駛研究提供了一個更貼近現實痛點的基準，可以對長尾問題生成更有針對性的算法。它會促使大家不單純追求與日志軌跡的貼合，而是在訓練目標、損失設計和不確定性表達上做出調整。

對設計團隊而言，這個數據集是補強產品安全性的工具。WOD-E2E可以作為一個“加固集”，可以先用大規模常規數據訓練模型的基礎能力，再用WOD-E2E做微調和壓力測試，評估時并行使用傳統誤差指標和RFS這類人類對齊指標，這樣不僅可以保證日常表現，也能提升關鍵時刻的安全決策。

當然，在把WOD-E2E融入訓練/驗證流水線時，一定不能把它當成唯一數據源；合理的數據增強和情境合成可以擴大小樣本的效用，但必須保持動力學和視覺上的真實性。

若希望提升語義推理能力，可以嘗試把視覺與狀態信息轉成結構化語義或指令，再交給MLLM做高層推理；若更看重實時性和空間一致性，BEV-based的端到端管線仍是穩妥選擇；若目標是給出多種可行解以便后端做風險比選，生成式/擴散模型更值得嘗試。把RFS納入訓練目標（例如作為RL獎勵或輔助監督）會比單純優化ADE更能提升在長尾場景下的表現。

圖片源自：參考報告

最后的話

WOD-E2E的意義不只是那幾小時的數據，而是把“長尾問題”和“人類偏好對齊”的評測思路帶進了端到端駕駛的主流議程。它能讓研究成果在更真實、更危險的場景下經受檢驗，也能幫助工程團隊把實驗室里的模型在部署前做更徹底的加固。把這類問題解決好，自動駕駛才有希望真正從能跑的原型，進化為能在復雜、不確定的真實道路上持續、安全運行的產品。