Waymo世界模型，模擬自動駕駛無盡前沿｜筆記

最近在舊金山的Mission區，步行在街上時，看到Waymo已經成為城市交通的一部分。車輛和行人與自動駕駛的汽車相安無事。

路過一條叫Langton的小巷時，有一輛正駛出來的Waymo停下來，讓我先過，我又回頭觀察它是如何匯入主路的。

主路上車很多，道路最右邊的車道在施工。我看了一會兒，觀察到這輛Waymo如何處理這有點復雜的情況：

1. Waymo能禮讓行人，在等著匯入主路程的時候，有人騎單車，人人遛狗，都從其前后走過；

2. 能觀察到路上的施工標志，它本可以向右拐進最內價的道路程，但是幾米之外有一處施工標志，它只能選擇駛入第二條道，但紅燈讓道路堵塞；

3. 它打著右轉燈，耐心等了一會兒，出現空檔時想匯入，但直行的司機不讓，它只能前探一下又停下來；

4. 終于出現了一個較大的空檔，它果斷地右轉，而直行的司機也讓了它。

看來Waymo已經基本適應城市正常的交通環境。目前Waymo在美國的各城市里，提供超過40萬次服務。預計2026年，Waymo、特斯拉、Uber等將進一步把Robotaxi（自動駕駛出租車）推向主流城市交通。

Waymo自動駕駛的核心，是一個AI世界模型系統，它包括了一個認知/決策模型，即基于Gemini的Driver，和一個測試Driver狀態和后果的世界模型，即DeepMind剛剛發布的Genie 3。

Waymo剛剛把Genie-3集成到它的自動計算單元中，宣布為Waymo世界模型（Waymo World Model）。

DeepMind是這樣定義它的通用世界模型Genie的：可以理解并模擬世界，讓智能體可以預測環境將如何改變，及其行為將會如何影響它。Genie能生成逼真和交互式的3D環境。

Genie 3 針對駕駛領域的嚴苛要求進行了優化。通過利用 Genie 龐大的世界知識庫，它可以模擬極其罕見的事件——從龍卷風到與大象的偶遇——這些事件在現實中幾乎不可能大規模捕捉。該模型的架構具有高度可控性，工程師能夠通過簡單的語言提示、駕駛輸入和場景布局來修改模擬結果。值得一提的是，Waymo 世界模型能夠生成高保真度的多傳感器輸出，其中包括攝像頭和激光雷達數據。

Driver是一個在真實世界里擁有3億多公里駕駛經驗的司機，但是，Waymo認為，這些道路數據還不夠，因為經驗是有限的。駕駛所面對的物理世界的復雜性，包括了大量的意外，人類經驗從未或者很少包括的情景。例如遭遇龍卷風或者大象。

“自動駕駛行業的大多數仿真模型都是基于收集到的道路數據從零開始訓練的。這種方法意味著系統只能從有限的經驗中學習。而 Genie 3 擁有強大的世界知識，這得益于其對海量且多樣化的視頻進行預訓練，使我們能夠探索車隊從未直接觀察到的場景?！?/p>

這一世界模型的后訓練，可以將二維視頻中獲取的海量世界信息轉化為 Waymo 硬件套件獨有的三維激光雷達輸出。雖然攝像頭擅長捕捉視覺細節，但激光雷達傳感器提供了寶貴的補充信號，如精確深度。Waymo 世界模型幾乎可以生成任何場景——從日常駕駛到罕見的長尾場景——并支持多種傳感器模式。

這樣，通過Waymo就構建了一個由實際駕駛和模擬駕駛構成的閉環系統，也可以說它是一個數據飛輪?！八緳C”在實際駕駛中遇到的問題，可以進入到模擬環境中進行強化學習，并經過驗證之后，再進入實際駕駛中。

相比之下，特斯拉的自動駕駛系統（FSD），全部來自數百萬輛特斯拉汽車在實際駕駛中收集到的數據，盡管它的總行駛里程也達到了幾十億公里，但是，Waymo認為其基礎模型是一個功能全面、技術先進的世界模型，“其創新架構相比純粹的端到端或模塊化方法具有顯著優勢。 ”

自動駕駛的探索，對于AGI有著重要的意義。且不說目前主要的AGI程度的衡量，都借鑒了自動駕駛L1-L5的分級方法，實際上，自動駕駛可能是世界模型最先成熟的領域，而這一路線對于AGI的架構也具有很強的預示性。