小鵬北大VLA論文入選頂會！用“小模型”跑贏大模型，推理提速4倍

車東西（公眾號：chedongxi）
作者 ｜ Janson
編輯 ｜ 志豪

端到端自動駕駛大模型可以“脫離云端、直接上車”了？！

車東西12月29日消息，日前，北京大學與小鵬汽車團隊的最新研究成果FastDriveVLA被人工智能頂會AAAI 2026收錄。

▲小鵬官宣此次獲獎信息

這次雙方研究的內容并非實驗室里的紙上談兵，而是通過一個參數量僅為0.07B（7000萬）、計算開銷幾乎可以忽略不計的即插即用模塊ReconPruner，硬生生將VLA大模型的整體計算量（FLOPs）削減了7.5倍。

要知道，車端算力“寸土寸金”，它打通了高性能AI算法與量產硬件之間的“天塹”。

這意味著原本需要昂貴算力集群支撐的端到端大模型，現在已經具備了在英偉達等主流車載芯片上實現低延遲、高響應運行的能力。

AAAI2026作為人工智能領域的CCF-A類頂級會議，北京大學與小鵬汽車的研究論文被這樣的頂會收錄，也說明了其研究內容的價值。

一、車機算力有限 讓AI學會“只看重點”

在智駕系統進入“端到端”時代的當下，VLA模型展現出的擬人化推理能力也讓自動駕駛進入到一個新高度，但隨之而來的“算力黑洞”也讓工程師們倍感頭疼。

舉個例子，為了讓AI看清復雜的十字路口，系統必須將高清圖像切碎成數以千計的Token喂給大模型。

這樣就造成了一個問題——視覺Token的通脹，在毫秒必爭的駕駛決策中，龐大的計算量直接導致了車機“跑不動、反應慢”，甚至可能出現因推理延遲導致的系統卡頓。

此前，業界并非沒有嘗試過對這些Token進行“剪枝”去重，但效果不穩定，像盲人摸象。

▲三種剪枝策略對比

傳統的注意力剪枝法（Attention-based）過度依賴文本指令，但在自動駕駛場景下，簡單的駕駛指令往往無法提供足夠的辨識權重，導致系統為了追求極致速度，可能會在不經意間刪掉遠處微小的紅綠燈或障礙物。

而另一類基于相似度的剪枝法（Similarity-based）則過于追求視覺上的多樣性，它們可能會為了保留獨特性而記錄路邊的野花和天空的流云，卻忽略了對決策至關重要的、平淡無奇的路面信息。

對此，北京大學和小鵬汽車團隊合作的FastDriveVLA引入了極其樸素的“人類駕駛直覺”。

就像老司機在開車時，視網膜會自動過濾掉高聳的建筑和空曠的天空，瞳孔始終鎖定的只有路面、行人和周邊的車輛。

這種對“前景信息”的專注，正是FastDriveVLA的方案邏輯核心，AI不再對整張圖像進行全量計算，而是精準捕捉并保留關鍵的前景Token。

這種思維轉變，讓AI對算力的要求減少7.5倍，也避免了算力的浪費。

二、ReconPruner 一個0.07B的“超級過濾器”

能實現上邊的這種效率的提升，離不開ReconPruner這個參數量僅為0.07B的微型模塊。如果說VLA模型是整車智駕的“大腦”，那么ReconPruner就是一個敏銳且輕量化的視覺中樞。

在AI領域，優化龐大的模型通常意味著動輒數萬美元的重新訓練成本，但ReconPruner這7000萬參數的量級對于動輒3B起步的VLA主模型來說幾乎可以忽略不計。

▲FastDriveVLA總體架構

它能夠以即插即用的方式無縫集成到Qwen2.5-VL等大模型上，這種設計不僅極大地降低了量產部署的門檻，也讓現有的智駕模型可以低成本升級，而無需修改主模型。

但真正讓ReconPruner產生質變的，是一套被稱為“對抗重建（AFBR）”的設計邏輯。

這套策略本質上是系統要求ReconPruner利用選中的Token嘗試還原畫面，如果它選出的Token確實包含了車輛、車道線等核心前景，重建出的畫面質量就會更高。

反之，如果它關注了背景，重建結果就會不理想。

為了防止AI在這一過程偷懶，研究團隊還引入了對抗博弈機制，強制要求模塊必須在前景和背景之間做出明確的價值判斷。

在這種嚴苛的訓練下，ReconPruner被打磨成了一個能精準鎖定關鍵駕駛目標的過濾器。

而支撐起這套“視覺本能”的基礎，則是北大與小鵬團隊潛心構建的nuScenes-FG數據集。

▲nuScenes-FG數據集

這套包含24.1萬對高質量標注圖像的數據集，對復雜的交通環境進行了像素級的拆解，將車輛、行人和道路邊界等關鍵前景從雜亂的背景噪聲中剝離出來。

正是這些海量的、帶有標準答案的教材，喂出了AI的駕駛直覺，讓FastDriveVLA能夠在大模型處理海量視覺流的瞬間，精準切中影響安全的核心關鍵。

三、計算量縮減7.5倍 AI反而變聰明了？

在科技產品的迭代邏輯中，人們往往習慣了性能越高，功耗越高的直覺，但FastDriveVLA在測試場拿出的硬核數據，卻展示了一種“反直覺”的進化。

從算力開銷來看，FastDriveVLA對冗余信息的修剪堪稱“暴力”。在nuScenes基準測試中，VLA模型的整體算力開銷（FLOPs）從原始的38.2T驟降至5.1T，整整實現了7.5倍的縮減。

▲不同模型效率分析

這種算力壓力的釋放直接反饋在了推理速度上，這套模型在預填充階段（Prefill）實現了3.7倍的提速，而解碼階段（Decode）也提升了1.3倍。

對于智駕系統而言，這省下的每一毫秒，都是為突發情況爭取時間。

除此之外，性能的反常識增長也是這個模型的關鍵能力。

▲不同模型的性能對比

實驗數據顯示，在將視覺Token剪枝25%的情況下，FastDriveVLA在L2軌跡預測誤差和路面邊界交集率等核心指標上，超過了未經過任何剪枝的完整模型。

這就引發了一個值得思考的問題，為什么小模型反而比“大模型”更聰明？

從這個模型設計原理中不難看出，當下，冗余信息往往是AI決策的干擾項，當AI分配算力去處理天上的云朵（參數丨圖片）、路邊的寫字樓或無關緊要的植被時，這些背景噪聲都在稀釋大模型的邏輯推理能力。

▲不同算法的“眼力”對比

FastDriveVLA就像是一個專業降噪器，通過過濾掉這些噪聲，讓大模型得以專注核心任務。

這也讓AI的規劃邏輯從過去的“博而不精”，進化成了如今可以對相關場景實現“精準打擊”。

結語：VLA效率再提升

小鵬與北大的這項研究讓已經上車的VLA模型，跑得更輕盈、更聰明。

FastDriveVLA的出現，本質上是對算力不足恐懼癥的化解，在智能駕駛的下半場，競爭不再僅僅取決于誰的模型參數更大，而在于誰能更高效地利用每一分車載算力。

可以說，這種通過復刻人類駕駛的方法，讓ReconPruner 這種極輕量化模塊不僅解決了感知層面的噪聲干擾，更打通了頂層算法與底層硬件之間的效能壁壘。