小鵬加速?zèng)_向L4終局：對(duì)VLA架構(gòu)「動(dòng)刀」成關(guān)鍵一環(huán)

編輯｜澤南、杜偉

兩個(gè)月前的 CES 上，黃仁勛開源了英偉達(dá)的首個(gè) VLA（視覺 - 語(yǔ)言 - 動(dòng)作）模型，并高調(diào)宣稱物理 AI 的「ChatGPT 時(shí)刻」馬上就要到來。

如今，物理世界的 AI 正在成為一個(gè)重要趨勢(shì)：從機(jī)器人到輔助駕駛，越來越多的公司正在嘗試用 VLA 模型來重構(gòu)機(jī)器與物理世界交互的方式。

在輔助駕駛領(lǐng)域，端到端的 VLA 方法已經(jīng)經(jīng)歷了大量驗(yàn)證，實(shí)現(xiàn)了前所未有的效果。然而，這種架構(gòu)面臨一個(gè)天然挑戰(zhàn)：作為中間層的語(yǔ)言難以完整準(zhǔn)確表達(dá)現(xiàn)實(shí)物理世界的全部細(xì)節(jié)。李飛飛曾在一次訪談中表示，「語(yǔ)言本身只是對(duì)物理世界的一種有損表達(dá)。」

在需要實(shí)時(shí)理解環(huán)境并生成駕駛決策的自動(dòng)駕駛環(huán)境中，通過語(yǔ)言這一中間層來描述物理世界既有可能引入信息損失，還會(huì)增加額外推理路徑。隨著駕駛場(chǎng)景復(fù)雜度的增加，這種架構(gòu)缺陷制約了系統(tǒng)準(zhǔn)確率與效率的繼續(xù)提升。

針對(duì)這一痛點(diǎn)，小鵬汽車給出的創(chuàng)新性解法是：直接去掉「語(yǔ)言轉(zhuǎn)譯」環(huán)節(jié)，在業(yè)界首次實(shí)現(xiàn)從視覺信號(hào)到動(dòng)作指令的端到端直接生成。這正是其在去年 11 月亮相的第二代 VLA（XPENG VLA 2.0），并在此后數(shù)月完成了 468 個(gè)版本更新。

新技術(shù)很快產(chǎn)生了質(zhì)變：在 3 月 2 日舉辦的「小鵬第二代 VLA 媒體體驗(yàn)日」上，何小鵬宣布，第二代 VLA 將于本月開啟推送。

人們普遍預(yù)測(cè)，2026 年將成為「物理 AI 元年」。小鵬第二代 VLA 的落地，率先給出了通向完全自動(dòng)駕駛的「中國(guó)答案」。

跨代級(jí)的駕駛體驗(yàn)

在實(shí)際體驗(yàn)上，第二代 VLA 的提升主要體現(xiàn)在三大維度：安心絲滑、全場(chǎng)景能力和高效率

由于端到端模型的泛化能力，小鵬第二代 VLA 已實(shí)現(xiàn)實(shí)現(xiàn)準(zhǔn)確識(shí)別各種異形車輛的能力。

即使是對(duì)面來車的交通事故，VLA 也能正確識(shí)別障礙物和阻礙路線的車輛，并進(jìn)行實(shí)時(shí)的路徑規(guī)劃。

在安全和流暢度提升的同時(shí)，小鵬的第二代 VLA 成為了真正的「全場(chǎng)景輔助駕駛」，支持從停車位、P 擋的原地激活，覆蓋園區(qū)小路、鄉(xiāng)村土路及無(wú)導(dǎo)航道路，能夠應(yīng)對(duì)小路通行、鄉(xiāng)村小路避坑等復(fù)雜場(chǎng)景。

在擁擠且復(fù)雜的停車場(chǎng)，第二代 VLA 輔助駕駛可以自動(dòng)漫游一直穿行到出門，給你充分的時(shí)間設(shè)置好導(dǎo)航，可以開始正式的行程。

這意味著從你上車按下啟動(dòng)鍵開始，AI 系統(tǒng)就能接管駕駛，真正實(shí)現(xiàn)了從家里車位到公司車位的點(diǎn)到點(diǎn)無(wú)縫銜接。何小鵬表示，全場(chǎng)景的輔助駕駛能力將保證在今年年內(nèi)推出，在所有場(chǎng)景下的輔助駕駛能力都會(huì)像主干道一樣達(dá)到「99 分水平」。

第二代 VLA 的通行效率也有大幅提升，在保障安全的前提下，小鵬實(shí)測(cè)其綜合行車效率提升了 23%。在城市晚高峰的復(fù)雜路況下，其通行效率超過了傳統(tǒng)的 L2 智駕和 Robotaxi。

基于這樣的能力，第二代 VLA 的使用門檻大幅降低。何小鵬表示，好的技術(shù)一定要讓每一個(gè)人都能用起來，國(guó)民的智駕就應(yīng)該像坐電梯一樣簡(jiǎn)單，做到簡(jiǎn)單、安全且好用。

不過，體驗(yàn)上是極度的簡(jiǎn)單好用，并不意味著技術(shù)上是在原有智駕框架上的簡(jiǎn)單修補(bǔ)。小鵬第二代 VLA 背后，是底層技術(shù)架構(gòu)的一次完全「推倒重來」。

重構(gòu)技術(shù)底座：原生多模態(tài)物理大模型

面向 L4 的終極目標(biāo)，小鵬汽車自前年開始立項(xiàng)，對(duì)端到端的智能駕駛進(jìn)行了完全的底層重構(gòu)。

為了將自動(dòng)駕駛推向物理 AI 的本質(zhì)，小鵬構(gòu)建了全流程能力，其中第二代 VLA 是真正做好高階自動(dòng)駕駛的關(guān)鍵技術(shù)底座

第二代 VLA 代表了 AI 驅(qū)動(dòng)駕駛技術(shù)的一次重要架構(gòu)升級(jí)，其不再像傳統(tǒng) VLA 模型那樣先通過視覺感知獲取環(huán)境信息，再將這些信息轉(zhuǎn)化為基于語(yǔ)言的推理過程，最終生成車輛的行動(dòng)指令。

通過引入一種端到端的「視覺 - 動(dòng)作」（Vision-to-Action）架構(gòu)，第二代 VLA 使系統(tǒng)能夠?qū)h(huán)境感知直接轉(zhuǎn)化為駕駛決策，提升了整體效率，并顯著加快了系統(tǒng)響應(yīng)速度。

用一句話總結(jié)第二代 VLA：其以統(tǒng)一模型貫通環(huán)境感知、場(chǎng)景推理與行動(dòng)決策，實(shí)現(xiàn)「感知 — 推理 — 行動(dòng)」一體化

在感知層面，通過原生多模態(tài) Tokenizer，打破不同模態(tài)之間的壁壘，實(shí)現(xiàn)了視覺、語(yǔ)音、文本等的統(tǒng)一編碼與融合，對(duì)物理世界形成了統(tǒng)一的理解。

在推理層面，引入超密集的視覺思維鏈（Visual CoT），能夠?qū)?fù)雜場(chǎng)景進(jìn)行更高效視覺推理，相較于傳統(tǒng) CoT 推理效率提升約 32 倍。同時(shí)相較傳統(tǒng) CoT 預(yù)測(cè)誤差降低 33%，提升系統(tǒng)對(duì)復(fù)雜駕駛環(huán)境的理解與決策判斷。

在行動(dòng)層面，直接生成多模態(tài)輸出，包括語(yǔ)音、視覺反饋以及具體動(dòng)作和行為。

小鵬通用智能中心負(fù)責(zé)人劉先明

不僅如此，小鵬汽車還聯(lián)合北京大學(xué)提出了一種全新的視覺 token 剪枝框架FastDriveVLA，它能讓 AI 像人類司機(jī)一樣，在復(fù)雜路況下自動(dòng)忽略路邊的廣告牌和無(wú)關(guān)風(fēng)景，只盯著核心路況。

通過讓 AI 只專注有用的核心信息而忽略無(wú)用信息，該框架高效解決了自動(dòng)駕駛模型 VLA 在處理高幀率圖像時(shí)帶來的超高計(jì)算量問題。相關(guān)論文已被 AI 頂會(huì) AAAI 2026 接收。

論文地址：https://arxiv.org/pdf/2507.23318

當(dāng)然，構(gòu)建出強(qiáng)大的 AI 底座僅僅是第一步。在高度復(fù)雜的物理世界中，面向 L4 級(jí)的輔助駕駛，還必須依托于另外幾個(gè)核心要素。

能力公式重構(gòu)：模型 × 算力 × 數(shù)據(jù) × 本體

小鵬提出：第二代 VLA 的突破并非單點(diǎn)能力升級(jí)，而是遵循 L4 能力等于「模型 × 算力 × 數(shù)據(jù) × 本體」的 Scaling Laws（規(guī)模法則）

正如前沿 AI 技術(shù)應(yīng)用不斷驗(yàn)證的那樣，單純堆疊通用芯片算力或一味追求龐大的模型參數(shù)，往往會(huì)在實(shí)際部署時(shí)遭遇瓶頸。真正的能力護(hù)城河，必須是算法、底層硬件架構(gòu)與海量數(shù)據(jù)的深度耦合。

在自動(dòng)駕駛這個(gè)頂級(jí) AI 工程問題上，要想實(shí)現(xiàn)真正的 L4 級(jí)自動(dòng)駕駛，僅靠單一的算法模型突破是遠(yuǎn)遠(yuǎn)不夠的。系統(tǒng)必須依托車輛這個(gè)「物理本體」，在模型、算力和數(shù)據(jù)三個(gè)維度實(shí)現(xiàn)高度協(xié)同。

這是一條難而正確的路。

在這其中，既包含了理解真實(shí)世界的基礎(chǔ)：原生多模態(tài)大模型。正如上文所述，小鵬的基座模型實(shí)現(xiàn)「看、聽、讀」的感官合一，將感知理解、場(chǎng)景推理、行動(dòng)執(zhí)行統(tǒng)一到同一模型框架中。

同時(shí)也包含了高度優(yōu)化的軟硬件協(xié)同，利用有效算力打開智能的上限

小鵬在底層算力架構(gòu)上進(jìn)行了深度定制。依靠自研的圖靈芯片，小鵬實(shí)現(xiàn)了「芯片 - 編譯器 - 模型」的聯(lián)合優(yōu)化研發(fā)。通過專門開發(fā)的自動(dòng)化編譯器和基于芯片定制化的圖靈結(jié)構(gòu)模型，小鵬最大化了算力的利用率，使得模型在車端的運(yùn)行速度飆升了 12 倍。

這種深度的軟硬件一體化設(shè)計(jì)，正是第二代 VLA 能夠?qū)崟r(shí)處理海量視覺信息的底氣。

在訓(xùn)練 AI 的過程中，還必須構(gòu)筑起數(shù)據(jù)飛輪，讓視覺數(shù)據(jù)的高信息密度價(jià)值得以充分釋放。

一個(gè)值得關(guān)注的對(duì)比是：當(dāng)前國(guó)內(nèi)所有數(shù)字 AI（主要是各類大語(yǔ)言模型）的日調(diào)用量大約為 0.737 萬(wàn)億 Token，而小鵬僅僅 20 萬(wàn)輛搭載第二代 VLA Ultra 的車輛，每天在車端模型上消耗的物理 AI Token 量就高達(dá) 58.8 萬(wàn)億 —— 小鵬車端模型每天消耗的 Token，是全國(guó)數(shù)字 AI 日調(diào)用量的近 80 倍。

目前，小鵬已經(jīng)積累了超過 50PB 的訓(xùn)練數(shù)據(jù)，小鵬車端的高清傳感器每秒要處理高達(dá) 53 億字節(jié)的視覺數(shù)據(jù)。

最后，這一切都需要依托強(qiáng)大的 AI Infra，再通過世界模型的仿真訓(xùn)練實(shí)現(xiàn)閉環(huán)。

依托領(lǐng)先的 AI 基礎(chǔ)設(shè)施，自去年科技日以來，小鵬在半年內(nèi)完成了 468 個(gè)模型的版本迭代。

此外為了應(yīng)對(duì)現(xiàn)實(shí)世界中難以窮盡的 Corner Case，小鵬引入了世界模型進(jìn)行閉環(huán)仿真。如今，其仿真場(chǎng)景庫(kù)已從一年前的 3 萬(wàn)個(gè)激增至 50 多萬(wàn)個(gè)，每天在虛擬世界中進(jìn)行基于強(qiáng)化學(xué)習(xí)的「自我對(duì)弈」，日均仿真測(cè)試?yán)锍痰刃в?3000 萬(wàn)公里的實(shí)車測(cè)試。

可以說，小鵬第二代 VLA 是一個(gè)基于端到端 AI 算法、定制芯片高度整合，由海量數(shù)據(jù)和世界模型知識(shí)共同構(gòu)建的超級(jí)物理 AI 生命體。

結(jié)語(yǔ)

隨著新一代 VLA 智能駕駛的出現(xiàn)，物理 AI 的實(shí)力正在逐漸展現(xiàn)。

何小鵬表示，基于端到端模型的輔助駕駛能力將會(huì)成為汽車行業(yè)未來三年的重要突破，它是面向完全自動(dòng)駕駛的第一個(gè)版本。在小鵬內(nèi)部，該技術(shù)正在以前所未有的速度迭代。

對(duì)于一家車企而言，第二代 VLA 是小鵬在自動(dòng)駕駛技術(shù)路徑上的一次重要探索：不同于傳統(tǒng)駕駛系統(tǒng)各個(gè)模塊（如感知、規(guī)劃、控制）逐一優(yōu)化的工程化思路，其圍繞自研基座模型打造統(tǒng)一的物理世界智能系統(tǒng)，從而具備理解真實(shí)世界并持續(xù)學(xué)習(xí)、演進(jìn)的能力。

隨著自動(dòng)駕駛技術(shù)加速邁向 AI 驅(qū)動(dòng)的智能時(shí)代，這種技術(shù)體系勢(shì)必成為其在下一階段競(jìng)爭(zhēng)中爭(zhēng)奪主動(dòng)權(quán)的關(guān)鍵變量。