馬赫100芯片支撐、首搭全新L9

來(lái)源：市場(chǎng)資訊

（來(lái)源：Xauto報(bào)告）

架構(gòu)升級(jí)成為今年自動(dòng)駕駛賽道的一個(gè)關(guān)鍵詞。

今年以來(lái)，蔚來(lái)推送世界模型2.0、小鵬推送第二代VLA、Momenta推出Momenta R7強(qiáng)化學(xué)習(xí)世界模型，在前幾天舉辦的NVIDIA GTC 2026大會(huì)上，理想發(fā)布了下一代自動(dòng)駕駛基座模型MindVLA-o1。

理想汽車基座模型負(fù)責(zé)人詹錕在演講中詳細(xì)地介紹了新一代架構(gòu)，隨后，理想汽車創(chuàng)始人李想又與詹錕進(jìn)行了一場(chǎng)生動(dòng)的對(duì)話。

讓我們得以對(duì)理想下一代自動(dòng)駕駛架構(gòu)的搭建和思考有了更多了解。

01

自動(dòng)駕駛架構(gòu)再升級(jí)，引入3D ViT

詹錕介紹，自動(dòng)駕駛架構(gòu)進(jìn)入端到端之后，才算是真正的AI系統(tǒng)。但早期的端到端屬于低階智能，類似于昆蟲(chóng)具備的智能，本質(zhì)是通過(guò)學(xué)習(xí)模仿來(lái)做事情。

因此，想讓自動(dòng)駕駛系統(tǒng)有好的表現(xiàn)，就需要喂給它大量數(shù)據(jù)進(jìn)行模仿學(xué)習(xí)，然而現(xiàn)實(shí)世界之復(fù)雜，長(zhǎng)尾場(chǎng)景難以窮盡，靠吃數(shù)量來(lái)學(xué)習(xí)，顯然無(wú)法完全覆蓋。

這就是為什么，當(dāng)前第一梯隊(duì)輔助駕駛系統(tǒng)在常規(guī)城市路況下表現(xiàn)都比較不錯(cuò)，但在長(zhǎng)尾場(chǎng)景中，依然會(huì)暴露各種各樣的問(wèn)題，遠(yuǎn)遠(yuǎn)不如人類司機(jī)。

那么如何讓自動(dòng)駕駛系統(tǒng)從模仿學(xué)習(xí)，進(jìn)化到理解交通場(chǎng)景？

在端到端的基礎(chǔ)之上，各家技術(shù)架構(gòu)開(kāi)始分化。詹錕介紹，端到端中間加了Language語(yǔ)義推理，就成了VLA，中間加了未來(lái)圖像想象，就成了世界模型。

去年的英偉達(dá)GTC大會(huì)上，理想推出VLA架構(gòu)。一年沉淀下來(lái)，理想智駕整體確實(shí)有很大進(jìn)步，但很快又到了一個(gè)瓶頸期。在Xauto智駕榜30個(gè)考點(diǎn)中，理想在窄路通行、三點(diǎn)式掉頭等難度較高場(chǎng)景依然無(wú)法通過(guò)。

面對(duì)這樣的現(xiàn)狀，李想提出了一個(gè)思考。

人類開(kāi)車看上去沒(méi)那么難，每個(gè)普通人都能把車開(kāi)得又快又穩(wěn)，但全世界最頂尖的企業(yè)砸了幾千億進(jìn)去，自動(dòng)駕駛?cè)匀贿M(jìn)展緩慢。問(wèn)題到底出在哪？

經(jīng)過(guò)總結(jié)，理想認(rèn)為，過(guò)去一直在教AI做成年人的事，但從來(lái)沒(méi)讓它當(dāng)過(guò)小孩。

人類在0到6歲的階段學(xué)會(huì)了走路，學(xué)會(huì)了扔球、接球。這看起來(lái)只是簡(jiǎn)單的動(dòng)作，但實(shí)際上已經(jīng)幫助孩子建立了對(duì)三維物理空間的理解。

人類能精準(zhǔn)測(cè)距、穩(wěn)定駕駛，是因?yàn)椤?D預(yù)訓(xùn)練”在人類6歲前就完成了。

今天所有的端到端系統(tǒng)本質(zhì)上都是“看2D視頻學(xué)開(kāi)車”，更像是一個(gè)人坐在電腦前看了十萬(wàn)小時(shí)行車記錄儀，然后直接上路。

此前被行業(yè)津津樂(lè)道的BEV、OCC都存在著短板，BEV把世界從俯視角拍扁，從而丟失了高度信息，OCC雖是3D，但是缺少語(yǔ)義信息。

理想認(rèn)為，物理AI缺的不是更大的模型、更多的數(shù)據(jù)，而是一個(gè)能真正理解3D世界的視覺(jué)基礎(chǔ)。

為了解決這個(gè)問(wèn)題，理想引入了原生3D ViT，也就是三維視覺(jué)編碼器。

ViT（Vision Transformer)，是基于Transformer的主干網(wǎng)絡(luò)，具備全局注意力的特性，能提取出更優(yōu)秀的全局上下文特征，是大模型時(shí)代的主流。

理想介紹，3D ViT是讓模型一開(kāi)始就工作在真實(shí)的三維世界里，以高分辨率多視角視覺(jué)為核心，在編碼階段直接完成對(duì)3D空間幾何和語(yǔ)義的統(tǒng)一理解，包括空間結(jié)構(gòu)、位置關(guān)系、語(yǔ)義信息等一次完成。

那么，模型不只是看見(jiàn)畫(huà)面，而是理解世界。

在這個(gè)體系下，激光雷達(dá)的角色變了，它不再是感知的核心，而更像一把高精度的尺子，為視覺(jué)提供幾何標(biāo)定和近場(chǎng)空間約束。

李想表示，在統(tǒng)一建模下，3D ViT可以穩(wěn)定感知并推理到500米以上的空間范圍。

這里想提一個(gè)點(diǎn)，最近華為將旗下多款車型升級(jí)到了更高精度的896線激光雷達(dá)，或許也是基于同樣的思考，為自動(dòng)駕駛模型描繪更高精度的物理世界。

既然3D ViT有諸多優(yōu)勢(shì)，理想為何此時(shí)才開(kāi)始引入其自動(dòng)駕駛架構(gòu)？談及這個(gè)問(wèn)題。

詹錕表示，因?yàn)?D ViT對(duì)車端推理算力提出了極高的要求，理想汽車自研的馬赫100芯片，單顆算力達(dá)到1280TOPS，自研芯片的落地為3D ViT部署提供基礎(chǔ)。

02

五大核心技術(shù)點(diǎn)，最新架構(gòu)解讀

了解了理想汽車新一代自動(dòng)駕駛架構(gòu)的核心變化，我們?cè)賮?lái)全面了解一下其核心技術(shù)點(diǎn)。

理想汽車下一代自動(dòng)駕駛架構(gòu)的名稱是MindVLA-o1。

這個(gè)架構(gòu)以原生多模態(tài)MoE Transformer為核心，有五方面核心技術(shù)點(diǎn)，包括3D空間理解、多模態(tài)思考、統(tǒng)一行為生成、閉環(huán)強(qiáng)化學(xué)習(xí)和軟硬件協(xié)同設(shè)計(jì)。

在感知層面，理想汽車采用以視覺(jué)為核心的3D ViT Encoder（3D視覺(jué)模型編碼器），并利用激光雷達(dá)點(diǎn)云作為三維幾何提示，引導(dǎo)模型理解真實(shí)空間結(jié)構(gòu)，使其同時(shí)具備語(yǔ)義理解與三維感知能力。

同時(shí)引入前饋式3DGS表示（Feedforward 3D Representation），將場(chǎng)景拆分為靜態(tài)環(huán)境與動(dòng)態(tài)物體分別建模，并通過(guò)下一幀預(yù)測(cè)作為自監(jiān)督信號(hào)，使模型同時(shí)學(xué)習(xí)深度信息、語(yǔ)義結(jié)構(gòu)與物體運(yùn)動(dòng)，最終形成融合空間結(jié)構(gòu)與時(shí)間上下文的高質(zhì)量3D表示。

具備3D空間理解能力，使模型看得更遠(yuǎn)。

在思考層面，自動(dòng)駕駛既要理解當(dāng)前環(huán)境，也要預(yù)測(cè)未來(lái)幾秒的場(chǎng)景演化。

在語(yǔ)言模型承擔(dān)語(yǔ)義理解、常識(shí)知識(shí)和交互能力的基礎(chǔ)上，理想汽車還引入了預(yù)測(cè)式隱世界模型，在隱空間中高效模擬未來(lái)。

訓(xùn)練分三階段：

第一，用海量視頻數(shù)據(jù)預(yù)訓(xùn)練Latent World Token（隱世界詞元），構(gòu)建未來(lái)表征；

第二，在MindVLA-o1中持續(xù)世界模型的推演，形成隱空間的未來(lái)推理能力；

第三，將世界模型、多模態(tài)推理能力及駕駛行為進(jìn)行聯(lián)合訓(xùn)練與對(duì)齊。

由此，模型不僅能理解當(dāng)前場(chǎng)景并進(jìn)行邏輯判斷，還能在隱空間中提前“想象”未來(lái)畫(huà)面，將駕駛決策具象化。

理想汽車將這種能力定義為多模態(tài)思考。擁有多模態(tài)思考能力，讓模型想得更深。

在行為層面，理想汽車構(gòu)建了統(tǒng)一行為生成（Unified Action Generation）機(jī)制。

首先，MindVLA-o1使用VLA-MoE（混合專家模型）架構(gòu)，并引入專門(mén)的Action Expert，從3D場(chǎng)景特征、導(dǎo)航目標(biāo)、駕駛指令等多維輸入中提取信息，并結(jié)合多模態(tài)思考生成高精度駕駛軌跡。

其次，為滿足實(shí)時(shí)性要求，系統(tǒng)采用并行解碼（Parallel Decoding），同時(shí)生成所有軌跡點(diǎn)，大幅提升效率。

最后，引入Discrete Diffusion（離散擴(kuò)散）進(jìn)行多輪迭代優(yōu)化，類似逐步去噪，確保軌跡空間連續(xù)、時(shí)間穩(wěn)定，并符合車輛動(dòng)力學(xué)約束。

形成統(tǒng)一行為生成機(jī)制，使模型行得更穩(wěn)。

在模型迭代層面，理想汽車構(gòu)建了閉環(huán)強(qiáng)化學(xué)習(xí)框架，讓模型不僅能從真實(shí)數(shù)據(jù)學(xué)習(xí)，還能在世界模擬器中持續(xù)探索和優(yōu)化策略。

為此，理想汽車將傳統(tǒng)逐步優(yōu)化式重建升級(jí)為Feed-forward（前饋）場(chǎng)景重建，使系統(tǒng)能夠瞬時(shí)生成大規(guī)模、高保真駕駛場(chǎng)景，支持大規(guī)模并行訓(xùn)練。

同時(shí)，結(jié)合生成式模型，模擬環(huán)境可擴(kuò)展、編輯并生成全新場(chǎng)景。

為支持大規(guī)模模擬與訓(xùn)練，理想汽車開(kāi)發(fā)了統(tǒng)一的3D Gaussian Splatting（3D高斯?jié)姙R）渲染引擎和分布式訓(xùn)練框架，渲染速度提升近2倍，整體訓(xùn)練成本降低約75%，實(shí)現(xiàn)低成本、高效率的強(qiáng)化學(xué)習(xí)閉環(huán)。

在閉環(huán)強(qiáng)化學(xué)習(xí)框架下，模型實(shí)現(xiàn)更快進(jìn)化。

為解決傳統(tǒng)端側(cè)大模型部署耗時(shí)長(zhǎng)、調(diào)試頻繁的問(wèn)題，理想汽車提出面向端側(cè)大模型的軟硬件協(xié)同設(shè)計(jì)定律，將模型結(jié)構(gòu)與驗(yàn)證損失建模，并結(jié)合Roofline模型刻畫(huà)硬件計(jì)算能力與內(nèi)存帶寬限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架。

理想汽車基座模型團(tuán)隊(duì)評(píng)估了近2000種模型架構(gòu)配置，在英偉達(dá)Orin與Thor平臺(tái)上完成驗(yàn)證，找到了模型精度與推理延遲之間的Pareto Front（帕累托前沿），將架構(gòu)探索時(shí)間從數(shù)月縮短至數(shù)天，大幅提升端側(cè)VLA模型的設(shè)計(jì)與部署效率。

在軟硬件協(xié)同設(shè)計(jì)定律下，模型部署更高效。

03

根據(jù)理想透露的信息，新一代自動(dòng)駕駛架構(gòu)量產(chǎn)時(shí)間或在今年二季度，首發(fā)落地車型是全新理想L9。

李想此前介紹稱，單顆馬赫100的有效算力就是英偉達(dá)Thor U的3倍。全新理想L9還準(zhǔn)備了一個(gè)頂配版L9 Livis，這個(gè)版本將搭載兩顆馬赫100芯片。

另一個(gè)值得關(guān)注的地方是，主流自動(dòng)駕駛玩家都在向世界模型靠攏，通過(guò)理想對(duì)于3D ViT的介紹也可以看到，理想也在試圖讓模型真正理解3D世界。

此外，行業(yè)的共識(shí)是，自動(dòng)駕駛只是物理AI落地的一個(gè)關(guān)鍵場(chǎng)景，對(duì)于自動(dòng)駕駛的探索，不僅服務(wù)于汽車，也可擴(kuò)展至機(jī)器人及各種物理系統(tǒng)。

因此，打造一個(gè)通用物理AI基座模型，也是當(dāng)前車企和智駕公司研發(fā)投入的重點(diǎn)。