Nullmax紐勱科技張帆：大模型時代下的智駕進階之路｜GTM2025

12月5日，由科技出行產業智庫與創新服務平臺億歐汽車主辦的GTM2025第八屆科技出行大會（暨科技出行產業創新榜單發布會）在中國上海成功舉辦。

本屆大會以“In China For Global”為主題，聚焦全球化研究、技術創新、創業投資、產業生態，以尋求話題和討論的新穎性、平衡與融合，為行業呈現了一場有洞察見地、有交流與啟迪價值的科技出行盛會，同時希望能夠在中國汽車生態大出海與全球汽車產業革新的宏觀視域之下，積極推動中國整車企業、跨國車企、供應鏈和社會各界的交流與互動，讓“產品出海”迭代為“產業出?！?，促進中國智能電動汽車生態加速走向全球。

活動期間，億歐汽車發布了《2025中國智能電動汽車（AIEV）產業年度回顧及2026趨勢洞察研究報告》和《GTM2025年度科技出行產業創新榜》等兩份重磅年度研究成果。

在本屆大會上，Nullmax紐勱科技副總裁張帆發表了題為《大模型時代下，Nullmax 的智駕進階之路》的主題演講，他認為，基于打造場景自動生成系統，數據增強和自動標注新系統，以及云端虛擬引擎，Nullmax正在打造3.0智能駕駛大模型，以此打造新的自動駕駛發展范式，加速大模型時代下的智駕進階。

以下為分享實錄（經億歐汽車編輯），供業內人士參考：

各位下午好！我是Nullmax紐勱科技的副總裁張帆，非常感謝億歐汽車的邀請，有機會和大家分享我們最新的一些技術以及對這個行業的思考。

我今天演講主要分幾個部分，第一部分介紹一下我們公司，我會說一下我們公司在規則時代1.0、2.0時代的技術積淀，到了大模型時代的技術躍遷以及最后對我們來說非常重要的云端智能引擎。

我們公司是2016年誕生于硅谷，我們一直是主張圍繞機器學習、人工智能漸進式的智能駕駛發展，隨著時代發展以及技術的躍遷我們也孕育出迭代出不同模態的產品，面向不同的場景和產品以及不同算力的芯片，在不同的產品上落地。

我們公司發展可以分為三個階段：第一個階段2016-2019年。2016年我們公司在硅谷成立，2017年在上海成立研發基地，在上海張江雙子塔附近，2017-2018年初代功能上線，2019年獲得天使輪的融資。第二個階段2020年-2023年，獲得了量產的訂單，包括上汽和奇瑞，獲得了A、B輪10幾億的投資。第三個階段從2024年到今天，產品已經開始擴大量，包括國內國外產品跟項目開始逐漸SOP，另外我們也發布了Nullmax端到端的技術。

這是我們的創始人徐雷博士，最早是高通和特斯拉的員工，他來自特斯拉也孕育出來我們公司類似于特斯拉的基因，兩個方面，一個方面是機器視覺為主，我們相信機器視覺是能夠提供更高的幀率以及更豐富的場景的信息，我們并不反對多傳感器融合包括激光雷達、毫米波雷達、4D毫米波，我們始終相信視覺能夠提供更豐富的信息。

第二方面大模型的運用，類似于特斯拉最早也是基于規則、Transformer到現在的端到端模型讓它的技術有很大的躍遷，我們相信基于大模型的技術是很多的規則技術不能替代的，能夠在更多的場景下做到擬人化以及功能的完善。

我們產品的矩陣，從左到右最低階我們做一體機，這個方案我們在全球特別是海外占有很大的比重，雖然算力比較低只有10TOPS以下，但是重要性非常高。我們純視覺的方案可以做到CNCAP、ENCAP最高的得分，CNCAP的五星+ENCAP的五星，海內外都有面向量產的項目。中階254TOPS以下，單顆OrinX以下的不同芯片計算平臺上可以做到艙駕一體，域控的方案基于BEV Transformer的算法架構，最高的算力產品是400TOPS以上，基于11-12個攝像頭，5個或者3個毫米波雷達、12個超聲波雷達，一顆可選的激光雷達，激光雷達對我們來說不是必選項，我們可以在這上面布置端到端、VLA的算法架構，去實現全場景無圖的自動駕駛。我們的生態合作伙伴，包括客戶，奇瑞、上汽、江鈴汽車、比亞迪、包括Tier1和芯片的合作伙伴。

第二階段規則時代的積淀，我們的智駕發展經歷了三個階段，1.0規則驅動，我們用多個傳感器的單獨輸入，多傳感器還是各自為戰，每個傳感器會給出相應的信息，我們還是有感知模塊、規劃模塊、控制模塊，甚至有更多分散的模塊。這些模塊基于規則用大量的人力開動腦筋寫了大量的規則應用于不同的駕駛場景，這個時候雖然可以量產，但是更多是在規則化的道路上，基于一定規則的駕駛行為。

2.0階段，半規則半模塊化的狀態，更多是端到端的模型，感知模型有自己的模型，規劃有自己另外的模型，基于兩個模型之外我們有一些規則。這個時候我們雖然做到了擬人化，依舊不夠智能化。

今天3.0階段是智能驅動，基于多模態輸入、多傳感器包括語音視頻的端到端+VLA的模型，不僅可以直接更擬人化應對很多駕駛場景，也可以對場景做出相應的解讀，完成更好的人機交互。

1.0和2.0階段也有大模型，特別是視覺感知，我們內部叫BEV-AI平臺化大模型，這個平臺化大模型也包含多個小模型，包括BEV-AI -OD障礙物檢測模型，BEV-AI-MAP局部建圖模型，BEV-AI-LANE車道線檢測模型，包括時域信息和Temporal模型、BEV-AI-Topo拓撲網絡結構模型，這些模型對1.0、2.0時代的產品落地起到了很大的幫助，可以看幾段視頻。

我們的車在之前量產的狀態下，比如說這個是通過十字路口，旁邊的靜態以及動態包括圍欄信息都呈現在BEV的視角下，非常穩定。這只是一個感知的輸出，規劃和控制用自己的模型拿感知和輸出做規控設計。不光是產品落地也在國際頂刊論文上都有很好的引用量和瀏覽量。

我們也用1.0、2.0時代BEV-AI技術量產了很多車，搭載在不同的芯片上，主要的合作伙伴，包括奇瑞、上汽、江鈴、比亞迪。我們在做的時候也發現了問題，雖然我們的模型很穩定，雖然我們的規則可以寫得很好，始終會遇到蹺蹺板問題，今天解決了一個問題，畢竟是一個規則，遇到了另外一個場景，這個場景跟剛才的場景相似，但是你用規則沒有辦法完全覆蓋，所以它始終不能做到100%，甚至是95%以上可能都很難，始終很難解決一些核心問題，我們必須勢在必行，包括市場、友商必須升級到基于大模型的3.0時代。

3.0時代對于我們來說最重要的是端到端+VLA模型，我們引入了大語言模型，在大語言模型中，輸入除了原始的傳感器信息也代入了導航信息、語音指令，包括多模態的信息，這些多模態信息進入大語言模型之后不僅可以直接生成行為軌跡同時也可以顯示生成一些中間信息，包括感知的結果、道路結構、目標檢測、對場景描述、人機交互的信息。

這有它的好處，第一，安全性更高，傳統遇到長尾場景的時候基于一些規則或者端到端的黑盒，對場景的理解是欠缺的，在大語言模型中增加了對場景的理解，可以更好地處理在場景下的措施，另外交互性更強，系統能夠理解語義意圖，生成符合人類駕駛習慣的動態策略。第三，可解釋性強，我們可以看到在駕駛理想汽車可以在操作過程中把大模型對場景理解，包括決策結果，可以顯示在人機交互界面上，讓人更放心去看到系統是怎么理解的，并且怎么做出選擇。第四，泛化性更強，借助互聯網規模的多模態預訓練的知識之后，系統可以在沒見過的場景下體現很強大的泛化性。這個是實際測試中的例子，在雨天的行駛中前方有一個兩輪車我們要繞過去，傳統的端到端規則模型就是一個簡單的繞行行為，你也不知道是為什么，但是大語言模型做出了一些解釋，城市雨天場景街道兩邊停了汽車，自車前方有一個模型車在行駛，可能會影響自車通行，包括隨著更多的車輛從不同的方向駛來，交通擁堵風險增加，我現在必須繞過去，很好的一個人機交互行為。

這樣深度的場景理解和推理，之前沒有解決的問題會得到更好地解決。第一個增加防御性駕駛，遇到隧道長界、盲區、匝道，這個時候會主動減速，因為它理解了這個場景，在人類駕駛中這個場景下可能會出現危險，所以我要做一些減速。包括跟人類駕駛員語言交互的理解，我坐在車上通過語音的喇叭告訴他繞過前車包括復雜場景的推理等等。

這是在我們公司附近張江很擁堵路況下實車測試的視頻，這個是真正沒有激光、無圖的大語言模型和端到端技術實車測試的結果，整個路程跑現在20公里左右不接管的狀態，下面有更復雜的場景，這些東西都是我們傳統在基于規則2.0時代很難處理的場景，現在非常的絲滑和非常的擬人化。

業界說到的人比較少，我們也做了大語言模型在泊車場景的使用，大家更多討論在公開車道，以及停車場泊車場景。這個是斷頭路的場景，對面是一堵墻，整個過道非常窄，旁邊的車位全部被占滿。這個在1.0、2.0時代系統非常傻，會在狹小的空間內，可以看到我們測試俯視圖，在狹小空間能不斷前進后退，因為它眼睛里面只看到這個車位這個墻，要做的是基于搜索和規則的邏輯找到可行路徑，停到車位里面去，但是它沒有真正理解這個場景。現在引入大語言模型之后它真正理解了這個場景，它看懂了這個場景人類理解的道路非常窄，非常緊貼墻壁周圍全是車，但是我們發現這個十字路口的地方有一個比較寬闊的場景，這個地方可以用來掉頭，所以我們的車很果斷直接就開到了空曠的十字路口區域做了一個調頭非常絲滑回到了斷頭路，整個過程不超過50秒，如果你要在狹小的空間內不斷地前進和后退，整個過程要超過兩分鐘，甚至直接讓人接管，這個是大語言模型在泊車場景給我們帶來很大的進步。

回到云端，類似華為WEWA架構，更多討論是車端WE以及云端WA聯動的作用，對我們來說云端也是非常重要的。這是我們云端的Nullmax自主成長數據平臺，這個數據平臺在1.0階段就有，因為智能駕駛一開始數據對我們非常重要，只不過使用目的和途徑不一樣。我們在量產中、量產前、量產后會累積非常多的數據，上傳到云端，在云端做數據的清洗和數據標注，分波處理數據，70%的數據用于模型訓練，30%的數據會測試訓練好的模型。然后把訓練好的模型下放給車端，給車端實現一個OTA升級。

除此之外，我們還可以在云端做智能化的數據挖掘，以前我們可能做數據搜索方面非常麻煩非常復雜，現在我們用到大模型的技術之后可以通過多種手段進行很快的數據搜索。比如說Tag檢索，我現在知道雨天路口夜晚帶一點的光源數據，將文字輸入其中，它就自動給我搜索到相應的一些視頻跟圖像的數據。

第二，我給它一個提示詞，我想要去搜索施工區域的場景，自動搜索出來，甚至可以以圖搜圖，我把環島的標志輸入到引擎中，引擎自動給我一些環島的圖幫助我進行模型訓練和測試。現在可以主動學習，當你進行了很多的搜索，很多交互之后，它主動學會哪些場景是比較難的場景，哪些場景是對我們有價值的場景，它主動搜索一些長尾數據進行挖掘。

數據標注，以前不管是1.0、2.0還是3.0階段都是非常重要的，之前我們更多是用人力做這件事，成本非常高，而且非常耗時?，F在我們用大模型做這件事，拿激光雷達和視覺標注數據在一起加上時間運行成4D的BEV模型，不管是高速還是城市形成非常精確的路網信息，通過路網信息和視覺信息匹配，基本上達到了99%以上的自動化標注系統，人為做少量的檢查就可以形成偽訓練標注物的結果。

另外云端兩個應用，左邊是AIGC數據的生成，現在自動駕駛已經進入到深水區，其實我們面對的不是一個大直道，幾輛車非常清晰很好的光線的簡單場景，更多是1%、2%的場景，這些場景要應用到很多數采資源，包括每天開數據車去車上碰，不一定碰到一例，好不容易碰到一例是白天，你更想知道晚上同樣場景的效果。

怎么辦呢？AIGC在這里面起到很強大的作用，我們可以去進行一些假人的生成，比如說我在一個場景錄一個數據可以把假人截取下來，放到別的場景下，去用別的場景下生成的假人的數據進行模型的訓練和測試。

甚至我們現在有數據資產，比如3D數據資產，車在路上碰到白色的車，白色的車會被截取下來進行3D數據的生成，生成更多的場景用于更多的數據訓練、模型訓練和測試。大家知道現在新規馬上就要正式頒布，新規有很多的場景，比如說隧道有翻倒的車輛，前方彎道有一個50×50的小紙箱，這些東西怎么樣在真實道路上進行采集非常困難，應用到AIGC的能力之后就可以很好在很短的時間內自動生成非常真實的訓練和測試的數據，對我們來說是非常有價值的。

右邊是一個虛擬仿真器，大家知道華為的WEWA說得很玄乎，拆分下來云端有一個很大的作用是仿真器的作用，這個仿真器利用了量化學習和世界大模型在云端做了基于長尾問題專家型的訓練，所以才讓系統在很短的時間內迅速進化，聽起來很玄乎，我們也做了類似的東西，AI Agent Virtual Driver。仿真器里面紅色的矩形框，相當于不是一輛簡單的車，我們賦予它生命，我們基于大語言模型和強化學習讓這個車本身有一個自主的決策和規劃的能力，也就是說今天如果要測黑色的框在不同迭代軟件跟別的車交互效果是不是有所提升，以往在仿真環境里面這個盒子就很傻，現在我們賦予仿真環境中NPC的生命之后他們具有大模型、強化學習的思考能力，會主動和自車進行交互，同時也會幫助自車的模型進行市場迭代，這個Driver很充分地利用起來，實際上我更多的時間會在Driver里面用我的車和NPC進行交互，效率會提升非常多，這個是我們現在做的一件事，跟華為的類似。

現在這個場景里面我們也累積了1萬+真實場景，而且這些場景不是簡單真實場景1:1的還原，而是進行一定程度的泛化。我的場景在真實場景中只是一個簡單的入口，但是我可以泛化成很多的交叉路形成路網信息，實現跟別的智能化NPC交互的結果。

這就是我今天的介紹和分享，著重于介紹3.0的智駕大模型，聽起來比較高大上它有一些支撐的點：第一，場景自動生成系統，這個系統很大程度幫助我們節約了數據的生成和數據的搜索標注的effort。第二，數據增強與自動標注新系統，這也極大幫助我們節省了人力和成本。第三，云端虛擬引擎系統，這三個作為基石共同幫助3.0智駕模型驅動智能駕駛的新范式，加速高階智駕進化，幫助我們把未來3.0做到更好，甚至進化到4.0的階段。

謝謝大家！