對話任少卿：2025 NeurIPS 時間檢驗獎背后，我的學術與產業(yè)觀

NeurIPS，被譽為「AI界的奧斯卡」，是人工智能領域的全球年度風向標。

作者 | 馬廣宇

編輯 | 李雨晨

12月4日，任少卿、何愷明、羅斯·吉爾希克（Ross Girshick）、孫劍憑借“Faster R-CNN ”（快速區(qū)域卷積神經網絡架構）榮獲2025年神經信息處理系統(tǒng)大會（NeurIPS）時間檢驗獎。

NeurIPS（神經信息處理系統(tǒng)大會），是人工智能與機器學習領域最具影響力的國際頂級學術會議，在AI學科領域排名第一，被譽為“AI界的奧斯卡”，是人工智能領域的全球年度風向標。

NeurIPS時間檢驗獎是人工智能領域最具影響力的獎項之一，專門表彰經過十年時間檢驗、對學科發(fā)展產生深遠影響的奠基性工作。

過去三年，該獎項授予包括諾貝爾獎得主杰弗里·辛頓（Geoffrey Hinton）、圖靈獎得主約書亞·本吉奧（Yoshua Bengio）、OpenAI聯(lián)合創(chuàng)始人兼首席科學家伊爾亞·蘇茨克維（Ilya Sutskever）等在內的國際頂尖學者。

“Faster R-CNN ”是在2015年由中國學者任少卿、何愷明、孫劍主導，聯(lián)合美國人工智能科學家羅斯·吉爾希克（Ross Girshick）共同發(fā)表，這一新型網絡架構能將物體檢測效率提升10倍以上，首次開創(chuàng)了端到端實時精準目標的檢測模式。

目前，這一文章已經被學術引用超9.8萬次，第一作者任少卿，是華人作為第一作者在該會議上發(fā)表的學術引用量最高的文章，同時也是AI檢測領域全球最高被引論文。

十多年的時間，這一模型的核心思想已經被深度融入到人工智能的基礎技術基因當中，并成為了驅動自動駕駛、醫(yī)療影像、安防監(jiān)控、工業(yè)檢測、衛(wèi)星遙感等國計民生和經濟發(fā)展關鍵領域的核心。

任少卿與Faster R-CNN中的合作者何愷明（現(xiàn)MIT副教授）、孫劍（前曠視科技首席科學家）有著緊密的合作關系，此前還發(fā)表過深度殘差網絡框架ResNet，該文章已經成為21世紀全球最高被引論文。

在任少卿獲獎之前，雷峰網曾在2025年下半年與其進行了深度對話，雷峰網作了不改變原意的編輯：

PART 1

任少卿與孫劍、何愷明的故事

雷峰網：孫劍老師是您的導師，當時有過什么事情讓您印象深刻？

任少卿：我印象深刻的是，孫劍老師當時比較堅持“simple but work”，真正認可并理解這件事是一個循序漸進的過程，也是日常交流中慢慢形成的共識，比如看別人的工作、討論paper、組內評審paper時，孫老師會給一些深刻的指導，逐漸我也理解到了“simple but work”。

孫劍

實際上我當時寫的第一篇paper就不太simple，雖然是熬了很多個夜寫完，但到最后還是決定不投了。當然現(xiàn)在回頭看，那個paper基本上就是在別人的工作上做做a+b，確實沒太大的意義。

“Simple but work”實際上是跟孫老師的邏輯和理念相關的，這是一個挺難的追求。只能說做一些更核心的事，就需要更好的遠見，更好的品位，以及堅持，這三個東西缺一個都不行。

（孫劍是國內AI頂級峰會 GAIR 2017、2018、2019的三屆講者。在會場間隙，孫劍對觀眾分享了獲獎論文 Faster R-CNN 的理解與靈感。）

雷峰網：您覺得何愷明對你的最大影響是什么？你們合作得怎么樣？

任少卿：其實因為我們合作的時間最長。每天早上到公司，先看看結果，接著就一起開始交流，從 11 點開始，到 12 點吃飯，吃飯時繼續(xù)討論，到下午 2 點開始各自干活，然后下午5點又開始討論，然后吃晚飯，這個節(jié)奏會讓我們很開心，因為每天都有新的實驗結果在推動和交流。那時候深度學習也才剛開始，一個小團隊這樣去看其實效率很高。

何愷明非常專注，他基本上不想別的事兒，只關注現(xiàn)在的這些研究問題，怎么創(chuàng)新，我覺得他幾乎 100% 的精力都在這上。

他在微軟亞洲研究院的時候，就住在旁邊一棟樓，走路一分鐘，兩分鐘都不要。

何愷明是很善于找方向、找到問題，然后找突破的學者，他花了巨量的時間在上面，然后去建立相應的思維的架構，只有有思維架構才能去找相應的突破。

何愷明

雷峰網：那時候選擇深度學習，大家都還堅決嗎？為什么覺得這是個方向？

任少卿：肯定是先試，看到了可能性之后才去堅持。

為什么是這個方向，第一個邏輯是，從方法的角度來說，它有創(chuàng)新，看到了新的可能性。第二是當時已經有一些結果和進展了。第三是拿這個復現(xiàn)，能看到結果不是trick的，而是有一定泛化能力的結果。這些東西都有了之后，我們和業(yè)界才看到了可能性。

一個新方向首先上限要高，其次現(xiàn)在已經達到的結果是真的，這不是一個trick，或者不是只在某一個小范圍內work的東西。這幾個點都驗證了之后，那其實就認為這個方向是可擴展的。

雷峰網：Faster R-CNN到底解決了AI領域的什么問題？

任少卿：Faster R-CNN用今天的詞，解決的是自動駕駛端到端的問題。今天大家說端到端，就是因為自動駕駛的任務，之前是拆成一節(jié)一節(jié)的，就叫作感知、規(guī)劃、控制。而在物體檢測這個任務上，之前也沒有一個能一體化的解決方案，要把它分成兩步，或者三步。

這兩步是什么呢？第一步，要在圖像上去找一些可能的candidate，然后再去對這些candidate做分類。理論上每張圖如果窮舉，其實有百萬種以上的選擇。第二步，每個框都去判斷一下里面是不是有物體，這個計算量很大。所以之前的物體檢測的做法是分為兩步，與之前的自動駕駛一樣。

Faster R-CNN解決的，就是一個網絡直出，按今天的話說就是端到端，端到端解決什么問題呢？首先它的效率變高了，之前的檢測器，可能一秒鐘、兩秒鐘、三秒鐘才能刷一張圖。Faster R-CNN之后，變成了一個實時的10Hz、20Hz、30Hz這樣的狀態(tài)。實時對于應用就很不一樣了，它就能開始處理視頻，這是對產業(yè)最大的一個突破。那其次因為它端到端，端到端之后就快、延遲就低，所以實際上效果就提升了。所以Faster R-CNN本質上是解決了物體檢測任務的端到端。

PART 2

加入蔚來：從零開始的團隊和自研芯片

雷峰網：您是什么時候加入的蔚來，當時主要做了什么事？彼時蔚來又處于什么樣的階段？

任少卿：我大概是2020年8月十幾號入職，那個時候就是先搭團隊。

蔚來第一代車是Mobileye方案。到了20年前后，實際上有兩個爭論。第一個爭論是L2和L4到底有多大差異，有個說法是L2永遠做不了L4；第二個是要不要全棧自研，當時蔚來的選擇是全棧自研L2的產品，支持L3和L4。

當時我們決定了全棧自研，然后再去選芯片，看哪個芯片是靠譜的、能用的。從2020年8月到2020年底，開始建團隊，核心的人四五個月都到位，到七八個月的時候，團隊就算比較到位了。急著干活的一個原因是時間：我們要量產的車是2022年3月份，而2020年8月由于方案都不同了，我們幾乎一切從“零”開始，集群、標注、工具鏈這些當時都沒有。

在組建團隊的同時，我們也在并行選芯片，與英偉達合作，Orin芯片我們提前量產了半年。最終蔚來全球首個量產，也是截止到今天車上最復雜的一套ADC（自動駕駛域控制器）架構，所以那一年多很有意思。

雷峰網：當時選擇Orin是一件很有挑戰(zhàn)性的事？

任少卿：我入職的時候是2020年8月，2022年3月量產在中國的Orin方案，半年之后量產歐洲的方案，而蔚來的第二代車，是全球第一個量產Orin芯片，同時也是全球第一個量產高線束激光雷達的車型，所有的事情都是并行做的，當時的挑戰(zhàn)就很大。

對于蔚來來說，干了三件一般人不敢干的事。第一代車Mobileye的EyeQ4方案，全球第一個量產，第一個量產要踩很多坑。第二代就是全球首個量產英偉達Orin方案，還搞了4個芯片，是最復雜的一個架構。第三代是自研芯片量產。所以每一代的量產，都是非常大的挑戰(zhàn)，斌哥有意愿、有信念去做這件事。

所以蔚來相應的量產、對于新的芯片適配和調整的團隊，應該是世界頂尖的，因為沒有人連著干過這幾件事。

雷峰網：Orin那時候什么問題比較多？

任少卿：當時Orin是一個新的芯片，對英偉達也只是第二代量產，新的芯片就會面臨很多新問題：比如算力比上一代增大了8倍多、新的架構、新的制程，所以從硬件底層開始，它的散熱、功耗、熱穩(wěn)定性、是不是會丟東西，這都是最基礎的N個坑。

蔚來在此之前并沒有做過英偉達體系的量產，先不說這些硬件底層的問題，上層所有AI、CPU、調度相關的工具鏈全部都要重新來。這些問題還都在一個不穩(wěn)定的基礎上，就得搭上面那一層，底下那層還在丟幀，上面那層就得看AI工具鏈怎么弄。

不能一層一層搭，是因為時間根本來不及，我們實際拿到芯片，離量產只有6-7個月。所以我們的團隊肯定是世界頂級的，是打仗打出來的。

雷峰網：定義芯片這件事您參與了嗎？

任少卿：我們是需求方，到底要做什么樣的東西我們這邊要先出個方案，然后和芯片團隊大家一起從需求到技術到架構進行梳理。

在我們用了OrinX之后，也有了一些自己的理解，包括技術發(fā)展的理解。比如說在2021年的時候我們就覺得后面Transformer會用得更多一些，那時候這不是一個特別common的認知，當時業(yè)內大部分都還是CNN。

雷峰網：你是很堅定的，因為你是這個信徒。

任少卿：其實現(xiàn)在看結果就知道。Transformer對內存的大小、內存開發(fā)的要求比CNN要高。我們現(xiàn)在看芯片，蔚來的芯片是帶寬最高的，而Transformer如果成為主流，它對內存帶寬的要求遠高于CNN，芯片的帶寬是很重要的事，這也是我們對方向的判斷。

如果之后芯片需要支持L3、L4更高級別的自動駕駛，芯片的冗余也是非常重要的事情。以前芯片它做不到熱冗余或者溫冗余，也就是說無法在100毫秒以內做到兩個芯片切換，這是硬件限制的，所以我們自研芯片的時候，在芯片里面預埋了熱備的能力，百毫秒以內兩個芯片切換用戶無感。這些東西都是為什么要做芯片的技術原因。

PART 3

從數(shù)據(jù)，到價值，再到“三天迭代一次”

雷峰網：在當時自研芯片量產進程中，您還做了哪些事？為什么要做？

任少卿：在2020年到2022年之間，其中比較重要一環(huán)是去建設很多有特點的工具鏈和體系。

這些基本能力中，很重要的一件事是數(shù)據(jù)。數(shù)據(jù)其實是我們從20年開始在蔚來前兩年主要花精力的地方，這和我為什么到蔚來也相吻合。我們一直是說解放精力、減少事故，有兩個很核心的東西，第一是需要離用戶更近，才能有更快速的產品級反饋；第二是需要有更多真實的量產數(shù)據(jù)。這屬于兩個框架性的層面。

再往下一層看，數(shù)據(jù)到底是什么？2019年、20年的時候，行業(yè)有一個說法，大意是：供應商就應該能拿到所有主機廠的數(shù)據(jù)，因為大家覺得云端的數(shù)據(jù)只需要copy case，花點帶寬、流量的費用，幾乎是沒有成本。

但實際上從2020年開始，我們就認為拷貝的數(shù)據(jù)沒有特別大的價值，因為數(shù)據(jù)最重要的事情是corner case，這些corner case是相比于原來的系統(tǒng)。如果原來是一套規(guī)則系統(tǒng)，那就相比這套規(guī)則系統(tǒng)，如果原來是個模型，那就相比模型。所以數(shù)據(jù)取決于這個模型，模型A對應的數(shù)據(jù)和模型B對應的數(shù)據(jù)，是不一樣的。

所以數(shù)據(jù)不再是說給誰都是同樣的價值，而是針對你的模型所挑出來的數(shù)據(jù)是不是有價值。反推過來，數(shù)據(jù)是依賴你挑選的精準程度，而挑的過程又消耗算力，所以模型的根本就變成了對算力的消耗。算力又可以理解為是一個不可再生資源，因此數(shù)據(jù)就變成了高消耗、由不可再生資源換來的結果。

這樣的認知讓我們意識到數(shù)據(jù)其實是對算力的調用，所以我們做的第一個系統(tǒng)是一個對云端算力調用靈活標準的系統(tǒng)，這套系統(tǒng)不只是云端，包括車端，然后在這套系統(tǒng)上再去做大數(shù)據(jù)體系，我們叫它數(shù)據(jù)閉環(huán)系統(tǒng)。

還有一點，按剛才我們聊到的邏輯，數(shù)據(jù)的最終目的是迭代模型，而迭代模型這件事，實際上汽車領域之前的效率不夠高的，比如Tier 1，半年或者一年才迭代一版。哪里迭代效率高呢？是互聯(lián)網行業(yè)，大家用“AB test”，在用戶無感的時候，已經迭代好多版本了。那做車能不能學互聯(lián)網廠商做“AB test”呢？可以，蔚來就建立了一整套靈活調度算力的系統(tǒng)，蔚來可以在算力系統(tǒng)上建立“AB test”，整體的迭代也可以變到一周、兩周、一個月、一個季度，可以完整的去做測量模型，這是我們的第二套系統(tǒng)。

和特斯拉影子模式不同，影子模型是一套模型、兩套后處理代碼，一套后處理代碼用戶用，另一套后處理代碼用戶不用的時候做測試。而我們完全是車端兩套系統(tǒng)，一套系統(tǒng)就是用戶用，另一套系統(tǒng)就是我下一代的算法在上面，并行去做AB test。

這也是我們從22年量產之后到今天，我們的主動安全能迅速迭代的原因之一。早期主動安全最大的問題是FP（false positive，誤報）測試成本太高，一個誤剎對用戶影響極大，程序員寫代碼要盡可能小心并收窄范圍，以往業(yè)內對AEB指標是10萬、20萬公里一次FP，但一輛測試車兩三班倒，一天也就三五百公里，20萬公里就需要一兩百臺車測試一天，對蔚來的200萬公里一次FP的標準來說，完全迭代不動。

所以基于我們的第二套系統(tǒng)“AB test”，我們把它用在了主動安全上，現(xiàn)在哪怕最少200萬公里FP的標準，我們也能做到三天迭代一次，完全逼近互聯(lián)網的迭代效果。

在這之上，我們又做了第三套系統(tǒng)，這次要解決的是80多萬輛量產車的智駕問題，有些用戶每天都用蔚來的智駕，用的好就會繼續(xù)用，用的不好的主動接管，那這套系統(tǒng)對每一個接管做自動化分析，直接干掉99%以上的無效信息，返回0.1%-0.5%的數(shù)據(jù)，我們再在云端用大模型過一遍，研發(fā)工程師再去看，最后出報告。

這是我們在20年到22年做這樣的一些工作，它的很多結果，其實到最近或者是再之后用戶才能感受到。

雷峰網：您對于端到端怎么看？

任少卿：大家開始做所謂的端到端。這個詞其實很有意思，因為你會發(fā)現(xiàn)說除了智駕沒有人說端到端，但其他領域確實有人在用端到端。

從2010年DAMA開始，大家建立了一套在當時的技術能力上其實是非常難做到的一個應用，以至于不得不拆成一節(jié)一節(jié)，打散了再一項一項解決，一直到2020年、2021年，讓熟悉研發(fā)的工程師畫自動駕駛架構，會發(fā)現(xiàn)大家畫的基本上是一樣的，所以從架構層面來說，十幾年變化不大。

但到了2022年、2023年，產業(yè)鏈出現(xiàn)了一定的可能性，有機會打破原來的架構進行整合，然后拿到更快、更好的效果。業(yè)界就進入所謂端到端的時代。大概在2023年的時候我們有過一次內部討論，大概就是討論端到端面臨的問題。

端到端它是自動駕駛技術演進過程的一個階段，但它沒有解決很多其他問題，比如語言模型是不是可以直接用在自動駕駛上？以及語言模型是不是一個終極的AGI的完整體？自動駕駛本質上是一個真實世界中運轉的Agent，類似“泛機器人”的概念，那面臨的問題是，有了語言模型后，AGI是否就實現(xiàn)了？還缺什么？這是2023年很長時間我們在思考的問題。

雷峰網：對于世界模型和端到端的區(qū)別又怎么看？

語言模型的核心是語言，或者說是token，它的輸入是語言、輸出是語言，中間所有的表達全都是語言，它的根是語言。語言是什么呢？語言是概念的抽象。所以語言模型可以認為，是以語言為核心建立的概念認知的模型，他學到的能力是對于概念的認知。

但“一圖勝千言”，概念語言是相對抽象的。首先，在真實世界里有非常多的細節(jié)很難用概念去做描述。我們可以大致描述細節(jié)，但非常難以精確高效地描述它細的部分。其次，除了平面信息，人在真實世界里實際上交互的是三維和四維信息，即空間和時間。“空間”用語言更難描述，但在生活中又逃不掉。

所以我們認為，概念認知是表象，與語言并行的是時空認知。時空認知的底層是泛的圖像，這個圖像可以是二維的，也可以是三維、四維。概念認知能力和時空認知能力是AGI，或者說一個人、智能體、生物必需的，而語言模型解決不了時空認知的問題。

世界模型本質上是要建立時空認知能力。時空認知往下，它會分為物理規(guī)律、時空理解，也就是時間和空間，兩者結合就是世界模型要學習的。這件事是我們從2023年開始思考并投入研發(fā)，2024年7月份的NIO IN上第一次公開發(fā)布，在行業(yè)內蔚來是國內第一家，在行業(yè)外大概率也是第一家，逐漸有越來越多的人都開始擁抱世界模型路線，包括騰訊也做了世界模型，業(yè)界的討論也開始多了起來。

雷峰網：是什么讓蔚來決定All in世界模型？

任少卿：世界模型相較其他大模型都很難做到的一點，那就是長時序能力，之前的自動駕駛，包括只要是跟真實世界和時序特別相關的場景，語言模型不需要一個嚴格的時間軸。但只要和物理世界相關，時間軸非常明確。

這時候系統(tǒng)就面臨一個問題，如果遇到跨10秒、1分鐘、10分鐘的決策，應該怎么做？自動駕駛前面十幾年是怎么解決的呢？只干了兩件事。第一個先是地圖，地圖本質就是一個長時序的信息傳入。例如，地圖上顯示，某條街修路了，路徑需要改變；再比如這條路前面2個小時有擁堵的實時信息。所有的這些都是長時序信息的輸入，這是自動駕駛任務遇到長時序的第一個信息來源。

第二個就是靠人寫if else，依靠規(guī)則代碼：如果前面發(fā)生某種狀況，3秒鐘之后應該怎么處理，5秒鐘之后應該怎樣，接下來1分鐘又該怎么樣，依靠規(guī)則。只有這兩種，沒有其它的方式。

但這才是人和機器最大的不同。隨著transformer、memory等技術出現(xiàn)，業(yè)內可以做到3秒鐘、5秒鐘，也就是如此。但人駕駛甚至有跨月的記憶，比如說一個月之前，你在這條路上開錯了，連續(xù)一個月之后你再也不會開錯，這個場景在所有現(xiàn)在的框架里是未能解決的。

那剛才說的這些長時序怎么辦？用世界模型去解決。蔚來在小路的處理能力就是一個很好的例子，在小路開智駕它既需要對空間理解，也需要對時間理解。

如果對向來了一輛車，在會車的時候要不要讓路？讓路的同時是要減速還是剎停？這里其實涉及到對時間理解和空間的推理判斷，或者說是長時序，因為當你看到對向來車的時候就要做出判斷。以往業(yè)內做法是拆開去做，長時序的情況還是去靠if else，然后讓感知模塊和端到端模塊去處理一個三秒內的動作，模型本身處理不了這么長的時序。

如果只靠外層的狀態(tài)機，你會逐漸發(fā)現(xiàn)這種場景是割裂的，因為本質上這是一個10s、20s的長時序的任務，結果模型只能處理三秒，所以在這種場景會斷斷續(xù)續(xù)。而世界模型除了學習空間，同時也會學習時間，這就使得世界模型能夠支持長時序的推演，世界模型的外層狀態(tài)機基本被砍掉了，處理事情會更一體化。

這也是我們在2023年最核心的思考。

第八屆 GAIR 全球人工智能與機器人大會

2025年12月12-13日，第八屆GAIR全球人工智能與機器人大會，將在深圳南山·博林天瑞喜來登酒店舉辦。

今年大會，將開設三個主題論壇，聚焦大模型、算力變革、世界模型等多個議題，描繪AI最前沿的探索群像，折射學界與產業(yè)界共建的智能未來。目前，首批重磅大咖名單正式揭曉，還有更多行業(yè)領軍者將齊聚現(xiàn)場，共探智能的未來。歡迎點擊文末“閱讀原文”或識別海報二維碼，報名參會，相約 GAIR 2025 ~