用人類腦電波教 AI 開車，這位清華 90 后學(xué)者直言隱式信號里藏著 AGI 的關(guān)鍵 | 萬有引力

作者 | 唐小引

出品 | CSDN（ID：CSDNnews）

想象一下：什么是“老司機(jī)”的直覺？

你正在開車經(jīng)過一個繁忙的路口。右側(cè)停著一輛公交車，擋住了你的視線。突然，你的腳不自覺地放在了剎車上。為什么？你的眼睛并沒有看到行人，也沒有看到紅燈。

幾秒鐘后，一個騎著電動車的人從公交車頭“鬼探頭”沖了出來。你從容踩下剎車，避免了一場事故。

這就是我們常說的“車感”或者“駕駛直覺”。它不是教科書上死記硬背的規(guī)則，而是一種基于經(jīng)驗的、潛意識的風(fēng)險預(yù)判。這種能力，是人類大腦在處理了無數(shù)次復(fù)雜路況后進(jìn)化出的“超級算法”。

現(xiàn)在的自動駕駛系統(tǒng)雖然已經(jīng)很厲害了，能識別車道線、紅綠燈，甚至能識別幾十種不同的車型，但它們往往缺乏這種“直覺”。它們像是一個剛拿駕照、只會死守交規(guī)的新手，遇到?jīng)]見過的復(fù)雜情況（比如那個被擋住的盲區(qū)）時，往往會不知所措。

那么問題來了：我們能不能把老司機(jī)的這種“直覺”，直接“拷貝”給人工智能呢？

最近，來自清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）的團(tuán)隊，就做了一件科幻電影里才有的事：他們用人類駕駛員的腦電波（EEG），教會了自動駕駛模型如何像人一樣“思考”！

這項發(fā)表在人工智能頂會 NeurIPS 2025 上的成果，名叫 E3AD。其背后的發(fā)起人——龔江濤博士生于 1990 年，成長于陜西漢中。清華十年，她始于計算機(jī)科學(xué)，深入神經(jīng)科學(xué)，走上了具身認(rèn)知增強(qiáng)之路。本期《萬有引力》，一起來走進(jìn)她的故事以及對于類腦認(rèn)知的研究及思考。

左：龔江濤，右：唐小引，歡迎收聽音頻~

AI 交叉人生的十字路口：從計算機(jī)到人機(jī)交互

唐小引：大家好，歡迎收聽《萬有引力》。今天的嘉賓是清華大學(xué)助理教授龔江濤老師，龔老師的主要研究方向是學(xué)習(xí)、駕駛、工作等強(qiáng)認(rèn)知活動場景中的智能系統(tǒng)設(shè)計及具身認(rèn)知增強(qiáng)的類人智能體。歡迎龔老師，請和大家打個招呼，做一下自我介紹，可以簡要分享一下自己個人產(chǎn)學(xué)研經(jīng)歷的故事。

龔江濤：大家好，我是龔江濤。目前在清華大學(xué)智能產(chǎn)業(yè)研究院工作，擔(dān)任助理教授、助理研究員。今天很高興受邀來這里，跟大家分享一下我在科研生涯的一些經(jīng)歷和思考。

我本科在清華大學(xué)軟件學(xué)院學(xué)習(xí)，拿到計算機(jī)的第一學(xué)位。因為個人興趣，本科期間我又在美術(shù)學(xué)院修讀了第二學(xué)位，方向是數(shù)字娛樂設(shè)計。這段雙學(xué)位的學(xué)習(xí)經(jīng)歷，也讓我較早地建立起了交叉學(xué)科的視角和基礎(chǔ)。

到了研究生階段，我進(jìn)入清華的信息藝術(shù)交叉學(xué)科項目——這是由計算機(jī)、美術(shù)學(xué)院和新聞傳播相關(guān)院系共同建設(shè)的一個交叉培養(yǎng)項目。學(xué)習(xí)一段時間后，我跟隨導(dǎo)師徐迎慶教授（清華大學(xué)教授、未來實驗室主任）來到未來實驗室，繼續(xù)完成博士階段的研究。

博士畢業(yè)時，我越來越明確地感受到：不管是做交叉研究，還是推動技術(shù)真正落地，都離不開對產(chǎn)業(yè)的深入理解。所以我選擇加入聯(lián)想研究院，在業(yè)界的科研機(jī)構(gòu)里更貼近產(chǎn)業(yè)一線，去探索和實踐——怎樣把科研成果轉(zhuǎn)化為企業(yè)能落地的產(chǎn)品。

有了這段經(jīng)歷之后，到了 2022 年，人工智能浪潮涌動。剛好張亞勤院士（中國工程院外籍院士、清華大學(xué)智能產(chǎn)業(yè)研究院院長）回歸清華并成立了清華大學(xué)智能產(chǎn)業(yè)研究院（AIR），我覺得這個平臺和我的方向非常契合，于是申請加入，在這里繼續(xù)做學(xué)術(shù)與產(chǎn)業(yè)結(jié)合的研究與探索。

唐小引：你從進(jìn)入清華到博士畢業(yè)，花了 10 年的時間。很多人可能是由別的學(xué)科進(jìn)入 AI 交叉科學(xué)，但你不一樣——計算機(jī)出身，后來轉(zhuǎn)到人機(jī)交互，并且一路走到了更交叉的研究路徑。我想聽聽：第一，當(dāng)初為什么選計算機(jī)？第二，很多計算機(jī)專業(yè)的人會一直在原方向深耕，你為什么會轉(zhuǎn)向人機(jī)交互？背后的動因是什么？

龔江濤：這個問題確實挺關(guān)鍵的?，F(xiàn)在大家覺得人工智能、計算機(jī)是熱門，但十年前并非如此，那會兒更熱的反而是房地產(chǎn)相關(guān)。再加上我家人做城市規(guī)劃設(shè)計，所以我當(dāng)時的第一志愿其實更偏建筑、土木這些方向。

后來因為一些機(jī)緣巧合，沒有走成那條路，我把軟件學(xué)院作為第二選擇。但這個“第二選擇”也不是完全偶然——我在中學(xué)階段接觸過數(shù)學(xué)和信息學(xué)競賽，第一次真正寫代碼的時候就很震撼：你可以把自己的想法“教給”機(jī)器，讓它替你去執(zhí)行；就像把思維復(fù)制了一份，而且還能不斷復(fù)用、擴(kuò)展。我當(dāng)時就覺得這件事特別有潛力，所以把軟件相關(guān)的方向放進(jìn)了自己的選擇里?，F(xiàn)在回頭看，雖然當(dāng)時有點陰差陽錯，但確實也挺幸運(yùn)。

進(jìn)了軟件學(xué)院后，我有很長一段時間非常沉浸在計算機(jī)體系里：從硬件體系結(jié)構(gòu)、操作系統(tǒng)到編譯原理，再到各種算法和軟件系統(tǒng)。我越學(xué)越覺得這些底層原理特別迷人。但當(dāng)我把這一套“原理鏈條”打通以后，也出現(xiàn)了一個更強(qiáng)烈的疑問：很多軟件只是在一個固定設(shè)備里運(yùn)行，它和真實的人類生活之間，好像隔著一道墻——除了輸入輸出的那一層接口，剩下的東西離普通人的感知有點遠(yuǎn)。我總覺得未來不應(yīng)該只是這樣。

也是在這個階段，我接觸到了人機(jī)交互相關(guān)的研究，視野一下就打開了。人機(jī)交互特別“交叉”：它不只是一個計算設(shè)備，而是會引入各種傳感器去感知人的行為、意圖和場景，讓機(jī)器不必只靠鍵盤鼠標(biāo)、或者那些“機(jī)器能懂但人得去適應(yīng)”的指令，而是能更自然地理解人的語言、動作和習(xí)慣。換句話說，只有把“接口”這件事做好，再強(qiáng)的算法、再酷的技術(shù)，才真的有機(jī)會落到人類社會里去。這件事對我來說非常有吸引力。

所以后來有機(jī)會申請第二學(xué)位時，我了解到美院有一個和計算機(jī)結(jié)合的項目，我就特別想加入。也正是在那段學(xué)習(xí)里，我糾正了自己以前對設(shè)計的一些偏見——我曾經(jīng)以為設(shè)計只是把東西做得好看，后來才意識到這想法太淺了。真正好的設(shè)計，既要邏輯上好用、體驗上順暢，又要能把新的能力做出來，甚至實現(xiàn)過去做不到的交互形態(tài)；而要做到這些，就必須把技術(shù)、認(rèn)知、表達(dá)、場景等很多因素綜合起來，串成一個完整的“故事”。那段經(jīng)歷基本讓我很清晰地找到方向：從讀博到現(xiàn)在工作，我就一直沿著這條路走下來了。

唐小引：聽下來確實是興趣驅(qū)動，而且你剛才提到一個很強(qiáng)的對比：于你而言，計算機(jī)本身的局限，以及人機(jī)交互帶來的更大空間。你能不能再具體一點，說說這個對比最“標(biāo)志性”的點是什么？

龔江濤：對，我的體感是這樣——算法和系統(tǒng)越往上走，確實會越來越抽象，也就更容易和真實世界的感受拉開距離?；A(chǔ)設(shè)施當(dāng)然非常關(guān)鍵，但對普通用戶來說，能真正“摸到”的往往就是接口那一層：怎么接觸、理解、用起來。

技術(shù)進(jìn)步的目的，最終還是要改善日常生活。如果接口沒有大的突破，人和機(jī)器的關(guān)系就很難更緊密——人很難在日常的每一個動作、決策里，都自然地和機(jī)器協(xié)同。那結(jié)果就可能變成：技術(shù)在技術(shù)圈里越玩越嗨，但普通人真正能享受到的，還是局限在“坐到電腦前、打開軟件”的那一刻。它更像是少數(shù)人的玩具，而不是大眾生活的一部分。

唐小引：我大概明白了。你希望技術(shù)能更多走進(jìn)千家萬戶，不只是停留在技術(shù)人群內(nèi)部，而是從消費(fèi)側(cè)、用戶側(cè)真正用起來——不管是個人還是行業(yè)。

龔江濤：是的，我特別在意“用戶能接觸到技術(shù)的機(jī)會點”。觸點越多，技術(shù)才越有可能真正幫到人。而人機(jī)交互做的事情，本質(zhì)上就是創(chuàng)造新的交互途徑和體驗：一方面探索新的交互形態(tài)，另一方面不斷優(yōu)化已有體驗，讓機(jī)器越來越適應(yīng)人，讓技術(shù)能更自然、更無縫地融入人的日常生活。

唐小引：你博士期間師從徐迎慶教授，博士后階段在聯(lián)想跟隨芮勇院士（聯(lián)想集團(tuán) CTO、歐洲科學(xué)院外籍院士）和王茜鶯博士（聯(lián)想集團(tuán)全球副總裁、斯坦福大學(xué)人機(jī)交互博士），現(xiàn)在又在張亞勤院士創(chuàng)立的 AIR 任教。這三段經(jīng)歷分別給你的研究風(fēng)格留下了什么烙印？對你有哪些影響和啟發(fā)？

龔江濤：確實，這一路走來我特別幸運(yùn)，遇到了很多良師益友，對我的幫助非常大。

先說博士階段的徐迎慶老師。我最早接觸徐老師時，他還在微軟亞洲研究院，后來他加入清華，我也能明顯感受到清華在引進(jìn)和支持人才方面是非常開放的。

從個人層面來說，徐老師是那種特別“立得住”的導(dǎo)師：人很正直，做事有原則，沒有私心。對我而言，這種人格和學(xué)術(shù)氣質(zhì)本身就是一種很強(qiáng)的示范。更重要的是，他對交叉學(xué)科的理解和教學(xué)理念，長期在影響我——他的經(jīng)歷本身就是交叉的：本科是數(shù)學(xué)背景，后來轉(zhuǎn)到計算機(jī)，同時又在藝術(shù)和創(chuàng)意表達(dá)上做過很有代表性的工作，比如參與過《新聞聯(lián)播》片頭彩帶動畫的創(chuàng)作，也在動畫領(lǐng)域拿過不少獎項。在他身上，我看到的交叉不是“這邊借一點、那邊拼一點”的淺層組合，而是每到一個新領(lǐng)域，都能從底層邏輯去把它吃透，然后帶著一種更顛覆、更原始的創(chuàng)新視角去做事情。這套方法論，對我博士階段的研究根基影響特別深。

舉個例子，我博士期間雖然在“人機(jī)交互”這個大方向里，但我真正最主要的研究工作，其實是在清華大學(xué)醫(yī)學(xué)院展開的，做的是腦科學(xué)相關(guān)研究。這個起點也挺有意思：我剛加入徐老師團(tuán)隊時，做的是面向盲人的大幅面觸覺顯示器——用密集觸點把圖案“顯示”出來，讓盲人可以通過觸摸去感知圖形。

當(dāng)時我接到任務(wù)后，一開始想的是：怎么生成更適合盲人理解的觸覺圖像？我查了大量資料后發(fā)現(xiàn)，很多工作只是把簡單的視覺圖像“轉(zhuǎn)換”成觸覺圖像，本質(zhì)上還是站在視覺的視角做映射，并沒有真正從觸覺的角度去理解“觸覺信息應(yīng)該怎么被表達(dá)”。我把這個想法跟徐老師說了，徐老師的反饋很直接：你說得對，那就先把“觸覺到底是怎么回事”研究清楚。

于是我們就和醫(yī)學(xué)院洪波老師（清華大學(xué)醫(yī)學(xué)院教授）那邊合作，開展了基于 fMRI（功能性磁共振成像）的研究，從大腦層面去看觸覺相關(guān)的認(rèn)知活動：從手上的感受器如何接收信息，到大腦怎么加工、怎么整合，甚至在不同條件下怎么產(chǎn)生代償機(jī)制。那段經(jīng)歷完全超出了我原本的預(yù)期，但也正是它讓我從另一個角度去理解“智能”：一個生物體是怎么感知環(huán)境、理解環(huán)境、處理信息并適應(yīng)環(huán)境的。

當(dāng)我把這種“生物智能”的機(jī)制和“計算機(jī)如何處理信息”的方式放在一起對照時，對算法設(shè)計的啟發(fā)非常強(qiáng)。很多靈感不是那種絞盡腦汁才擠出來的，而是你真的看懂了“它原來是這么工作的”，idea 就會如泉涌般而來。

唐小引：思想的漣漪。

龔江濤：對，就是這種感覺。所以我一直覺得，博士階段徐老師給我最大的影響，就是把我?guī)У揭粋€更“底層、更原始”的創(chuàng)新路徑上：先把問題的“根”弄清楚，再往上長出方法和系統(tǒng)。這也幾乎塑造了我后面一直延續(xù)至今的研究風(fēng)格。

唐小引：而且感覺這段經(jīng)歷也確實影響了今天的你——你的方向、你的方法，很多都從那時候延續(xù)下來了。

龔江濤：是的。這段博士經(jīng)歷對我來說特別關(guān)鍵。

后來博士畢業(yè)時，我也有一個挺意外的經(jīng)歷：我當(dāng)時作為系里第一個在院級畢業(yè)典禮上發(fā)言的學(xué)生代表上臺演講。當(dāng)時我沒有想到，可能一方面是我們的盲人觸覺顯示器項目本身影響力比較大，另一方面也是因為研究確實做得比較深入，所以才有這個機(jī)會。

也正是在畢業(yè)那個節(jié)點，我有一種很強(qiáng)烈的感覺：在學(xué)校里該系統(tǒng)學(xué)的東西，我差不多都學(xué)到了；但與此同時，我也有很多新的困惑——我做出來的東西，到底怎么在真實社會里產(chǎn)生價值？如果這件事我想不清楚，那我作為一個未來要獨(dú)立開展研究的人，就很難判斷什么方向是“對社會真的有用”的。

更現(xiàn)實一點說，我未來還要帶學(xué)生、指導(dǎo)學(xué)生。我得告訴他們怎么做研究、怎么成長、怎么在社會上站穩(wěn)。但如果我自己都不清楚科研成果如何走向應(yīng)用、如何在產(chǎn)業(yè)里形成價值，那我其實也很難把這些問題講透給學(xué)生。

所以在那個時候，我就走到了第二段經(jīng)歷：去聯(lián)想研究院。在這段經(jīng)歷里，對我影響最大的就是芮勇院士和王茜鶯博士。芮勇老師和我導(dǎo)師是很好的朋友，我們在一次活動上碰到后，交流下來發(fā)現(xiàn)有很強(qiáng)的合作契機(jī)。芮老師也覺得，我如果想把后續(xù)研究做得更貼近產(chǎn)業(yè)、真正走向落地，那么加入聯(lián)想這樣的團(tuán)隊會是一個很好的平臺，于是我就進(jìn)入了聯(lián)想研究院，開始了下一階段的探索。

在這個過程中，王茜鶯博士對我的影響也非常大。她本身就是人機(jī)交互領(lǐng)域的專家，研究方向跟我高度一致。她在斯坦福完成人機(jī)交互學(xué)習(xí)后回到業(yè)界，牽頭搭建了一個很有創(chuàng)新性的機(jī)制——TSIP（技術(shù)戰(zhàn)略與創(chuàng)新平臺），也就是把“技術(shù)戰(zhàn)略”和“創(chuàng)新孵化”打通的一套平臺化體系，她是這個平臺的負(fù)責(zé)人。

這段經(jīng)歷給我兩個特別重要的啟發(fā)。

第一是“國際化的學(xué)術(shù)視野”。人機(jī)交互這個領(lǐng)域，國內(nèi)外的發(fā)展節(jié)奏過去差異挺大的（現(xiàn)在在逐漸縮?。?。在國外，HCI 在計算機(jī)社區(qū)里是非常大的一個研究共同體，因為它能做的事情太多了；而在國內(nèi)，當(dāng)時更多還是集中在解決已有交互觸點的技術(shù)瓶頸，大家很少去主動創(chuàng)造新的觸點、新的交互形態(tài)。茜鶯老師把很多前沿的理念和方法帶回來，也給了我更多參與國際交流的機(jī)會：比如投稿頂會期刊、參加國際學(xué)術(shù)會議。在這個過程中，我也在不斷完成“學(xué)術(shù)表達(dá)的國際化轉(zhuǎn)換”。再加上聯(lián)想本身就是一家高度國際化、非常開放的企業(yè)，這種環(huán)境對我的成長幫助很大。

第二個啟發(fā)更“落地”——也就是：HCI 研究在業(yè)界到底怎么生存、能為公司和產(chǎn)品真正做什么。茜鶯老師當(dāng)時把團(tuán)隊能力拆得非常清晰，基本上形成了一套可運(yùn)轉(zhuǎn)的閉環(huán)。

• 一塊是技術(shù)戰(zhàn)略與基礎(chǔ)管理：做前瞻布局、資源與預(yù)算的統(tǒng)籌，也相當(dāng)于研究組織的“中樞系統(tǒng)”。

• 一塊是用戶研究：由心理學(xué)、人因工效等背景的同學(xué)為主，負(fù)責(zé)洞察用戶、理解真實需求。

• 一塊是設(shè)計：從概念設(shè)計到精細(xì)化設(shè)計，往往以“搭檔”的形式進(jìn)入具體項目，把洞察轉(zhuǎn)化成方案。

• 還有一塊是技術(shù)與工程：好的體驗和想法必須快速做原型、做驗證，才能知道能不能達(dá)到預(yù)期，這里面需要很強(qiáng)的工程支撐。

這套框架讓我第一次非常直觀地意識到：HCI 不是單點能力，而是一整套可以在產(chǎn)業(yè)里“交付價值”的綜合體系。

另外還有一個很有意思、也很有代表性的案例：那段時間茜鶯老師也在做內(nèi)部孵化，相當(dāng)于內(nèi)部創(chuàng)業(yè)，重新孵化了一個教育品牌。這個過程給了我非常鮮活的樣本——如果我們真的要把一個新想法變成新產(chǎn)品，要怎么組團(tuán)隊、怎么定方向、怎么一步步研發(fā)迭代；怎么和領(lǐng)域?qū)＜夜矂?chuàng)；以及最后怎么推動它走向商業(yè)化落地。這些都是我在聯(lián)想四年里學(xué)到的、特別實用的東西。

唐小引：聽起來你在聯(lián)想實現(xiàn)了“仰望星空”和“腳踏實地”的結(jié)合，把這套能力真正修煉出來了。

龔江濤：是的。但我也想說，這個過程其實挺不容易的。很多時候，一個人決定改變，背后往往是先感受到某種“痛苦”，才會真的下決心去調(diào)整。

比如我從清華去聯(lián)想，最開始就很痛苦：當(dāng)你說不清自己的研究到底“價值在哪里”、怎么向外界解釋它、怎么讓它真正產(chǎn)生價值時，會非常焦慮。后來我在很多師弟師妹、以及更年輕的學(xué)生身上，也經(jīng)?？吹筋愃频臓顟B(tài)——很多人一路讀到博士最后，反而更迷茫，因為和社會多少有點脫節(jié)。博士本身又是一個很難、很痛苦的爬坡過程，爬完以后如果發(fā)現(xiàn)并沒有“前途一片光明”，落差感會更明顯。隨著博士培養(yǎng)規(guī)模越來越大，這種困惑其實會更普遍。所以我一直覺得，研究工作如果能和產(chǎn)業(yè)形成更好的連接，你會更容易找準(zhǔn)自己在社會中的位置，也更不容易陷入長期的迷茫。

到了聯(lián)想以后，研究的產(chǎn)業(yè)化又是另一種“痛苦”。

研究早期本質(zhì)上是投入，是成本，短期很難直接看到收益。那你怎么立項？怎么說服業(yè)務(wù)方、贊助方愿意支持你做這件事？這里面有大量溝通、論證、準(zhǔn)備工作，本身就是很大的挑戰(zhàn)。

等項目做出來之后，真正落地又會遇到新問題：你立項時的假設(shè)、條件、預(yù)測，到了落地那一刻往往會變；外部環(huán)境也會變；合作方的需求也可能變。于是你就得重新校準(zhǔn)——這件事還能不能按原計劃推進(jìn)？要不要改路線？這些都是新的難題。

尤其當(dāng)你做的是新產(chǎn)品、新模式，失敗率往往遠(yuǎn)高于成功率。好在做研究的人“抗打擊能力”一般還可以——每篇論文投稿，你都會面對來自全球同行的審稿意見和質(zhì)疑，這種訓(xùn)練反過來讓你更習(xí)慣在批評中迭代自己。所以經(jīng)歷過這一套之后，我對“如何把一個研究想法在產(chǎn)業(yè)里孵化出來”這條鏈路，以及中間可能踩的坑，就有了更系統(tǒng)、更真實的認(rèn)識：既包括我自己踩過的坑，也包括我觀察同事、前輩們?nèi)绾谓鉀Q問題的經(jīng)驗。

也正因為這樣，心態(tài)會更穩(wěn)定。聯(lián)想幾年之后，我不太會再陷入那種“我不知道該做什么、也不知道未來價值在哪里、也不知道怎么去說服別人”的狀態(tài)了——這些關(guān)鍵障礙基本都被掃清了。

然后時間來到更大的背景：人工智能浪潮一波一波地往上卷。其實我 2018 年去聯(lián)想時，就已經(jīng)開始跟 AI 做結(jié)合，但當(dāng)時我仍然覺得那只是冰山一角，后面一定會有更大的浪潮。

正好那時候亞勤老師從業(yè)界回到清華，再次創(chuàng)業(yè)，創(chuàng)建了智能產(chǎn)業(yè)研究院（AIR）。我一下就意識到：這是一個很重要的機(jī)會點——如果能在一個專注做 AI 的機(jī)構(gòu)里工作，我就能更近距離地參與這波浪潮，也能把自己的興趣和能力投入到更關(guān)鍵的問題上。

來到 AIR 的這幾年，我也確實有很強(qiáng)的體感：我做的很多事情，基本都是社會最關(guān)注的方向——比如自動駕駛、機(jī)器學(xué)習(xí)、大模型、智能體等等。機(jī)會特別多，也讓我獲得了更前沿的 AI 訓(xùn)練，對產(chǎn)業(yè)發(fā)展方式的理解也更深入，同時也能從自己的視角做出一些實際貢獻(xiàn)。

坦白說，在來 AIR 之前，我整體還是偏人機(jī)交互，對算法本身關(guān)注沒有那么重。但在 AIR 這個環(huán)境里，你會看到同事們每天都在討論新算法、討論問題和改進(jìn)方案。耳濡目染之下，我也開始重新思考：原來從我的視角出發(fā)，我也可以用 HCI 的方法論和流程，去推動一些更底層、更源頭的 AI 創(chuàng)新——這是我在 AIR 這段經(jīng)歷里非常大的收獲。

具身認(rèn)知增強(qiáng)與駕駛：用人類腦電波教 AI 開車

唐小引：我看到你現(xiàn)在的研究方向重點放在“具身認(rèn)知增強(qiáng)”上。我其實是第一次聽到這個說法，有點困惑。因為過去大家聊 AI 的“認(rèn)知”，更多還是偏語言、思維、符號系統(tǒng)這一套——比如維特根斯坦那句“語言的邊界就是世界的邊界”，講的是認(rèn)知世界，而不是物理世界。但“具身”又強(qiáng)烈指向跟真實物理世界的互動。就像大模型正從數(shù)字世界走向物理世界一樣。能不能先請你給大家梳理一下：具身認(rèn)知增強(qiáng)這個方向在國內(nèi)外大概發(fā)展到什么階段？然后再講講你自己主要在攻哪一塊。

龔江濤：這個問題問得很到位。其實過去很長一段時間，相關(guān)研究基本是兩條平行線：一條是做語言模型、NLP、大模型的，更多在軟件和互聯(lián)網(wǎng)的“數(shù)字世界”里；另一條是做硬件、機(jī)械、自動化、機(jī)器人這套工程體系的，更多在“物理世界”里。兩撥人各自很強(qiáng)，但確實涇渭分明，很多時候甚至彼此不太關(guān)注對方在推進(jìn)什么。

這幾年隨著 AI 能力快速外溢，兩邊開始明顯“匯流”。做大模型的人會想：既然在語言層面已經(jīng)證明了通用能力，那能不能把這種能力遷移到物理世界，讓模型不只會說、會寫，還能“會做”；而機(jī)器人這邊也會想：過去機(jī)器人更多是在解決相對固定、規(guī)則明確的任務(wù)，很多時候更像高級自動化。那現(xiàn)在 AI 這么強(qiáng)，是不是有機(jī)會讓機(jī)器人真的更像人一樣，能理解、能適應(yīng)、能學(xué)習(xí)？

但實話說，這個融合目前還在起步階段，挑戰(zhàn)非常硬。最核心的兩點：

第一，物理世界比語言世界復(fù)雜得多。語言本身就是對現(xiàn)實的高度抽象和壓縮，我們討論的很多東西已經(jīng)被“提煉”過了；可一旦回到真實環(huán)境，信息是多模態(tài)、冗余、連續(xù)變化的，還牽涉動力學(xué)、能量、關(guān)節(jié)控制等一整套約束，變量更多、耦合更強(qiáng)。

第二，物理世界“真的會出事”。在數(shù)字世界里，最極端也許就是誤刪文件、甚至“刪庫跑路”；但在物理世界里，機(jī)器人是鋼鐵軀體，動作一旦不當(dāng)就可能傷到人。所以你會發(fā)現(xiàn)，機(jī)器人一啟動，旁邊的人會下意識往后退——因為它的風(fēng)險是真實存在的。這也是具身智能繞不開的門檻：安全、可靠、可控。

那我自己的切入點，其實是反過來問一句：人到底是怎么把這件事做好的？你越做具身相關(guān)研究，越會感嘆人這個系統(tǒng)有多精妙——能耗低、學(xué)習(xí)快、恢復(fù)能力也強(qiáng)；但你真要把這些能力搬到機(jī)器人身上，會發(fā)現(xiàn)每一步都很難。

我們在實踐里經(jīng)常遇到一個“看似矛盾”的問題：很多機(jī)器學(xué)習(xí)方法只能學(xué)習(xí)“已經(jīng)發(fā)生、看得見”的東西——也就是事情出了問題，你才有數(shù)據(jù)去教它怎么改。但現(xiàn)實里真正決定系統(tǒng)安全性和魯棒性的，往往是那些發(fā)生概率很低、但代價很高的關(guān)鍵場景。比如駕駛這種任務(wù)，大多數(shù)時候路況是正常的，數(shù)據(jù)里也就幾乎都是“正常駕駛”。模型當(dāng)然很快能學(xué)會正常部分，可一到少量的臨界情況，就容易掉鏈子——而偏偏這些情況最要命。

我自己的理解是：人之所以總體事故率低，很重要的一點不是“事后補(bǔ)救”，而是“提前預(yù)判”。我們一直在做風(fēng)險預(yù)測和規(guī)避——很多危險其實在發(fā)生之前，就被我們繞開了。所以我做“具身認(rèn)知增強(qiáng)”，很大一塊就是想把這種能力交給機(jī)器：讓它不只是會執(zhí)行動作、會完成任務(wù)，還能識別風(fēng)險的苗頭、提前調(diào)整策略，把問題消解在真正發(fā)生之前。

如果機(jī)器人能學(xué)會這種“預(yù)測—規(guī)避”的能力，那么哪怕訓(xùn)練數(shù)據(jù)里極端事件很少，它也能從大量的日常數(shù)據(jù)中學(xué)到更可靠的安全行為，學(xué)習(xí)效率和最終效果都會明顯提升。

唐小引：正好也請您聊聊你們團(tuán)隊的新成果——E3AD，首次嘗試把人類駕駛時的認(rèn)知信號，直接用來增強(qiáng)端到端自動駕駛的規(guī)劃任務(wù)。我讀論文的時候還挺驚訝的。用大白話講，這是不是有點像“用腦電教 AI 開車”？它到底解決了傳統(tǒng)端到端自動駕駛（E2E-AD）的哪些痛點？

龔江濤：可以這么理解，但我們更想表達(dá)的是：把“人是怎么提前預(yù)判風(fēng)險的”這件事，變成機(jī)器能用的信號。

我們之前提到過一個核心動機(jī)：人之所以很多時候“沒出事”，并不是因為事后處理得有多好，而是因為提前感知到風(fēng)險苗頭，就先做了規(guī)避動作，讓風(fēng)險根本沒發(fā)生。相比之下，機(jī)器如果完全靠在環(huán)境里“自己跑、自己撞、自己學(xué)”，遇到風(fēng)險的概率會高很多。

問題在于：這種“提前預(yù)判”的過程，怎么被采集出來？最直覺的方式是讓駕駛員自己說——比如讓他隨時報告：你現(xiàn)在覺得危險嗎？接下來會不會有風(fēng)險？但我們做過測試，發(fā)現(xiàn)這非常難。很多時候，司機(jī)其實已經(jīng)下意識把腳從油門移開，甚至準(zhǔn)備去踩剎車了，但他并不會、也很難用語言準(zhǔn)確描述“我正在進(jìn)入風(fēng)險預(yù)警狀態(tài)”。

于是我們同步采集了腦電信號。一個很有意思的現(xiàn)象是：在駕駛員自己還沒意識到、也說不清楚的時候，他的腦電反應(yīng)已經(jīng)出現(xiàn)了明顯變化——它能更早地“暴露”出大腦對潛在風(fēng)險的預(yù)警。這就給了我們一個入口：把這種隱式的預(yù)警信號，轉(zhuǎn)化為對自動駕駛規(guī)劃更有用的監(jiān)督信息。

唐小引：那為什么選腦電？從腦科學(xué)的角度，它到底在測什么？

龔江濤：簡單說，腦電反映的是大腦神經(jīng)活動的“電信號痕跡”。大腦里神經(jīng)元之間通過突觸通信，本質(zhì)上伴隨電活動；同時大腦作為生理組織，也會產(chǎn)生血流、血氧等變化。所以神經(jīng)科學(xué)里有很多不同的觀測手段，用來間接捕捉大腦的工作狀態(tài)。

我們可以打個比方：如果你想知道“北京城里的人都在干什么”，腦電更像是在北京上空放了一堆麥克風(fēng)，去聽整體的“聲音模式”，再反推大家的活動狀態(tài)；而像 fNIRS、fMRI 這類偏血流/血氧的技術(shù)，更像是看“哪片區(qū)域的能耗和供給在變”，用資源變化去推測哪些區(qū)域更活躍。

當(dāng)然，這些手段都不是“讀心術(shù)”，而是用可觀測信號去捕捉規(guī)律，再去推測它可能對應(yīng)的認(rèn)知狀態(tài)。

唐小引：那你們用的是侵入式還是非侵入式？

龔江濤：我們用的是非侵入式腦電。

唐小引：接著我想問更“工程化”的部分：采集到的認(rèn)知數(shù)據(jù)，怎么結(jié)構(gòu)化地融合到端到端自動駕駛訓(xùn)練里？它的數(shù)據(jù)流大概是怎樣的？

龔江濤：這個問題很關(guān)鍵。我們之所以選擇端到端自動駕駛，而不是傳統(tǒng)的模塊化方案，主要有兩個考慮。

第一是計算機(jī)系統(tǒng)層面的趨勢。早些年算力有限，大家更傾向于模塊化：先感知、再預(yù)測、再規(guī)劃、再控制。模塊化當(dāng)然清晰，但它會帶來信息瓶頸——上游把豐富的原始信息壓縮成少量中間結(jié)果傳給下游，細(xì)節(jié)丟失后，下游可能在關(guān)鍵時刻漏掉重要線索。小偏差一路往下傳，最后可能放大成大錯誤。

而端到端的路線，雖然內(nèi)部也會有層級結(jié)構(gòu)，但它能更充分地保留和利用原始信息，整體穩(wěn)定性和性能上更有潛力。從技術(shù)演進(jìn)角度看，系統(tǒng)越往后發(fā)展，往往越趨向端到端。

第二是從人腦研究范式出發(fā)。早期我們也曾經(jīng)更傾向“模塊化”理解大腦：這個區(qū)域干什么、那個區(qū)域干什么，信號一站一站傳遞。但越來越多研究發(fā)現(xiàn)，大腦的分工并沒有那么“干凈利落”，更多是全腦協(xié)同：既有自下而上的信息流，也有目標(biāo)驅(qū)動的自上而下整合。也就是說，當(dāng)你在執(zhí)行駕駛?cè)蝿?wù)時，你很難把“純感知信號”從“決策、意圖、預(yù)期”里完全剝離出來。

在這種情況下，如果我們以“完整任務(wù)”為單位去觀察大腦協(xié)同，反而更接近真實工作方式，也更有利于提升信噪比——而信噪比，恰恰是腦科學(xué)研究里非?，F(xiàn)實的瓶頸。

所以我們提出了一個對齊思路：讓“人腦的任務(wù)過程”和“機(jī)器的任務(wù)學(xué)習(xí)”都盡量用端到端的方式對齊，再做融合。結(jié)果也驗證了這個邏輯——第一次用端到端范式去融合時，效果比我們預(yù)想得更好，也增強(qiáng)了我們繼續(xù)走這條路的信心。

另外，在更深入地做腦信號結(jié)構(gòu)化分析之后，我們也看到：一些傳統(tǒng)“模塊化”的認(rèn)知觀點并沒有完全失效，它反而可能幫助我們在端到端框架之上做更精細(xì)的建模，進(jìn)一步提升效果。

唐小引：你們做了多層次的融合對比：在特征層、規(guī)劃層等不同階段分別融合，性能差異還挺明顯。這個對比結(jié)果說明了什么？對未來的模型設(shè)計有哪些啟示？

龔江濤：對，其實我們前面也鋪墊過一點。最后的結(jié)論很清晰：把人類認(rèn)知信號和自動駕駛系統(tǒng)都對齊到“任務(wù)層”，也就是最終的規(guī)劃與決策層來做融合，效果最好。

原因在于，大腦在真實任務(wù)中并不是“感知?dú)w感知、決策歸決策”這么干凈地分開。很多所謂的“感知相關(guān)信號”，其實已經(jīng)被后面的目標(biāo)、規(guī)劃和決策狀態(tài)影響了。換句話說，如果你把腦信號硬塞到早期的感知階段，它里面混著的并不只是感知信息，還夾雜了“我打算怎么做”的成分，反而容易出現(xiàn)錯配。

而我們實驗也印證了這一點：越是貼近端到端任務(wù)閉環(huán)、越是對齊整體規(guī)劃目標(biāo)的融合方式，收益越穩(wěn)定、效果也越好。這對未來模型設(shè)計的啟示就是：與其糾結(jié)在某個“模塊點位”拼接，不如更多從“任務(wù)對齊”出發(fā)，考慮融合發(fā)生在什么層面最合理。

唐小引：接著聊聊具身認(rèn)知在這里面的價值。第一點，引入具身認(rèn)知到底帶來了哪些“數(shù)據(jù)標(biāo)注”本身給不了的額外信息？

龔江濤：我覺得這是具身方向最有意思、也最關(guān)鍵的點。

你看，AI 走到今天，技術(shù)當(dāng)然進(jìn)步很大——網(wǎng)絡(luò)更深了、參數(shù)更多了、算力更強(qiáng)了。但從研究范式上講，主流路徑一直很像：有數(shù)據(jù)、有真值（標(biāo)簽）、有模型，用標(biāo)簽去監(jiān)督模型更新。這個范式背后其實有個默認(rèn)前提：人類能夠把“什么是對的”用顯式的方式講清楚。因為很多真值最終還是靠人標(biāo)出來的。

可一旦進(jìn)入具身任務(wù)，這個前提就經(jīng)常不成立。很多能力是“操作性技能”，比如控制身體、預(yù)判風(fēng)險、下意識規(guī)避危險——這些東西往往很難被語言準(zhǔn)確描述。你讓一個老司機(jī)解釋“我剛剛為什么松油門、為什么準(zhǔn)備踩剎車”，他可能自己都說不清楚；但他的身體和神經(jīng)系統(tǒng)其實已經(jīng)做出了反應(yīng)。

所以我的理解是：當(dāng)語言說不清楚的時候，身體會用信號“自己說話”。尤其是由大腦皮層、脊髓等神經(jīng)系統(tǒng)共同調(diào)控的那些過程，往往在動作發(fā)生之前，就已經(jīng)出現(xiàn)了可觀測的隱式信號。

這就帶來一個新的可能：我們不僅僅記錄“他最后做了什么動作”，而是把更早的階段——他在評估環(huán)境、猶豫、預(yù)判、準(zhǔn)備采取措施時的隱式信號——也采集下來，作為一種更深層次的監(jiān)督信息。對具身智能來說，這是一類傳統(tǒng)標(biāo)注很難提供、但可能非常關(guān)鍵的數(shù)據(jù)來源。

唐小引：我之前聽清華心理與認(rèn)知科學(xué)系主任劉嘉老師提到，人類很多動作更多由小腦控制，而大模型更像是在做“大腦皮層”的事。具身任務(wù)比如開車，往往需要大小腦高度配合。你們在研究里對這個問題的觀察是什么？

龔江濤：我非常贊同“大小腦協(xié)同”這個判斷，而且具身任務(wù)很多確實不只是小腦的事。

如果是偏“純小腦”的能力，比如穩(wěn)定控制、保持平衡、走路這類相對明確的控制問題，其實從自動化到今天，控制理論和工程體系發(fā)展得已經(jīng)很成熟了，單獨(dú)拿出來不一定那么難。

具身智能真正的瓶頸，往往在于：小腦式的穩(wěn)定控制，要和大腦皮層式的感知、理解、規(guī)劃、應(yīng)對突發(fā)情況整合起來。只要環(huán)境變得動態(tài)、復(fù)雜，需要識別、需要推理、需要處理長程目標(biāo)，或者任務(wù)里存在大量不可預(yù)期的意外，就會遇到各種極端情況、邊界場景。

所以我覺得，研究大腦在進(jìn)化過程中如何被具身經(jīng)驗塑造、以及大腦和小腦如何形成有機(jī)協(xié)作，對我們今天構(gòu)建更可靠的“大小腦協(xié)同型具身智能”，是非常關(guān)鍵的一條路徑。

腦電大模型：讓腦信號從“玄學(xué)”走向通用

唐小引：再談?wù)劮夯炞C。大家也很關(guān)心不依賴腦信號的推理穩(wěn)定性。也就是說，在推理階段只用視覺等輸入，模型還能否保持“類腦認(rèn)知”的能力？實際測試中這種泛化效果穩(wěn)定嗎？能舉個具體例子嗎？

龔江濤：這個問題很核心，也確實跟技術(shù)進(jìn)步直接相關(guān)。

我們這次工作里引入了上交大的 Large Brain Model（大腦大模型，簡稱 LaBraM），它對腦科學(xué)數(shù)據(jù)的泛化非常關(guān)鍵。因為腦科學(xué)天然有兩個難點：一是信噪比低；二是個體差異大。要從不同人、不同狀態(tài)里提煉出共性，把個體差異“消融”掉，往往需要更大規(guī)模的數(shù)據(jù)和更強(qiáng)的模型能力。

我們也在和智源研究院雷博老師（智源研究院研究員）所在的大腦大模型團(tuán)隊合作交流，這塊進(jìn)展非常快，大家交流起來都很興奮。

舉個相對直觀的例子來說明“大腦大模型”現(xiàn)在的能力邊界：過去腦電、血氧這類信號基本是兩條路線，各做各的。但在大腦大模型的框架下，它們有機(jī)會被映射到同一個“腦表征空間”里，指向同類的腦活動，這是一個很重要的變化。

再比如一個經(jīng)典任務(wù)：用腦電去預(yù)測你正在看什么。這個任務(wù)很適合用來檢驗魯棒性。兩三年前，這件事還很“玄學(xué)”，結(jié)果隨機(jī)性很強(qiáng)；但現(xiàn)在已經(jīng)能做到在大類、輪廓結(jié)構(gòu)等層面相對穩(wěn)定地解碼出來。這說明什么？說明腦信號的可用性、可遷移性在變強(qiáng)。

回到我們的問題：如果腦信號能更穩(wěn)定地表達(dá)“風(fēng)險預(yù)警、注意力變化”等認(rèn)知狀態(tài)，那么我們就可以在訓(xùn)練階段用它去“教會”模型——哪些視覺線索對應(yīng)潛在風(fēng)險、哪些場景需要提前規(guī)避。推理階段即便不再輸入腦信號，模型也能把這種能力遷移到純視覺輸入上，泛化就更穩(wěn)定。

唐小引：我在準(zhǔn)備采訪時也跟一些做具身的朋友聊：現(xiàn)在居然已經(jīng)有“腦電大模型”這種路線了。以前我們談具身更多聚焦多模態(tài)、世界模型、空間智能這些。這個領(lǐng)域其實發(fā)展不短了，但很多人不太了解。你覺得過去是大家之間存在壁壘，還是說現(xiàn)在因為都奔著具身智能走，才開始發(fā)生交叉融合？

龔江濤：你說得很準(zhǔn)確：過去確實更像“各走各的路”。

也不能說完全沒有交集。人工智能研究里會偶爾借鑒認(rèn)知科學(xué)的一些觀點，做一些“腦啟發(fā)”的設(shè)計。但過去的一個現(xiàn)實問題是：腦科學(xué)、認(rèn)知科學(xué)的研究范式很難規(guī)模化泛化。不同實驗的刺激材料、流程、分析方法都不一樣，結(jié)論有時連領(lǐng)域內(nèi)部都未必完全一致。大家都是在嘗試打開大腦這個黑箱：先采集數(shù)據(jù)，再提出假設(shè)；或者基于假設(shè)設(shè)計實驗去驗證。

所以計算機(jī)科學(xué)想從這里借鑒時，經(jīng)常只能借到“概念層”的東西：那些更通俗、更好傳播、更符合直覺的理論會先被引入。但原始的大腦數(shù)據(jù)長期沒有真正大規(guī)模進(jìn)入 AI 社區(qū)。

中間就會出現(xiàn)一種“隔了好幾層翻譯”的情況：認(rèn)知科學(xué)家先抽象一遍，AI 研究者再理解一遍，最后做出來的系統(tǒng)到底跟大腦有多像，其實很難說清。

而現(xiàn)在的變化是：隨著算力、模型和數(shù)據(jù)處理能力提升，我們終于有機(jī)會繞開多輪“概念翻譯”，直接在原始數(shù)據(jù)層面建立連接。尤其當(dāng)我們把兩邊都放到“任務(wù)對齊”的框架下，讓輸入輸出在同一類任務(wù)上對應(yīng)起來，就更有可能讓神經(jīng)網(wǎng)絡(luò)自己從復(fù)雜數(shù)據(jù)里去蕪存菁，學(xué)到更本質(zhì)的規(guī)律。

這個趨勢不只發(fā)生在腦科學(xué)與 AI 的結(jié)合上，其實在 AI for Science 的很多方向都類似：過去是科學(xué)家從數(shù)據(jù)里總結(jié)公式和定律，我們做系統(tǒng)時再去“引用定律”；現(xiàn)在很多時候可以直接讓模型從原始數(shù)據(jù)里學(xué)習(xí)，反而效果更好——這是一個更底層的范式變化。

終局猜想：具身智能的未來是“認(rèn)知伙伴”

唐小引：聊到“終局”，大家現(xiàn)在看馬斯克做腦機(jī)接口，會覺得很不可思議。你覺得這會成為未來的終局嗎？

龔江濤：我個人是相信這個趨勢的——技術(shù)進(jìn)步確實可能繞開很多屏障，讓我們更穩(wěn)定地獲取原始認(rèn)知信號，從而更直接地完成任務(wù)。

但這并不意味著每個人未來都要“配一個腦機(jī)接口”。現(xiàn)實里，技術(shù)怎么落地、以什么形態(tài)落地，未必和想象完全一致。更重要的是，“所想即所做”如果不加約束，會帶來風(fēng)險和倫理問題。

不過從方向上講，讓系統(tǒng)更接近“所想即所得”、更自然地讀懂人的意圖，這很可能是一個長期的演進(jìn)方向。

唐小引：那順著這個方向，你能不能描繪一下你理解的具身智能未來？或者說，你心里的 AGI 是什么樣的？

龔江濤：我們現(xiàn)在更愿意把它理解成一種“認(rèn)知伙伴”。

我們做 AI、做智能體，最終還是希望讓人類生活變得更好。要做到這一點，它必須在兩件事上持續(xù)變強(qiáng)：理解人類，以及和人類協(xié)同。

而從邏輯上講，如果 AI 和人類各用一套完全不同的思維機(jī)制，社會協(xié)作成本會變得非常高——溝通成本、對齊成本都會上升。所以我更希望未來的智能體，在核心機(jī)制上盡可能和人類共享某些“可對齊”的邏輯框架，這樣它才能真正融入人類社會，而不是只在自己的系統(tǒng)里自洽。

唐小引：回到當(dāng)下的通用腦電大模型，你們論文里也提到表現(xiàn)已經(jīng)很不錯了。為什么會選擇上交大團(tuán)隊的 Large Brain Model？背后應(yīng)該也有合作和評估過程，能分享一下嗎？

龔江濤：這件事確實挺有意思。我一直在北京工作，但我也得承認(rèn)，上海這邊整體的 AI 氛圍和生態(tài)非常活躍，很多方向推進(jìn)得很快，而且合作方式也比較開放，容易產(chǎn)生新東西。

當(dāng)時我們對市面上幾個主流的腦電大模型做過評估，大概篩了三套重點方案。后來我們和上交大負(fù)責(zé)的老師做了線下深入交流，綜合他們的數(shù)據(jù)量、已驗證任務(wù)的覆蓋面以及工程實現(xiàn)的完整度，最后選擇了他們的 Large Brain Model。引入之后，確實帶來了比較明顯的性能提升，我覺得這是一個比較成功的選擇。

唐小引：那除了上交大的 LaBraM，還有其他不錯的腦電大模型嗎？

龔江濤：有的。當(dāng)時我們做選擇的時候，智源研究院那邊的相關(guān)模型還沒完全出來。后來我們在去年年底也有交流，接下來我也希望能把智源這邊納入評測范圍，做一個更系統(tǒng)的對比測試（benchmark）。

唐小引：也就是說，底層模型層面可能會有多個選擇來支撐？

龔江濤：對，可能會做對比評測。但最終在具體系統(tǒng)里，往往還是會“擇優(yōu)選一”，更偏非此即彼的路線。

跨范式研究的挑戰(zhàn)：當(dāng)“允許試錯”遇到數(shù)據(jù)采集的深坑

唐小引：你剛才講了很多讓人興奮的點。那我也想問問“趟坑經(jīng)歷”——這種跨范式的研究，通常不會一路順利。你印象最深的挑戰(zhàn)是什么？是技術(shù)層面的，還是協(xié)作層面的？最后又是怎么解決的？

龔江濤：我覺得最大的挑戰(zhàn)，往往從啟動立項那一刻就開始了。你要推動一種“新范式”，在一開始還沒有足夠?qū)嵺`經(jīng)驗、也沒有完全跑通閉環(huán)的時候，要爭取資源支持非常難?，F(xiàn)實一點說，我們目前很多科研運(yùn)行機(jī)制，對“失敗”是缺少預(yù)案的——很多項目能立項，往往是因為你幾乎已經(jīng)驗證到八九不離十了。

我們之所以能把這件事啟動起來，是把它嵌入到一些更容易獲得支持的目標(biāo)里：比如自動駕駛評估、一些更靈活的縱向經(jīng)費(fèi)支持等。通過這種方式，才有機(jī)會孵化一條“以前沒人走過”的路。

唐小引：那這件事最初的靈感怎么來的？以及在 AIR 內(nèi)部溝通、對外爭取合作伙伴和經(jīng)費(fèi)時，大家的反饋是什么？

龔江濤：我確實很幸運(yùn)。和亞勤老師溝通我過往經(jīng)歷時，我提到過我們在醫(yī)學(xué)院做觸覺與腦認(rèn)知研究的經(jīng)驗。亞勤老師當(dāng)時的判斷是：駕駛本身就是強(qiáng)認(rèn)知活動，“老司機(jī)的大腦到底在做什么”這件事很值得先把數(shù)據(jù)采下來。哪怕短期不確定能不能直接影響自動駕駛算法研發(fā)，也值得先做探索。能拿到他的支持，是項目啟動的關(guān)鍵因素之一。

第二是合作伙伴的支持。我們當(dāng)時和百度這邊一起承擔(dān)了一些國家課題。在我們提出方向調(diào)整后，也做了匯報交流。百度整體態(tài)度很開放：他們可能短期看不到明確落地路徑，但并不反對我們在國家項目框架下做探索。更重要的是，在大的項目里，他們確保主線目標(biāo)可控，同時也給我們留出了一塊“允許試錯”的空間和經(jīng)費(fèi)，用來做設(shè)備采購、實驗組織和數(shù)據(jù)采集。

唐小引：那在“允許試錯”的部分里，有哪些真的“翻車”了？又有哪些是出乎意料地成了？

龔江濤：最典型的“難”，其實在數(shù)據(jù)采集。

我們當(dāng)時專門設(shè)計了一條包含多種道路形態(tài)的采集路線，盡量覆蓋主輔路切換、掉頭、復(fù)雜交互等場景，并且選擇偏晚高峰的時段，讓老司機(jī)更可能遇到豐富的交通沖突與博弈。

采集時，駕駛員需要同時佩戴腦電設(shè)備和眼動設(shè)備，車內(nèi)還要布置多視角攝像；我們前后排都安排了乘客，其中乘客還佩戴心率、皮電等生理傳感器，方便從“乘客視角”捕捉他對風(fēng)險的感受變化。這一整套系統(tǒng)搭建和穩(wěn)定運(yùn)行，比我們預(yù)想花了多一到兩倍時間；后續(xù)的數(shù)據(jù)清洗、對齊、建庫、分析，也遠(yuǎn)比實驗室預(yù)實驗更耗時。

不過好消息是，盡管過程慢、投入大，但最終效果確實讓我們覺得很“值得”。

唐小引：那從技術(shù)判斷上總結(jié)一下：腦電會不會成為未來自動駕駛的主流信號？以及除了腦電，還有哪些生理信號也可能融合進(jìn)來？

龔江濤：我更愿意把它看成“第一步”，而且它不只局限于自動駕駛。更廣義的具身智能、甚至一些離身的智能系統(tǒng)，都可能從這種范式里受益：我們不一定非要重復(fù)走一條老路，而是可以借助人類隱式信號，找到更高效的學(xué)習(xí)路徑。

至于信號類型，和大腦直接相關(guān)的，除了腦電，還有 fNIRS 這類血氧信號等。我們自己還做過一個很有代表性的方向：眼動信號。

眼動本質(zhì)上反映的是注意力分配——而在復(fù)雜駕駛場景里，信息極其冗余，模型也非常需要“注意力”去篩選重點。我們把人的注視作為一種先驗融合進(jìn)機(jī)器視覺后，發(fā)現(xiàn)效果是可觀的。更有意思的是：隨著模型規(guī)模變大，在不同階段加入眼動先驗都能帶來相對穩(wěn)定的提升。

這讓我們形成一個直觀判斷：僅靠顯式標(biāo)注的數(shù)據(jù)，哪怕數(shù)據(jù)量不斷擴(kuò)大，也很難完全覆蓋人類在真實任務(wù)里產(chǎn)生的那些“隱式認(rèn)知線索”。把這類線索納入學(xué)習(xí)體系，可能是繞不開的一條路。

唐小引：所以最大的瓶頸還是數(shù)據(jù)？

龔江濤：對，核心瓶頸還是數(shù)據(jù)：采集難、對齊難、建庫難、分析難。軟件工程本身反而相對成熟。

擁抱開源與未來：大腦其實一直在“說話”

唐小引：那說到開源?，F(xiàn)在大家很關(guān)心“完全開源”——代碼、模型、權(quán)重、數(shù)據(jù)集都開嗎？你們有什么計劃？

龔江濤：我們作為高?？蒲袌F(tuán)隊，這項工作是盡可能完全開源的：代碼、模型、權(quán)重以及數(shù)據(jù)都會開放。

但也有一部分需要現(xiàn)實約束：自動駕駛場景涉及道路與影像數(shù)據(jù)，會牽涉隱私與合規(guī)問題，所以在圖像等敏感數(shù)據(jù)的訪問上，我們會設(shè)置郵件申請等門檻，確保合規(guī)使用。這主要是由場景本身的特殊性決定的。

唐小引：現(xiàn)在“開發(fā)者”定義也在變——大模型降低了編程門檻，越來越多人可以參與；同時交叉學(xué)科也更常見。你作為過來人，對新一代開發(fā)者有什么建議？

龔江濤：我覺得編程會讓每個人受益，不管你來自哪個學(xué)科。它會讓你更理解機(jī)器的邏輯，也更懂得怎么把機(jī)器當(dāng)作工具和伙伴去協(xié)作。

如果你想更系統(tǒng)地進(jìn)入計算機(jī)領(lǐng)域，還是建議把計算機(jī)的基礎(chǔ)思想和方法論補(bǔ)齊：數(shù)據(jù)結(jié)構(gòu)、算法、系統(tǒng)、工程思維這些，能決定你走得穩(wěn)不穩(wěn)。好的一點是，計算機(jī)學(xué)科的學(xué)習(xí)資源極其開放，自學(xué)門檻在很多學(xué)科里反而是最低的——公開課、開源項目、資料都很豐富，愿意投入就能學(xué)起來。

另外我不太擔(dān)心“人多會搶飯碗”。真正決定差異的，往往是你的跨學(xué)科能力：你能不能在“精”之外，理解一個真實領(lǐng)域的問題語境；能不能和領(lǐng)域?qū)＜疑疃葏f(xié)同；能不能把技術(shù)真正落到場景里。交叉學(xué)科不是淺嘗輒止，而是在扎實基礎(chǔ)上，深入理解目標(biāo)領(lǐng)域，才能把事做成。

唐小引：最后請你用一句話總結(jié)：類腦認(rèn)知賦能自動駕駛，它對端到端自動駕駛、以及未來 AI 系統(tǒng)設(shè)計分別有什么啟示？

龔江濤：我想說的是——大腦其實一直在“說話”。這些隱式認(rèn)知信號里，可能藏著構(gòu)建更接近通用智能系統(tǒng)的關(guān)鍵線索；在理解人類大腦的基礎(chǔ)上，我們有機(jī)會設(shè)計出更能融入真實世界、更能服務(wù)人類社會的 AI 系統(tǒng)與智能體。

關(guān)于《萬有引力》：

這是由 CSDN &《新程序員》執(zhí)行總編唐小引主理的對話欄目。技術(shù)趨勢多變，一不留神總擔(dān)心錯過。正在發(fā)生的技術(shù)事件，對于我們開發(fā)者意味著什么？我們面臨的諸多困惑從何尋找答案？《萬有引力》即志在于此，直面事件與困惑，抽絲剝繭，解讀技術(shù)真相。

• 欄目定位：一檔面向開發(fā)者群體，聚焦解讀技術(shù)真相的對話欄目。

• 視頻觀看平臺：CSDN 視頻號、CSDN 網(wǎng)站 & App

• 多形式：文章、視頻、音頻都會有，持續(xù)關(guān)注 CSDN 公眾號都可獲取，歡迎大家關(guān)注！