我的科研搭子，是個(gè)AI | 8位頂尖神經(jīng)科學(xué)家萬(wàn)字實(shí)錄

人工智能會(huì)如何重塑科學(xué)研究的未來(lái)？當(dāng)一個(gè)“無(wú)所不知”的數(shù)字大腦成為科學(xué)家的研究伙伴，會(huì)碰撞出怎樣的火花？這或許不再是一個(gè)遙遠(yuǎn)的問(wèn)題，而是一個(gè)正在發(fā)生的現(xiàn)實(shí)。

在過(guò)去的幾年里，大語(yǔ)言模型在規(guī)模和能力上實(shí)現(xiàn)了迅速增長(zhǎng)。它們不僅能理解和生成文本，還能解析復(fù)雜的圖表與代碼，展現(xiàn)出強(qiáng)大的推理能力。面對(duì)這一新興力量，嗅覺(jué)敏銳的科學(xué)家們沒(méi)有遲疑，迅速將其融入自己的工作流程中。他們或使用這些工具來(lái)分析文獻(xiàn)，或與之共同頭腦風(fēng)暴提出假設(shè)，或利用其高效查詢數(shù)據(jù)庫(kù)，與復(fù)雜數(shù)據(jù)集交互并調(diào)查新發(fā)現(xiàn)的結(jié)論。

那么，在神經(jīng)科學(xué)——這個(gè)探索人類心智前沿的領(lǐng)域里，這一切是如何具體發(fā)生的？下面，八位頂尖的神經(jīng)科學(xué)家將為我們分享他們與這位“新同事”共事的獨(dú)家故事。

追問(wèn)快讀：

01 Reza Abbasi-Asl：用Transformer繪制無(wú)偏的大腦細(xì)胞地圖

02 Katrin Franke ：用大模型提升非英語(yǔ)母語(yǔ)者文本效率

03 Bradley Love：人機(jī)協(xié)作預(yù)測(cè)神經(jīng)科學(xué)的研究結(jié)果是否被修改

04 Jeremy Magland：開(kāi)發(fā)端到端的神經(jīng)電數(shù)據(jù)探索和可視化智能體

05 Nina Miolane ：使用大模型查找文獻(xiàn)并指導(dǎo)實(shí)驗(yàn)

06 Rachel Parkinson：快速閱讀文獻(xiàn)并提取結(jié)構(gòu)化信息

07 Martin Schrimpf： 用大模型預(yù)測(cè)人腦處理語(yǔ)言時(shí)的特征

08 Kim Stachenfeld：數(shù)據(jù)驅(qū)動(dòng)的計(jì)算神經(jīng)科學(xué)模型自主構(gòu)建

Reza Abbasi-Asl：用Transformer

繪制無(wú)偏的大腦細(xì)胞地圖

?Reza Abbasi-Asl 2018年于加州大學(xué)伯克利分校獲得電氣工程與計(jì)算機(jī)科學(xué)博士學(xué)位和碩士學(xué)位，期間開(kāi)發(fā)了具有計(jì)算神經(jīng)科學(xué)應(yīng)用的可解釋機(jī)器學(xué)習(xí)工具。目前是UCSF 神經(jīng)病學(xué)系和生物工程與治療科學(xué)系的助理教授，關(guān)注精神疾病相關(guān)研究。

我們的實(shí)驗(yàn)室正在使用大模型背后的核心技術(shù)來(lái)解決一種完全不同的語(yǔ)言：細(xì)胞組織的語(yǔ)言。實(shí)驗(yàn)室通過(guò)空間轉(zhuǎn)錄組實(shí)驗(yàn)進(jìn)行觀測(cè)。我們提出了一個(gè)簡(jiǎn)單的問(wèn)題：人工智能模型能否根據(jù)細(xì)胞周圍的細(xì)胞環(huán)境來(lái)解釋細(xì)胞，就像語(yǔ)言模型解釋句子中的單詞一樣？結(jié)果證明答案是肯定的。

我們開(kāi)發(fā)了一個(gè)名為CellTransformer 的模型，該模型通過(guò)學(xué)習(xí)，能基于其“細(xì)胞鄰域”，即圍繞它的細(xì)胞小社區(qū)的分子特征預(yù)測(cè)細(xì)胞狀態(tài)。我們使用由我們的合作伙伴艾倫研究所收集的大量空間轉(zhuǎn)錄組數(shù)據(jù)集對(duì)模型進(jìn)行以自監(jiān)督訓(xùn)練；AI 模型觀察一個(gè)細(xì)胞鄰域，觀察時(shí)忽略一個(gè)細(xì)胞的分子身份，然后嘗試根據(jù)其臨近細(xì)胞預(yù)測(cè)隱藏細(xì)胞的身份。

通過(guò)重復(fù)這一過(guò)程數(shù)百萬(wàn)次，CellTransformer學(xué)會(huì)了不同細(xì)胞如何排列在一起的基本規(guī)則。這種方法與之前旨在定義大腦中不同細(xì)胞類型的腦圖工作不同。CellTransformer確定了這些細(xì)胞類型是如何組裝成更大的、有明確功能的區(qū)域的。

CellTransformer能夠有效地從底層學(xué)習(xí)神經(jīng)解剖學(xué)的規(guī)則，而不需要任何人工指導(dǎo)。實(shí)驗(yàn)室創(chuàng)建了一個(gè)全新的、超高分辨率，完全是數(shù)據(jù)驅(qū)動(dòng)的大腦細(xì)胞圖譜。 我們非常激動(dòng)地看到 CellTransformer 以驚人的準(zhǔn)確性重現(xiàn)了大腦已知的大尺度區(qū)域結(jié)構(gòu)，并且還發(fā)現(xiàn)了許多之前未編目、更精細(xì)的亞區(qū)域。

?圖1： CellTransformer識(shí)別出的1300個(gè)腦區(qū)及艾倫研究所提供的參考分區(qū)

這真的很令人興奮，因?yàn)閹资陙?lái)，臨床研究一直依賴于本質(zhì)上是由手繪的大腦地圖，這些地圖包含了歷史上對(duì)大腦不同區(qū)域興趣所帶來(lái)的偏見(jiàn)。我們用AI生產(chǎn)的地圖提供了更詳細(xì)和無(wú)偏見(jiàn)的表征，使科學(xué)家能夠?qū)⒓膊顟B(tài)或藥物作用與大腦中高度特定的、由細(xì)胞定義的區(qū)域相關(guān)聯(lián)，并且可以輕松應(yīng)用于新出現(xiàn)的數(shù)據(jù)集。

最令人興奮的可能是CellTransformer框架不僅適用于神經(jīng)科學(xué)。我們?cè)O(shè)計(jì)它作為一個(gè)強(qiáng)大且與組織無(wú)關(guān)的工具，可以應(yīng)用于任何具有大規(guī)模空間轉(zhuǎn)錄組數(shù)據(jù)的器官系統(tǒng)。這不僅提供了一張新的腦圖，還為創(chuàng)建幾乎任何生物學(xué)領(lǐng)域的高分辨率細(xì)胞圖奠定了基礎(chǔ)。最終，我們將其視為一個(gè)可擴(kuò)展的平臺(tái)，將為深入了解無(wú)數(shù)不同物種和疾病狀態(tài)的組織結(jié)構(gòu)鋪平道路。

Katrin Franke ：

提升非英語(yǔ)母語(yǔ)者文本效率

?Katrin Franke 斯坦福大學(xué)基礎(chǔ)生物科學(xué)領(lǐng)域的高級(jí)研究科學(xué)家，關(guān)注眼科研究與臨床實(shí)驗(yàn)，通過(guò)結(jié)合神經(jīng)元記錄和人工智能工具來(lái)研究大腦中視覺(jué)信息處理的基本原理。

大模型極大地改變了我工作的方式，現(xiàn)在已成為我日常研究工作不可或缺的一部分。作為一名非英語(yǔ)母語(yǔ)英語(yǔ)者，我以前在清晰表達(dá)想法方面很吃力——無(wú)論是撰寫電子郵件時(shí)把握正確的語(yǔ)氣，還是總結(jié)論文。現(xiàn)在，我使用大模型來(lái)潤(rùn)色我的草稿，檢查語(yǔ)法和調(diào)整語(yǔ)氣，使寫作對(duì)我這樣的非母語(yǔ)者來(lái)說(shuō)變得更加容易。

除了寫作，我還依賴大模型進(jìn)行編碼任務(wù)，尤其是生成用于數(shù)據(jù)繪圖或調(diào)試的小段代碼片段。這些工具的交互性幫助我比獨(dú)自工作時(shí)更有效地思考問(wèn)題。我還發(fā)現(xiàn)自己與大模型來(lái)回交流想法——無(wú)論是頭腦風(fēng)暴分析研究方法，還是思考如何構(gòu)建我正在撰寫的論文結(jié)構(gòu)。

我的研究涉及眾多協(xié)作，包括頻繁的會(huì)議，我們將會(huì)議記錄轉(zhuǎn)錄工具，并使用大模型進(jìn)行處理，以生成有明確行動(dòng)項(xiàng)的有序摘要，這節(jié)省了大量時(shí)間。最近，我們開(kāi)始使用視覺(jué)語(yǔ)言模型等高級(jí)模型作為科學(xué)家的強(qiáng)力助手。視覺(jué)語(yǔ)言模型允許研究人員以前所未有的規(guī)模和速度，執(zhí)行傳統(tǒng)上需要人類理解的分析。例如，我們的研究涉及理解視覺(jué)皮層中的神經(jīng)元對(duì)不同圖像的反應(yīng)，現(xiàn)在我們可以使用視覺(jué)語(yǔ)言模型自動(dòng)描述這些圖像的共同點(diǎn)，這比研究人員手動(dòng)完成要快得多。

盡管我經(jīng)常使用這些工具，但我對(duì)它們的輸出保持批判性視角。如果一個(gè)人對(duì)輸出保持批判性視角，并意識(shí)到如幻覺(jué)等局限性，我相信AI工具，如大模型具有巨大的潛力，可以徹底改變我們的工作方式。（是的，我確實(shí)使用大模型來(lái)幫助潤(rùn)色這篇文本！）

Bradley Love：人機(jī)協(xié)作

預(yù)測(cè)神經(jīng)科學(xué)的研究結(jié)果是否被修改

?Bradley Love 洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的高級(jí)研究科學(xué)家。在啟動(dòng) BrainGPT 項(xiàng)目后，他對(duì)將現(xiàn)代人工智能技術(shù)，如大語(yǔ)言模型，擴(kuò)展到構(gòu)建能夠加速科學(xué)發(fā)現(xiàn)的系統(tǒng)產(chǎn)生了濃厚的興趣。

BrainGPT.org項(xiàng)目調(diào)查了在神經(jīng)科學(xué)文獻(xiàn)上訓(xùn)練的大模型是否能在預(yù)測(cè)神經(jīng)科學(xué)各個(gè)子領(lǐng)域的實(shí)驗(yàn)結(jié)果方面超越人類專家。來(lái)自11個(gè)國(guó)家的國(guó)際團(tuán)隊(duì)開(kāi)發(fā)了 BrainBench，這是一個(gè)基于《神經(jīng)科學(xué)雜志》摘要的基準(zhǔn)測(cè)試數(shù)據(jù)集，考察了人類專家和大模型能否區(qū)分實(shí)際和被微妙改變的研究結(jié)果。

?BrainBench 是一個(gè)用于評(píng)估受試者預(yù)測(cè)神經(jīng)科學(xué)研究結(jié)果的能力的神經(jīng)科學(xué)基準(zhǔn)測(cè)試。受試者需要在原始摘要和經(jīng)過(guò)大幅修改結(jié)果但仍保持連貫性的摘要之間進(jìn)行選擇。人類專家和大型語(yǔ)言模型（LLMs）的任務(wù)是從這兩個(gè)選項(xiàng)中選擇正確的（即原始的）版本。人類專家在在線研究中做出選擇并提供可信度和專業(yè)知識(shí)評(píng)級(jí)。LLMs 的評(píng)分是基于選擇困惑度較低的摘要（即對(duì)模型來(lái)說(shuō)不那么令人驚訝的文本段落），它們的可信度與兩個(gè)選項(xiàng)之間的困惑度差異成正比。圖源：Nature Human Behaviour

關(guān)鍵發(fā)現(xiàn)是，大模型展示了超越人類的實(shí)驗(yàn)結(jié)果預(yù)測(cè)能力，具有更高的置信度與更高的預(yù)測(cè)·準(zhǔn)確性。這項(xiàng)開(kāi)創(chuàng)性研究表明，大模型可能會(huì)從根本上改變神經(jīng)科學(xué)研究的方式。BrainGPT的出現(xiàn)有兩個(gè)主要影響。首先，由于大模型和人類專家都表現(xiàn)出校準(zhǔn)的置信度，結(jié)合人類和AI的混合團(tuán)隊(duì)可能比單獨(dú)由人或大冒險(xiǎn)更準(zhǔn)確地進(jìn)行預(yù)測(cè)。其次，BrainGPT可以通過(guò)利用大模型的獨(dú)特能力來(lái)加速科學(xué)發(fā)現(xiàn)。

?圖2：人類和各種模型的預(yù)測(cè)準(zhǔn)確性對(duì)比， 來(lái)自https://arxiv.org/pdf/2408.08083

哈佛醫(yī)學(xué)院和麻省總醫(yī)院的Michael Schwarzschild發(fā)現(xiàn)了一種潛在的帕金森病生物標(biāo)志物，后來(lái)發(fā)現(xiàn)20世紀(jì)80年代和90年代的研究已經(jīng)暗示了類似發(fā)現(xiàn)。經(jīng)過(guò)測(cè)試，BrainGPT正確地將這一創(chuàng)新結(jié)果識(shí)別為最有可能的，展示了它們發(fā)現(xiàn)被忽視的研究和連接不同科學(xué)文獻(xiàn)的能力。

該團(tuán)隊(duì)現(xiàn)在正與 AE Studio 合作開(kāi)發(fā)開(kāi)源工具，幫助各學(xué)科科學(xué)家利用這些預(yù)測(cè)能力。這些工具旨在通過(guò)預(yù)測(cè)研究結(jié)果和評(píng)估過(guò)去研究的復(fù)現(xiàn)可能性來(lái)加速發(fā)現(xiàn)。

科學(xué)家、人工智能研究人員和軟件開(kāi)發(fā)人員可以注冊(cè)后，收到工具的更新信息或?yàn)檫@項(xiàng)工作做出貢獻(xiàn)。該團(tuán)隊(duì)還尋求資源來(lái)托管這些工具，確保社區(qū)可以免費(fèi)且方便地訪問(wèn)。有興趣的人可以聯(lián)系團(tuán)隊(duì)負(fù)責(zé)人，羅曉亮（EmpiriQaL.ai）和我（Bradley Love，洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室）。這一舉措代表了人工智能增強(qiáng)科學(xué)研究的重要一步，有可能改變多個(gè)科學(xué)領(lǐng)域發(fā)現(xiàn)和驗(yàn)證的方式。

Jeremy Magland：開(kāi)發(fā)端到端的

神經(jīng)電數(shù)據(jù)探索和可視化智能體

?Jeremy Magland 2015年加入西蒙斯基金會(huì)的 Flatiron 研究所。他的工作重點(diǎn)在于開(kāi)發(fā)用于分析、可視化和共享大規(guī)模科學(xué)數(shù)據(jù)的計(jì)算方法和開(kāi)源軟件。現(xiàn)在專注于構(gòu)建可重復(fù)使用、云友好的工具，使復(fù)雜數(shù)據(jù)集更容易探索和重用。

我們使用大語(yǔ)言模型來(lái)幫助神經(jīng)科學(xué)家更容易地復(fù)用 DANDI（神經(jīng)生理學(xué)數(shù)據(jù)分布式存檔）存檔中的復(fù)雜數(shù)據(jù)集。DANDI托管了數(shù)百個(gè)神經(jīng)生理學(xué)數(shù)據(jù)集，其中包含使用電生理學(xué)和鈣成像等技術(shù)收集的大腦活動(dòng)記錄，以及行為和刺激數(shù)據(jù)。這些數(shù)據(jù)集充滿了發(fā)現(xiàn)新結(jié)果的潛力，但如果您沒(méi)有收集這些數(shù)據(jù)，可能會(huì)很難知道從哪里開(kāi)始。

?神經(jīng)生理學(xué)數(shù)據(jù)整合的分布式檔案庫(kù)（Distributed Archives for Neurophysiology Data Integration，DANDI） 圖源：braininitiative.org

我們的團(tuán)隊(duì)構(gòu)建了一個(gè)系統(tǒng)，使用大模型來(lái)完成一些繁重的工作。首先，一個(gè)AI智能體探索數(shù)據(jù)集：它自主地從遠(yuǎn)程文件中加載數(shù)據(jù)片段，運(yùn)行探索腳本，并生成和檢查可視化來(lái)理解數(shù)據(jù)。然后，第二個(gè)模型使用收集到的信息編寫一個(gè)Python notebook，介紹數(shù)據(jù)集，展示如何加載數(shù)據(jù)、繪圖和分析數(shù)據(jù)。經(jīng)過(guò)人類對(duì)準(zhǔn)確性的審查后，該notebook與數(shù)據(jù)集共同上線。項(xiàng)目目標(biāo)是幫助科學(xué)家在幾分鐘內(nèi)從“這看起來(lái)很有趣”過(guò)渡到“我可以開(kāi)始工作了”。 這一步使公共神經(jīng)科學(xué)數(shù)據(jù)更易于接近和重復(fù)使用。

在使用大模型時(shí)，重要的是要意識(shí)到它們存在可能產(chǎn)生誤導(dǎo)性信息的潛在風(fēng)險(xiǎn)。我還啟動(dòng)了這個(gè)項(xiàng)目[1]來(lái)測(cè)試大模型，看看它們是否會(huì)陷入一些常見(jiàn)的統(tǒng)計(jì)陷阱，并可能導(dǎo)致虛假發(fā)現(xiàn)。預(yù)計(jì)隨著模型變得更智能，這個(gè)問(wèn)題將變得不那么嚴(yán)重。

Nina Miolane ：

使用大模型查找文獻(xiàn)并指導(dǎo)實(shí)驗(yàn)

Nina Miolane 加州大學(xué)圣塔芭芭拉分校的助理教授，領(lǐng)導(dǎo)幾何智能實(shí)驗(yàn)室，并與 REAL AI for Science Initiative 和 Bowers女性大腦健康計(jì)劃的 AI 核心共同擔(dān)任聯(lián)合主任。使用 AI 模型構(gòu)建大腦的數(shù)字孿生——整合成像、認(rèn)知和分子數(shù)據(jù)，以預(yù)測(cè)大腦健康、早期檢測(cè)疾病并支持個(gè)性化護(hù)理。

額葉-顳葉變性（FTD）是一種影響大腦額葉和顳葉區(qū)域的癡呆癥，損害語(yǔ)言、決策和運(yùn)動(dòng)功能。盡管它是60歲以下人群中最常見(jiàn)的癡呆癥，但對(duì)其分子基礎(chǔ)仍了解不多。我們的項(xiàng)目由博士生Louisa Cornelis領(lǐng)導(dǎo)，與加州大學(xué)圣巴巴拉分校的幾何智能實(shí)驗(yàn)室和加州大學(xué)舊金山分校的記憶與衰老中心（包括 Guillermo Bernárdez Gil、Rowan Saloner、Kaitlin Casaletto 和我）合作，利用FTD患者的蛋白組學(xué)大數(shù)據(jù)，通過(guò)可解釋圖神經(jīng)網(wǎng)絡(luò)（GNNs）來(lái)填補(bǔ)這一空白。

我們的模型通過(guò)檢測(cè)早期分子跡象來(lái)預(yù)測(cè)未來(lái)的認(rèn)知衰退，有時(shí)能在癥狀出現(xiàn)之前預(yù)測(cè)疾病將如何影響患者的生活。然后我們應(yīng)用大模型增強(qiáng)的可解釋性技術(shù)來(lái)識(shí)別驅(qū)動(dòng)模型預(yù)測(cè)的蛋白質(zhì)，以便在分子層面突出可能促成FTD的模式。

我們將大模型整合到我們的可解釋性流程中。在確定最重要的10個(gè)預(yù)測(cè)蛋白質(zhì)后，定制AI會(huì)查詢PubMed并總結(jié)相關(guān)論文，以回答諸如：這些蛋白質(zhì)已知的功能是什么？哪些與神經(jīng)退行性疾病有關(guān)，例如在阿爾茨海默病或帕金森病研究中，或在動(dòng)物研究中出現(xiàn)？哪些可能是新的？

早期測(cè)試已經(jīng)產(chǎn)生了有希望的線索——例如，揭示GNN識(shí)別的蛋白質(zhì)與其他神經(jīng)退行性疾病之間的論文，即使沒(méi)有先前已知的FTD關(guān)聯(lián)。我們的團(tuán)隊(duì)驗(yàn)證了所有參考文獻(xiàn)。我們發(fā)現(xiàn)，自動(dòng)搜索豐富了我們的解釋和討論，指導(dǎo)我們選擇未來(lái)在實(shí)驗(yàn)室中測(cè)試那些蛋白質(zhì)。

該方法確實(shí)存在局限性。大模型可能會(huì)虛構(gòu)研究來(lái)，例如引用不存在的論文或非同行評(píng)審的研究。為了降低這種風(fēng)險(xiǎn)，我們將大模型的作用限制為總結(jié)來(lái)自自動(dòng)化PubMed 搜索的結(jié)果，所有輸出都由我們的團(tuán)隊(duì)手動(dòng)審查。即使AI可能仍然會(huì)誤解發(fā)現(xiàn)或錯(cuò)過(guò)關(guān)鍵文獻(xiàn)，該工具在假設(shè)生成方面仍然很有價(jià)值。我們計(jì)劃通過(guò)跟蹤大量查詢中有效輸出與錯(cuò)誤輸出的比率，通過(guò)專家審查來(lái)正式評(píng)估其準(zhǔn)確性。

Rachel Parkinson：

快速閱讀文獻(xiàn)并提取結(jié)構(gòu)化信息

Rachel Parkinson 牛津大學(xué)蜜蜂研究所，人工智能科學(xué)研究員。他研究調(diào)查昆蟲(chóng)的感官信號(hào)處理以及環(huán)境壓力因素對(duì)授粉者大腦和行為的影響。她使用神經(jīng)生態(tài)學(xué)方法來(lái)理解昆蟲(chóng)如何使用感覺(jué)數(shù)據(jù)進(jìn)行覓食和導(dǎo)航。她的研究還考察了如農(nóng)藥等壓力因素如何影響昆蟲(chóng)感知和應(yīng)對(duì)環(huán)境變化的能力。

我們使用大模型來(lái)克服生物學(xué)和神經(jīng)科學(xué)中的一個(gè)挑戰(zhàn)：海量的已發(fā)表研究。我們的項(xiàng)目MetaBeeAI[2]專注于理解壓力源，如殺蟲(chóng)劑，如何影響昆蟲(chóng)的大腦和行為。但核心問(wèn)題是普遍存在的：研究人員無(wú)法跟上文獻(xiàn)的步伐。MetaBeeAI使用大模型閱讀數(shù)千篇論文，識(shí)別相關(guān)發(fā)現(xiàn)并提取結(jié)構(gòu)化數(shù)據(jù)——包括實(shí)驗(yàn)設(shè)計(jì)、受影響的腦區(qū)和行為結(jié)果——以便立即納入元分析或計(jì)算模型。

?MetaBeeAI. 圖源：metabeeai.github.io

關(guān)鍵在于，這并不是一個(gè)“黑盒”系統(tǒng)。我們?cè)O(shè)計(jì)了MetaBeeAI作為一個(gè)專家在環(huán)的流程，研究人員可以在每個(gè)階段驗(yàn)證輸出，糾正錯(cuò)誤，并提供改進(jìn)后的提示詞和對(duì)大冒險(xiǎn)進(jìn)行微調(diào)的反饋，從而隨著時(shí)間的推移提高工具的上限。這使得整個(gè)過(guò)程透明、可審計(jì)，并適應(yīng)不同領(lǐng)域的需求。我們還在構(gòu)建一個(gè)由領(lǐng)域?qū)＜揖牟邉澋幕鶞?zhǔn)數(shù)據(jù)集，這有助于評(píng)估大模型在真實(shí)生物文獻(xiàn)上的性能，并推動(dòng)模型成為更好的科學(xué)閱讀者。

我們的最終目標(biāo)是讓這個(gè)工具可供神經(jīng)科學(xué)和生物學(xué)領(lǐng)域的所有研究人員使用，幫助他們提取關(guān)鍵發(fā)現(xiàn)，綜合證據(jù)，并加速發(fā)現(xiàn)。

Martin Schrimpf：

用大模型預(yù)測(cè)人腦處理語(yǔ)言時(shí)的特征

?Martin Schrimpf 洛桑聯(lián)邦理工學(xué)院助理教授。他的研究專注于對(duì)視覺(jué)和語(yǔ)言中智能背后神經(jīng)機(jī)制的計(jì)算理解。為了實(shí)現(xiàn)這一目標(biāo)，他融合了深度學(xué)習(xí)、神經(jīng)科學(xué)和認(rèn)知科學(xué)，構(gòu)建了與大腦內(nèi)部處理中的神經(jīng)表征相匹配、輸出與人類行為對(duì)齊的人工神經(jīng)網(wǎng)絡(luò)模型。

除了大模型在寫作和編碼支持方面這樣常規(guī)的使用方式外，我們還將其用作大腦處理的預(yù)測(cè)模型。我們最近發(fā)現(xiàn)，GPT型模型的內(nèi)部表示——也就是為ChatGPT等工具提供指出的同一模型家族，其表征與人類語(yǔ)言網(wǎng)絡(luò)內(nèi)部的表征驚人地相似。當(dāng)我們向人類和這些模型展示相同的文本時(shí)，我們觀察到兩個(gè)系統(tǒng)之間存在著顯著的對(duì)應(yīng)關(guān)系：模型的內(nèi)部激活預(yù)測(cè)了大腦中的神經(jīng)活動(dòng)模式和閱讀時(shí)間等行為反應(yīng)。

這種一致性足夠強(qiáng)，以至于我們現(xiàn)在可以使用大模型來(lái)選擇可以可靠地增加或減少人類語(yǔ)言系統(tǒng)特定部分活動(dòng)的句子。我發(fā)現(xiàn)這非常令人興奮，因?yàn)樗_(kāi)辟了通過(guò)感知輸入而非侵入性程序來(lái)調(diào)節(jié)大腦活動(dòng)的可能性。

受這些發(fā)現(xiàn)啟發(fā)，我們也在研究大模型能否被視為一種“物種”，通過(guò)使用神經(jīng)科學(xué)中的功能定位器對(duì)各種模型進(jìn)行研究，我們發(fā)現(xiàn)大模型的組件中只有相對(duì)較小的一部分用于核心語(yǔ)言處理，這意味著很大一部分用于輔助任務(wù)。這一特征，與人類語(yǔ)言網(wǎng)絡(luò)與更廣泛的推理和世界知識(shí)系統(tǒng)存在不同再次出現(xiàn)呈現(xiàn)鏡像映射。

在這種雙向交流中，我們有了許多有價(jià)值的發(fā)現(xiàn)，包括使用AI模型來(lái)理解大腦，以及使用神經(jīng)科學(xué)工具來(lái)剖析模型。我們看到越來(lái)越多的協(xié)同效應(yīng)，我相信這將導(dǎo)致更完善的大腦模型。

Kim Stachenfeld：

數(shù)據(jù)驅(qū)動(dòng)的計(jì)算神經(jīng)科學(xué)模型自主構(gòu)建

?Kim Stachenfeld Google DeepMind的高級(jí)研究科學(xué)家，同時(shí)也是哥倫比亞大學(xué)理論神經(jīng)科學(xué)中心的兼職助理教授。她研究大腦如何構(gòu)建支持記憶和預(yù)測(cè)的世界模型。在機(jī)器學(xué)習(xí)方面，致力于將這些認(rèn)知功能實(shí)現(xiàn)到深度學(xué)習(xí)模型中。

計(jì)算模型在神經(jīng)科學(xué)中扮演著重要角色，它將神經(jīng)過(guò)程的抽象描述與可測(cè)試數(shù)據(jù)的定量預(yù)測(cè)相結(jié)合。傳統(tǒng)上，實(shí)現(xiàn)此類模型一直專屬于人類：具體來(lái)說(shuō)，是那些具有神經(jīng)科學(xué)和建模專業(yè)知識(shí)的高級(jí)研究人員。然而，現(xiàn)在大模型也能編寫可執(zhí)行代碼，為自動(dòng)生成計(jì)算模型打開(kāi)了大門。盡管大模型生成的代碼仍落后于熟練程序員的代碼，但它可以快速且大規(guī)模地生成。AlphaEvolve[3]等方法通過(guò)在優(yōu)化循環(huán)中生成和改進(jìn)代碼來(lái)發(fā)現(xiàn)最大化某些得分的程序。在我們的團(tuán)隊(duì)中，我們正在使用這種方法進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的計(jì)算模型發(fā)現(xiàn)，優(yōu)化大模型生成的程序以捕捉神經(jīng)科學(xué)數(shù)據(jù)集。

我們專門將這種方法應(yīng)用于發(fā)現(xiàn)捕捉動(dòng)物學(xué)習(xí)行為的計(jì)算模型中存在的問(wèn)題[4]。該流程從包含示例程序和如何修改大模型的說(shuō)明的“提示詞”開(kāi)始。大模型提出修改方案，并對(duì)每個(gè)新程序根據(jù)其與行為數(shù)據(jù)的擬合度進(jìn)行評(píng)分。在每次迭代中，提示中的示例程序被替換為得分更高的大模型生成的程序。

這些生成的程序在優(yōu)化了該目的后很好地?cái)M合了數(shù)據(jù)，并且由于是由在人類編寫的代碼上訓(xùn)練的大模型上生成的，所以相對(duì)易于閱讀。難點(diǎn)在于理解這些模型：了解不同的代碼元素做什么以及它們?nèi)绾闻c先前的工作相關(guān)。

這項(xiàng)工作展示了生成式AI帶來(lái)的更一般的權(quán)衡。從歷史上看，構(gòu)建模型是理論家面臨的主要挑戰(zhàn)，在理想情況下，建立模型隱含地強(qiáng)制執(zhí)行了諸如基于可解釋性、新穎性和結(jié)合感興趣現(xiàn)象閱讀已有論文。有了生成式AI，構(gòu)建模型變得容易，但質(zhì)量無(wú)法保證。計(jì)算神經(jīng)科學(xué)家現(xiàn)在的挑戰(zhàn)是明確地形式化我們希望我們的模型具有哪些屬性。

譯者的話

讀者中很多是準(zhǔn)備或正在開(kāi)始進(jìn)行神經(jīng)科學(xué)研究的科研人員，也有不少在頻繁使用這樣大模型等AI工具。訪談中提到的使用方法，大多圍繞神經(jīng)科學(xué)領(lǐng)域的海量文獻(xiàn)導(dǎo)致研究人員無(wú)法穩(wěn)穩(wěn)地站在巨人的肩膀上，從而難以基于已有的全尺寸地圖去探索未知，因此研究者會(huì)使用大模型總結(jié)已有文獻(xiàn)，預(yù)測(cè)文獻(xiàn)的可復(fù)現(xiàn)性，依賴大模型的聯(lián)想去進(jìn)行頭腦風(fēng)暴，探索新的研究方向。不過(guò)文中反復(fù)出現(xiàn)，在使用這些工具中，一定不可開(kāi)啟自動(dòng)駕駛模式，而是要人在環(huán)中，每一步都有進(jìn)行驗(yàn)證。

文中還提到利用大模型本身的能力及可解釋性，可操控行直接分析大腦數(shù)據(jù)，從而避免歷史偏見(jiàn)，讓海量數(shù)據(jù)集能夠不再沉睡。這要求研究者先了解大模型技術(shù)本身，同樣需要人在換中，而非只是簡(jiǎn)單的復(fù)用工具。

1. https://github.com/dandi-ai-notebooks/spurious-discovery-tests/blob/main/README.md

2. https://metabeeai.github.io/metabeeai-workshop/metabeeai.html

3. https://deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

4. https://www.biorxiv.org/content/10.1101/2025.02.05.636732v1

關(guān)于追問(wèn)nextquestion

天橋腦科學(xué)研究院旗下科學(xué)媒體，旨在以科學(xué)追問(wèn)為紐帶，深入探究人工智能與人類智能相互融合與促進(jìn)，不斷探索科學(xué)的邊界。如果您有進(jìn)一步想要討論的內(nèi)容，歡迎評(píng)論區(qū)留言，或后臺(tái)留言“社群”即可加入社群與我們互動(dòng)。

關(guān)于天橋腦科學(xué)研究院

天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元?jiǎng)?chuàng)建的世界最大私人腦科學(xué)研究機(jī)構(gòu)之一，圍繞全球化、跨學(xué)科和青年科學(xué)家三大重點(diǎn)，支持腦科學(xué)研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實(shí)驗(yàn)室、人工智能與精神健康前沿實(shí)驗(yàn)室；與加州理工學(xué)院合作成立了加州理工天橋神經(jīng)科學(xué)研究院。

Chen Institute建成了支持腦科學(xué)和人工智能領(lǐng)域研究的生態(tài)系統(tǒng)，項(xiàng)目遍布?xì)W美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎(jiǎng)勵(lì)計(jì)劃、、等。