Neuron | GPT助力腦科學打破傳統認知，發現人類的說與聽共用一套大腦系統

PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關注，點亮星標 ??

不錯過每日前沿資訊

認知神經科學前沿文獻分享

基本信息：

Title:Linguistic coupling between neural systems for speech production and comprehension during real-time dyadic conversations

發表時間：2025.12.17

Journal:Neuron

影響因子：15.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究動機與背景

人類語言的核心用途是在大腦間傳遞思想，在日常對話中，理解（聽）與產生（說）是交織在一起的，但以往的研究通常將這兩個功能隔離開來，使用受控的、非交互的任務進行觀察。雖然已有證據表明兩者之間存在共享的表征和機制，但由于缺乏對語言特征的顯式建模以及對實時互動對話的研究，科學界一直無法精確測試這兩個系統在真實溝通中的重疊程度。此外，傳統的對比法或內容無關的分析方法（如ISC）無法告知我們大腦間究竟“共享了什么內容”。因此，作者試圖通過結合fMRI超掃描技術與大語言模型（LLM）的顯式特征建模，解決在自然互動中語言產生與理解系統如何對齊這一關鍵科學問題，這對于理解人類溝通的神經本質具有重要意義。

實驗設計與方法邏輯

作者提出了三個核心假設：

1. 語言產生和理解過程在語言網絡的中高層區域（如STG, IFG）會在功能調諧上實質性重疊，而在早期的感知和運動區域重疊最少（Figure 1B）；

2. 雖然被動聽故事與對話中的主動聽存在共享的神經調諧，但實時對話會依賴于一些聽故事模型無法完全捕捉的獨特語言特征；

3. 第三，在大腦間的耦合分析中，預計語言區域會出現耦合，但耦合最強的區域可能是與社會認知相關的區域。

Figure 1. Data collection and modeling framework

為了解決實時互動中的語言對齊問題，作者設計了一套基于fMRI超掃描的實驗范式，同時記錄30對被試（共60人）進行自由對話時的全腦活動。作者引入了GPT-2大語言模型來提取對話文本的上下文詞嵌入（embeddings），將其作為顯式的語言特征空間，通過帶狀嶺回歸（banded ridge regression）建立從模型特征到BOLD信號的線性映射模型（即編碼模型）。這種方法的邏輯在于：通過LLM捕獲的高維語言結構，可以量化語言產生和理解過程中神經調諧（functional tuning）的相似性，從而超越簡單的激活區對比。此外，作者還引入了被試被動聽故事的任務作為對照，用以區分“主動交互”與“被動理解”在神經表征上的異同，并利用交叉驗證和方差劃分（variance partitioning）等手段，確保LLM特征捕捉的是獨特的語言學信息，而非聲學或運動混淆項。

核心發現

語言產生與理解在全腦范圍內高度重疊

Figure 2A可以看出，LLM特征在核心語言網絡（STG, IFG, MFG）以及高層區域（TPJ, PMC）均表現出顯著的預測性能。Figure 2B進一步量化發現，各ROI中約80%的編碼性能可歸因于共享的功能調諧（Shared weights），證明了兩者共用一套統一的語言處理機制。

Figure 2. Within-subject speaking and listening encoding performance

對話環境能顯著提升神經表征的預測力：

對比Figure 3發現，雖然從被動聽故事訓練的模型可以部分推廣到對話任務中，但訓練于對話數據的模型表現明顯更優（理解提升41%，產生提升49%）。這表明實時對話中存在獨特的語言處理需求，如預測、響應準備和共同基準（common ground）的建立。

Figure 3. Encoding models trained on passive listening partially generalize to neural responses during conversations

LLM上下文嵌入優于傳統聲學或語音特征

Figure 4的方差劃分分析顯示，LLM捕獲的“上下文語義”在雙側大腦區域提供了超越聲學（Acoustic）和音位（Phonemic）特征的獨特解釋力，尤其是在高階腦區。

Figure 4. Model comparison and variance partitioning

大腦間的耦合主要由社會認知腦區驅動

Figure 5B展示了模型驅動的大腦間耦合（Speaker-Listener coupling），發現最顯著的對齊出現在右側顳下回（pSTG）、顳頂節點（TPJ）和雙側前楔葉（PMC）。這些區域通常與心理理論和社交認知相關，暗示了成功對話不僅依賴語言對齊，更依賴社交表征的對齊。

Figure 5. Model-based speaker-listener coupling

省流總結

本文探討了實時互動對話中語言產生（說）與理解（聽）在神經層面如何共存的問題。作者利用fMRI超掃描技術實時記錄對話雙方的腦活動，并創新性地利用大語言模型（GPT-2）作為語言中介特征空間。研究發現，說與聽在人類語言網絡中共享了約80%的神經調諧，證明了兩者共用一套統一的內部表征。此外，研究揭示了實時對話比被動聽講更能激發深層的神經處理，且對話雙方的大腦耦合主要發生在負責社交認知和意圖理解的腦區。這一成果不僅深化了我們對語言神經機制的理解，也強調了社交大腦在自然溝通中的核心作用。

AI銳評

該研究的亮點在于其卓越的“生態效度”，它跳出了實驗室高度受控但死板的任務范式，直接在自由對話的動態場景下捕捉大腦信號，并巧妙利用LLM解決了復雜語境下語言特征難以量化的難題。這種從“單腦受控”到“雙腦互動”的跨越是神經科學的重要趨勢。然而，研究也存在一定局限：fMRI較低的時間分辨率（1.5s TR）可能掩蓋了對話中快速切換的微觀神經動力學；此外，由于掃描環境限制，被試無法面對面交流且需按鍵切換麥克風，這在一定程度上削弱了對話的自然性。盡管如此，這篇論文依然是計算神經語言學領域的一項里程碑式工作。

請打分

這篇剛剛登上Neuron的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區分享您的深度見解。

前沿交流|歡迎加入認知神經科學前沿交流群！

核心圖表、方法細節、統計結果與討論見原文及其拓展數據。

分享人：天天

審核：PsyBrain 腦心前沿編輯部