北大最新NHB：神經(jīng)網(wǎng)絡(luò)與病灶模型聯(lián)手破解“語言-視覺”調(diào)節(jié)機(jī)制

PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關(guān)注，點(diǎn)亮星標(biāo) ??

不錯(cuò)過每日前沿資訊

認(rèn)知神經(jīng)科學(xué)前沿文獻(xiàn)分享

基本信息

Title:Combined evidence from artificial neural networks and human brain-lesion models reveals that language modulates vision in human perception

發(fā)表時(shí)間：2025.12.15

發(fā)表期刊:Nature Human Behaviour

影響因子：16.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

“我們看到的藍(lán)色，是一樣的藍(lán)色嗎？”

這不僅僅是一個(gè)哲學(xué)思辨，更是認(rèn)知科學(xué)中一個(gè)經(jīng)典的“雞生蛋，蛋生雞”問題：語言是否重塑了我們對世界的感知？

長久以來，傳統(tǒng)的視覺神經(jīng)科學(xué)觀點(diǎn)傾向于認(rèn)為，視覺處理是一個(gè)主要由外界輸入驅(qū)動的“自下而上”的過程。我們的初級視覺皮層提取線條、顏色，然后傳遞到高級視覺皮層（如腹側(cè)枕顳皮層，VOTC）進(jìn)行物體識別，最后才被打上語言的標(biāo)簽。在這種視角下，語言似乎只是視覺感知的“后期注腳”。

然而，隨著深度學(xué)習(xí)的爆發(fā)，尤其是像對比語言-圖像預(yù)訓(xùn)練（Contrastive Language-Image Pretraining，CLIP）這樣結(jié)合了海量文本與圖像訓(xùn)練的多模態(tài)大模型的出現(xiàn)，事情變得有趣起來。研究發(fā)現(xiàn)，這些“讀過書”的視覺模型，其內(nèi)部表征竟然比純粹看圖訓(xùn)練的模型（如ResNet或MoCo）更像人類的大腦。這是否暗示著，人類的視覺皮層在漫長的發(fā)育和學(xué)習(xí)中，其實(shí)早已被語言“滲透”了？

遺憾的是，AI模型畢竟是“黑盒”，無論它們與大腦多相似，都只能提供相關(guān)性證據(jù)，無法證明因果性。我們無法確定，是因?yàn)槟Ｐ蛯W(xué)到了類似語言的高階語義關(guān)系，還是因?yàn)槟Ｐ蛦渭冇昧烁嗟臄?shù)據(jù)？為了解開這個(gè)謎題，我們需要更直接的證據(jù)，即來自人腦“損傷模型”的因果證據(jù)。

本研究巧妙地結(jié)合了最新的人工神經(jīng)網(wǎng)絡(luò)（ANNs）與珍貴的人腦損傷數(shù)據(jù)（Lesion data），試圖回答一個(gè)核心問題：切斷語言與視覺的神經(jīng)通路，會讓我們的視覺大腦“退化”回純視覺的狀態(tài)嗎？

Fig. 1 | Overview of the fMRI datasets, vision models and study 1 analysis schema.

研究核心總結(jié)

本研究通過跨學(xué)科的創(chuàng)新視角，揭示了語言系統(tǒng)對人類腹側(cè)枕顳皮層（VOTC）物體表征的動態(tài)調(diào)節(jié)作用。

Fig. 2 | Intercorrelations among vision model RDMs and their alignment with human behaviour.

多模態(tài)大模型更精準(zhǔn)地預(yù)測了VOTC的神經(jīng)活動

研究團(tuán)隊(duì)首先在四個(gè)涵蓋不同任務(wù)、不同人群（包括聽障人士）的fMRI數(shù)據(jù)集上，對比了三種不同訓(xùn)練機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型對VOTC神經(jīng)活動的解釋力 ：

1. CLIP（句子級語言監(jiān)督）：學(xué)習(xí)圖像與自然語言描述的對應(yīng)關(guān)系。

2. ResNet（詞匯級標(biāo)簽監(jiān)督）：學(xué)習(xí)圖像與離散類別標(biāo)簽（Label）的對應(yīng)。

3. MoCo（無監(jiān)督/自監(jiān)督）：僅從圖像自身的統(tǒng)計(jì)規(guī)律中學(xué)習(xí)，不涉及語言。

表征相似性分析（RSA）結(jié)果顯示，CLIP模型在解釋VOTC神經(jīng)表征方差方面，始終優(yōu)于ResNet和MoCo。這表明，包含豐富語義關(guān)系（Semantic Relations）的句子級語言信息，使機(jī)器視覺模型更接近人類的視覺皮層運(yùn)作方式。此外，這種“CLIP優(yōu)勢效應(yīng)”在群體水平上表現(xiàn)出明顯的左側(cè)偏側(cè)化（Left-lateralized）趨勢，這與人類語言網(wǎng)絡(luò)的偏側(cè)化特征高度一致。

Fig. 3 | Language effect in VOTC across datasets.

左側(cè)角回是語言調(diào)節(jié)視覺的關(guān)鍵樞紐

為了確立因果關(guān)系，研究考察了33位腦卒中患者。研究者量化了患者腦中連接VOTC與語言網(wǎng)絡(luò)各節(jié)點(diǎn)的白質(zhì)纖維束（White Matter Tracts）的完整性。

Fig. 4 | Study 2 analysis workflow linking WM integrity and model–brain correspondence in patients with chronic stroke.

核心發(fā)現(xiàn)令人震驚：左側(cè)VOTC與左側(cè)角回（Left Angular Gyrus, AG）之間白質(zhì)通路的完整性，直接決定了視覺皮層的表征模式。

• 當(dāng)這條通路完整時(shí)，VOTC的表征更接近CLIP模型（受語言深度影響）。

• 當(dāng)這條通路受損時(shí)，CLIP模型的解釋力顯著下降，而MoCo模型（純視覺自監(jiān)督）的解釋力反而顯著上升 。

這一“此消彼長”的現(xiàn)象揭示了極其深刻的機(jī)制：人類的視覺皮層并不總是處在單一的固化狀態(tài)，而是處于“純視覺輸入”與“語言調(diào)節(jié)”的動態(tài)平衡中。左側(cè)角回作為跨模態(tài)語義整合的樞紐，通過白質(zhì)纖維束將語言中的關(guān)系結(jié)構(gòu)“注入”視覺皮層。一旦這種注入被阻斷，視覺皮層就會發(fā)生可塑性變化，退回到一種更依賴低級視覺統(tǒng)計(jì)特征（類似MoCo）的處理模式。

Fig. 5 | WM integrity of left VOTC–left AG tract predicts model–brain correspondence of CLIP and MoCo (n = 33 patients).

總而言之，該研究為“語言調(diào)節(jié)視覺”的理論爭議提供了強(qiáng)有力的神經(jīng)解剖學(xué)因果證據(jù)。它證明了語言對視覺的影響不是一種單純的自上而下的注意機(jī)制，而是深刻改變了視覺皮層對物體表征的幾何結(jié)構(gòu)（Representational Geometry）。同時(shí)，這也驗(yàn)證了利用腦損傷數(shù)據(jù)來評估和優(yōu)化AI模型的“生物合理性”是一個(gè)極具潛力的研究范式，并再次證明了AI for Science的光明前景。

Fig. 6 | Validation analyses using vision models trained on the identical dataset.

Abstract

Comparing information structures in between deep neural networks (DNNs) and the human brain has become a key method for exploring their similarities and differences. Recent research has shown better alignment of vision–language DNN models, such as contrastive language–image pretraining (CLIP), with the activity of the human ventral occipitotemporal cortex (VOTC) than earlier vision models, supporting the idea that language modulates human visual perception. However, interpreting the results from such comparisons is inherently limited owing to the ‘black box’ nature of DNNs. Here we combine model–brain fitness analyses with human brain lesion data to examine how disrupting the communication pathway between the visual and language systems causally affects the ability of vision–language DNNs to explain the activity of the VOTC to address this. Across four diverse datasets, CLIP consistently captured unique variance in VOTC neural representations, relative to both label-supervised (ResNet) and unsupervised (MoCo) models. This advantage tended to be left-lateralized at the group level, aligning with the human language network. Analyses of 33 patients who experienced a stroke revealed that reduced white matter integrity between the VOTC and the language region in the left angular gyrus was correlated with decreased CLIP–brain correspondence and increased MoCo–brain correspondence, indicating a dynamic influence of language processing on the activity of the VOTC. These findings support the integration of language modulation in neurocognitive models of human vision, reinforcing concepts from vision–language DNN models. The sensitivity of model–brain similarity to specific brain lesions demonstrates that leveraging the manipulation of the human brain is a promising framework for evaluating and developing brain-like computer models.

請打分

這篇?jiǎng)倓偟巧?b>Nature Human Behaviour的研究，是否實(shí)至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區(qū)分享您的深度見解。

前沿交流|歡迎加入認(rèn)知神經(jīng)科學(xué)前沿交流群！

解讀僅供參考，具體詳見原文及其數(shù)據(jù)

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部