他們認(rèn)識(shí)香蕉也認(rèn)識(shí)黃色，卻不知道香蕉是黃色的

如果給你看一張香蕉的黑白照片，并問(wèn)：“它原本是什么顏色？”你大概會(huì)脫口而出：黃色。畢竟，香蕉實(shí)在是再令人熟悉不過(guò)了。

但世界上偏偏有這樣一小撮人，他們認(rèn)識(shí)香蕉，也認(rèn)識(shí)黃色。可當(dāng)那張黑白照片擺在面前時(shí)，他們卻不知道香蕉的顏色。哪怕眼前是一張紅色香蕉的圖片，他們也未必會(huì)覺(jué)得哪里不對(duì)。

北京大學(xué)畢彥超團(tuán)隊(duì)和山西醫(yī)科大學(xué)王效春團(tuán)隊(duì)仔細(xì)研究[1]了這些人的大腦：他們的視覺(jué)皮層功能完好，視覺(jué)本身并未受損；真正“斷線”的，其實(shí)是視覺(jué)皮層與大腦中語(yǔ)言相關(guān)區(qū)域之間的聯(lián)系。

可這就更讓人困惑了。語(yǔ)言出了問(wèn)題，為何會(huì)影響對(duì)視覺(jué)的理解？

盲人也能“看”到顏色

從出生起，我們便不停地和世界打交道，用眼睛看，用耳朵聽，用鼻子聞，用嘴巴嘗，用皮膚觸摸。正是通過(guò)這樣的方式，我們把無(wú)數(shù)的經(jīng)驗(yàn)和知識(shí)存進(jìn)大腦，并在運(yùn)用知識(shí)時(shí)重新調(diào)取，再次激活相應(yīng)的神經(jīng)通路。

不過(guò)，這些知識(shí)并不只存儲(chǔ)在相應(yīng)的感知覺(jué)皮質(zhì)里，大腦還會(huì)從這些具體的體驗(yàn)中提取出更抽象的信息，整合后存放在一個(gè)名為前顳葉（ATL）的區(qū)域中。

可如果知識(shí)的基礎(chǔ)僅來(lái)自于感官體驗(yàn)，那么無(wú)法親身感知的東西又該如何存進(jìn)大腦呢？先天失明的人從未見過(guò)任何顏色。他們對(duì)顏色的理解會(huì)與視力健全者有區(qū)別嗎？

先天失明的人對(duì)顏色的理解會(huì)與視力健全者有區(qū)別嗎？丨圖蟲創(chuàng)意

為了回答這個(gè)問(wèn)題，畢彥超團(tuán)隊(duì)招募了一批先天性失明和早期失明的受試者[2]，讓他們回答了一系列問(wèn)題：比如某種果蔬是什么顏色，以及不同果蔬的顏色是否相似。研究人員比較了這些受試者與視力健全者的大腦活動(dòng)，結(jié)果發(fā)現(xiàn)，無(wú)論是否失明，表征顏色信息時(shí)他們前顳葉的活動(dòng)都高度相似。

“盲人無(wú)法通過(guò)感官來(lái)獲得顏色知識(shí)，”畢彥超的博士研究生陳昊揚(yáng)解釋道，“他們習(xí)得顏色知識(shí)的唯一途徑只能是語(yǔ)言。”

不過(guò)，視力健全者在表征顏色時(shí)會(huì)同時(shí)利用兩套系統(tǒng)：一套是前述的語(yǔ)言系統(tǒng)；另一套則是感覺(jué)系統(tǒng)，即視覺(jué)皮層直接看到的顏色。這是盲人受試者并不具備的能力。“也就是說(shuō)，視力健全者既擁有來(lái)自視覺(jué)的具身經(jīng)驗(yàn)，同時(shí)語(yǔ)言本身也可以成為學(xué)習(xí)和整合知識(shí)的重要來(lái)源，而這些知識(shí)會(huì)存儲(chǔ)在前顳葉中。”陳昊揚(yáng)補(bǔ)充道。

這兩套知識(shí)系統(tǒng)并非獨(dú)立運(yùn)作。前顳葉會(huì)通過(guò)白質(zhì)纖維束與視覺(jué)皮層保持溝通，二者在功能上彼此影響、相互配合。那么，當(dāng)兩套系統(tǒng)之間的交流被強(qiáng)行切斷，會(huì)發(fā)生什么呢？

這就要說(shuō)回文章開頭的那群人——一類特殊的卒中患者。他們的視覺(jué)皮層并未受損，視覺(jué)輸入依然完好；真正受損的，是連接前顳葉與視覺(jué)皮層的那束白質(zhì)纖維。正是這樣一個(gè)看似不起眼的病灶，卻帶來(lái)了出乎意料的后果。

他們能認(rèn)出圖片中的果蔬是否是香蕉、西紅柿或土豆，也能從一堆色塊中找出紅色或黃色。但如果擺在面前的是果蔬的灰度圖片，他們便無(wú)法判斷其顏色了。而且，白質(zhì)纖維受損越嚴(yán)重的患者，就越難以判斷灰度果蔬的真實(shí)顏色，同時(shí)他們大腦活動(dòng)中的顏色編碼也會(huì)更差。

他們認(rèn)識(shí)香蕉也認(rèn)識(shí)黃色，卻不知道香蕉是黃色的丨圖蟲創(chuàng)意

哪怕視覺(jué)功能完好無(wú)損，但只要語(yǔ)言缺位，我們可能也無(wú)法提取視覺(jué)相關(guān)的知識(shí)。

用AI來(lái)驗(yàn)證，語(yǔ)言正在影響你“看見”的世界

語(yǔ)言會(huì)影響我們對(duì)視覺(jué)知識(shí)的存儲(chǔ)和提取，可誰(shuí)又會(huì)莫名其妙開始回憶香蕉的顏色呢？這聽上去對(duì)日常生活沒(méi)什么影響。但是，在一篇近期發(fā)表于《自然·人類行為》[3]的論文中，畢彥超團(tuán)隊(duì)聯(lián)合王效春團(tuán)隊(duì)和北京大學(xué)朱毅鑫團(tuán)隊(duì)，發(fā)現(xiàn)語(yǔ)言可能也會(huì)影響你此時(shí)此刻所“看見”的世界。

這一次，他們借助了人工智能（AI）模型。“因?yàn)槿绻灰揽咳祟愂茉囌邅?lái)研究語(yǔ)言對(duì)視覺(jué)的影響，會(huì)遇到一個(gè)非常棘手的問(wèn)題，”陳昊揚(yáng)解釋道，“在真實(shí)生活中，語(yǔ)言輸入和視覺(jué)輸入往往是高度耦合的，很難徹底區(qū)分兩者。”

譬如，當(dāng)你學(xué)習(xí)“蘋果”這個(gè)詞時(shí)，往往是父母指著它告訴你這是“蘋果”。這種耦合讓科學(xué)家非常頭疼：我們無(wú)法確定一個(gè)概念的習(xí)得，究竟該歸功于耳朵聽到的“語(yǔ)言指令”，還是眼睛看到的“物理世界”。即便多項(xiàng)研究顯示聽到詞語(yǔ)會(huì)激活大腦視覺(jué)皮層，但仍舊無(wú)法斷言：這到底是語(yǔ)言系統(tǒng)對(duì)視覺(jué)的重塑，還是僅僅因?yàn)槁牭皆~匯觸發(fā)了視覺(jué)皮層對(duì)過(guò)往視覺(jué)經(jīng)驗(yàn)（即“蘋果”）的簡(jiǎn)單回放——也就是常說(shuō)的心理聯(lián)想。

人類大腦非常復(fù)雜丨Pixabay

而AI模型恰恰提供了一種前所未有的分離手段。研究人員可以嚴(yán)格控制輸入模型的數(shù)據(jù)類型，繼而比較在不同訓(xùn)練條件下得到的模型如何響應(yīng)同一幅視覺(jué)圖像，從而推斷不同模態(tài)的輸入有何影響。因此，研究團(tuán)隊(duì)選取了三個(gè)架構(gòu)相同、僅訓(xùn)練時(shí)語(yǔ)言輸入不同的AI模型。

第一個(gè)AI模型是純視覺(jué)模型MoCo。它在訓(xùn)練過(guò)程中只接受過(guò)圖片數(shù)據(jù)輸入，“認(rèn)識(shí)世界”的方式完全依賴于視覺(jué)本身。

第二個(gè)模型是通過(guò)標(biāo)簽進(jìn)行監(jiān)督訓(xùn)練的視覺(jué)模型ResNet-50。在它的訓(xùn)練過(guò)程中，每類圖片輸入都同時(shí)伴隨相應(yīng)的語(yǔ)言標(biāo)簽。譬如，上千張玫瑰花的圖片可能會(huì)對(duì)應(yīng)于“玫瑰”或“rose”。畢彥超說(shuō)：“可以將標(biāo)簽理解為詞匯，人類會(huì)通過(guò)詞匯來(lái)從具體的感知中抽象出概念和分類。”

而第三個(gè)模型則是通過(guò)完整文本來(lái)監(jiān)督訓(xùn)練的視覺(jué)模型——OpenAI于2021年發(fā)布的CLIP。在它的訓(xùn)練過(guò)程中，每張圖片都會(huì)對(duì)應(yīng)于一句描述，類似于“木頭桌子上放著一個(gè)純白色的馬克杯”。

接下來(lái)，研究人員將此前在人類受試者實(shí)驗(yàn)中使用過(guò)的圖片拋給了這些模型，觀察它們內(nèi)部的反應(yīng)模式，并與人類受試者在觀看同樣圖片時(shí)的大腦活動(dòng)進(jìn)行對(duì)比。這些圖片既包括單一物體的彩色圖像、果蔬的灰度圖像，也包括物體出現(xiàn)在不同場(chǎng)景中的復(fù)雜圖片。

研究結(jié)果顯示，給AI模型加入文本訓(xùn)練后，它能習(xí)得一些特征，而這些特征恰恰和人類視覺(jué)皮層中那些由語(yǔ)言引發(fā)的獨(dú)特活動(dòng)模式相似。而前文中提到的那批特殊卒中患者，由于語(yǔ)言的缺位，與健康受試者相反，他們的大腦反應(yīng)更像那個(gè)只接受過(guò)視覺(jué)輸入的模型MoCo。

那批特殊卒中患者，他們的大腦反應(yīng)更像那個(gè)只接受過(guò)視覺(jué)輸入的模型MoCo丨圖蟲創(chuàng)意

畢彥超解釋道：“在完好的人類大腦中，視覺(jué)和語(yǔ)言之間會(huì)不斷對(duì)話。可當(dāng)這種對(duì)話被迫中斷之后，視覺(jué)系統(tǒng)就好像被解放了。而且，相比于人類的大腦，猴子的大腦活動(dòng)也更接近純視覺(jué)的AI模型。”

此外，這些數(shù)據(jù)集中還包括早期失聰、但能熟練使用手語(yǔ)的聽障受試者的數(shù)據(jù)，他們的大腦活動(dòng)同樣更接近CLIP模型。無(wú)論是通過(guò)語(yǔ)音、文字還是手語(yǔ)習(xí)得的語(yǔ)言，都可能會(huì)深刻地影響我們的視覺(jué)感知。

語(yǔ)言對(duì)認(rèn)知的影響，可能被低估了

語(yǔ)言能在多大程度上影響人類認(rèn)知，不同領(lǐng)域的研究者一直存在分歧。

早在20世紀(jì)，就有學(xué)者激進(jìn)地提出：語(yǔ)言可能決定人類認(rèn)知。隨著研究不斷深入，“現(xiàn)在已經(jīng)很少有人再支持這樣的‘決定論’論調(diào)了，不過(guò)仍有相當(dāng)一部分認(rèn)知科學(xué)家相信，語(yǔ)言可能會(huì)調(diào)節(jié)我們的認(rèn)知”，陳昊揚(yáng)說(shuō)道。

可語(yǔ)言究竟能“調(diào)節(jié)”哪個(gè)層級(jí)的認(rèn)知，不同認(rèn)知科學(xué)家依然看法不一。陳昊揚(yáng)說(shuō)：“大家普遍認(rèn)為語(yǔ)言能影響高層次的認(rèn)知活動(dòng)，但對(duì)于視覺(jué)等最基礎(chǔ)的感知過(guò)程，許多認(rèn)知科學(xué)家都認(rèn)為語(yǔ)言無(wú)法真正‘穿透’。”

而在神經(jīng)科學(xué)家眼中，人類與其他非人靈長(zhǎng)類的大腦，在結(jié)構(gòu)和功能上并沒(méi)有本質(zhì)差異。畢彥超拿起辦公室桌上的梨：“比如說(shuō)這顆梨，我們看到、摸到、吃下它后，就會(huì)對(duì)它形成感知，并為它貼上相應(yīng)標(biāo)簽。在這一點(diǎn)上，我們和動(dòng)物是非常相似的。”

因此，許多神經(jīng)科學(xué)家都認(rèn)為，語(yǔ)言不過(guò)是一種交流工具。它是在動(dòng)物已有的感知系統(tǒng)之上額外加裝的一套接口，沒(méi)有額外的功能，更不會(huì)影響我們對(duì)世界的感知。但在畢彥超看來(lái)，正因?yàn)榭茖W(xué)家習(xí)慣用動(dòng)物模型來(lái)理解人腦，才會(huì)一直低估語(yǔ)言對(duì)認(rèn)知的影響。

從左到右依次為：朱毅鑫、畢彥超、王曉莎、陳昊揚(yáng)｜圖片來(lái)源：畢彥超，中國(guó)神經(jīng)科學(xué)學(xué)會(huì)認(rèn)知神經(jīng)生物學(xué)分會(huì)

畢彥超打了個(gè)比方：“鳥類的祖先演化出翅膀，活動(dòng)范圍發(fā)生了質(zhì)的飛躍，因此腿、肌肉乃至整個(gè)身體結(jié)構(gòu)都隨之改變。同樣，經(jīng)過(guò)漫長(zhǎng)的演化，語(yǔ)言已經(jīng)成了一種人類用來(lái)抽象編碼和組織信息的符號(hào)系統(tǒng)。這套系統(tǒng)一旦出現(xiàn)，我們就不再受限于感官本身，可以借助事物間的抽象關(guān)系，去理解那些無(wú)法被直接感知的概念。而視覺(jué)系統(tǒng)，也會(huì)開始‘聽見’語(yǔ)言系統(tǒng)傳遞來(lái)的信息，在不知不覺(jué)中受到影響。”

或許也正因?yàn)檎Z(yǔ)言的抽象編碼中蘊(yùn)藏著非凡的力量，大語(yǔ)言模型才得以如此廣泛地應(yīng)用。在畢彥超看來(lái)，認(rèn)知科學(xué)與AI研究，如今也正在這樣的浪潮中彼此靠近：“我們像是雙向奔赴著拼一幅拼圖。雖然AI模型的內(nèi)部機(jī)制仍是黑箱，但它的輸入和輸出是清晰的；人腦中固然還有大量未解之謎，但解剖結(jié)構(gòu)和生理數(shù)據(jù)就擺在那里。兩者可以相互啟發(fā)，用對(duì)方更熟悉的部分，去檢驗(yàn)自己尚未理解的那一面。”

參考文獻(xiàn)

[1]https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3003161

[2]https://www.cell.com/neuron/fulltext/S0896-6273(20)30279-8

[3]https://www.nature.com/articles/s41562-025-02357-5