AI,是色盲嗎?
這個(gè)問題聽起來很蠢。
畢竟現(xiàn)在的AI能識(shí)別人臉、讀懂圖片、生成圖像,甚至可以按RGB色值給你改顏色。
怎么可能是色盲,看不見顏色呢?
但最近發(fā)生的一件事,讓我開始開始覺得,這事不對(duì)。。。
昨天正好在辦公室和同事閑聊,聊到了顏色,我們剛來的實(shí)習(xí)生小朋友說,說他是紅綠色盲,然后我們的話題,就不知道怎么就聊到了色盲測(cè)試。
在現(xiàn)場(chǎng)找了幾張圖一起測(cè)試,
就那種一堆小點(diǎn)點(diǎn)里藏?cái)?shù)字的圖。
![]()
能看到的兄弟們可以把數(shù)字回復(fù)在公屏上。
我們那個(gè)實(shí)習(xí)生小朋友,居然真的有看不見的。
當(dāng)時(shí)大家還挺歡樂的,說,要不然,發(fā)給AI看看。
然后我們就發(fā)了,本來覺得,這么明顯的數(shù)字,對(duì)現(xiàn)在這種級(jí)別的AI來說,肯定就是送分題。
畢竟都一群AI都有自己的社區(qū),都可以開AI宗教招收信徒了,一個(gè)色盲測(cè)試那不是小兒科嗎。
沒想到。
現(xiàn)在最能打的多模態(tài)模型Gemini 3 Pro,居然給我回了個(gè)74???
我當(dāng)時(shí)我都以為我色盲了。
我揉了揉眼睛,又看了好幾遍。
不對(duì)啊,這圖里的,絕壁是45。。。
我反手又試了一下Claude Opus 4.5。
結(jié)果,Claude給我回了個(gè),8???
![]()
三個(gè)國(guó)產(chǎn)大模型,更是也都敗下陣來。
而且有兩個(gè),答案一模一樣,也是74。
![]()
唯一一個(gè)答對(duì)的,是GPT 5.2 Thinking,花了5分鐘世界,我看了一下思維鏈,發(fā)現(xiàn)這玩意是純純用代碼作弊的。。。
![]()
硬生生的做了可視化數(shù)字掩膜。
我都懵了,這真的是一個(gè)非常無意中的發(fā)現(xiàn)。
人類色盲看不出來,我能理解,這是生物學(xué)的事。
就像下圖,同一把彩虹傘、同一個(gè)紅綠燈,正常人眼里色彩斑斕。
但在色盲眼里卻像開了濾鏡,根本分不清。
![]()
可AI看不出來,我就很難解釋。
它又沒有視網(wǎng)膜,也沒有什么缺陷,為什么會(huì)在這種題上翻車?
難道是因?yàn)榉植磺孱伾?/p>
我又很智障地去問Gemini 3 pro這張圖是什么顏色。
![]()
結(jié)果,這大哥它不僅能回答我的問題。
也能說很具體,鼠尾草綠、豆沙綠、青瓷色。
甚至特么的RGB和CMYK都給我寫出來了。
![]()
我去一個(gè)軟件里試了下,尼瑪,色號(hào)分毫不差啊。。。
所以問題不在顏色本身。
分辨紅綠藍(lán),甚至區(qū)分細(xì)微的色差,對(duì)AI來說都不難。
難的是其他事。
我當(dāng)時(shí),陷入了深深的思考。
那一瞬間,Clawdot和vibe coding都不香了,就想搞清楚這到底是為什么。
我花了將近一天的時(shí)間做DeepResearch、翻論文。
翻了很多東西我都感覺不是很相關(guān),甚至感覺都有點(diǎn)牽強(qiáng)。
但就在我想放棄的時(shí)候,晚上,我查到了一篇,那一瞬間我感覺柳暗花明又一村了。
我也好像明白,AI為什么做不出來色盲測(cè)試題了。
論文名字還挺好玩。
![]()
叫《Pixels,Patterns,but No Poetry:To See The World like Humans》。
翻譯過來是《像素、模式,但缺少詩意:像人類一樣看世界》。
名字看著雖然跟色盲沒啥關(guān)系,但是里面的結(jié)論和實(shí)驗(yàn),非常的相關(guān)。
先說結(jié)論:
現(xiàn)在的AI,根本就不是像我們?nèi)祟愐粯釉凇翱础笔澜纭?/strong>
它只是,在計(jì)算世界。
它能處理像素,能識(shí)別局部模式,但它無法理解這些像素和模式組合在一起后,涌現(xiàn)出的那個(gè)整體的、抽象的、富有美感和意義的東西,也就是論文標(biāo)題里的“詩意”(Poetry)。
聽著好像有點(diǎn)難理解,我覺個(gè)例子你就懂了。
先看這張圖,別急著往下翻。
這是一張圖里面的一個(gè)我截出來的局部,現(xiàn)在,請(qǐng)你告訴我,覺得通過這張圖來分析,它原來的完整的圖是什么?
![]()
我覺得一個(gè)腦子正常的人,看到這個(gè)問題和這張圖,他都會(huì)揍我,都會(huì)罵我有病。
說真的,那個(gè)人但凡多看我一眼都算我輸。
那我們,現(xiàn)在再把畫面推遠(yuǎn)一點(diǎn),給你多看點(diǎn)。
你可能還是會(huì)懵逼,這尼瑪是個(gè)啥?但是,又模模糊糊的看到了一些家具的影子。
![]()
通過這張圖,你還是不太可能猜出,真正的圖是什么樣子的。
那現(xiàn)在,我們把真正的全圖放出來。
補(bǔ)上它的全局再看看。
剛才我截圖的局部,為了防止大家找不到這個(gè)地方,我還貼心的畫了一個(gè)大箭頭= =
![]()
大家是不是第一眼甚至都沒找到那玩意在哪。
這所謂的不可名狀的白色線條,其實(shí)只是最右側(cè)柜子上的一道高光。
你只看局部,又怎么可能真正的,看清全局。
就像,斷章取義,出自:不要斷章取義。
而這,就是AI現(xiàn)在的弊端。
我們?cè)倩仡^看那張色盲測(cè)試圖。
![]()
對(duì)我們?nèi)祟悂碚f,我們看到的,直接就是全局,不是局部,更不是一堆棕色和綠色的圓點(diǎn),我們的大腦瞬間就將那些顏色相近的棕色點(diǎn)組織成了一個(gè)有意義的整體,也就是數(shù)字“45”。
而剩下的綠色點(diǎn),則自動(dòng)被我們的大腦識(shí)別為背景噪音。
這是因?yàn)椋覀內(nèi)祟惪磮D,從來第都是自上而下。
認(rèn)知心理學(xué)里一個(gè)非常重要的流派,叫格式塔心理學(xué),也是現(xiàn)代人機(jī)交互學(xué)科的奠基理論之一,它的核心觀點(diǎn)也就一句話:
整體大于部分之和。
一堆零碎的東西,只要有點(diǎn)規(guī)律,比如離得近、顏色像、走向一致,我們就會(huì)不講道理地把它們當(dāng)成一個(gè)整體來看。
![]()
比如你看下面這張圖,你看到了什么?
![]()
你在認(rèn)真看了兩眼之后,你大概率不會(huì)說,我看到了一堆不規(guī)則的黑色墨跡。
而是會(huì)說:我好像看到了一只狗,如果你對(duì)狗的品種有一些了解的話,你可能還會(huì)說,我看到了一只大麥町犬。
這只狗的形象,其實(shí)并不存在于任何一個(gè)單獨(dú)的墨跡里。
它是所有墨跡組合在一起后,在你大腦里“涌現(xiàn)”出來的一個(gè)整體概念。
你的大腦自動(dòng)忽略了那些不重要的斑點(diǎn),腦補(bǔ)了缺失的輪廓,最終看到了那只探頭探腦的大麥町犬。
這個(gè)腦補(bǔ)和看整體的能力,就是格式塔。
這是我們?nèi)祟愐曈X系統(tǒng)與生俱來的、底層的、幾乎是本能的能力。
但AI不是這樣的。
論文為了驗(yàn)證這件事,做了一個(gè)測(cè)試,叫圖靈視力測(cè)試(TET)。
就像當(dāng)年圖靈測(cè)試是為了驗(yàn)證機(jī)器能不能像人一樣思考,這個(gè)圖靈視力測(cè)試,是為了驗(yàn)證機(jī)器能不能像人一樣感知視覺。
里面有四個(gè)任務(wù),分別是隱藏文本、3D驗(yàn)證碼、漢字組成。
以及我們今天文章的主角,色盲測(cè)試。
![]()
他們參考了石原色盲測(cè)試圖的形式,就是文章開頭那一堆彩色小點(diǎn)里藏?cái)?shù)字的圖。
并且,還增加了難度。
用一些顏色非常接近的點(diǎn)來進(jìn)行干擾,讓模型更難從整體形狀里看出數(shù)字。
![]()
用這些圖去測(cè)當(dāng)時(shí)最頂級(jí)的15個(gè)多模態(tài)大模型。
結(jié)果可以從這張表格看出來,密密麻麻的0。
幾乎是全軍覆沒。
![]()
我猜他們這幫人也很驚訝。
模型怎么就識(shí)別不了顏色中的數(shù)字呢?
為了找到答案,他們首先想搞清楚:AI到底在看什么?
他們用了一個(gè)技術(shù),叫Grad-CAM(梯度加權(quán)類激活映射)。
這個(gè)東西光讀名字就很拗口,我用大白話給大家解釋下。
可以把它理解為給AI的思考過程拍個(gè)X光,讓你能看見它的眼睛到底在盯哪里,注意力落在什么地方。
如下圖,顏色越亮,發(fā)黃光的地方,是模型最在意的地方,就是對(duì)目前答案貢獻(xiàn)最大的區(qū)域。
![]()
我知道這張圖看著還是有點(diǎn)難理解,手動(dòng)又用紅色單獨(dú)處理了一下。
紅色是AI盯著看的區(qū)域,就是注意力落點(diǎn)的位置。
![]()
通過這個(gè)技術(shù),就能驗(yàn)證,AI到底是在看數(shù)字的輪廓,還是被周圍的噪點(diǎn)給帶偏了。
現(xiàn)在,我們把AI,看整個(gè)過程的圖都放出來,也就是論文里,論文里拿了一張寫著“M3”的色盲測(cè)試圖,讓模型去認(rèn)。然后用Grad-CAM把AI“看”這張圖的過程給全程直播了出來。
![]()
得先說一下,一個(gè)多模態(tài)AI的內(nèi)部工作流,可以簡(jiǎn)單粗暴地分成兩部分:
ViT (Vision Transformer):是負(fù)責(zé)看圖的視覺編碼器,可以理解成是AI的眼睛,主要是通過看圖,把看到的東西轉(zhuǎn)化成信息。
LLM (Large Language Model) :是負(fù)責(zé)組織答案的語言端,可以理解成是AI的大腦,主要是接收ViT(眼睛)傳來的信息,思考組織后說出答案。
你會(huì)看到,每個(gè)階段都有一些亮度變化。
比如第五張圖里,其實(shí)能看到模型捕捉到了一點(diǎn)M3的影子。
然后就徹底遠(yuǎn)離了正確答案。
往后看,亮的地方越來越分散。
結(jié)果當(dāng)然是慘不忍睹的。
大腦收到的,就是一堆被眼睛看到的破碎的毫無重點(diǎn)的視覺信號(hào)。它拼了命地想從這堆垃圾信息里找出點(diǎn)規(guī)律,但根本找不到。
最后,它只能放棄治療,在記憶庫里隨便抓了個(gè)看起來最像的答案“74”,然后硬著頭皮說了出來。
所以,通過這個(gè)Grad-CAM的熱力圖,論文的作者們基本就破案了:
AI不是看不懂,它是從一開始看的方式就有大問題。
這就回到了我們開頭那個(gè)柜子高光的例子。
AI看圖的方式,存在一個(gè)根本性的、可以說是娘胎里帶的缺陷,就是它看圖,是真的斷章取義。
現(xiàn)在的AI視覺模型(ViT),它的工作原理,就是先把一張圖片,不由分說地切成一堆比如說是16x16像素的小方塊(patches),就像切蛋糕一樣。然后,它挨個(gè)去分析每個(gè)小方塊里有什么紋理、什么顏色。
最后,再試圖把這些小方塊的分析結(jié)果給拼湊起來,理解整張圖。
這個(gè)“先切碎,再拼湊”的工作模式,決定了它是個(gè)天生的細(xì)節(jié)控。它對(duì)局部的像素和模式極其敏感,但對(duì)這些部分組合起來形成的那個(gè)整體,卻極其遲鈍。
人類看東西時(shí),大腦會(huì)先并行處理各種特征,比如顏色、形狀、方向。
接著在注意力的作用下,把這些特征綁在一起,變成一個(gè)完整對(duì)象。
比如,你看到一個(gè)紅色的蘋果,大腦會(huì)先看到它是到紅色的、圓的、表面光滑的。
![]()
通過注意力的整合,大腦給它貼上蘋果這個(gè)標(biāo)簽。
這個(gè)叫做特征整合理論。
我們?nèi)祟惖囊曈X,是主動(dòng)的、有目的的、懂得取舍的。 我們會(huì)用注意力這把刀,精準(zhǔn)地剔除無關(guān)的噪音,然后把有用的特征縫合成一個(gè)整體。
但是AI不會(huì)。
它的注意力是攤大餅式的,是被動(dòng)的,是雨露均沾的。
在它看來,構(gòu)成數(shù)字“45”的那些棕色點(diǎn),和作為背景的綠色點(diǎn),重要性是差不多的,它無法形成一個(gè)“我要把棕色點(diǎn)組合起來”的宏觀目標(biāo)。
于是,它的注意力就被海量的、同等重要的像素點(diǎn)給稀釋了、沖散了。信息越豐富,它的注意力就越貧乏。
最后,就在這片像素的汪洋大海里,徹底迷失了方向。
所以,你看,我們和AI看見世界的方式,從根上就不同。
我們?cè)谶x擇中看見,AI在計(jì)算中迷失。
聊到這里,我們似乎可以給開頭那個(gè)問題一個(gè)更準(zhǔn)確的答案了。
AI不是我們真正意義上的色盲。
它更像是一個(gè)患有嚴(yán)重“注意力缺失癥”的患者。
它擁有頂級(jí)的視網(wǎng)膜,能識(shí)別精準(zhǔn)的RGB值,但它的大腦無法有效地指揮這雙眼睛,去關(guān)注真正重要的東西。
它就像一個(gè)擁有全世界所有樂高積木的孩子,卻不知道該如何拼出一個(gè)城堡。它只能呆呆地看著滿地的零件,給你數(shù)出這里有幾塊紅的,幾塊藍(lán)的。
這就是《像素、模式,但缺少詩意》這篇論文真正想表達(dá)的東西。
那個(gè)“詩意”,那個(gè)“格式塔”,那個(gè)“整體”,并不是某種神秘的、玄學(xué)的東西,它其實(shí)就是一種高效的、懂得取舍的信息組織方式。
而這,恰恰好像是目前的AI,最最缺乏的東西。
它在模仿人類的智商,但還沒來得及學(xué)習(xí)人類的智慧。
而智慧的本質(zhì),在我看來,不就是知道該看什么,不該看什么嗎?
知道什么不該做,遠(yuǎn)比知道什么該做,更為重要。
不過,我還有最后一個(gè)問題。
就是,為啥只要一讓大模型做色盲測(cè)試,他們總是愛回答一個(gè)數(shù),那就是:
74。
我做了一天的測(cè)試,現(xiàn)在看到74這個(gè)數(shù)字,都有點(diǎn)PTSD了。
在最后,我又搜了半天,居然還給我找到了答案。
那就是,如果你在維基百科上搜石原色盲測(cè)試的標(biāo)準(zhǔn)圖。
上面的數(shù)字,就是74。
![]()
好家伙,原來又在這背書。。。
當(dāng)AI無法從細(xì)節(jié)提取出整體的全局時(shí),它就會(huì)參考已有的細(xì)節(jié),轉(zhuǎn)向記憶。
更直白點(diǎn)說,它會(huì)背答案。
跟我之前寫過的那篇,底層邏輯幾乎一樣。
有時(shí)候真的還挺感慨,人類這個(gè)大自然最神奇的造物,還真是挺美妙的。
就連看見這事本身,它也是從光開始的。
所以無論是中國(guó)的盤古開天辟地還是西方的上帝造物, 這些神話故事中的世界都是從光打破黑暗展開。
光射到不同的物體上,有些波長(zhǎng)被吸收,有些被反射。
我們只能看見被反射出來的光,那些被吸收的光我們永遠(yuǎn)看不到。
反射的光進(jìn)入我們的眼睛后,經(jīng)過視網(wǎng)膜上的細(xì)胞處理,大腦才給它賦予了紅色、藍(lán)色、綠色這些概念。
所以說,世上本沒有顏色。
它不是客觀存在的物理屬性,它是人類視覺系統(tǒng)和大腦共同選擇的主觀感受和認(rèn)知體驗(yàn)。
更是,我們的意識(shí)理解世界的方式。
我們也終究是活在關(guān)系里的生物。
我們看事物也從來不是孤立的點(diǎn),是點(diǎn)與點(diǎn)之間連成的線,線與線之間圍成的面,面與面之間涌現(xiàn)的詩。
AI的世界,一直都很像一片無垠的像素之海。
每一滴水,它都可以分析得清清楚楚,成分、溫度、折光率,了如指掌。
但它卻從未見過潮汐,也無法理解風(fēng)暴,更不懂得,為何我們會(huì)對(duì)著一片汪洋,心生敬畏。
它總是在那個(gè)像素的海洋里,背誦著那如同宇宙真理一般的孤獨(dú)的“74”。
而我們。
只需抬頭,便能看見滿天星辰。
以上,既然看到這里了,如果覺得不錯(cuò),隨手點(diǎn)個(gè)贊、在看、轉(zhuǎn)發(fā)三連吧,如果想第一時(shí)間收到推送,也可以給我個(gè)星標(biāo)?~謝謝你看我的文章,我們,下次再見。
>/ 作者:卡茲克、可達(dá)
>/ 投稿或爆料,請(qǐng)聯(lián)系郵箱:wzglyay@virxact.com
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.