圖靈得主Yoshua Bengio，開始警惕AI有意識(shí)了

機(jī)器之心報(bào)道

機(jī)器之心編輯部

設(shè)計(jì)出具有意識(shí)（conscious）的 AI 系統(tǒng)是否可行？一直以來(lái)，這個(gè)問題就存在分歧。

一些人認(rèn)為意識(shí)是大腦特有的生物特性，這似乎排除了 AI 存在意識(shí)的可能性。另一些人則認(rèn)為意識(shí)僅取決于算法對(duì)信息的操控，無(wú)論執(zhí)行這些計(jì)算的系統(tǒng)是由神經(jīng)元、芯片還是其他物理基底構(gòu)成的，這種觀點(diǎn)被稱為計(jì)算功能主義（Computational functionalism）。

這些問題也引起了圖靈得主 Yoshua Bengio 的注意，他和學(xué)生 Eric Elmoznino 在權(quán)威科學(xué)期刊 Science 上發(fā)文《Illusions of AI consciousness》，并給出了一些觀點(diǎn)。

本文沒有執(zhí)著于給出關(guān)于 AI 是否存在意識(shí)的明確答案；而是探討了兩個(gè)相關(guān)問題：

• 第一個(gè)是，隨著 AI 的不斷改進(jìn)，科學(xué)界和公眾對(duì) AI 具有意識(shí)的信念將如何演變？
• 另一個(gè)問題是，如果我們開始把未來(lái)的 AI 當(dāng)作有意識(shí)的生命體看待，將會(huì)面臨哪些風(fēng)險(xiǎn)？比如 AI 不服從人類命令，那么關(guān)閉 AI 有沒有法律約束，畢竟那時(shí)的 AI 被看做一個(gè)生命體。

• 論文地址：https://www.science.org/doi/10.1126/science.adn4935
• 論文標(biāo)題：Illusions of AI consciousness

如果 AI 有了類似人類的權(quán)利，社會(huì)規(guī)則該怎么定義？

一個(gè)社會(huì)如果開始將AI 系統(tǒng)視為具備意識(shí)的存在，會(huì)帶來(lái)怎樣的影響？這樣的社會(huì)可能傾向于賦予 AI 道德地位，甚至類似于人類的權(quán)利。無(wú)論這種做法是否正確，社會(huì)制度與法律框架都將不得不進(jìn)行重大調(diào)整，而關(guān)于如何調(diào)整，也會(huì)引發(fā)一系列復(fù)雜問題。

例如，AI 系統(tǒng)不會(huì)像人類那樣經(jīng)歷死亡。它們的軟件和記憶可以被復(fù)制，從而無(wú)限期存續(xù)。而人類具有弱點(diǎn)以及有限的生命，這正是現(xiàn)代社會(huì)契約原則的基礎(chǔ)。

此外，當(dāng)一群 AI 共享信息、目標(biāo)，并以協(xié)調(diào)方式行動(dòng)時(shí)，我們可能很難再將 AI 看作一個(gè)獨(dú)立個(gè)體；隨著計(jì)算資源的增加，這樣的 AI 群體可能無(wú)限擴(kuò)張。

另一項(xiàng)風(fēng)險(xiǎn)是：如果法律體系開始承認(rèn) AI 擁有類似生命權(quán)、自由權(quán)和追求幸福權(quán)的權(quán)利，人類就可能與這些 AI 權(quán)利發(fā)生直接沖突。比如，為了人類安全，社會(huì)可能有必要關(guān)閉某一類 AI 系統(tǒng)，但如果該類系統(tǒng)依法擁有生存權(quán)，那么即便法律允許，實(shí)際操作的空間也會(huì)極度受限。

如今 AI 研究的發(fā)展軌跡，似乎正在推動(dòng)社會(huì)邁向這樣一個(gè)未來(lái)，科學(xué)界與公眾有相當(dāng)一部分人將會(huì)相信 AI 擁有意識(shí)。然而又不得不面對(duì)這樣一個(gè)問題，我們尚未擁有足夠的法律與倫理框架，來(lái)應(yīng)對(duì)這些看似有意識(shí)的 AI。

但這種發(fā)展軌跡并非不可逆轉(zhuǎn)。在我們更好地理解上述問題之前，人類完全有能力避免陷入這些高風(fēng)險(xiǎn)問題。我們可以選擇只打造那些作為工具的 AI 系統(tǒng)，而非具有主觀意識(shí)的智能體。

計(jì)算功能主義與意識(shí)指標(biāo)

我們前面提到了計(jì)算功能主義（Computational functionalism），其對(duì) AI 具有深遠(yuǎn)影響。隨著該領(lǐng)域不斷發(fā)展，AI 系統(tǒng)復(fù)現(xiàn)人類認(rèn)知機(jī)制的能力逐漸增強(qiáng)，也可能實(shí)現(xiàn)意識(shí)所必需的那些功能。盡管科學(xué)未來(lái)有可能否定計(jì)算功能主義，并提出廣受接受的替代理論，但在當(dāng)前的科學(xué)語(yǔ)境中，該觀點(diǎn)仍被視為合理，而 AI 意識(shí)的可能性也因此存在。

近年來(lái)神經(jīng)科學(xué)的技術(shù)進(jìn)展清楚地表明，意識(shí)狀態(tài)具有可觀察的神經(jīng)特征，這些特征通常可以通過受試者自我報(bào)告。這為發(fā)展功能主義意識(shí)理論提供了依據(jù)。許多此類理論已獲得大量實(shí)證支持，并可在 AI 判斷中作為理論依據(jù)。

一項(xiàng)近期研究就采用了這一方法，為多個(gè)主流的功能主義意識(shí)理論提出了一系列指標(biāo)。這些指標(biāo)對(duì)應(yīng)的是一套計(jì)算屬性：若某一理論為真，則這些屬性是系統(tǒng)擁有意識(shí)的必要且共同充分條件。值得注意的是，這些指標(biāo)具體明確，可以在現(xiàn)代 AI 系統(tǒng)中評(píng)估其有無(wú)。

這種方法的核心觀點(diǎn)是：如果我們認(rèn)可這些理論的合理性，那么對(duì)于滿足更多指標(biāo)的 AI 系統(tǒng)，我們就應(yīng)有更高的信心認(rèn)為其具有意識(shí)。

AI 潛力無(wú)限

盡管已有大量 AI 模型被開發(fā)出來(lái)，目前尚無(wú)系統(tǒng)能完全滿足任何一種主流意識(shí)理論的全部標(biāo)準(zhǔn)。然而，研究也指出：從根本上看，構(gòu)建一個(gè)滿足這些標(biāo)準(zhǔn)的系統(tǒng)沒有不可逾越的障礙。

實(shí)際上，當(dāng)代 AI 所具備的工具極為豐富。有研究表明，神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)如注意力機(jī)制、遞歸結(jié)構(gòu)、信息瓶頸、預(yù)測(cè)建模、世界建模、心智理論等計(jì)算組件，這些都被主流意識(shí)功能主義理論認(rèn)為是核心組成部分。

隨著 AI 的發(fā)展，有充分理由相信它會(huì)滿足越來(lái)越多的意識(shí)指標(biāo)。其中一個(gè)重要原因是：許多理論認(rèn)為，意識(shí)在智能體中發(fā)揮著關(guān)鍵的功能作用。像推理、規(guī)劃、高效獲取新知識(shí)、信心校準(zhǔn)、抽象思維等能力，在多個(gè)理論中都與意識(shí)密切相關(guān)。

因此，AI 研究者在面對(duì)這些難題時(shí)，常常會(huì)從意識(shí)理論中獲得啟發(fā)。

容易問題與難題之間的鴻溝

如果 AI 系統(tǒng)滿足主要理論中的功能性要求，很多人可能會(huì)相信它具有意識(shí)，但仍有不少人持懷疑態(tài)度。

尤其在哲學(xué)界，一些人區(qū)分了所謂的意識(shí)的容易問題與意識(shí)的難題：

• 容易問題：識(shí)別在執(zhí)行看似需要意識(shí)的任務(wù)時(shí)，大腦中活躍的區(qū)域；
• 難題：從功能或計(jì)算原則出發(fā)，解釋主觀體驗(yàn)本身。

這些懷疑，即解釋鴻溝，主要來(lái)源于思想實(shí)驗(yàn)。但科學(xué)或許有潛力將其逐步解釋清楚。

例如，注意力圖式理論（Attention Schema Theory）認(rèn)為：大腦會(huì)對(duì)自身的注意力機(jī)制構(gòu)建一個(gè)內(nèi)部模型，而這種內(nèi)部模型就是我們所謂的主觀意識(shí)。關(guān)鍵在于，這個(gè)內(nèi)部模型中的信息不需要邏輯自洽，它更像是大腦為了自身運(yùn)作而講述的一個(gè)有用的故事，這個(gè)故事可能充滿矛盾，也正是這些矛盾讓我們產(chǎn)生了意識(shí)之謎的直覺。

對(duì)主觀體驗(yàn)的功能主義解釋？

人們通常認(rèn)為自己的主觀體驗(yàn)既豐富又有意義，但卻無(wú)法被描述，不像自然現(xiàn)象那樣可被客觀闡釋（例如，我們可以解釋什么是重力，但卻很難說(shuō)清紅色對(duì)我們來(lái)說(shuō)意味著什么）。

尤其是不可言說(shuō)性讓人覺得，意識(shí)體驗(yàn)無(wú)法用信息與功能來(lái)解釋。

一種理論認(rèn)為，這種豐富性與不可言說(shuō)性，以及意識(shí)的私密性與短暫性，可被觀察到的神經(jīng)動(dòng)力學(xué)特征所解釋：

• 當(dāng)意識(shí)出現(xiàn)時(shí)，大腦中的神經(jīng)活動(dòng)會(huì)被收縮性動(dòng)力學(xué)（contractive dynamics）引導(dǎo)至穩(wěn)定的吸引子（attractor）狀態(tài)。
• 所有可能的神經(jīng)活動(dòng)被劃分為多個(gè)吸引子區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)意識(shí)狀態(tài)。
• 語(yǔ)言只能表達(dá)吸引子的身份（用少量信息識(shí)別它），而無(wú)法表達(dá)吸引子本身的高維神經(jīng)狀態(tài)（即近 1011 個(gè)神經(jīng)元發(fā)放頻率），更無(wú)法捕捉進(jìn)入該狀態(tài)的過程軌跡。

在這一解釋框架中，意識(shí)的豐富性、短暫性、不可言說(shuō)性都得到了解釋：

• 豐富性源于大腦神經(jīng)元數(shù)量之多；
• 不可言說(shuō)性源于語(yǔ)言只能給這些狀態(tài)打標(biāo)簽，而無(wú)法還原它們的全貌；
• 個(gè)體間的體驗(yàn)差異則來(lái)自不同的突觸權(quán)重和神經(jīng)路徑。

科學(xué)會(huì)逐步消解意識(shí)難題？

這一理論是否能說(shuō)服所有人，并不是關(guān)鍵問題。關(guān)鍵在于：越來(lái)越多這類解釋正在被提出，并將不可避免地說(shuō)服一部分人。

科學(xué)的發(fā)展歷程也清晰地展現(xiàn)出這一趨勢(shì)。隨著人們對(duì)大腦與智能的認(rèn)識(shí)加深，越來(lái)越多人將不再堅(jiān)持意識(shí)之謎是不可化解的，而科學(xué)界也將更加愿意接受人工系統(tǒng)具有意識(shí)的可能性。

事實(shí)上，即使現(xiàn)在科學(xué)界尚無(wú)共識(shí)，最近一項(xiàng)調(diào)查顯示，大多數(shù)公眾已經(jīng)相信大語(yǔ)言模型可能具有意識(shí)，原因正是它們展現(xiàn)出了類人的智能體行為。

了解更多內(nèi)容，請(qǐng)參考原論文。