AI幻覺到底能不能治？神經(jīng)符號AI或許提供解決辦法

設(shè)置星標(biāo) 關(guān)注，從此你的世界多點(diǎn)科學(xué)~

對科技巨頭而言，目前阻礙AI探索征程的核心問題并非AI有可能掌控人類，而在于它愛出錯(cuò)的天性。是的，以O(shè)penAI的ChatGPT、谷歌的Gemini和Meta的Llama為代表的大語言模型(LLM)始終無法克服產(chǎn)生錯(cuò)誤信息的傾向，而且這個(gè)問題似乎就是不可能克服的。

行業(yè)將AI的此類缺陷被稱作“機(jī)器幻覺”。其中最著名的案例當(dāng)屬2023年美國法學(xué)教授喬納森·特利(Jonathan Turley)被ChatGPT誣陷性騷擾的事件。

面對自家LLM的誤報(bào)，OpenAI的解決方案竟是通過編程讓ChatGPT不能就涉及特利教授的問題作出回應(yīng)。從某種意義上說，這算是“解決不了問題就解決提出問題的人”。這種處理方式顯然既不公正也令人不滿，這種在事后針對個(gè)案打補(bǔ)丁的做法顯然也解決不了真正的問題。

另一方面，AI會(huì)在許多話題上延續(xù)甚至放大現(xiàn)實(shí)世界的偏見與謬誤，例如西方社會(huì)普遍的刻板印象問題和西方中心主義。而面對大規(guī)模錯(cuò)誤信息的傳播，這些系統(tǒng)完全缺乏問責(zé)機(jī)制，因?yàn)槿藗兏緹o從追溯模型生成錯(cuò)誤結(jié)論的源頭。

上述問題曾在2023年OpenAI發(fā)布大語言模型領(lǐng)域最新范式GPT-4后引發(fā)激烈辯論。如今爭論降溫了，但幻覺難題不曾改觀。

2024年，歐盟以迅雷不及掩耳之勢通過《人工智能法案》(AI Act)，試圖搶占該領(lǐng)域監(jiān)管主導(dǎo)權(quán)。但該法案過度依賴企業(yè)自律，并未真正觸及問題核心。大型科技公司仍在全球范圍向億萬用戶投放大語言模型，在缺乏有效審查的情況下持續(xù)收集用戶數(shù)據(jù)。

最新測試表明，即便最先進(jìn)的LLM也存在不可靠性，然而頭部AI企業(yè)目前依然拒絕為錯(cuò)誤擔(dān)責(zé)。

更令人憂心的是，大語言模型傳播錯(cuò)誤信息與復(fù)制偏見的傾向，絕非漸進(jìn)式改良所能解決。隨著代理式人工智能(agentic AI)時(shí)代來臨，用戶很快就能指派LLM完成諸如度假預(yù)訂或月度賬單優(yōu)化之類的任務(wù)，屆時(shí)潛在風(fēng)險(xiǎn)必成倍增長。

這個(gè)問題有沒有解決的可能？有人認(rèn)為，新興的神經(jīng)符號人工智能(Neurosymbolic AI)有望解決傳統(tǒng)大語言模型的幻覺問題，同時(shí)大幅減少訓(xùn)練LLM所需的數(shù)據(jù)量。

那么，何為神經(jīng)符號AI？其運(yùn)作原理又如何呢？

大語言模型的癥結(jié)

現(xiàn)階段的大語言模型采用深度學(xué)習(xí)技術(shù)，通過分析海量文本數(shù)據(jù)，運(yùn)用高級統(tǒng)計(jì)方法推斷模式，從而確定應(yīng)答中每個(gè)后續(xù)詞語的選擇。每個(gè)LLM及其學(xué)會(huì)的所有模式，都被存儲(chǔ)于大型數(shù)據(jù)中心，也就是神經(jīng)網(wǎng)絡(luò)的強(qiáng)大計(jì)算機(jī)集群中。

這些模型通過思維鏈(chain-of-thought)過程進(jìn)行推理。它們基于從訓(xùn)練數(shù)據(jù)里看到的模式，生成多步驟應(yīng)答——模仿人類邏輯推導(dǎo)結(jié)論的過程。

不可否認(rèn)，大語言模型是工程學(xué)上的偉大成就。它們在文本摘要和翻譯方面表現(xiàn)驚人；對于很多勤勉而善于糾錯(cuò)的工作者來說，LLM可顯著提升其工作效率。不過由于ChatGPT們的結(jié)論始終基于概率推算而非人類式的理解，模型始終存在極大的誤導(dǎo)風(fēng)險(xiǎn)。

當(dāng)前常見的解決方案是采用“人在環(huán)中”(human-in-the-loop)模式，即確保人類始終掌握AI決策的最終決定權(quán)。但將責(zé)任轉(zhuǎn)給人類使用者治標(biāo)不治本，人類也依然會(huì)頻繁被錯(cuò)誤信息誤導(dǎo)。

另一方面，如今大語言模型的升級迭代要求無比巨大的訓(xùn)練數(shù)據(jù)量，大到我們不得不投喂很多由AI而非人類自己生成的合成數(shù)據(jù)。這類數(shù)據(jù)會(huì)復(fù)制并放大原始數(shù)據(jù)里的既有錯(cuò)誤，導(dǎo)致新模型繼承舊模型的缺陷。

結(jié)果就是，為消除缺陷，我們要花大力氣在訓(xùn)練后對模型再作編程以提高其準(zhǔn)確性，即所謂的“訓(xùn)練后模型對齊”(post-hoc model alignment)——這方面的成本可以說正急劇攀升。

隨著模型思維鏈的步驟越發(fā)繁多，程序員越發(fā)難以找到問題根源，糾錯(cuò)工作自然越發(fā)困難。

而神經(jīng)符號AI的創(chuàng)新之處在于，它結(jié)合了神經(jīng)網(wǎng)絡(luò)的預(yù)測學(xué)習(xí)與人類所依憑的用于可靠推理的形式化規(guī)則。這些規(guī)則主要包括以下三類：

• 邏輯規(guī)則，例如“如果下雨，室外物體通常都會(huì)被淋濕”這樣的“若a則b”

• 數(shù)學(xué)規(guī)則，例如“若a=b且b=c，則a=c”

• 文字、圖表、符號等元素的約定含義

其中部分規(guī)則將直接植入系統(tǒng)，另一些則通過模型分析訓(xùn)練數(shù)據(jù)時(shí)的“知識抽取”過程自主推導(dǎo)獲得。

這種技術(shù)將創(chuàng)造“永無幻覺”的AI系統(tǒng)——通過將知識組織成清晰、可復(fù)用的模塊來實(shí)現(xiàn)更快速高效的學(xué)習(xí)。例如，當(dāng)AI確立“下雨時(shí)室外物體會(huì)被淋濕”的規(guī)則后，就無需存儲(chǔ)每個(gè)可能被淋濕的物體的具體案例，因?yàn)樵撘?guī)則可自動(dòng)適用于任何新物體，即便是AI從未見過的對象。

在模型開發(fā)過程中，神經(jīng)符號AI還會(huì)通過“神經(jīng)符號循環(huán)”(neurosymbolic cycle)將學(xué)習(xí)與形式化推理相結(jié)合。具體流程是：經(jīng)過一定程度訓(xùn)練的AI先從數(shù)據(jù)中抽取規(guī)則，將整合后的知識回注神經(jīng)網(wǎng)絡(luò)，然后作下一步數(shù)據(jù)訓(xùn)練。

這樣神經(jīng)符號AI相較傳統(tǒng)技術(shù)具備三方面優(yōu)勢：

• 能效大幅提升，AI無需存儲(chǔ)海量原始數(shù)據(jù)

• 問責(zé)機(jī)制更為完善，用戶能清楚地掌控AI的決策路徑與優(yōu)化過程

• 公平性得以展現(xiàn)，人類可強(qiáng)制系統(tǒng)遵守預(yù)設(shè)規(guī)則，如“AI決策結(jié)果不得與個(gè)人種族或性別相關(guān)聯(lián)”

第三波浪潮

人工智能的第一波浪潮是1980年代的符號人工智能(symbolic AI)，其核心是讓計(jì)算機(jī)學(xué)習(xí)形式化規(guī)則以處理新信息。2010年代，深度學(xué)習(xí)掀起第二波浪潮。眼下，神經(jīng)符號AI正被越來越多人視為第三輪革命。

將神經(jīng)符號的原理作細(xì)分領(lǐng)域的AI應(yīng)用最為可行，因?yàn)閼?yīng)用場景越垂直越特化，其規(guī)則越能被明確定義。這也就不難解釋為什么，我們最早在以下兩個(gè)谷歌公司的案例中看到神經(jīng)符號AI的突破：能預(yù)測蛋白質(zhì)結(jié)構(gòu)進(jìn)而助力藥物研發(fā)的AlphaFold以及解決復(fù)雜的幾何問題的AlphaGeometry。

在更通用的AI領(lǐng)域，中國企業(yè)深度求索的DeepSeek模型采用的“蒸餾”學(xué)習(xí)技術(shù)也是朝神經(jīng)符號AI方向邁出的一大步。當(dāng)然，要實(shí)現(xiàn)神經(jīng)符號AI在通用模型上的全面應(yīng)用，學(xué)界需開展更多探究以完善模型識別通用規(guī)則和抽取知識的能力。

目前尚不清楚大語言模型的開發(fā)者們已取得多少神經(jīng)符號方向上的進(jìn)展。他們聲稱正致力于教會(huì)模型更聰明地思考，但他們對于通過海量數(shù)據(jù)實(shí)現(xiàn)規(guī)模擴(kuò)張的執(zhí)著也不曾消退。

事實(shí)上，若想持續(xù)推動(dòng)人工智能演進(jìn)，人類必須開發(fā)具備以下能力的系統(tǒng)：

• 僅憑少量案例即可適應(yīng)新場景

• 能驗(yàn)證自身的理解

• 能實(shí)現(xiàn)多任務(wù)并行與知識復(fù)用遷移，提升數(shù)據(jù)利用效率

• 能以復(fù)雜方式進(jìn)行可靠推理

當(dāng)上述設(shè)想成為現(xiàn)實(shí)，設(shè)計(jì)精良的數(shù)字技術(shù)甚至有望作為人類監(jiān)管的替代選項(xiàng)，因?yàn)橹坪鈾C(jī)制被植入了系統(tǒng)架構(gòu)中，并可能形成行業(yè)標(biāo)準(zhǔn)。神經(jīng)符號AI的浪潮或許剛剛開啟，前路漫長，但有跡可循。

資料來源：

《世界科學(xué)》雜志版在售中 歡迎訂閱

月刊定價(jià)

15元/期

全年訂閱價(jià)

180元

點(diǎn)擊左側(cè)圖片或以下方訂閱方式選購

方式一：

掃描二維碼，“雜志鋪”訂閱有折扣～

方式二：

全國各地郵局訂閱 郵發(fā)代號：4-263

方式三：

機(jī)構(gòu)訂閱，請撥打

021-53300839；

021-53300838