![]()
導(dǎo)語
為什么時間總是向前?從微觀粒子的可逆運動,到宏觀世界的不可逆演化,人類始終在追問:熵增的背后,是否還潛藏著某種秩序?北師大系統(tǒng)科學(xué)系張江課題組博士楊明哲、劉凱威的最新研究指出,無論是人類還是人工智能,都在通過“忽略信息”來構(gòu)建一個更可逆、更高效的世界模型。這一過程,揭示了因果涌現(xiàn)的深層邏輯:我們在不可逆的現(xiàn)實中重建可逆性,以理解、預(yù)測并掌控復(fù)雜的世界。
為了系統(tǒng)梳理因果涌現(xiàn)最新進展,北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授、集智俱樂部創(chuàng)始人張江老師領(lǐng)銜因果涌現(xiàn)系列讀書會,目前已經(jīng)持續(xù)到,如果你對這一話題感興趣,歡迎你加入社群討論交流!
關(guān)鍵詞:因果涌現(xiàn)、有效信息、可逆性、粗粒化、智能體、熵增、時間之箭
劉凱威丨作者
張江|審核
從微觀可逆到宏觀不可逆
在我們的日常經(jīng)驗里,宏觀世界明顯是不可逆的:杯子打碎后不會自動恢復(fù)原狀,熱量也總是從高溫物體流向低溫物體。這種現(xiàn)象正是熱力學(xué)第二定律告訴我們的:自然界的過程總是朝著熵增的方向進行,時間之箭不可逆轉(zhuǎn)、永遠向前。
然而,令人驚訝的是,在微觀尺度上支配粒子運動的基本物理定律,例如牛頓力學(xué)或量子力學(xué),在形式上卻往往是時間可逆的。從理論上講,如果我們把微觀世界的物理演化過程倒著播放,整個過程依然完全符合這些基本方程。這種“微觀可逆”和“宏觀不可逆”的對比,形成了一個耐人尋味的反差。
我們的研究發(fā)現(xiàn),在這種反差下,面對不可逆的宏觀世界,智能體(無論是人類還是人工智能)會主動構(gòu)建一種盡可能“可逆”的世界模型,以便更有效地對抗世界的熵增,從而更好地預(yù)測環(huán)境、適應(yīng)環(huán)境。這是怎么回事兒呢?
因果涌現(xiàn)
讓我們從因果涌現(xiàn)理論談起。這是一套由美國神經(jīng)科學(xué)家Erik Hoel提出的基于因果和信息的涌現(xiàn)理論,它并不試圖用簡單規(guī)則復(fù)現(xiàn)各種涌現(xiàn)現(xiàn)象,而是以定量化的手段直接量化什么是涌現(xiàn)。該理論認(rèn)為:只要一個系統(tǒng)能夠在宏觀尺度展現(xiàn)出比微觀尺度更強的因果效應(yīng)的時候,該系統(tǒng)就發(fā)生了因果涌現(xiàn)。那這里說的“因果效應(yīng)”是指什么呢?不妨看看鳥群運動的例子。
如圖1所示,我們有兩種描述鳥群運動的方法。第一種是只看鳥群整體的重心如何運動,也就是宏觀動力學(xué)模型;第二種是模擬鳥群中每只鳥的移動軌跡,也就是微觀動力學(xué)模型。兩種方法分別會計算出一個“有效信息(EI)”的數(shù)值,用來衡量在對鳥群系統(tǒng)施加干預(yù)(因變量)后,系統(tǒng)運動軌跡(果變量)能夠多大程度上被預(yù)測,這個值就是因果涌現(xiàn)理論中的“因果效應(yīng)”強度。然后我們對鳥群施加干預(yù),比如改變風(fēng)向/風(fēng)速、設(shè)置障礙等,計算出宏觀動力學(xué)模型(F)和微觀動力學(xué)模型(f)的EI值,如果EI(f)\n"},"displayMode":"inline","viewType":"inline"}}">EI(F)>EI(f),說明宏觀層面比微觀層面擁有更強的因果力,這就構(gòu)成了因果涌現(xiàn)。
![]()
圖1:因果涌現(xiàn)的理論框架(EI即有效信息,它可以度量一個動力學(xué)的因果效應(yīng)強度)
進一步,我們的研究發(fā)現(xiàn)[1],這個因果涌現(xiàn)的理論框架不僅可以刻畫涌現(xiàn)現(xiàn)象,它還可以用來描述一個智能體如何構(gòu)建外部世界模型的過程。
世界模型
原來,無論是人類還是人工智能,他們?yōu)榱烁玫卦谒诘氖澜缰猩妫筒坏貌辉谧约旱拇竽X中構(gòu)建一個外部環(huán)境的“世界模型”(World Model,這是指智能體構(gòu)建的一個描述外部環(huán)境的模擬動力學(xué)模型,它可以被單獨地訓(xùn)練,也可以用于指導(dǎo)智能體的規(guī)劃。典型的代表就是DeepMind所提的Dreamer系列模型,見Nature論文[2]),如圖2所示。這個時候,外部世界所遵循的不可逆物理規(guī)則就可以看作是類似單個鳥的“微觀動力學(xué)”,而智能體在頭腦內(nèi)模擬的“世界模型”,就可以看作類似于鳥群重心所遵循的“宏觀動力學(xué)”。而智能體從對外部世界的觀察抽象成世界模型,則可以看作是因果涌現(xiàn)框架中從微觀到宏觀的粗粒化過程。于是,配備了世界模型的智能體剛好可以由因果涌現(xiàn)框架來描述。
![]()
圖2:機器觀察者的最大化有效信息
既然智能體可以任意地構(gòu)造世界模型,那么,什么樣的模型是好的呢?很明顯,這個模型越能準(zhǔn)確地預(yù)測環(huán)境的變化就越好。但是,僅僅有這一條原則還不行,模型不僅要能準(zhǔn)確地預(yù)測變化,還要能夠掌握外部世界變化的基本因果規(guī)律,這樣,當(dāng)智能體換了一個環(huán)境以后,世界模型仍然可以很好地運轉(zhuǎn)——即模型的因果推理和泛化的能力要能夠最大化。
這后一種能力就可以被概括為“最大化有效信息”(Effective Information Maximization,其中有效信息,簡稱EI,其實是對因果效應(yīng)的一種度量,參見集智百科: [3])原理——這一原理最早也是由Erik Hoel提出的,但它的目的是為了幫助人類觀察者能夠消除識別涌現(xiàn)現(xiàn)象的任意性。而我們的研究 [1] 則發(fā)現(xiàn),它其實也同樣可以用來指導(dǎo)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。當(dāng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練既要追求預(yù)測的準(zhǔn)確性,又要讓有效信息最大化的時候,這種網(wǎng)絡(luò)的學(xué)習(xí)效果往往更好,泛化能力也會更強。
于是,一個人工智能體,即使是一個最簡單的神經(jīng)網(wǎng)絡(luò),也可以被視為一個機器觀察者,它仿佛正在數(shù)據(jù)的海洋中識別貝殼一般的涌現(xiàn)現(xiàn)象。由于它遵循了最大化有效信息原理,所以如果智能體能夠正確地識別、把握有趣的涌現(xiàn)現(xiàn)象了,它的世界模型往往也會更強,這體現(xiàn)為它可以在各種不同的環(huán)境中都能預(yù)測好。
如果把人看作一個智能體,他(她)可能也是在試圖最大化有效信息。一個不太嚴(yán)格的例子是,目前市面上有很多教中小學(xué)生的快速記憶法貌似也是利用了類似的原理:面對一組毫無關(guān)系的抽象詞匯或數(shù)字,或一個長長的單詞,你如果死記硬背每一個字符會很快崩潰——根本記不住。但是,如果你根據(jù)這些詞生編硬造一個故事,那么你就會很容易記住這些詞,而且還能倒背如流。這是因為,我們的大腦更容易記住具有因果含義的“故事”,而不是毫無因果聯(lián)系的孤立單詞。
所以好的世界模型,就是在保持預(yù)測精度的前提下,能夠讓有效信息最大化的模型,也就是因果效應(yīng)最強的模型。
因果效應(yīng)與可逆性的等價
那么,這一切又和可逆性有什么關(guān)系呢?我們團隊的最新研究 [4] 指出,一個動力學(xué)的因果效應(yīng)就等價于該動力學(xué)的可逆性,有效信息和動力學(xué)可逆性的程度密切相關(guān)。因此,一個追求最大化有效信息的智能體,也就是在追求一個可逆的世界模型。
更具體地說,這里所談?wù)摰囊蚬灾饕侵笇σ呀?jīng)存在的因果關(guān)系的一種強度的度量,即因果效應(yīng)強度。也就是當(dāng)A與B具有明確因果關(guān)系的時候,你對A實施干預(yù),則B就會明確地響應(yīng)的程度。這種因果性的強度其實就和可逆性有關(guān)系了。為什么呢?
如果你把A與B之間的因果關(guān)系看作是一個函數(shù),那么A發(fā)生則B也發(fā)生,A不發(fā)生則B也不發(fā)生就可以用一個函數(shù)映射來表示,如圖3所示:
![]()
圖3:因果關(guān)系與可逆映射
在這個函數(shù)關(guān)系中,每個變量都只能取0(代表不發(fā)生)和1(代表發(fā)生)兩種可能值。則如果A發(fā)生,B確定性地發(fā)生;且A不發(fā)生,B確定性地不發(fā)生,那么A和B之間就建立了一個一一映射關(guān)系,f這個函數(shù)就是可逆的。這種可逆性可以體現(xiàn)為,如果我看到了B是否發(fā)生,我必然能夠推斷出A是否發(fā)生。由此可見,因果性本身就暗含了一種可逆的函數(shù)映射。
原因和結(jié)果如同精準(zhǔn)的開關(guān):按下開關(guān)燈就亮,燈亮了則必定是開關(guān)被按下。這種“有因必有果,有果必有因”的完美關(guān)系,代表著最強的因果效應(yīng)。此時系統(tǒng)是“可逆”的——從結(jié)果能唯一且確定地反推出原因,整個因果鏈條清晰無比。
然而現(xiàn)實充滿“噪聲”:開關(guān)可能接觸不良(干擾結(jié)果),導(dǎo)致按下不一定亮;或是有別人也在按開關(guān)(干擾原因),導(dǎo)致燈亮了卻不知是誰按的。噪聲讓確定性下降、原因變得模糊。
假如當(dāng)A發(fā)生的時候,B有很大的概率會發(fā)生,但是也會以一定小的概率(例如0.1的概率)不發(fā)生;反過來A不發(fā)生的時候,B會以較大的概率不發(fā)生,但仍然會以小的概率發(fā)生,如圖4所示的情況:
![]()
圖4:因果關(guān)系與近似可逆映射
這個時候,A和B的因果性就沒有那么強了。而這個時候,系統(tǒng)也同樣不那么可逆了。這是因為,當(dāng)我看到了B是否發(fā)生,我不能一定地推斷出A是否發(fā)生,但是我會以較大的概率推斷A會發(fā)生。
由此可見,當(dāng)你確保A與B存在著因果關(guān)系,且不存在其它影響變量的時候,A與B的因果效應(yīng)強弱其實就與A到B的函數(shù)映射是否可逆有關(guān)。而對于一個動力學(xué)來說,我們完全可以把因果變量鎖定到系統(tǒng)在前后兩個時刻的狀態(tài),這樣,前后兩個時刻的因果效應(yīng)越強(也就是有效信息越大),則該動力學(xué)也會越接近可逆的。在論文中[4],研究團隊發(fā)明了一個近似可逆性的指標(biāo)來刻畫一個動力學(xué)接近可逆動力學(xué)的程度,并發(fā)現(xiàn)它與有效信息在絕大部分情形下都是正相關(guān)的。
![]()
圖5:以高斯映射為例,呈現(xiàn)的因果效應(yīng)強度與近似可逆動力學(xué)的相關(guān)性
我們以高斯映射(xt+1=axt+ε,這里ε是一個高斯噪音,方差為σ)為例,展示了因果效應(yīng)強度(有效信息)與近似動力學(xué)可逆性(γ)的相關(guān)性,如圖5所示,每張圖的左側(cè)為因變量的分布,右側(cè)為果變量的分布。圖5從左到右,因果效應(yīng)逐漸增強,近似動力學(xué)可逆性也在增強。上下對應(yīng)的兩張圖中的動力學(xué)相同,但是輸入分布不同,因此它們的因果效應(yīng)強度和動力學(xué)可逆性也都完全相同,即動力學(xué)可逆性只與動力學(xué)有關(guān),具體原理可以參考文章[5]。
更重要的是,一個理想的模型會讓智能體感覺時間是對稱的:知道了原因,可以預(yù)測結(jié)果;看到了結(jié)果,也能回溯原因。盡管真實世界是不可逆的,但一個高度可逆的模型,卻能幫助我們更清晰地描繪和理解外在世界的運行機制。
智能體的尷尬處境
然而,這里似乎存在一個根本矛盾:正如開篇所說,智能體面對的宏觀世界畢竟是不可逆的,那么,智能體又怎么可能學(xué)習(xí)到一個近似可逆的動力學(xué)模型的呢?
答案就在于——粗粒化——實際上,智能體是通過忽略細(xì)節(jié)、進行歸類(這個過程稱為“粗粒化”),以完成在不可逆中構(gòu)建可逆性的。也就是說,智能體會聰明地學(xué)會一種壓縮世界的方式,使得壓縮結(jié)果更加可逆。
但更加奇怪的一個事實是:簡化、壓縮其實就意味著丟失信息,這一過程本身就引入了不可逆性!這就好像我們?yōu)榱擞涀∫槐拘≌f的情節(jié),只記錄它的“故事梗概”。我們得到了整體脈絡(luò),卻無法還原每一處細(xì)節(jié)對白。
玻爾茲曼告訴我們,之所以微觀可逆,宏觀不可逆,是因為粗粒化帶來了信息損失,導(dǎo)致了觀察者“觀測”到了不可逆現(xiàn)象(言下之意,微觀世界其實是可逆的,是觀測者能力不夠,才不得不面臨熵增的世界)。而我們這里發(fā)現(xiàn)的是,一個智能體所做的,是在自己親手打破的可逆性的宏觀廢墟上重建秩序——可逆性,如圖6所示:
![]()
圖6:智能體構(gòu)建可逆性的過程
結(jié)語:智能體的第一性原理?
我們無法讓真實的時間倒流,但通過因果涌現(xiàn)的視角——即在更宏觀的尺度上捕捉那些穩(wěn)定、可靠的因果關(guān)系——我們能夠在認(rèn)知中實現(xiàn)某種程度的“時間反演對稱”。這種能力,讓我們在一定程度上實現(xiàn)了“時間倒流”——從果推因,從未來回望過去。而這,也正是因果涌現(xiàn)的魅力所在:在混亂中尋找秩序,在復(fù)雜中看見簡單,在不可逆的世界中,盡可能地“逆流而上”——恢復(fù)時間反演對稱性。也許這就應(yīng)該是一個智能體應(yīng)所遵循的第一性原理吧。
參考文獻
[1] Yang, Mingzhe, et al. "Finding emergence in data by maximizing effective information." National Science Review 12.1 (2025): nwae279.
[2] Hafner, Danijar, et al. "Mastering diverse control tasks through world models." Nature (2025): 1-7.
[3] https://wiki.swarma.org/index.php/%E6%9C%89%E6%95%88%E4%BF%A1%E6%81%AF
[4] Zhang, Jiang, et al. "Dynamical reversibility and a new theory of causal emergence based on SVD." npj Complexity 2.1 (2025): 3.
[5] Kaiwei Liu, et al. "Singular-value-decomposition-based causal emergence for Gaussian iterative systems". Physical Review E (2025).
作者:劉凱威 北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院在讀博士 審核:張江 北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授 出品:中國科協(xié)科普部 監(jiān)制:中國科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司
![]()
本文轉(zhuǎn)載自《集智俱樂部》微信公眾號
《物理》50年精選文章
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.