AI的物理學：用統計物理理解智能 | 科普專訪

導語

當數學函數被擴展到億萬維空間，它們似乎獲得了“智能”，一種從規模中涌現出的新特性。物理學家開始重新追問：當智能成為自然的一種現象，我們是否也需要建立“AI的物理學”？本期我們訪談中山大學黃海平教授，圍繞“AI的物理學”話題展開，探討是否可以找到物理的第一性原理理解大模型的行為、揭示智能的生成機制，以及這一探索如何反照人類自身的認知與意識。

黃海平丨受訪者

集智俱樂部｜整理

目錄

1. 用統計物理研究AI的起點在哪里？

2. 大模型興起前后研究路徑有何不同？

3. 第三條路可能是什么？

4. 您在這個領域做出了哪些成果？

5. 未來會朝向哪些方向繼續展開？

6. 如何看待新概念，例如“AI的數學”“AI的物理學”？

7. AI的物理學真的能建立起來嗎？

8. 如果AI的物理學建立起來，會帶來哪些改變？

9. “如果物理學不存在，可能只剩關聯或動力”，如何理解？

統計物理與AI結合需要走出第三條路

Q1：用統計物理研究AI的起點在哪里？

：去年（2024年）諾貝爾物理學獎頒獎的時候，有些人重新挖掘了這段歷史。我想做一個比較形象的比喻：我們可以把這段歷史看作是一部好萊塢大片。因為我們知道，好萊塢大片在講故事時，總會有一條清晰的邏輯線。當然，實際上在20世紀80年代，這段科學史存在著兩條并行的邏輯線。

第一條線可以追溯到1972年，實驗物理發現了一種奇怪的相，后來我們知道Giorgio Parisi解決了這個難題。那是從凝聚態物理中分離出來的研究方向，核心是“自旋玻璃”（spin glass）理論。它用來解釋某些磁性材料或摻雜材料中出現的“玻璃相”——也就是類似我們日常所見的玻璃態。對自然界這一復雜狀態的理解，正是從那里逐步演化出來的。Parisi 完成這項研究后，引發了人們對高維體系的關注，比如著名的 Sherrington–Kirkpatrick 模型的解析解就是這些發展中的里程碑。這條研究線由此奠定。與此同時，從1982年開始，另一條故事線也被開啟。John Hopfield 開始思考“大腦是如何工作的”。表面上看，自旋玻璃與大腦毫無關系，但是那時候剛好有人對這個問題感興趣（當然包括Hinton）。Hopfield 周圍也有很多的物理學大家，包括Philip Anderson、Giorgio Parisi、David Thouless等人，這些科學家后來都拿過諾貝爾獎。周圍有這樣一群人讓 Hopfield 意識到，高維系統的思想或許能與大腦相對應，于是他開啟了第二條研究路徑。當然，高維神經計算在1970年代也有日本數學家Amari的重要貢獻。

這兩條線是并行發展的。Parisi 那條路線主要提供了方法和理論思想；而 Hopfield 那條線，則不斷帶來新的問題和挑戰。自1982年之后，人們開始嘗試用動力系統的方法去解釋真實大腦的活動，或者利用神經動力學模擬大腦的集群行為。直到今天，人工智能（AI）與神經科學（Neuroscience）的融合仍在繼續。許多從事理論物理的學者依然在使用 Parisi 那一套技術、概念與方法，持續探索這條研究路線與大腦模型之間的對應關系。

從現在回望過去幾十年的歷史，你會發現：今天那些在這一領域做得最出色的科學家，基本就是在這兩條故事線里面跳來跳去的。他們并非只沿著一條路徑前行，而是對兩條線都極為熟悉。

Q2：大模型興起前后研究路徑有何不同？

：大語言模型這個概念實際上在2017年就已經存在，但當時并沒有將相應的產品開發出來。一直到2023年，才終于出現了這種現象級的產品（例如ChatGPT）。這一產品的出現，就對前面提到的那兩條故事線提出了更大的挑戰。我的判斷是，從2023年開始，那兩條原有的故事線仍在發展，但與此同時，又出現了一條新的故事線。這就好比好萊塢大片發展到某個高潮之后，再添加一條新的故事線。然而，這條故事線并非人為添加，而是理解自然界的必然步驟。

大模型本質上是高維空間的計算，作為自然界的一部分，雖然是人類創造的產物，但與我們的生活息息相關，因此衍生出了第三條故事線。為什么說它是第三條故事線？因為它實際上挑戰了我們傳統的數學體系。我們從小學起學習各種函數，從最簡單的線性函數、再到非線性函數，進入大學又學習物理學中的各種函數模型。然而，從某種意義上說，這些函數都是“沒有生命的”，它們只是我們手中的數學工具。但在2023年之后，就發生了一件很奇怪的事情，當這些函數以特殊方式表現并擴大規模后，竟然展現出了智能。這可能是人類科學發端以來史無前例的沖擊，我們的函數中竟然蘊藏著智能。

當你把它縮小規模時，它不具備這種性質；但當你把規模擴大時，函數本身并沒有變，然而卻出現了智能。這就是工業界所說的“規模效應”，人們開始相信，只要把模型的規模足夠擴大，就一定會產生新的能力。然而，這種能力究竟從何而來？

對于統計物理學而言，規模本就是其核心概念。舉個例子：當你只有兩個氣體分子時，不可能定義溫度或壓強，也沒有所謂的理想氣體定律；但當你把氣體數量不斷增大后，就會出現熱力學第二定律、溫度效應等宏觀規律。因此，大模型的“規模效應”可以類比為從微觀到宏觀的統計物理映射。然而，當這一概念應用到神經網絡中時，問題變得極為棘手。從某種意義上說，當前推進緩慢的原因可能在于新的數學工具尚未被創建出來。

這正是我將其稱為“AI的物理學”的原因。我希望當新的數學工具被開創并發展成熟后，能夠形成一個與物理學四大力學平行的學科和研究方向。未來我們可能需要一本教科書，如同四大力學一樣，來描述數學規模增大后為何會出現這種新的物理效應，而那時候，我們與大模型的對話是日常生活的一部分，我們必須理解這些高維計算的原理。

Q3：第三條路可能是什么？

：從2023年開始，大模型出現后，我們帶領研究生持續討論這一問題。我們先把大模型的各項能力列成一個表，然后逐項檢視哪些能夠被解釋。對于如此復雜的系統，我們當然不可能用一個模型把所有功能全部解釋清楚；到目前為止，我們也還看不到這種希望。但我們可以抓住某一個功能切入。

如果讓我總結，主要有三個方向：一是示例泛化，不需要重新訓練就能識別規律；二是思維鏈；三是幻覺現象。我認為，如果未來十年內要實現突破，應該在這三個方向齊頭并進。如果這些問題能夠被突破，我認為這將是人類科學史上一個極其重要的時刻，必將載入史冊。

就近期動向而言，美國西蒙斯基金會投入約七年、大概一億多元的資金，資助理論科學家專門思考這幾類問題，希望他們能在七年內找到答案。所以在這一領域的未來重要問題上，國際競爭極為激烈。

研究成果與未來方向

Q4：您在這個領域做出了哪些成果？

：十年前，我們開始研究感知機（perceptron）的解空間。也就是現在所說的深度學習（deep learning），其本質就是在學習一組矩陣的元素。或者說我們叫“字節跳動”，因為每個矩陣的元素可能是一個比特（bit），那可能就是“bit dancing”。所以，在字節跳動的過程中，你覺得它會在空間的哪個地方跳動呢？這其實是一個非常基礎的科學問題。因為只要你知道它在空間的哪個位置，就可以用來理解機器到底是怎么想的、怎么思考的。

于是，我們一開始就研究了在高維空間的結構問題。后來我們使用數學方法進行了推導，借助了來自 Parisi 那條研究路線中的Franz–Parisi 勢能。這一勢能形式大約在1995年提出，而我在2013年發現它在神經網絡中存在對應關系，這是第一次實現這樣的映射。我們算出來之后，會發現這個高維空間很奇怪，就長得像高爾夫球洞——它不是連成一片的，而是一個個分開的。當然，高維空間很難想象，但是你可以把它映射到低維空間，一個類比就是相當于三維空間中的高爾夫球洞。

這個事情出來之后，就不得了了。有很多人去想：當我們用反向傳播（backpropagation）或隨機梯度下降（SGD）算法去尋找最優解時，算法能否真正找到這些“球洞”？因為正如打高爾夫一樣，要精準擊中球洞并不容易。后來，人們發展出一種新的數學工具，結合了大偏差理論（large deviation theory）。這個很有技術性，但形象地說，他們發現在那些“球洞”周圍，還存在一些“更大的洞”——即更容易到達的區域。我們稱之為大偏差，或更廣義的非平衡物理，因為它們超出了傳統平衡態物理的刻畫范圍。

然后，人們就去研究這個很大的洞什么時候消失，發現這個很大的洞實際上會隨著訓練數據量，或者各種外部條件而消失掉。所以，消失之后，這個問題就變得很難。于是，它就立刻就跟數學或計算機中的NP問題（或者NP不等于P）聯系在一起，找到了一個統計物理計算的東西跟真實算法計算難度之間的基本關系。所以，從2013年開始，發展到今天還在進化。最近，MIT的數學家提出了重合度間隙性質的概念，與我們更早前用物理導出的幾何分離圖景一致，這種幾何圖景于2021年也被美國的數學家嚴格證明了。這相當于它走向了可能解決NP到底等于P還是不等于P，目前數學上還不能嚴格證明。這個就是從我們剛開始研究這種高維景觀的物理學事情，最后走向了那一塊，就是去刻畫學習什么時候容易、什么時候難。這是一個根本性問題。這是我們課題組在國際上第一個被大家認可的工作，從2014年持續影響到現在，還有人不停地在引用我們提出高爾夫球洞的那個工作。

后面，我就大概轉向了無監督學習，就是Hinton的受限玻爾茲曼機，到底它在學習的時候是什么樣的內部機制。簡單來講，數據驅動了對稱性破缺，這個最近也被意大利物理學家證明在更復雜的神經網絡學習中具有普適性。最近我們研究了大模型的示例泛化，把它跟伊辛模型對應起來，解釋了通用人工智能為什么是可能的，而為什么它目前來說是不可能理解物理世界的。我們最近也發展出了很多動力學的方法，想用動力學的方法去重新替代Transformer和生成擴散模型。當然，這個方向我們還在進展當中，還沒有最終形成統一的認識，但跟大腦緊密聯系。

Q5：未來會朝向哪些方向繼續展開？

：我們想發展出一條自己獨有的道路。最終的目的，是看能否用物理學的第一性原理來統一我們現在看到的紛繁復雜的各種神經網絡架構、各種算法、不同表現與性能等。我們相信，從物理學角度，一定存在一個簡單的第一性原理，只需畫出圖像或給出直觀解釋，就能把問題說明白。

所以，我們瞄準這一未來方向。這一方向也與我們之前所說的“AI 的物理學”相一致：其背后的數學尚未被創建，我們同樣以此為目標。就說假如20年之后，你要跟那時候的大學生去講解 AI 或大模型的機制時，是否能提出一個易于理解的 principle（原理），尤其是物理學視角下容易把握的 principle。沿著這條 principle，把我們所說的“第三條故事線”講清楚。所以，這個就是我們未來想要達成的一個基本目標。

AI的物理學的三層標準

Q6：如何看待新概念，例如“AI的數學”“AI的物理學”？

：現在我們談“AI 的可解釋性”。無論是“AI 的數學”還是“AI 的物理學”，本質上都是可解釋性的內容。它實際上有三層標準。

第一層標準，我提出一個C（computation，計算）就是第一個級別。你告訴我“AI的數學”、“AI的物理學”都可以，但首先必須說明你要解決什么問題，這個問題背后的 computation 是如何實現的。比如，大模型能做泛化、做推斷，那么它背后的computation是什么？但是，需要注意的是，如果你從可解釋性去討論的話，computation 不能簡單等同于“給我看一整套訓練代碼”（例如 deepseek 的訓練代碼），那樣沒有意義。如果這個是computation的話，那很多東西都被解釋了，所以它沒用。真正的 computation，應當類似 Hopfield 的做法：要理解記憶問題，可以用“小球在能量景觀上滾動”的圖像，將滾動過程表述為蒙特卡羅采樣，并可用數學加以解釋，這才是 computation。但是現在的話，我們所有的大模型里面，很多東西不論你是用怎樣的概念去解釋，到目前為止，無法定義這個computation的事情，因此在第一個層級上就過不了關。

當 computation 被定義后，第二個層次是M（mechanicsm，機制）。就是你必須把那個機制搞清楚。然后，機制搞清楚的話，實際上是一種降維的過程。我們知道，大模型的 computation 具有極高維度，比如有幾萬億參數；這些參數的運動如何被簡化為有限維、可求解和可研究的數學表達式（積分方程或微分方程均可）？維度不能與原始維度相同，否則無法理解。能否將其降到一個“比較漂亮的低維方程”，然后去理解背后的這個機制。在 Hopfield 模型中可以看到：它把數千個神經元的運動降到一維函數方程的求解，用一維去理解高維，而且做到了。大模型若要真正達到可解釋，也必須達到這一層級。

第三個層次是產生可驗證的假說 (hypothesis, 簡記H）。一方面是從實驗去證實，另一方面可以去改造或設計算法。當模型完成“可解釋”之后，接下來能做什么？對我們設計新的算法有沒有幫助？對我們去研究大腦的的相關假說有沒有幫助？如果這兩個都沒有，那可能不是一個好的理論。

因此，需要以 computation → mechanic → hypothesis或算法上的貢獻，那么你才能夠強調這是“AI的數學”，或者“AI的物理學”。所以，我們可以想象在未來，如果我們大家能寫一本書，來講述這個21世紀初期人類創造出來的智能體的時候，即便不逐條寫明這三個 principle，但是要讓學生去讀的話，能夠感受到我們是沿著這三個 principle 將問題講明白的。這就是我們的最終標準。

研究AI的物理學指向理解人類自身

Q7：AI的物理學真的能建立起來嗎？

：我認為，這本質上是一種信仰的問題。為什么這樣說？因為在許多時候，我們的科學研究并不知道最終答案。但最重要的是，保持強烈的好奇心以及一種信仰：不論走到哪里，只要一步一步推進、不斷敲打問題，每次都能敲出一點東西來，我就會感到開心。如果你有這樣的想法的話，那么我覺得你，很多時候會享受很多exciting的時刻。

然后，另外一個更大的信仰，這也是我個人的信仰：我相信，世界上我們所看到的一切，都是數學。假設存在“上帝之手”的話，那么它是通過數學創造世界的。最簡單的例子是：萬物由原子構成，而在微觀尺度，我們可以用量子力學來表述，用波函數來描述微觀運動，而波函數的本質就是一個函數。在這一層面上存在波函數，那么在更大的層面上，無論是計算機算法還是智能，那它背后是不是最終就是一個number？或者用安德森的話來說，任何復雜性都從簡單性中涌現，是由不斷的規模效應所產生。

如果你相信這種“從簡單到復雜，或者從復雜到簡單”是可能的話，那么你將保持你的好奇心去探索，然后你能夠享受你探索的這個路程的每一處風景。最后我總結一下：當任何一個人詢問“AI 的物理學是否可能”時，可以反問自己——黎曼猜想如此困難，為什么仍有那么多數學家愿意投入去解決它？

Q8：如果AI的物理學建立起來會帶來哪些改變？

：如果有一天這一問題被解決，那么從“飛機設計”這一路徑來看（人類已經走過來的一條路），結果將類似于我們今天的出行：可以方便地飛往遠方，并且安全、有保障。所以呢，從這一點來看的話，一旦被解決，必將在某種意義上把人工智能推升到一個更安全、更可靠、也更令人信服的層次。至于那時候那個智能大概長什么樣，我們現在無法想象，但可以肯定的是，它會比今天更好（better）。但是不是best我們不知道，better這個是一定的。

但是，我認為最重要的是：尋找“AI 的物理學”的首要目標，并不是解決 AI 本身，或創造更好的 AI。對科學家而言，更重要的是理解“人”本身。為什么這樣說？在 AI 研究中，你總是會想象一個事情，就是說這個智能到底是從哪里來的？智能與意識的關系是什么？為何人類能夠創造出智能體？為什么人類現在被很多精神疾病所困擾？或者說我們人類衰老為何伴隨大腦的退化？

如果把大腦視為一個超級高維系統，那么當我們建立起“AI 的物理學”，這個高維數學的基本理論，能不能用來理解我們大腦的很多疾病，等我們衰老的時候，我們能不能去控制，甚至我們年輕的時候，我們能不能去控制我們的精神狀態，那么這個是惠及人類本身的。

即使沒有 DeepSeek、沒有 ChatGPT，只要我們能夠在某種意義上理解人的感知與精神狀態，那便意味著一種“自然科學對人文科學的入侵”。過去，我們常以文學來“凈化心靈”，比如閱讀《百年孤獨》等經典作品。但是，我們有一天能不能用數學，去搞清楚我們的精神狀態？

在這一意義上，我們不僅理解自身。我也相信，任何優美、能夠刻畫自然規律的數學，必然會帶來源源不斷的財富與應用，我覺得那個是副產品，而不是終極的目標，我們終極的目標是理解自己。也只有如此，才能保持強大的好奇心去研究。所以我覺得有一個比喻很夸張，你研究神經網絡就是研究你自己。

Q9：“如果物理學不存在，可能只剩關聯或動力”，如何理解？

：當然，這是一種猜想。就目前而言，只要是基于大模型的系統，其中大模型本質上是在刻畫統計關聯。它通過計算 attention matrix（注意力矩陣）進行打分，以一個很大的 block matrix為載體，輸入token后不停地計算它的關聯，然后就能識別出某種規律或函數。

從人類的理解方式來看，這些“函數”需要被清楚地寫下來、被認識與研究，這才叫“搞清楚”。但是大模型不用，通過這種打分，實際上它本質上不需要知道這個函數。這一點頗為詭異，會促使人反思：我們人類迄今創造的一切知識，或自然現象的呈現，是否都可以通過一個“關聯打分矩陣”把它再現出來？或者說，只要找到這個矩陣，所有規律都沒必要把它清晰地寫下來？這很可能是當今以Transformer為代表的人工智能努力的方向。

然而，如果你的目標在于 prediction（預測）——例如蛋白質折疊，或我們在生命科學、天文數據分析等領域的研究——其實更關心的是預測能力。如果你關注這一點，我認為大模型完全可以把整個人類的知識體系，通過矩陣及其變換來刻畫其“關聯”。

至于“動力”，可能是未來的一個方向：因為動力過程更接近類腦。可以想象，我們的思維可能是一種動力過程。它與大模型不同：我們并不需要消耗巨量算力與數據，我們感知世界是被動力學預測的，但我們有記憶系統（memory system），需要睡覺來管理記憶，所以很多時候，我們有很多生理的現象，會跟計算捆綁在一起。因此，這是一種持續的 dynamics（動力學）過程，然后這一個過程到底隱藏著什么樣的秘密、與思維和意識什么關系，我們還沒有搞懂。

但不可否認的是：迄今為止，人類對自然界的理解，都是通過“動力系統”完成的，這個動力系統就是每個人的大腦。把知識寫成書，相當于獲得一種額外的記憶，是大腦記憶的延拓。大科學家之所以寫書，是因為人的壽命有限；那如果他不通過寫作表達他的作品的話，那可能他就沒有辦法被人類社會延續下去。況且大腦會衰減，可能出現阿爾茨海默病等問題。將記憶系統延拓到存儲硬盤、計算機與互聯網，本質上是一種“遷移”。

如果把“關聯”與“動力”這兩部分吃透，那么有一天，若你關心 prediction，世界上可能就沒有太多難題。因為你所有的創造，歸根結底，由背后的“關聯”與“動力”這兩個方向所決定。

本文根據訪談內容進行了書面化整理，內容刪減僅涉及重復表述與非核心細節。

本文為科普中國創作培育計劃作品 受訪者：黃海平 中山大學物理學院教授 創作團隊：集智俱樂部 審核專家：張江 北京師范大學系統科學學院教授 出品：中國科協科普部 監制：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

本文轉載自《集智俱樂部》微信公眾號

《物理》50年精選文章