物理學家所理解的熵：從熱力學、統計物理，到生成模型

導語

從“萬物終將腐朽”的熵增定律出發，本文系統梳理了熵在熱力學與統計物理中的嚴格定義，展示其如何作為連接微觀與宏觀的核心橋梁，并進一步走向量子體系、非平衡過程，乃至生成式人工智能模型，揭示熵在理解復雜系統與智能涌現中的深層意義。

關鍵詞：熵增定律、統計物理、玻爾茲曼熵、系綜理論、配分函數、非平衡態、生成模型

“根據熱力學第二定律，世間萬物，遲早會爛掉。”這是伍迪·艾倫電影中的一句臺詞。

物理學的熱力學第二定律稱為“熵增定律”。它揭示了一個殘酷的事實：一個孤立系統總是自發地向著無序發展，總熵值會一直增大，直至達到熱平衡。在這里，“熵”是衡量混亂程度的物理量，熵值越高，系統越混亂（如圖1所示）。 照此推演，宇宙的未來注定將走向無序，最終歸于沉寂與虛無。

圖1：兩種系統的熵對比

收回蔓延的思緒，作為一個物理量，那么物理學家是如何定義并計算“熵”？

一、 熵：從熱力學到統計物理

1）熱力學定義：從可測過程出發

熵，這個概念來源于熱力學。在經典熱力學中，德國物理學家克勞修斯把熵定義為“能量的退化”，他創造了entropy（德語 Entropie）這個詞，包含能量（對應en）和轉變（對應tropy）兩種意思，也就是在一個孤立系統中，熱量總是從高溫流向低溫，同時這個過程不可逆。克勞修斯熵的公式為：

dS=dQ/T（1）

其中，S代表熵，Q代表熱量，T代表溫度，這個公式表明微小熵變等于系統吸收（或放出）的微小熱量除以絕對溫度，熵的單位就是焦耳/開爾文 (J/K)。

其實中文的“熵”這個字，也和這個公式有關。1923年我國物理學前輩胡剛復教授首次把Entropy翻譯為“熵”，這是一個創造的新字，“火”字旁提示它出身于熱學語境；“商”在數學中表示除法運算（熱力學Q和溫度T）的結果。

2）統計物理定義：從微觀計數出發

克勞修斯是從可測的熱力學過程出發，用宏觀物理量定義了熵。熵還有一個著名的表達式，它由玻爾茲曼提出，也被刻在他的墓碑之上：

S = kB logΩ（2）

其中kB其中代表玻爾茲曼常數（單位：J/K），Ω代表滿足同一宏觀約束（能量、體積等）時系統可實現的微觀狀態數。宏觀上我們只描述少數變量，微觀上卻存在海量細節，Ω越大，宏觀描述遺漏的信息越多，熵也越大。這個公式使用統計的方法來定義物理量，這也是統計物理一個直觀的意義。玻爾茲曼從微觀狀態數變化的角度，用統計物理的方法定義了熵，將宏微觀聯系起來。

而這兩個公式科學家通過推導可以證明，兩者是等同的。所以說，熵是統計物理與熱力學之間關鍵的橋梁之一。

當我們把視野從熱力學系統拉到復雜系統：當系統由海量自由度構成（粒子、細胞、個體、節點……），我們往往只掌握局部規則與少數約束。統計物理提供的一種基本思路是：雖然不了解系統每個個體的具體行為，但只要個體數量足夠多，可以通過忽略細節噪聲，來抓住宏觀規律。

集智學園聯合上海大學李永樂教授推出了《統計物理基礎》課程，帶你進入到物理的世界中思考，它不是一門枯燥理論或公式推導的課程，因為有些推動物理學的重要公式也并非是通過嚴格的數學推導得到的，而是一門鍛煉物理思考能力的課程，從無序中發現有序，從微觀到宏觀，來為復雜系統進行建模。

二、辨別熵的多面面孔

我們也要注意區分在日常生活中經常聽到的“熵”：

• 信息熵（香農熵）：這是香農借用了物理學的名詞，用來描述信息的不確定性，單位通常為bit。雖然它關注的是信號的概率分布而非能量轉換，但它與物理學中的玻爾茲曼熵在數學形式上是完全一致的。這種深層的同構性，為后來物理學家用統計力學解釋人工智能埋下了伏筆。

• 社會/生態熵：這是一個隱喻式的延伸。將社會的復雜性或能源的耗散稱為“熵增”，雖然在宏觀直覺上成立，但往往忽略了物理學中極其嚴格的“孤立系統”前提。

三、邏輯的階梯：統計物理的基礎框架

統計物理構建了一座連接微觀粒子行為與宏觀物質屬性的嚴密邏輯橋梁。它擺脫了牛頓力學對單體軌跡的機械追蹤，轉而引入相空間這一概念——在相空間中，系統中微觀粒子瞬時位置與速度的信息濃縮為一個點。在此基礎上，統計物理以熵為核心，不再關心個體的信息，而是通過相空間中的概率分布來刻畫系統的演化方向。

該理論體系以熱力學公理為基石，利用系綜理論——一種通過構建大量假想副本來進行統計抽樣的方法——將原本復雜的物理問題重構為統計計數問題。在此基礎上，確立了配分函數連接起微觀能級與宏觀觀測量。從經典的玻爾茲曼分布到量子統計的全同性原理，再到描述相變與漲落的非平衡領域，統計物理成功地從龐雜的微觀概率中提煉出確定性的宏觀定律，可謂是綱舉目張，一葉知秋。

1）相空間：用分布替代軌跡

在牛頓力學的宏偉版圖下，我們習慣于通過解析每一個粒子的受力與軌跡來計算未來的運動。然而，面對一個包含 1023 量級粒子的宏觀系統，這種個體追蹤的方法論無異于大海撈針。統計物理的出發點很樸素：我們承認細節不可得，于是轉向更可控的對象——概率與約束。熵在這里獲得一種更精確的身份：它度量在既定宏觀約束下，系統還剩下多少“微觀可能性”，并由此牽引出宏觀演化的方向。

為了承載這種“以概率代替軌跡”的方法，統計物理引入相空間：系統的一個微觀態對應相空間中的一個點；系統對外呈現的宏觀狀態，對應相空間中一大片區域。我們不再糾纏單個點的命運，而關心系統在相空間中的概率分布如何隨時間流動。把演化寫成分布的變化，熵就自然登場：它衡量分布“鋪開”的程度，也衡量約束之下可實現微觀態集合的體量。

2）基礎理論：熵是連接宏微觀的橋梁

玻爾茲曼熵將一個宏觀狀態理解為大量微觀實現方式的集合，其大小的對數自然成為衡量系統“最可能呈現何種狀態”的尺度。在此基礎上，熵極大原理并非引入額外假設，而是對大數規律的物理表達：系統幾乎必然停留在微觀實現數占據壓倒性優勢的宏觀狀態附近。進一步地，當約束條件以平均量的形式給出時，最大熵原理直接導出玻爾茲曼分布及其配分函數。由此，統計物理建立起一套標準化的跨尺度協議：從微觀哈密頓量出發，通過熵的極值化構造配分函數，再由其系統性地生成能量、自由能及響應函數等宏觀物理量。所謂確定性的熱力學定律，并非概率描述的對立面，而正是從龐雜無序的概率結構中被“提煉”出的最穩定結果。

構建這一邏輯階梯的首要環節，是對宏觀熱力學框架的公理化完善。邏輯的嚴密性要求我們：只有先行明確系統的宏觀約束狀態，才能賦予微觀統計以物理意義。熱力學第一、二定律不僅是能量守恒與耗散的經驗總結，更是為系統演化劃定了“可能”與“不可能”的絕對邊界。通過引入特性函數，我們將復雜的物理環境抽象為簡潔的數學表達式：內能 U(S, V, N)對應孤立背景，而吉布斯自由能 G(T, P, N) 則完美契合了恒溫恒壓的現實實驗室條件。而麥克斯韋關系式的對稱美： 直觀地揭示了這些偏微分關系的本質——勒讓德變換。這種數學變換證明了宏觀參量之間存在著深刻的邏輯耦合，為后續我們從微觀統計平均中提取出壓強、溫度等宏觀觀測量奠定了堅實的數學前提。

3）系綜進階：物理系統的重構

在前文的基礎之上，邏輯階梯進入了革命性的階段：系綜理論與公理化假設。這也是李永樂教授課程的核心論域——即如何通過概率邏輯重構物理系統。

對于一個完全孤立的系統，統計物理擲下了它的邏輯骰子：等概率原理。在這一假設下，熵被重新定義為玻爾茲曼公式：S = kB lnΩ這里的 Ω 代表給定能量下系統所能占據的微觀狀態總數。這是邏輯階梯上最關鍵的跨越，它成功地將物理演化問題轉化為組合數學的計數問題，賦予了熱力學第二定律以統計學的靈魂。

隨著系統與外界環境交互方式的改變，系綜理論呈現出遞進的邏輯層次，如圖2所示，我們可以大致分為五種統計系綜：三種正則系統與等壓等溫（類似實驗室系統）與等焓等壓系。當系統與龐大的熱庫接觸時，能量的交換使得單一能量狀態不再恒定，系統進入正則系綜。此時，系統處于某一能量狀態的概率不再相等，而是服從玻爾茲曼分布：其中 把宏觀概念的“熱”變成了調節能量權重的角色。而當邏輯階梯進一步延伸至涉及粒子數交換的開放系統時，巨正則系綜便成為主角。它是我們理解化學勢、物質滲透以及復雜化學平衡的邏輯基石。

圖2 不同系綜對比示意圖（從左到右）：微正則系、正則系、巨正則系、等壓等溫系、等焓等壓系

在整條統計物理的邏輯鏈條中，配分函數Z扮演著連接微觀能級與宏觀觀測量的“唯一中介”角色。對于正則系綜，配分函數的定義不僅僅是一個求和式：，它在本質上是系統狀態分布的生成函數。通過對 Z 求對數導數，我們可以導出系統的一切熱力學性質：內能表現為能量的加權平均，而熵則通過 與系統的自由度緊密相連。這種從微觀分布到宏觀參數的邏輯推導，正是統計物理最令人心醉神怡之處。

4）量子系統：新的規則？

當進入微觀粒子的量子領域，經典的連續分布被離散的量子態取代。當德布羅意波長與粒子平均間距接近，粒子波函數開始重疊，粒子變得不可區分，全同性原理便開始占主導地位。此時必須區分兩類粒子：費米子與玻色子。費米子交換兩粒子時，波函數變號（反對稱），而玻色子交換兩粒子時，波函數不變（對稱），這兩種粒子會導致截然不同的統計行為。直觀來看三者在分布上存在顯著差異，如圖3所示，橫軸表示能級相對于化學勢的無量綱能量差，反映粒子占據該能級所需付出的熱學代價；縱軸表示在熱平衡條件下單位能級上的平均粒子數。藍線為玻色–愛因斯坦分布，低能區占據數迅速增大，體現玻色子可無限聚集的量子特性，是玻色–愛因斯坦凝聚的基礎；紅線為費米–狄拉克分布，低能區占據數受限于不超過 1，體現泡利不相容原理；橙線為玻爾茲曼分布，對應經典極限。在高能區三條曲線逐漸重合，表明量子統計在高能或高溫條件下統一回歸經典行為。

圖3 平均占據數 ?n? 與 β(ε?μ)的關系（β=1/kT，μ 為化學勢）：Bose-Einstein分布（藍）顯示低能級的強聚集趨勢，Fermi-Dirac分布（紅）受泡利不相容限制，Maxwell-Boltzmann分布（橙）給出經典稀薄極限。

而量子全同的真正影響在于：它改寫了統計物理最底層的“狀態計數規則”——同類粒子交換不再產生新微觀態，并且玻色子/費米子分別允許或禁止同一量子態的重復占據。由于熵本質上是Ω的對數、而配分函數Ζ是對所有允許微觀態的加權求和（量子情形為在對稱/反對稱態空間上取跡），一旦計數規則改變，Ω、Ζ、以及由Ζ導出的內能、熱容、漲落乃至相變門檻都會隨之改變。所謂“高溫回歸經典”，正是因為在稀薄極限下占據數很小，這些量子計數限制幾乎不再被觸發。

5）真實世界：漲落無處不在

經典的平衡態統計物理構建了一個靜態的理想框架，但真實的物理世界往往處于劇烈的漲落與演化之中。在李永樂教授課程的后半部分，我們將視角轉向更復雜的物理圖景。

首先是相變——這是平衡態中“漲落”由量變引起質變的時刻。當外部參數跨越臨界點，系統內部的關聯長度趨于無窮，微觀漲落不再相互抵消，而是宏觀涌現，導致對稱性自發破缺。朗道理論通過“序參量”巧妙地捕捉了這種秩序的生滅。更進一步，當我們真正踏入非平衡統計物理的大門，我們不再僅僅關注狀態的概率分布，更關注系統對外界的響應。這里存在一個連接平衡與非平衡的宏偉橋梁——漲落-耗散關系。它告訴我們：系統在平衡態下自發的“漲落”特性，直接決定了它在非平衡條件下對外界擾動的“耗散”能力（如電阻、粘滯）。這種深層的統一性，正是統計物理從靜態走向動態、從結構走向演化的關鍵一步。

至此，從微觀到宏觀、從經典到量子、從平衡到非平衡，統計物理的邏輯階梯終于搭建完畢。

統計物理的基礎框架是一套嚴密的自洽邏輯體系。李永樂教授主講的《統計物理基礎》課程，正是遵循上述邏輯階梯，通過“問題驅動”的方法，將枯燥的公式還原為生動的物理直覺。

• 對于初學者：重點在于理解系綜理論如何從統計平均中“涌現”出宏觀定律。

• 對于進階者：核心在于掌握配分函數這一工具，去處理如復雜流體、磁性材料乃至神經網絡模型等前沿問題。

四、 跨學科的應用前沿：

當生成模型遇見非平衡態統計

在傳統視野中，統計物理處理的是物質實體，而人工智能處理的是信息數據。然而，隨著深度學習尤其是生成式擴散模型的橫空出世，這兩者的界限正在被數學邏輯打破。2025年1月發表Physical Review E上的一篇研究[7]，讓我們看到了一幅統計物理與深度學習完美交融的圖景。

圖4 擴散模型示意圖。從左到右，前向擴散過程，熵增；從右到左，逆向生成過程，熵減。

該研究的核心洞見在于，將AI生成圖片的逆向過程，精確映射為物理學中的朗之萬動力學（一種引入了隨機熱噪聲的運動方程）。如圖4的擴散模型示意圖中，我們可以把前向過程想象為一滴墨水在清水中擴散，這是一個熵增的、趨向無序高斯分布的自然過程；而擴散模型的魔法，在于通過學習一個“力場”，強行讓時間倒流，從混沌的白噪聲中“逆流而上”重構出有序的數據結構。這不僅是算法的勝利，更是非平衡態熱力學的直接體現。

圖5 二維高斯混合數據生成擴散過程的示意圖。包括從時間t = 0到時間t = 3的前向擴散過程與從時間t = 3到時間t = 0的逆向生成過程。

如圖5所示，研究利用二維高斯混合數據生成擴散模型來模擬人工智能需要處理的、經過“熵增”的信息數據（藍色軌跡），那么算法是如何在混亂的數據流中“逆行“復原出有序結構的呢（綠色軌跡）？究其原因，他們是利用路徑積分與自旋玻璃理論，特別是Franz-Parisi勢能，揭示了生成過程中存在的動力學相變。研究指出，數據生成的各個階段并不均等：在去噪的初期，系統處于類似于“順磁相”的無序狀態，演化是線性的、平庸的；但隨著噪聲降低跨越某一臨界點，系統發生自發對稱性破缺，進入類似于“鐵磁相”的吸引子區域。此時，模糊的像素突然坍縮成清晰的語義特征——正如過冷水瞬間結冰。這種物理視角的引入，不僅量化了生成過程中的熵產生與能量消耗，更為我們理解神經網絡如何從龐大的相空間中“鎖定”現實世界，提供了一個基于物理第一性原理的解釋。這再次證明，統計物理不僅是描述原子的語言，也是理解智能涌現的語法。

注：以上圖源均來自網絡 （除論文標注外）

參考文獻

1. Pathria, R. K., & Beale, P. D. (2011).

Statistical Mechanics

. Elsevier.

2. Landau, L. D., & Lifshitz, E. M. (1980).

Statistical Physics

. Pergamon Press.

3. Shannon, C. E. (1948). A Mathematical Theory of Communication.

Bell System Technical Journal

4. Boltzmann, L. (1872). Further Studies on the Thermal Equilibrium of Gas Molecules.

5. Michaud, E. J., et al. (2024). "The Quantization Model of Neural Scaling."

arXiv:2303.13506

6； Song, Y., et al. (2024). "Diffusion Models through the Lens of Non-equilibrium Thermodynamics." arXiv:2410.02543

7. Yu, Zhendong, and Haiping Huang. "Nonequilbrium physics of generative diffusion models."

Physical Review E

111.1 (2025): 014111.

8.

來源：集智俱樂部

編輯：zzz

轉載內容僅代表作者觀點

不代表中科院物理所立場

如需轉載請聯系原公眾號