大模型的第一性原理：（三）信息論篇

作者 | 白鉑 博士

白鉑 博士 華為 2012 實驗室理論研究部主任 信息論首席科學家

引言

在本系列的第二篇《信號處理篇》中，我們引入了一些信息論的概念和方法來理解語義嵌入/向量化。本篇將完全從信息論的角度出發，深入解讀原論文，探討大模型背后的第一性原理1。

1948 年，Shannon 發表了題為 A Mathematical Theory of Communication 的劃時代論文，奠定了現代數字通信的理論基礎，推動了人類邁向信息時代2。論文的主要目標是用數學方法解決有噪聲的數字通信系統的可靠傳輸問題。以此為起點，Shannon 及后來的專家學者建立了一套完備的數學框架與理論體系，這便是后來眾所周知的信息論。1949 年，Weaver 與 Shannon 合著了一篇論文，文中明確將通信問題分為三個層級3：

• Level-A（技術問題）： 通信符號能在多大程度上被準確地傳輸？
• Level-B（語義問題）： 傳輸的符號能在多大程度上精確傳達了預期的含義？
• Level-C（效用問題）： 接收到的含義能在多大程度上有效地影響行為，使其符合預期？ Shannon 曾表示，他的理論僅僅解決了可靠通信問題，即 Level-A（技術問題）。這是因為在 Shannon 的理論中，信息和不確定性是等價的，并不關注消息的含義或內容。

受到 Shannon 方法論的啟發，本文嘗試從推理的視角出發探討大模型的可解釋理論。我們發現，只要將 Shannon 的理論從以BIT為中心轉換為以TOKEN為中心，便可以從信息論的視角完全解釋大模型的底層原理，該理論在原論文中被稱為語義信息論（Semantic Information Theory）。

Shannon 信息論

本節先歸納一下 Shannon 的主要結論和方法論啟示。下圖是一般通信系統的原理圖。

圖：一般通信系統原理圖?。

信息論的三個主要結論

在通信系統中，信源是產生信息的源頭。信源編碼器將每一個信源符號映射為一個長度為 m 的二進制碼字，從而實現對原始信息的壓縮，節約寶貴的信道資源，提升效率。如果信源的輸出是一個隨機變量 S 的獨立采樣，Shannon 證明這類信源所產生的信息量就是 S 的（Entropy）。用 P(S) 表示 S 的概率分布，那么 S 的熵定義為：

其中 Ω 為隨機變量 S 的樣本空間，在信息論中通常稱為符號集字符集。熵是信源無損壓縮（即能夠完美恢復信源符號的壓縮）的可達下界。這個結論就是著名的信源編碼定理

由于信道會受到噪聲的影響，如果直接傳輸信源符號，接收的符號就會出現錯誤。如何實現可靠的數字通信，是當時任何工程方案都無法解決的世界難題。但 Shannon 通過他的理論不僅告訴我們可靠通信完全可以實現，而且還給出了數學上最優的解決路徑。他首先創造性地用轉移概率來建模通信信道，即

Shannon 的第三個偉大貢獻在于證明了信源-信道分離定理，即把一個通信系統分解成信源編解碼和信道編解碼兩個主要組成部分在理論上是最優的。這種分離設計極大地降低了工程實現的難度，并給實際應用帶來了諸多便利。自此，通信技術就分成信源和信道兩個領域。從事一個領域理論研究和工程實現的人并不需要了解另一個領域在做什么。可以說，Shannon 的信源-信道分離定理讓世界同時產生了兩個全新的科學和工程領域。

方法論啟示

Shannon 是用數學理論解決工程技術難題（即以數學補物理）的典范。他最值得稱道的方法論是在解決可靠通信問題時，沒有陷入具體實現方案的比較和技術路線的選擇，而是回歸到一個基本的思想實驗：如果一個可靠通信系統真的被造出來了，它應該具備什么功能、應該滿足何種數學性質？這是一種自頂向下的方法論，即從運行時的視角來研究實現可靠信息傳輸的數學條件，從而指導通信系統設計。

針對信道編解碼部分，我認為 Shannon 在論文中回答了以下三個關鍵問題：

1.在數字通信中，可靠的數學定義是什么？

• Shannon 的答案是漸進無差錯的信息傳輸，他將概率論和統計學引入了通信領域，進而導出差錯概率及其指數界、最大似然譯碼、聯合典型譯碼等一系列概念和方法。

2.可靠通信的數學模型是什么？

• Shannon 的答案是用轉移概率來建模信道，這一點十分關鍵，因為無論是已存在的通信系統還是人們當前尚未想到的通信技術，都可以用轉移概率來建模信道不確定性帶來的影響。這種概率模型與具體實現無關，具有極大的普適性。
• 在數學上，這類方法被稱為概率方法?。但 Shannon 的天才在于把這種并不復雜的數學技巧完美應用于解決工程問題。

3.衡量通信系統的性能指標是什么？

• Shannon 的答案是可靠通信速率用互信息和信道容量來衡量。互信息本質上是用更基礎的Kullback-Leibler（KL）散度衡量 P (X,Y) 和 P (X) P (Y) 之間的差異，從而刻畫 X 和 Y 之間的統計相關性。如果找到一個 P (X) 使得上述統計相關性最大，那么互信息 I (X;Y) 就達到了信道容量 C。
• KL 散度是信息論中的一個基本概念，其定義為

這樣互信息可表示為

機器學習領域常用的交叉熵損失函數可表示為

如果 H (P) 給定，那么交叉熵和 KL 散度是等價的。

大模型的信息論抽象

信息論從運行時的視角出發來研究通信系統，對研究大模型的第一性原理極具啟發性。因為我們期望給大模型建立與具體實現無關的數學模型和理論。即便人們未來發明出比 Transformer 更好的架構，該理論仍然具有指導意義。事實上，2024 年圖靈獎得主 Richard Sutton 在提出 Oak 架構時也認為走向 AGI 必須區分設計時和運行時?。

類似 Shannon 解決可靠通信問題的思路，我們也可以對大模型提出以下三個基本問題：

1. 對大模型而言，語義意味著什么？
2. 大模型與具體實現方式無關的數學模型是什么？
3. 衡量大模型性能的指標是什么？第一個問題實際上在本系列的第二篇《信號處理篇》中已經回答了，這里不再贅述。本篇的后續部分將著重回答第二和第三個問題。

面向大模型的信息論測度

為方便討論，本節將首先介紹面向大模型的信息論測度，包括速率 - 失真函數、定向信息和定向信息密度。

2、定向信息

在本系列的第二篇《信號處理篇》中，為了討論信息論意義下最優的語義嵌入 / 向量化，我們引入了定向信息倒向定向信息。這里我們將展開討論定向信息提出的背景和意義。

定向信息是由著名信息論專家，1988 年香農獎得主，James Massey 提出13。他在 1990 年的論文中指出：Ash 的信息論專著中關于 DMC 的定義是有問題的，因為該定義天然不能包含反饋1?。他同時還認為，在 IEEE ISIT '73 會議上，Shannon 之所以選擇反饋作為首次 Shannon Lecture 的主題，或許正是因為信息論在處理帶有反饋的系統中并未取得顯著的成果。

Massey 認為離散無記憶信道（Massey-DMC）的轉移概率應該滿足：

以上討論表明，定向信息能夠突破互信息的局限性，描述更廣泛信道的輸入和輸出之間的統計相關性。然而遺憾的是，后續的信息論教材并未采納 Massey 的修正建議。這使得信息論研究長期聚焦于不能納入反饋的 Ash-DMC 定義，而定向信息則未得到足夠重視。關于定向信息更詳細的研究和更廣泛的應用，可參考 Massey 的學生 Kramer 的博士論文和綜述論文1? 1?。

3、定向信息密度

信息密度的概念最早由前蘇聯數學家、信息論專家 Roland Dobrushin 于 1959 年提出1?。還有一種說法認為信息密度是另一位著名的前蘇聯信息論專家 Mark Pinsker 在更早的一本書中提出的，但我尚未找到這本書。以 Strassen 矩陣乘法聞名于世的 Volker Strassen 在 1962 年給出了信息密度的首個理論分析結果1?。具體來說，信息密度?(x;y) 定義為：

定向信息的計算和估計

在實際應用中，定向信息的計算和估計是很困難的。在數值算法方面，Haim Permuter 與他的合作者提出將經典的 BA 算法推廣到計算定向信息23。這篇論文利用了輸入分布的凹性和定向信息的因果結構，并結合動態規劃原理，提出了面向定向信息的 BA 算法。

基于互信息的 Donsker-Varadhan 表示2?，Belghazi 等人在互信息神經估計器（Mutual Information Neural Estimator，MINE）取得重要進展2?。受此啟發，Permuter 及其合作者進一步提出了基于 RNN 的定向信息神經估計器（Directed Information Neural Estimator，DINE）2?。更進一步地，他們最近的工作則提出 Transformer 本身就可以用來估計傳遞熵（TRansfer Entropy Estimation via Transformers，TREET），即有限長度版本的定向信息2?。TREET 將傳遞熵的估計問題轉化為一個離散序列的自回歸預測問題，利用 Transformer 的上下文學習能力來精確計算條件概率的對數似然差。從這個角度看，Transformer 和定向信息是天然結合在一起的。

Granger 因果與 Pearl 因果

在本系列的第一篇《統計物理篇》和第二篇《信號處理篇》中，我們都指出：大模型推理的本質，是通過預測下一個 Token 這一看似簡單的訓練目標，實現逼近人類水平的 Granger 因果推斷。

機器學習領域的著名專家，2011 年圖靈獎得主，Judth Pearl 教授曾嚴厲批評 Granger 因果，認為它混淆了因果的定義，給這一領域帶來了誤導。在 Pearl 看來，Granger 因果并非本質上的因果關系，而是屬于具有時間順序的統計。進一步地，Pearl 認為沒有模型假設的數據，永遠無法推導出真正的因果結論。可以這樣概括兩種因果概念如下：

• Granger 因果在哲學上屬于經驗主義，關注的是數據驅動的預測
• Pearl 因果在哲學上屬于結構主義，關注的是模型假設下的干預反事實
• 具體來說，Pearl 因果分為三個層級：
• Level-A（關聯問題）：從數據中觀察 X 和 Y 是否有關聯，即 P(Y∣X).
• Level-B（干預問題）：執行 do(?) 算子，觀察干預 X 后 Y 的情況，即 P (Y∣do(X)).
• Level-C（反事實問題）：觀察到事件 {X=x,Y=y} 后，強行假設x' 發生時 Y 的情況，即P (Y_(x' )∣X=x,Y=y).
• Pearl 證明：僅憑較低層級的信息，無法推導出較高層級問題的答案，除非引入額外的、不可從數據中識別的因果假設31 32。容易看出，Granger 因果屬于 Level-A（關聯問題），但定義了時序關系，因此是數據驅動的預測能力極限。根據 Pearl 的定理，如果大模型只在 Level-A 的語料上訓練，則永遠無法做出 Level-B/C 的推理。

隨著強化學習和 Mote Carlo 樹搜索等算法與大模型相結合33 3?，大模型的推理能力得到了顯著提升。然而本質上，這類算法是在模型固定的前提下，極致模仿人類語料中的干預問題和反事實問題。簡言之，大模型可以寫出非常像干預和反事實的句子，因為它模仿了人類的語言模式。但這只是大模型在做數據驅動的預測，而不是真正進行因果推理3?。從另一個角度看，當前人類與大模型互動的價值，正是引入了不可從數據中識別的因果假設，從而將大模型作為工具來大幅提升人們的工作效率。

結語：一個新時代的開始

本篇是系列解讀文章的最后一篇，它圍繞 TOKEN 為大模型建立語義信息論框架。在這里我要解釋一下，原論文的題目叫 Forget BIT, It is All about TOKEN 沒有絲毫貶低 BIT 的意思。事實上，我始終認為信息時代最偉大的發明就是BIT。這是 2023 年初我和 5G Polar 碼發明人、2019 年香農獎得主，Erdal Arikan 教授的圓桌論壇上，他在回答吳博士的問題時提出的核心觀點。這一觀點啟發我一直思考 AI 時代的核心概念 ——和 BIT 同等重要的概念—— 到底是什么？BIT 連接了計算和通信，兩個理論基礎和哲學理念完全不同，卻又相互促進、相互限制的學科。我現在堅信 Kolmogorov 的觀點是對的：信息論不應該建立在概率論的基礎上，信息論比概率論更加基礎，它和 Turing 的計算理論一樣，建立在邏輯的基礎上。這也就是為什么 Kolmogorov 提出了基于 Turing 機的 Kolmogorov 復雜度，并由此推導出 Shannon 熵是 Kolmogorov 復雜度的數學期望。另一方面，直覺主義邏輯的 Brouwer-Heyting-Kolmogorov 釋義（BHK Interpretation），即一個數學命題的意義等同于證明這個命題的方法，則是現代計算機科學中的柯里-霍華德對應（Curry-Howard Correspondence）的邏輯基礎。它告訴我們：命題即類型和證明即程序。人類已邁向 AI 時代，其核心概念我認為就是TOKEN。從這個角度出發，可以大膽推測，正如 BIT 連接了計算和通信一樣，TOKEN 將連接經驗（記憶、推斷）和理性（推理），或者按照 Daniel Kahneman 的說法就是連接了系統 1系統 23?。因此，BIT 定義了信息時代，而 TOKEN 則將定義 AI 時代

無論大模型當前的技術路徑是否能真正通往通用人工智能（Artificial General Intelligence，AGI） 和超級人工智能（Artificial Super Intelligence，ASI），我想通過這篇論文和這個系列的解讀文章來說明：AI 時代的大幕已經正式開啟，我們要圍繞新的核心概念開展研究與開發，構筑新的理論和系統。也許大模型的下一個 Token 預測并非真的在思考，但無論是誰也無法否認大模型革命性地提升了自動化整合和處理信息的能力。也許正如電影《模仿游戲》中 Turing 的那句震撼心靈的臺詞：有趣的問題是，只因為某樣東西與你思考的方式不同，就意味著它不思考嗎？（The interesting question is, just because something thinks differently from you, does that mean it's not thinking?）

參考文獻

1 B. Bai, "Forget BIT, it is all about TOKEN: Towards semantic information theory for LLMs," arXiv: 2511.01202, Nov. 2025.

2 C. Shannon, "A mathematical theory of communication," The Bell System Technical Journal, vol. 27, no. 7, pp. 379-423, Oct. 1948.

3 W. Weaver and C. Shannon, "Recent contributions to the mathematical theory of communications," The Rockefeller Foundation, Sep. 1949.

? C. Shannon, "A mathematical theory of communication," The Bell System Technical Journal, vol. 27, no. 7, pp. 379-423, Oct. 1948.

? R. Ash, Information Theory. New York, NY, USA: Dover Publications, 1990.

? N. Alon and J. Spencer, The Probabilistic Method, 4th ed. Hoboken, NJ, USA: John Wiley & Sons, 2016.

? R. Sutton, "The Oak architecture: A vision of super intelligence from experience," Invited talk at NeurIPS ’25, San Diego, CA, USA, Dec. 03, 2025.

? C. Shannon, "A mathematical theory of communication," The Bell System Technical Journal, vol. 27, no. 7, pp. 379-423, Oct. 1948.

? T. Berger, Rate Distortion Theory: A Mathematical Basis for Data Compression. Englewood Cliffs, NJ, USA: Prentice Hall PTR, 1971.

1? R. Blahut, "Computation of channel capacity and rate-distortion functions," IEEE Transactions on Information Theory, vol. 18, no. 4, pp. 460-473, Jul. 1972.

11 S. Arimoto, "An algorithm for computing the capacity of arbitrary discrete memoryless channels," IEEE Transactions on Information Theory, vol. 18, no. 1, pp. 14-20, Jan. 1972.

12 S. Wu, W. Ye, H. Wu, H. Wu, W. Zhang, and B. Bai, "A communication optimal transport approach to the computation of rate distortion functions," arXiv: 2212.10098, Dec. 2022.

13 J. Massey, "Causality, feedback and directed information," in Proc. IEEE International Symposium on Information Theory ’90, Waikiki, HI, USA, Nov. 1990.

1? R. Ash, Information Theory. New York, NY, USA: Dover Publications, 1990.

1? H. Marko, "The bidirectional communication theory: A generalization of information theory," IEEE Transactions on Communications, vol. 21, no. 12, pp. 1345-1351, Dec. 1973.

1? G. Kramer, "Directed information for channels with feedback," Ph. D Dissertation, ETH Zurich, Zurich, Switzerland, 1998.

1? D. Tsur, O. Sabag, N. Kashyap, H. Permuter, and G. Kramer, "Directed information: Estimation, optimization and applications in communications and causality," arXiv: 2602.09711, Feb. 2026.

1? R. Dobrushin, "General formulation of Shannon's main theorem in information theory," American Mathematical Society Translations: Series 2, vol. 33, no. 2, pp. 323-438, 1963.

1? V. Strassen, "Asymptotische absch?tzungen in Shannon's informationstheorie," in Transactions of 3rd Prague Conference on Information Theory '62, Prague, Czech Republic, 1962.

2? Y. Polyanskiy and Y. Wu, Information Theory: From Coding to Learning. Cambridge, UK: Cambridge University Press, 2025.

21 R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. Manning, and C. Finn, "Direct preference optimization: Your language model is secretly a reward model," arXiv: 2305.18290, Jul. 2024.

22 D. Williams, Probability with Martingales. Cambridge, UK: Cambridge University Press, 1991.

23 I. Naiss and H. Permuter, "Extension of the Blahut-Arimoto algorithm for maximizing directed information," IEEE Transactions on Information Theory, vol. 59, no. 1, pp. 204-222, Jan. 2013.

2? M. Donsker and S. Varadhan, "Asymptotic evaluation of certain Markov process expectations for large time, IV," Communications on Pure and Applied Mathematics, vol. 36, no. 2, pp. 183-212, Mar. 1983.

2? M. Belghazi et al., "MINE: Mutual information neural estimation," arXiv: 1801.04062, Aug. 2021.

2? D. Tsur, Z. Aharoni, Z. Goldfeld, and H. Permuter, "Neural estimation and optimization of directed information over continuous spaces," IEEE Transactions on Information Theory, vol. 69, no. 8, pp. 4777-4798, Aug. 2023.

2? O. Luxembourg, D. Tsur, and H. Permuter, "TREET: Transfer entropy estimation via transformers," arXiv: 2402.06919, Jul. 2025.

2? T. Schreiber, "Measuring information transfer," Physical Review Letters, vol. 85, no. 2, pp. 461-464, Jul. 2000.

2? L. Barnett, A. B. Barrett, and A. K. Seth, "Granger causality and transfer entropy are equivalent for Gaussian variables," Physical Review Letters, vol. 103, no. 23, pp. 238701, Dec. 2009.

3? P. Amblard and O. Michel, "The relation between Granger causality and directed information theory: A review," Entropy, vol. 15, no. 1, pp. 113-143, Jan. 2013.

31 J. Pearl, Causality: Models, Reasoning, and Inference, 2nd ed. New York, NY, USA: Cambridge University Press, 2009.

32 J. Pearl and D. Mackenzie, The Book of Why: The New Science of Cause and Effect. New York, NY, USA: Basic Books, 2018.

33 D. Silver et al., "Mastering the game of Go without human knowledge, Nature, vol. 550, no. 7676, Oct. 2017.

3? DeepSeek-AI, "DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning," DeepSeek, Hangzhou, China, Jan. 2025.

3? L. Berglund et al., "The reversal curse: LLMs Trained on 'A is B' fail to learn 'B is A'," arXiv: 2309.12288, May 2024.

3? D. Kahneman, Thinking, Fast and Slow. New York, NY, USA: Farrar, Straus and Giroux, 2013.