信息論之父香農的開山之作《通信的數學理論》中文版正式發布！

科學在探索自然界的基本規律，數學在不斷建立新的定理以拓展舊知，而工程學則致力于解決人類的實際需求。這三者相互依賴，卻又各自獨立。能在這三方面都做出核心貢獻的人屈指可數，而克勞德·香農（Claude Shannon）正是其中的罕見天才。

盡管香農的名字不像愛因斯坦或者費曼那樣家喻戶曉，甚至他沒有獲得過諾貝爾獎，可是在 70 多年前，他用一篇論文奠定了整個信息時代的基礎。

香農 1916 年出生于美國密歇根州蓋洛德，父親是商人，母親是教師。他在密歇根大學取得電氣工程和數學雙學位后，進入麻省理工學院攻讀碩士。他的碩士論文將一種叫作布爾代數的數學體系應用到電路的分析與設計中，這項工作徹底改變了電路設計的方式，讓電路從一門藝術變成了一門科學，也被認為是數字電路設計的起點。

向通信進軍

接下來，香農將目光投向了一個更宏大的目標——通信。

通信是人類最基本的需求之一。從煙霧信號、信鴿傳書到電話、電視，人類始終在追求更遠、更快、更可靠的交流方式。但過去的通信工程往往依賴于具體的媒介和物理信號。香農提出了一個大膽的問題：“通信是否也有一套普適的基本規律？”

1939 年，他在寫給導師范內瓦·布什的信中，就提到自己正在思考“智能傳遞系統的基本特性”。經過十年思考，他終于在 1948 年發表了劃時代的論文《通信的數學理論》（A Mathematical Theory of Communication）。

論文的核心思想是一個極為簡潔但極具普適性的通信模型：發射端將信息編碼成信號 → 信號在傳輸中受到噪聲干擾 → 接收端對信號進行解碼。

別看這個模型簡單，它包含了兩個關鍵洞見：

• 將“信息”和“噪聲”獨立于通信系統來研究，

• 把它們都用概率來刻畫。

在香農之前，人們把通信問題當作一個信號還原問題——如何去除失真、還原原始信號。香農卻意識到，通信的關鍵在于不確定性。

香農首次把通信問題從物理層面抽象出來，用概率去描述信息的不確定性。這一思路讓當時的工程師們大吃一驚。

摘自香農論文中的通信模型示意圖

信息的不確定性與極限

在這種概率框架下，香農系統地推導出了通信的基本極限。

他的結論可以概括為三個部分，而貫穿其中的核心單位是 “比特”（bit）。這不僅是“二進制位”（binary digit）的縮寫，更是衡量信息與不確定性的標尺。在香農的定義中，1 比特代表了消除一個“二選一”等概率事件（例如拋硬幣的正反面）不確定性所需的信息量。

• 信息量的公式：熵率本質上是在衡量“平均需要多少個二選一的問題才能猜出結果”。香農提出了一個公式來計算每秒傳遞信息的最小比特數，他稱之為信息的熵（

  H

  ）。熵越高，信息的不確定性越大，也就越難壓縮；反之越小，就越容易壓縮。例如，每分鐘輸入 100 個英文字母，理論上相當于從 261?? 種可能的組合中選擇一種。如果所有組合概率相等，熵大約是 比特/分鐘；但由于某些字母組合更常見，實際熵更低，也就意味著更高的壓縮效率。

• 通信容量的公式：他又推導出在噪聲干擾下，系統每秒可以可靠傳輸的最大比特數，稱為容量（

  C

  ）。這相當于通信的速度極限。

• 可靠通信的條件：只要信息的熵小于信道容量（

  H < C

  ），就能在有噪聲的情況下實現可靠通信。香農用一個生動的比喻說明這一點：信息就像水，只要流速低于管道的容量，水流就能順暢通過。

因此，香農不僅提出了一種通信理論，也開創了一門全新的學科——信息論。

超越直覺的發現

香農的理論帶來了許多出人意料的結果。比如在嘈雜的地方講話，直覺上我們會不斷重復，以提高聽清的概率。但香農指出，這種方法雖然提高了可靠性，卻極大降低了傳輸速度。真正高效的做法是使用編碼——通過設計不同的編碼方案，可以在保持可靠性的同時，讓通信速度逼近理論極限 C。如今，從手機信號到衛星通信，都在應用這種思路。

更令人驚訝的是，無論信息的內容是什么，莎士比亞的詩、貝多芬的交響曲，還是黑澤明的電影，最有效的傳輸方式都是先把它們轉化為比特。這意味著，即便廣播信號或聲音波形本質上是模擬的，將它們數字化后再發送，不僅能更抗干擾，還能被無損重構，消除了模擬信號在長距離傳輸中不可避免的噪聲積累。這一結論成為數字信息時代的基石，比特成為信息的通用貨幣。

科學家、數學家與工程師

香農的通信理論如此自然，以至于人們覺得他像是在發現通信的自然法則，而不是發明它。

他為了描述這些法則，創造了新的數學概念，如概率模型的熵，這些概念后來在數學的許多領域（例如遍歷論、動力系統研究）都有應用。

但最根本的，香農是一名工程師。他的理論源于工程問題的實際需求。直到今天，無論是光纖網絡還是深空通信，人類構建的每一套通信系統，其邏輯內核依然是香農理論。

最典型的例子是 5G 標準：它采納了 LDPC 碼和極化碼（Polar Codes）。這兩種編碼技術之所以被選中，正是因為它們在工程上被證明能夠逼近理論上的“香農極限”——這是人類在追求通信效率道路上的一座里程碑。

香農的思想遺產

香農一生性格低調，卻極富創造力。他喜歡在工作中融入游戲精神。比如他曾造出一個名為 Theseus 的電子老鼠，可以自己在迷宮中找到出口。他也喜歡自制機械玩具和遙控設備。

圖中他正和自己制作的電子老鼠“Theseus”以及它的迷宮合影

香農于 2001 年去世，但他的思想依舊影響著今天的世界。從互聯網、無線通信，到我們手中的智能手機，幾乎所有信息技術都在他的理論框架中運行。

他成功的秘訣在于：“聚焦問題的本質，忽略一切無關細節。”他的通信模型正體現了這種極簡而深刻的思維方式。香農專注于研究可能性，而非眼前的實用性。

“最好的科研不是讓知識之樹枝繁葉茂，而是修剪它，使其結構更清晰。”香農正是這樣的人，他把通信工程中紛繁復雜的技巧，化為一棵統一而優美的知識之樹。而這棵樹，至今仍在為一代又一代的科學家、數學家和工程師結出新果實。

《通信的數學理論》上市！

1948 年，香農發表了著名論文《通信的數學理論》（A mathematical theory of communication），首次提出“信息熵”的概念，從此，一切抽象的信息都可被數學化度量，這篇論文也被視為信息論的開山之作。

此后，伊利諾伊大學出版社以圖書形式再版了這部劃時代的杰作，至今（英文版）銷量已超過 40 000 冊，是通信領域經久不衰的經典讀物。

這本書不像科幻小說那樣刺激，但讀懂它，你會明白我們生活的這個世界，本質上是一場宏大的信息傳遞，而香農，就是第一個揭示這場游戲規則的人。

可以說理解這本書，就是理解信息時代的起點。

《通信的數學理論》

克勞德·E.香農， 沃倫·韋弗 | 著

李錫涵 | 譯

信息論領域的奠基之作，本書分兩部分詳細解釋了通信的數學理論基礎。第一部分提供了通信領域的全景式概述，為讀者進入更深入的數學理論部分作鋪墊。第二部分深入探討了通信理論的數學基礎，包括離散和連續信源、信道容量、編碼理論等核心概念，并討論了這些理論在通信系統中的實際應用。

作者簡介

克勞德·艾爾伍德·香農（Claude Elwood Shannon），美國數學家，美國國家工程院院士、美國國家科學院院士、美國藝術與科學院院士，信息論創始人，生前是麻省理工學院名譽教授。

他于1936年（20歲）獲得密歇根大學學士學位，1940年（24歲）獲得麻省理工學院碩士和博士學位，1940年~1941年任普林斯頓高等研究院研究員，1941年~1972年任職于貝爾實驗室，1958年~1978年任麻省理工學院Donnor科學教授，1978年從麻省理工學院退休，成為麻省理工學院名譽教授。他提出了信息熵的概念，為信息論和數字通信奠定了基礎。

沃倫·韋弗（Warren Weaver），美國數學家，為機器翻譯的早期研究者之一，是美國許多科學研究的推動者。

譯者簡介

李錫涵，倫敦大學學院（UCL）計算機系博士研究生，谷歌開發者專家（機器學習領域），圖書《簡明的TensorFlow 2》作者。研究方向為學習優化，曾在NeurIPS、CIKM、AAMAS等會議以第一作者身份發表論文。個人主頁：https://snowkylin.github.io

本書贊譽

無論是人與人，還是人與機器，凡是關心高效信息傳遞的人，皆不可錯過這部必讀經典。

——《計算數學》

這本書是生物學家、心理學家乃至物理學家的至寶。

——《泰晤士報》

這是一部跨學科的杰作，它將分散的物理科學分支統一在同一理論之下。韋弗博士以遠見卓識，將這種統一拓展至語義學與語用學，開啟新的學術旅程。

——《哲學評論》

如果你關心語言、交流與意義，這本書定會激發你深刻而持久的思考。

——《生物學季刊》

這本書不僅是相關領域專家的必讀之選，就連并無直接興趣的學者，也會被它的魅力深深吸引。

——S. Whitehead，《英國應用物理學雜志》

在此之前，沒有一種通用方法來衡量信息的復雜性或傳輸能力。這部數學巨著堪稱罕見，對科學家和工程師而言無比珍貴。

——《科學美國人》