貝葉斯定理：擁抱不確定性的思維哲學

我們正處在一個信息過載的社會—— 信息量爆炸性增長，科技的迭代不斷重塑我們的生活方式和信仰觀念。我們面對的是復雜的、動態變化的系統，傳統的線性思維模式和決策框架變得不再適用。

在這種時代背景下，貝葉斯方法成為一種重要的計算和思維工具，提供了一種量化不確定性，做出概率推斷的方法。它不尋求絕對的確定性，而是承認不確定性的存在，并以此為基礎構建知識和決策。

對企業而言，不確定性也是數據驅動面臨的核心挑戰。無論是用戶的行為、產品的偏好、還是系統的自動駕駛決策，都存在著難以預測的因素：來自于數據的不完整性、變化的用戶偏好、海量的參數等等的不確定性。貝葉斯方法讓公司能夠把先驗知識（比如專家經驗或歷史數據）和新收集的數據相結合，通過計算后驗概率來不斷更新對某個問題的理解和預測。

比如電商利用貝葉斯方法來更新對用戶偏好的理解，將用戶的歷史行為和實時反饋結合起來，動態調整推薦算法；Netflix對于新用戶或新上線的電影，由于缺乏足夠的數據，使用貝葉斯方法來整合先驗信息（如電影類型、導演、演員等）和用戶反饋，不斷調整推薦引擎；又比如，在谷歌的自動駕駛汽車項目中，復雜的道路條件和司機的不可預測行為帶來了巨大不確定性。于是谷歌通過貝葉斯方法來整合來自傳感器的信息，即時評估不同行動方案的后驗概率，做出最可靠的駕駛決策。

貝葉斯統計不僅是一種計算方法，更是一種思維方式。它教我們如何在已有的知識基礎上，不斷利用新的證據更新我們的認識。幫助我們量化不確定性，提供了一種讓我們在不確定性中尋找最佳路徑的方法論。

1

生活中處處存在的貝葉斯思維

假設你正在計劃著去哪家餐廳吃飯：基于以往的經驗（比如哪家上菜快，哪家肉質新鮮等）已經有了初步決策。然而你在手機上做攻略時又看到了一些負面用戶體驗反饋，改變了想法，更新了目的地決策；當你前往決策的餐廳用餐后，又會某種程度上基于新的經驗更新原有的決策策略。

這個日常中最平常的思維過程本質上正是貝葉斯更新的一個實例：你將過去的知識（對餐廳的先驗印象）和新的證據（最近的評論和評分）相結合，形成了一個更新的信念，作出適應當前情況的決策。簡單來講就是：老認知 +新證據= 新認知。

就像哲學家約翰·杜威（John Dewey）說的：“如果我們做出的決策沒有通過行動的結果來檢驗，那么這些決策就不過是一種賭博。”杜威正是在強調行動和結果之間反饋環路的重要性，也就是通過觀察實際結果來驗證和調整行動的思維框架。

這種糾錯機制，其底層正是一種貝葉斯哲學：形成初步判斷（先驗概率）> 觀察新信息 > 更新信念（后驗概率） > 做出決策 >觀察結果并反饋，然后在周而復始的循環中修正認知。

2

揭開貝葉斯的面紗

首先，我們講講貝葉斯到底是什么：

貝葉斯統計是概率論的一個分支，提供了一種在不確定性中做決策的框架，告訴我們如何根據新的證據來更新對某個假設的信念。

貝葉斯定理可以這樣表達：后驗概率（一個事件在給定證據后發生的概率）等于該事件的先驗概率（在考慮證據前該事件發生的概率）乘以該證據出現的可能性，除以證據本身出現的概率：

我們可以把貝葉斯公式理解為這是一種基于現有的可靠證據（比如一些觀察、數據、信息），對所持信念（比如一些假設、主張或觀點）進行更新迭代的方法。這能讓我們更好地理解和量化不確定性，根據新的信息和數據不斷學習和適應這個充滿不確定性的世界。

3

貝葉斯方法的起源

可以說，貝葉斯定理的真正潛力是在近半個世紀里（貝葉斯去世兩個多世紀之后）才被充分挖掘和實現的。

（Thomas Bayes, c.1702-1761)

當年，托馬斯·貝葉斯其實是在解決一個「逆概率」問題時發明了貝葉斯定理：即如何在給定新數據后更新對事件概率的估計。

我們知道，傳統的概率問題通常是已知原始條件去計算結果發生的概率。而這個「逆概率」問題嘗試解決的是：在已知某些結果時，怎樣去推斷原始的概率條件。這是一個反轉傳統概率問題的思考方式，貝葉斯在這個問題上的思考產生了現在被稱為貝葉斯定理的數學公式。可惜的是，貝葉斯定理其實是在他去世后才由他的朋友理查德·普萊斯（Richard Price）整理并提交給皇家學會的。這個原理在提交給皇家學會時被稱為「關于偶然事物的問題的解」，在1763年發表在《哲學事務錄》上。

20世紀70年代和80年代，隨著馬爾可夫蒙特卡洛的引入和普及（Markov Chain Monte Carlo），貝葉斯網絡、貝葉斯優化和概率編程等技術開始廣泛應用于醫學、生物學、工程、經濟學和社會科學等。如今，貝葉斯方法不僅是統計學和數據分析的重要工具，也是機器學習和人工智能領域的基礎。

4

貝葉斯的關鍵工具：馬爾可夫鏈蒙特卡羅

然而，在應用貝葉斯方法時（尤其是在面對復雜模型或大量數據時）計算后驗分布會因為涉及到的復雜多維積分求解而消耗巨大的計算資源。對此，馬爾可夫鏈蒙特卡羅（MCMC）剛好提供了高效的解決方案。也就是說，貝葉斯方法是在理論上定義如何利用數據來更新對不確定參數的認知，而MCMC提供了一種在實踐中實現貝葉斯推斷的計算工具。隨著計算機性能的提高，數據的收集及處理技術已經遠遠超過人腦，在處理大量復雜模型和應對數據稀疏情況下，MCMC的優勢開始顯現。

MCMC是一種基于隨機抽樣的計算算法，可以用來近似復雜的后驗分布，能夠在實際應用中處理復雜的貝葉斯模型，進行概率推斷和決策。

簡單來說， MCMC就是讓我們通過構建一個隨機過程（馬爾可夫鏈），在參數空間中進行隨機抽樣，生成樣本集合，這些樣本集合可以用來估計后驗分布的特性（如均值、方差、置信區間等）。核心思想就是通過隨機抽樣評估樣本的“好壞”（概率密度），以及根據當前樣本來指導未來的抽樣（馬爾可夫鏈），讓我們可以逐步探索和理解一個復雜的概率分布。即使剛開始我們對這個分布一無所知，但通過這種方法，我們能夠逐步逼近并揭露分布的本質特征。

MCMC就像是通過隨機游走來尋找寶藏的過程。

想象你有一張公園的地圖，上面標記著可能藏有寶藏的地點。但寶藏的具體位置是未知的。地圖上有些區域寶藏可能性大，有些區域可能性小，整個地圖就代表著所有可能藏寶地點的概率分布：

Step1: 起點（初始化）

你隨機選擇一個地點開始尋找，這就像在MCMC中隨機初始化一個起始點。

Step2: 探索步驟（構建馬爾可夫鏈）

你根據手中的地圖和直覺，從當前位置移動到附近的某個地方尋找寶藏。每次移動都是基于你當前的位置和對地圖的理解，這類似于MCMC中從當前樣本生成下一個樣本的過程。

Step3: 決定是否移動（Metropolis-Hastings準則）

如果你發現一個新地點比現在的更有可能藏有寶藏，你就會轉移到那個地點。如果新地點看起來不那么有希望，你也可能以一定的較低的概率轉移過去，這樣做是為了防止自己只在一個區域徘徊，而忽略了其他可能的區域。在MCMC中，這個決策過程通過接受率來實現，也就是Metropolis-Hastings準則。

Step4: 重復探索（迭代）

你會不斷地重復這個探索過程，每次都根據當前位置和地圖來決定下一步怎么走。在MCMC中，這個過程就是不斷地生成信息樣本。

Step5: 找到寶藏（收斂）

經過足夠多次的探索后，你會發現自己越來越頻繁地回到某些特定的地點，這些地點很可能就是寶藏的位置。在MCMC中，這就表示樣本開始在概率分布的高概率區域聚集，算法開始收斂。

Step6：確定寶藏位置（結果分析）

最終，通過分析你訪問各個地點的頻率，你可以確定寶藏最可能的位置（訪問最頻繁的區域），以及寶藏可能的分布范圍（經常訪問的區域）。在MCMC中，我們通過分析樣本來估計概率分布的特性，如期望值和方差。

所以總結下來，MCMC就是讓我們在探索過程中逐漸了解了環境（概率分布），不斷根據新信息迭代認知和決策概率，最終找到寶藏最可能的位置。

8

萬物皆可“貝葉斯”：貝葉斯蘊含的5個頂級思維模型

貝葉斯方法與MCMC不僅在統計學和計算領域中應用廣泛，也吸引了許多哲學家和物理學家的興趣，研究它是如何跨越數學的邊界，滲透到我們思維的深處，概括了我們探索世界、積累知識的思維模式，幫助我們在不確定性中做出更好的決策。

亞裔法國數學家黃黎原在《貝葉斯的博弈：數學、思維與人工智能》書中就把貝葉斯公式稱為“智慧方程”，評價貝葉斯公式為一個充滿生命力的思維工具。

用貝葉斯的眼光看世界，你會發現萬物皆可“貝葉斯”。

1. 探索與利用的平衡

探索與利用（Exploration vs. Exploitation）的平衡是一個經典的決策問題。比如谷歌、臉書等科技公司其廣告系統和內容推薦算法中使用此策略來平衡新內容的探索和現有內容的利用：在強化學習和多臂老虎機（multi-armed bandit）問題中，貝葉斯方法可以用來平衡探索（嘗試不確定的選項以獲得更多信息）和利用（選擇當前最佳的選項以最大化即時收益）。通過更新信念的概率模型，決策者可以在探索未知和利用已知之間做出更合理的決策。

2. 追求長期效益而非短期收益

貝葉斯決策理論通常考慮的是長期效益。在更新信念時，它不僅僅考慮當前的觀測數據，而是將其與先前的知識（先驗概率）結合起來。這種方法強調了信息的積累和長期知識的構建，而非只依賴一次觀測結果做出決策。橋水基金的創始人Dalio在他的著作《原則》中提到：“接受不確定性，并利用一系列的原則和系統來做決策”的理念就是受貝葉斯啟發。

3. 從局部到全局的視角

貝葉斯方法通過考慮先驗知識和新的觀測數據來更新信念。這種方法從具體的單次觀測（局部）出發，通過不斷更新信念，逐步構建對整體情況的理解（全局）。接受不確定性，用概率支持決策：貝葉斯統計本質上是概率性的，它不尋求確定性的結論，而是提供一個概率框架來表達不確定性。在貝葉斯框架中，知識和不確定性通過概率分布進行表達，決策是基于這些概率分布，充分考慮了不確定性。

4. 持續迭代與自我修正

貝葉斯推斷是一個迭代過程。每接收到新的數據，就會更新信念（后驗概率）。這個過程可以不斷重復，使得信念隨著數據的積累而逐漸精確。這也是敏捷開發方法論的核心思想之一，強調通過小步快跑，持續迭代來改進產品。

5

最后

生活就是由一系列不確定事件構成的。

羅素說過這樣一句話：“知識的增長應該是一個不斷調整我們的世界觀以適應我們已經證實的事實的過程。”羅素的這句話與貝葉斯更新信念的概念不謀而合，強調了在面對新證據時調整和更新信念的重要性。

我們人類對確定性的渴望是刻在基因里的，但這個世界沒有涇渭分明，一勞永逸的答案。貝葉斯主義也許正是最適宜這個不確定性時代的知識哲學，至少能讓我們在這流動性過程里，變得更加從容平和。

就像黃黎原在書里提到的：“根據貝葉斯定理，任何理論都不完美。取而代之的是一項未盡的工作，它永遠處于推敲與測試之中。”

來源：DataCafe

編輯：一毫

轉載內容僅代表作者觀點

不代表中科院物理所立場

如需轉載請聯系原公眾號