拋硬幣連續出了10次正面？窩要驗幣！“賭神”貝葉斯告訴你這幣還真有問題

認真閱讀下面的文章，并思考文末互動提出的問題，嚴格按照互動：你的答案格式在評論區留言，就有機會獲得由中信出版集團提供的優質科普書籍《統計的藝術》。

如果你已經連續拋出了10次正面，那么下一次最有可能拋出的結果是什么？貝葉斯定理給出了答案，這不僅適用于拋硬幣，更普遍適用于科學探索。圖片來源：Wikipedia

先問你一個問題：

假如我拋了一枚硬幣10次，發現每次都是正面朝上。如果我再拋一次，出現正面的概率是多少？

我（譯者注：作者）經常拿這個問題去問學生，無論是中學生還是大學生，甚至去問他們的老師。受過數學訓練的學生（通常也包括他們的老師）給出的答案幾乎如出一轍。他們會說，下一次拋出正面的概率絕對是 1/2。他們對此往往非常篤定，通常還會搬出那套熟悉的理論，告訴我“硬幣是沒有記憶的”，或者類似這樣的話。

但如果你去問一個（沒受過多少數學訓練的）賭徒，他們可能會說，既然這枚硬幣都已經連續出了那么多次正面，風水輪流轉，下次怎么也該輪到反面了吧！所以，出現正面的概率肯定小于 1/2。

但是，在我看來（沒錯，這確實常常引發相當激烈的爭論），這兩種答案都錯了！事實上，下一次拋擲出正面的概率非常接近于 1。你沒看錯，就是 1。你可能會問：“怎么會這樣？難道我以前學的數學都是錯的嗎？”你先別急，咱們理理思路，如果要讓這枚硬幣在下一次拋擲時出正面的概率是 1/2，前提是它必須是一枚“絕對公平”的硬幣（也就是每次拋擲出現正反面的可能性完全相等）。可是，我從頭到尾都沒說過這是一枚公平的硬幣呀！那僅僅是你自己想當然的假設罷了。

你看，明明擺在眼前的是壓倒性的反面證據，你卻依然做出了硬幣是絕對公平的假設。仔細想想，如果一枚硬幣連續十次拋出正面，那它十有八九不是什么正經硬幣。事實上，如果這枚硬幣真的質地均勻，發生這種情況的概率只有 0.510，也就是 1/1024 ，接近于千分之一的概率。這就意味著，你需要把“連拋十次”作為一個回合，足足重復上一千個回合——也就是總共拋擲 10,000 次，我估摸著這至少得連續拋上三個小時，才能有較大的概率見證一次“連續十次正面”的奇跡。

估計絕大多數人扔不到一半就感覺手酸，早早放棄了。因此，既然我們已經親眼看到了硬幣連續出現了十次正面，一個非常合理的推斷就是：這枚硬幣肯定不對勁，它的內部可能存在某種偏向性，導致它更容易擲出正面。想通了這一點，情況就很明朗了，下一次拋出正面的概率絕對比 1/2 要高得多。

但是新的問題又來了，到底會高出多少呢？

我在這里所描述的，其實正是科學研究的運作方式。假設我們想要研究某個系統，我們會先進行一系列的觀察，并從中推斷其內在可能的機制。這個過程需要我們提出假設，然后用數據去檢驗這些假設。一旦確立了假設，我們就可以開始做預測。但這必須在收集到數據之后才能進行，而且我們必須非常謹慎，不能在一開始就對系統做出不切實際的假設。

這個道理不僅適用于我們的這枚硬幣，還同樣適用于天氣預報、氣候變化預測，以及應對流行病傳播的決策。它也適用于我們生活中的許多其他方面，無論是司法系統的運轉，還是我們制定政策（甚至進行社會活動）的方式。

幸運的是，我們有一個非常強大的工具可以提供幫助，那就是貝葉斯推斷（Bayesian inference）。如今，人工智能、機器學習以及機器的決策能力正在飛速發展，而貝葉斯推斷正是這一切的核心。

正面，貝葉斯贏！

老師和學生有時會批評我的第一個問題過于模糊。題干中沒有提供足夠的信息來得出答案。確實，這肯定無法作為一道合格的考題，至少在數學考試中是不合格的。從某種意義上說，這種批評是對的。但在現實中，我們經常會面臨類似的情境，不得不依靠做出合理的假設來處理問題。因此，為了讓這個問題更加嚴謹，我將其重新表述如下：

我有一個裝了許多硬幣的袋子。其中大部分是質地均勻的普通硬幣，拋出正面或反面的概率均為 1/2。然而，有比例為 p（假設 p 的值很小）的硬幣是特殊的，它們兩面都是正面。如果拋擲這種硬幣，出現正面的概率就是 1（這里假設硬幣不會立在地面上）。我從這個袋子里隨機摸出一枚硬幣，連拋 10 次，結果每次都是正面朝上。那么，下一次拋擲它依然出現正面的概率是多少？

氣象學依賴于貝葉斯推斷。圖片來源：Pixabay

在這個更為嚴謹的情境下，我們幾乎可以斷定，如果硬幣每次都擲出正面，那它極大概率是一枚存在偏向的硬幣（即兩面都是正面的硬幣）。在這種情況下，下一次拋擲肯定還是正面。運用貝葉斯推斷這一奇妙的方法，我們可以將這一推論表述得更加精確，甚至還能看出它與比例 p 的大小有著怎樣的關系。

要做到這一點，我們需要引入事件的條件概率（conditional probability）這一概念。在前面設定的游戲中，存在幾種可能發生的事件。其一便是“抽中一枚存在偏向的硬幣”這一事件。我們將該事件記為 A，并用 P(A) 來表示其發生的概率。將“抽中一枚均勻硬幣”的事件記為 B，并用 P(B) 表示該事件發生的概率。那么：

我們通常將這種概率稱為先驗信息（prior information）。只有在對這枚硬幣一無所知的情況下，P (A) = p 這一等式才成立。這是在獲取任何實測數據之前，硬幣存在偏向的概率。

一旦開始拋擲硬幣，我們就會對它有更多的了解，并隨之修正先驗信息，從而得出關于該系統的所謂后驗知識（a-posteriori knowledge）。作為人類，我們的大腦時刻都在經歷著這樣的過程：不斷收集關于周遭環境的感官信息，并據此在腦海中構建出對當前狀況的認知。這也是機器進行學習并更新其對某個系統已有知識的過程。對于這類機器而言，實現這一過程的核心工具正是貝葉斯分析（Bayesian analysis）。接下來，就讓我們看看它是如何發揮作用的。

假設我們有兩個事件 A 和 B。條件概率 P(A|B) 指的是在已知事件 B 已經發生的前提下，事件 A 發生的概率。

舉個例子，假設事件 A 為“連續拋擲 10 次硬幣，每次都是正面朝上”，事件 B 為“我們抽中了一枚兩面都是正面的硬幣”，而事件 C 為“我們抽中了一枚質地均勻的普通硬幣”。稍作思考就會發現：

這是因為那枚硬幣兩面都是正面，所以它每次拋擲必然都會出現正面。另外，正如我們在前面已經計算過的，我們還可以得出：

你可以明顯看出，P(A|B) 要比P(A|C) 大得多。

貝葉斯是怎么說的

在小學二年級，我們就學過一個關于條件概率的通用公式。如果用 P(A and B) 來表示事件 A 和事件 B 同時發生的概率，那么公式就是：

這個公式可能不是那么一目了然——如果想了解它為什么成立，可以去閱讀相關的推導文章。

但是，P(A and B) 與 P(B and A) 顯然是同一回事，根據上述公式，它同樣等于P(B)P(A|B)。這也就意味著：

由中間的等式可得：

這個結果就是著名的“貝葉斯定理”（Bayes' theorem）。它由托馬斯·貝葉斯牧師（Revd. Thomas Bayes）提出，并由英國皇家學會（Royal Society）以《論有關機遇問題的求解》（An Essay towards solving a Problem in the Doctrine of Chances）為題于 1763 年正式發表。

托馬斯·貝葉斯（1701-1761）

貝葉斯并不算是一位職業數學家，盡管他對哲學和統計學有著濃厚的興趣。事實上，他是一名神職人員。但是，貝葉斯定理卻是整個數學領域最重要的成果之一！它不僅在概率論和統計學中居于核心地位，在衛星追蹤（或幾乎任何其他目標的追蹤）、考古學、司法系統、氣象學，甚至在大名鼎鼎（讓人又愛又恨）的蒙提霍爾問題（即著名的“三門問題”）等截然不同的領域中，都有著數不勝數的應用。它更是構建整個機器學習領域的基石。對于區區一個定理來說，這成就可以說相當了不起了。

我們可以用通俗的語言來解釋這個定理為何如此重要。假設事件 B 是我們真正感興趣的研究對象，而事件 A 是我們為了進一步了解 B 所進行的實驗。P(B) 就是我們在進行實驗之前對事件 B 掌握的“先驗知識”；而 P(B|A) 則是實驗之后我們對 B 獲得的“后驗知識”。貝葉斯定理為我們提供了一條從先驗知識通往后驗知識的橋梁。我們成功地從數據中推斷出了背后的真相，這正是“貝葉斯推斷”一詞的由來。當我們想要弄清楚一個無法直接測量的系統內部正在發生什么，并且必須依靠間接的測量結果來進行推論時，這種思想在科學研究的各個方面都會被一遍又一遍地反復運用。

硬幣存在偏向的概率有多大？

作為例子，現在讓我們把這個定理應用到最初的問題上，在不直接查看硬幣的情況下，推斷這枚硬幣是否兩面都是正面。我們這里重申一下設定，事件 A 為“連續擲出 10 次正面”，事件 B 為“我們抽中了一枚兩面都是正面的硬幣”。

我們已經知道 P(A|B)=1，并且 P(B)=p。因此，為了計算出 P(B|A)（也就是在已知連續擲出 10 次正面的前提下，這枚硬幣兩面都是正面的概率），我們需要先算出 P(A)。P(A) 代表的是：從袋子里隨機摸出一枚硬幣，拋擲后連續出現 10 次正面的總概率。這里需要考慮兩種互斥的情況。第一種情況是，我們抽中了一枚兩面都是正面的硬幣，然后擲出了十次正面。這種情況發生的概率，其實就等于抽中這枚問題硬幣的概率 P(B)（因為一旦抽中它，擲出十次正面就是板上釘釘的事了）。第二種情況是，我們抽中了一枚質地均勻的普通硬幣（我們將此事件記為 C），然后擲出了十次正面。在這種情況下，擲出十次正面的概率就是兩個單獨概率的乘積：P(A|C)P(C)。因此，擲出十次正面的總概率 P(A)，就是這兩種互斥情況的概率之和：

我們剛才已經算出了這里所有的項：P(B)=p，P(A|C) = 1 / 1024，以及 P(C) = 1-p。因此：

現在，我們可以完成最后的計算，得出在“連續擲出 10 次正面”的前提下，這枚硬幣兩面都是正面的概率為：

為了讓你對這個概率的具體大小有個直觀感受，假設我們有一個裝了 100 枚硬幣的袋子，其中只有一枚是兩面全為正面的問題硬幣。那么，p = 1 / 100。在這種情況下，已知硬幣連續擲出 10 次正面，它是問題硬幣的概率就變成了：

也就是說，這枚硬幣存在偏向的概率高達 91%。對于大多數人來說，這個可能性已經相當有把握了。所以可以看到，在貝葉斯定理的運用下，原本僅有 1% 的“硬幣存在偏向”的先驗概率被更新為了 91%。

再次擲出正面的概率是多少？

現在，我們終于可以回過頭來回答最初提出的那個問題了。在已經連續擲出 10 次正面的前提下，下一次擲出正面的概率究竟是多少？

如果這是一枚問題硬幣（即事件 B），那么下一次擲出正面的概率必然是 1。因此，基于現有的觀察數據（連出 10 次正面），下一次擲出正面且硬幣確實存在偏向的概率為：

如果這枚硬幣是質地均勻的普通硬幣（即事件 C），那么下一次擲出正面的概率就是 1/2。因此，基于現有數據，下一次擲出正面且硬幣毫無偏向的概率為：

在第 11 次拋擲這枚硬幣時，再次出現正面的總概率，就是上述這兩個互斥事件概率的總和：

我們之前已經算出了 P(B|A) 的值，而 P(C|A) 簡單來說就是 1- P(B|A)。因此，下一次再次擲出正面的概率就變成了：

如果 p = 1 / 100，那么P(再次擲出正面) = 0.955，約為96%。對于大多數實際情況來說，這個概率已經足夠接近于 1 了。

在下圖中，我們將 P(再次擲出正面) 繪制為了 p 的函數。你可以清楚地看到，只有當 p 小到極其微弱的程度時，P(再次擲出正面) 才會與 1 產生明顯的差距。因此，我們完全有底氣說，最初那個問題的答案就是，下一次出現正面的概率非常接近 1，即便我們其實并不知道 p 的確切數值。

概率 P(再次擲出正面) 隨 p 變化的曲線圖。

大功告成……

……但是等等，有沒有一種可能，我對你隱瞞了真實的數據。這種情況下我們該怎么辦？它又跟天氣預報甚至機器學習有什么千絲萬縷的聯系？欲知后事如何，且聽下文分解。

背面，貝葉斯輸！

在現實中，科學家們往往只能基于不完美的數據來做出預測，天氣預報就是一個典型的例子。接下來，本文的后半部分將為你揭秘一項專為解決此問題而生的技術——“數據同化”（data assimilation）。它能夠在新信息的啟發下更新初始預測，并充分考慮到一個現實情況：無論是觀測數據還是最初的預測，其實都是不完美的。

在前面的章節中，我們學習了如何基于觀測數據，運用貝葉斯定理來調整對某個事件發生概率的預測。我們舉的例子是，一枚硬幣連續十次擲出了正面。面對這樣的數據，這枚硬幣十有八九存在問題，因此第十一次擲出正面的概率，理應高于一枚普通均勻硬幣那 50% 的概率。貝葉斯定理從數學上證實了我們的直覺。

然而，對于我們所觀察到的現象，其實還存在另一種解釋。硬幣絕對公平沒有問題，真正出了問題的，是數據本身。例如，我可能在記錄正反面的時候剛好摘下了眼鏡。這下我根本兩眼一抹黑分不清哪面是哪面，為了圖省事兒，干脆把每次拋擲的結果都記成了正面。又或者，我明明看清了正反面，但是由于電腦系統出了故障，所有的結果全被強行錄入成了正面。

這些正是所謂儀器誤差（instrumentation error）的例子。在記錄數據時，這類誤差其實并不罕見（盡管在現實中往往不會像上述例子那么極端）。要知道，沒有任何數據記錄設備是絕對完美的，它們多多少少都會出現一些偏差。

還有一種可能性是，我在記錄數據時故意對你撒了謊。哪怕硬幣擲出了好幾次反面，我仍然向你偽裝出它存在偏向的假象。在刑事案件的取證中，這種情況屢見不鮮，人們往往必須在真假難辨的證據和數據面前，判斷到底該不該相信某位證人的證言。

于是，我們不得不面對這樣一個問題：如果擺在面前的數據不完全可靠，那么對于我們正在研究的系統（比如這枚硬幣到底是不是公平的），我們還能做出什么有意義的推斷嗎？

貝葉斯來救場

既然數據可能不太靠譜，要想準確估計系統的真實狀態，我們就需要有辦法來衡量這些數據的可靠性。對于測量儀器來說，溫度計就是個很好的例子。假設我們要測量某個實際溫度 T，溫度計每次給出的讀數可能會有些許波動，但如果這些讀數的平均值恰好等于 T，我們就稱這支溫度計是“無偏的”（unbiased）。而這些讀數的方差（variance）則反映了它們在平均值上下分散的程度，這就為我們提供了一把評估測量結果到底有多靠譜的標尺。如果方差很大，讀數飄忽不定，我們在心里對這組數據的采信度就會打個折扣；反之，如果方差很小，我們就會更加信任這些數據。通過這種方式，當面對一份可能存在誤差的測量數據時，我們就能精確權衡出究竟需要對原有的預測做出多大程度的修正，從而完成對某個事件（先驗）預測的更新。

這個過程，通常就被稱為“數據同化”（data assimilation）。數據同化的絕妙之處在于，它能將“不太靠譜的預測”與“同樣不太靠譜的數據”結合起來，最終孕育出一個比這兩者都要準確得多的全新預測！這簡直就像變魔術一樣，我們幾乎是在"無中生有"！

氣象學家們使用數據同化技術已有大約二十年之久，這極大地提升了天氣預報的可靠性。理論上，要想根據今天的天氣狀況準確預報明天全球的天氣，氣象學家在今天就需要對整個大氣層的狀態進行大約十億次測量。但在現實中，這根本不可能辦到，他們窮盡手段，撐死也就只能完成大約一百萬次測量。顯然，單靠這點數據，遠不足以了解今天的天氣狀況。

為了解決這個問題，氣象學家們想出了一個辦法。他們會先拿出昨天對今天所做的天氣預報，然后朝著今天實際觀測數據的方向，對這份預報進行 “微調”（ nudge）。然后用修正后的當日天氣預報，做明天的天氣預報。

數據同化正是用來完成這種“微調”的，它的基本思路如下：氣象學家根據昨天掌握的信息，對今天的天氣做出一個（先驗）預測。同時，他們還要盡可能多地去測量今天的天氣狀況，比如看溫度計（或者干脆直接瞅瞅窗外）。由于每次測量總會有些微小的差異，所以即便是一支絕對標準的“無偏”溫度計，也會給出一系列可能的測量值。

另一方面，基于昨日天氣對今日天氣所作的預測同樣也會存在誤差。實際上，是一大堆可能的誤差（畢竟我們的天氣模型和計算能力還遠遠談不上完美），我們將這種預測誤差分布的方差記為 Epred。然后，把這份預測與我們目前能收集到的關于今天天氣的（有限）觀測數據放在一起進行比對。當然，這些觀測數據自身也是帶有誤差的，我們將它的方差記為 Edata。

如果與 Edata 相比，Epred 的值較小，那么原本的預測只會朝著觀測數據的方向“微調”一點點。通俗點說，這是因為此時的預測結果比今天實際測量的數據更可靠，所以我們不想過多地被今天的測量數據“帶偏”。相反，如果 Epred 比 Edata 大得多，那我們就會在很大程度上采信實測數據。

經過這番“微調”后得到的結果，我們稱之為“分析值”，記為 A。這個分析值巧妙地兼顧了原始預測和實測數據，是對今天天氣狀況做出的最佳估計。拿著這個分析值，天氣預報員就可以去預測接下來幾天的天氣了。

數據同化過程示意圖。粉色橢圓代表預測結果及其可能存在的誤差范圍，橙色橢圓則代表觀測數據及其可能存在的誤差范圍。數據同化將原始預測朝著觀測數據的方向進行了“微調”，使得最終結果既落入原始預測的誤差橢圓之內，又同時落在了觀測數據的誤差橢圓之中。

這種將觀測數據同化到天氣預測中的想法（在專業方面衍生出了3 DVAR（三維變分）、4 DVAR（四維變分）以及集合卡爾曼濾波（Ensemble Kalman Filtering）等具體方法），正是英國氣象局（Met Office）、歐洲中期天氣預報中心（ECMWF）以及全球各地氣象中心每天為我們準確預報天氣的關鍵。

氣象學中數據同化過程示意圖。

在這個案例，以及其他數據同化的應用場景里，貝葉斯定理扮演的角色就是，它能精準地告訴我們，“微調”的幅度到底需要多大。它在新數據的啟發下不斷更新預測，并聰明地兼顧到了一個現實情況，也就是，無論是觀測數據還是原始預測，都是不完美的。我們可以利用它來編寫出一套算法，從而找到那個最佳預測。

極其成功的‘卡爾曼濾波’技術也運用了同樣的理念，即系統性地將系統已有認知與源源不斷的數據流結合起來。該技術最初是為了追蹤衛星而發明的，如今卻已普及到了千家萬戶，廣泛應用于包括飛機導航系統和你口袋里的智能手機在內的無數設備中。這種想法還進一步被應用在了現代機器學習領域，其中復雜的神經網絡正是在海量（且可能并不完全可靠的）數據的“投喂”下不斷接受訓練，從而學會去執行各種五花八門的任務。

可以毫不夸張地說，我們如今的現代世界，正是建立在貝葉斯定理及其無數神奇應用的基礎之上！

作者：Chris Budd

翻譯：LogicMoriaty

審校：virens

原文鏈接： &

fu

li

shi

jian

今天我們將送出由中信出版集團提供的《統計的藝術》。

這是一本不需要數學背景，卻能讓你在人工智能時代保持清醒的“認知工具包”。英國皇家統計學會前會長施皮格爾霍爾特，用日常的生動案例，剝開數據迷霧，拆解因果關系，教你識別陷阱、提出關鍵問題、做出更優決策。在人工智能不斷改變世界的今天，我們更需要統計學的底層素養，作為理解世界不確定性、應對噪聲的思維方式——拉開認知差距，從擁有統計思維開始。

【互動問題：玩游戲抽卡、排隊或者平時碰運氣的時候，你有沒有遇到過類似‘連出10次正面’這種極其邪門、讓你甚至懷疑‘系統一定動了手腳’的經歷？可以分享一下嗎？】

請大家嚴格按照互動：問題答案的格式在評論區留言參與互動，格式不符合要求者無效。

截止到本周四中午12：00，參與互動的留言中點贊數排名第二、三、五的朋友將獲得我們送出的圖書一套（點贊數相同的留言記為并列，并列的后一名次序加一，如并列第二的后一位讀者記為第三名，以此類推）。

為了保證更多的朋友能夠參與獲獎，過往四期內獲過獎的朋友不能再獲得獎品，名次會依次順延

*本活動僅限于微信平臺

編輯：姬子隰

翻譯內容僅代表作者觀點

不代表中科院物理所立場