為什么科學(xué)結(jié)論不再可靠？

作者｜戴維·施皮格爾霍爾特 （David Spiegelhalter）

英國皇家學(xué)會院士，劍橋大學(xué)統(tǒng)計學(xué)榮休教授，英國皇家統(tǒng)計學(xué)會前會長，當(dāng)代最具影響力的統(tǒng)計學(xué)家與風(fēng)險交流專家之一。曾長期任教于劍橋大學(xué)統(tǒng)計實驗室，并于 2016—2023 年出任劍橋大學(xué)溫頓風(fēng)險與證據(jù)交流中心主任，致力于提升公眾對定量證據(jù)的理解、呈現(xiàn)與使用能力。其研究涵蓋貝葉斯統(tǒng)計、醫(yī)學(xué)統(tǒng)計、風(fēng)險評估與不確定性分析，對醫(yī)療決策、公共衛(wèi)生和政策評估產(chǎn)生了重要影響，其論文全球引用逾十萬次，曾入選“高被引研究者”。

2011年，美國著名社會心理學(xué)家達(dá)里爾·貝姆在著名心理學(xué)期刊上發(fā)表了一篇重要論文。在論文相關(guān)的實驗中，達(dá)里爾·貝姆找來了100名學(xué)生，讓他們坐在電腦屏幕前。屏幕上有兩塊“窗簾”，達(dá)里爾·貝姆讓這些學(xué)生猜測哪塊窗簾后面藏有圖像。之后窗簾會被“打開”，展現(xiàn)出正確答案。學(xué)生們需要連續(xù)猜36次。該實驗最特殊的一個地方在于，受試者給出答案以后，圖像出現(xiàn)在哪塊窗簾后面完全隨機，因此研究者認(rèn)為，所有正確答案都來自受試者的超感官知覺，即第六感。

《統(tǒng)計的藝術(shù) 》

[英] 戴維·施皮格爾霍爾特 著

韓瀟瀟 譯 周靜 審校

中信出版集團

2026年2月

達(dá)里爾·貝姆在論文中提到，零假設(shè)為“不存在第六感”，所以選擇正確的概率預(yù)計為50%。但實驗結(jié)果顯示，當(dāng)窗簾后面的圖像為色情圖像時，受試者的正確率可以達(dá)到53%，這一結(jié)果的P值為0.01。另外，該論文還包含了另外8項第六感實驗的結(jié)果，受試者人數(shù)超過了1,000，研究跨度達(dá)10年以上，9項研究中一共有8項都取得了具有統(tǒng)計顯著性的結(jié)果。難道說第六感真的存在嗎？這些研究能夠令人信服嗎？

雖然目前為止，本書已經(jīng)介紹了很多優(yōu)秀的統(tǒng)計實驗，這些實驗既蘊含著研究者的卓越智慧和精心設(shè)計，又體現(xiàn)出了研究者對統(tǒng)計工具的局限性和潛在風(fēng)險的清楚認(rèn)知，但你要知道，現(xiàn)實情況不會一直那么美好。現(xiàn)在，我們就來看看，當(dāng)統(tǒng)計學(xué)被濫用時會發(fā)生什么。達(dá)里爾·貝姆的故事我們稍后再講。

如今，人們之所以格外關(guān)注統(tǒng)計實驗的質(zhì)量，是因為科學(xué)界之前曾出現(xiàn)過一場舉世震驚的丑聞事件，該事件被認(rèn)為是科學(xué)界可重復(fù)性危機（reproducibility crisis）的罪魁禍?zhǔn)住?/p>

可重復(fù)性危機

第10章中我們曾提到，約翰·約安尼季斯曾于2005年發(fā)表過這樣一個令人瞠目的觀點：大多數(shù)已發(fā)表的研究結(jié)論都是錯的。之后有越來越多的研究者認(rèn)為，那些已發(fā)表的科學(xué)論文的確有很多都不可靠。科學(xué)家們無法復(fù)現(xiàn)同行的研究實驗，這意味著那些原始結(jié)論根本沒有它們表現(xiàn)出來的那樣可信。這種現(xiàn)象最初主要集中在醫(yī)學(xué)和生物學(xué)領(lǐng)域，后來又逐漸蔓延到了心理學(xué)以及其他社會科學(xué)當(dāng)中，盡管我們并不清楚弄虛作假的論文的真實比例。

雖然約翰·約安尼季斯做出如此判斷的根據(jù)是某個理論模型，但我們也可以通過實際操作去驗證這一說法，即以同樣的方法去復(fù)現(xiàn)過往的實驗，看看能否取得類似的實驗結(jié)果。“可重復(fù)性計劃”是一個重要的合作項目，合作者們以更大的樣本規(guī)模對100項心理研究進(jìn)行了重復(fù)實驗，因此理論上來說，如果這些研究結(jié)論為真，那該項目能夠以更高的檢驗效能去識別這些真實效應(yīng)。最終合作者們發(fā)現(xiàn)，雖然有97%的原始研究取得了具有統(tǒng)計顯著性的結(jié)果，但其中只有36%能在重復(fù)實驗中得到復(fù)現(xiàn)。

可悲的是，各媒體在報道這一結(jié)論時，經(jīng)常會認(rèn)為這意味著有63%的具有“統(tǒng)計顯著性”的科學(xué)結(jié)論實際為假——他們還會落入“嚴(yán)格按照統(tǒng)計顯著性去判斷實驗結(jié)論是否可靠”的陷阱。美國著名統(tǒng)計學(xué)家、博主安德魯·格爾曼曾指出，“具有統(tǒng)計顯著性”與“不具有統(tǒng)計顯著性”之間的差異本身就不具有統(tǒng)計顯著性。事實上，只有23%的原始實驗與重復(fù)實驗之間的差異具有統(tǒng)計顯著性，我們在估計弄虛作假的論文的比例時，使用這一數(shù)字似乎更為恰當(dāng)一些。

與其用“統(tǒng)計顯著性”去判斷“科學(xué)發(fā)現(xiàn)”的可靠程度，我們還不如把注意力放在實驗效應(yīng)的大小上。可重復(fù)性計劃發(fā)現(xiàn)，雖然平均來看，重復(fù)實驗效應(yīng)的方向和原始實驗相同，但其大小卻只有原始實驗的一半。這反映出了科學(xué)文獻(xiàn)中長期存在的一個重要偏差：只要某項研究的效應(yīng)足夠“大”，那么哪怕結(jié)果帶有一定的運氣成分，它也更有可能被發(fā)表在重要期刊之上。如果用均值回歸現(xiàn)象來類比，這種現(xiàn)象或許可以被稱為“零假設(shè)回歸”——被夸大的原始實驗效應(yīng)，會朝著零假設(shè)的方向下滑。

可重復(fù)性危機是一個相當(dāng)復(fù)雜的問題，其根源在于研究人員面臨的科研壓力過大——他們必須想方設(shè)法做出“科學(xué)發(fā)現(xiàn)”，然后將其發(fā)表在著名期刊上，但這一切都取決于他們能否獲取具有統(tǒng)計顯著性的研究結(jié)果。我們不能單獨去怪罪某個機構(gòu)或某個人。另外，之前在討論假設(shè)檢驗時我們也曾提到，就算統(tǒng)計實驗的每一步都完美無瑕，其結(jié)果和結(jié)論也不能保證為真，也就是說，會有相當(dāng)一部分具有統(tǒng)計顯著性的結(jié)果實際上為假陽性（見圖10-5）。現(xiàn)在的問題在于，大多數(shù)統(tǒng)計實驗根本和“完美”兩個字沾不上邊。

PPDAC分析流程中的每個階段都有可能會出現(xiàn)嚴(yán)重的統(tǒng)計問題。比如在一開始的“提出問題”階段，我們就可能會設(shè)定一個無法用現(xiàn)有信息解答的問題，例如，如果我們想研究“為什么過去的十年當(dāng)中，英國少女懷孕率出現(xiàn)了大幅下降”，那當(dāng)前數(shù)據(jù)就無法給出解釋。

第二個階段，即“做出規(guī)劃”階段，也可能會出現(xiàn)以下這些問題：

傾向于選擇方便廉價的樣本，而不是具有代表性的樣本，比如選前民意調(diào)查中的電話調(diào)查。

調(diào)查時使用引導(dǎo)性問題或誤導(dǎo)性問題，比如“您認(rèn)為網(wǎng)絡(luò)購物大約可以節(jié)省多少錢？”

沒有設(shè)定恰當(dāng)?shù)膶Ρ龋热缰煌ㄟ^志愿者的情況來評估順勢療法的效果。

設(shè)定的樣本規(guī)模過小，檢驗效能過低，這意味著如果備擇假設(shè)為真，那我們能夠正確將其檢測出來的概率過低。

未能正確判斷數(shù)據(jù)的干擾因素，沒有進(jìn)行盲法試驗，等等。

正如費希爾那句名言所說的一樣：“實驗完成后再去咨詢統(tǒng)計學(xué)家的意見，就相當(dāng)于患者死亡后再給他們體檢。此時我們唯一能做的，或許就是告訴你實驗的死因。”

在“收集數(shù)據(jù)”階段，最常見的問題包括回復(fù)率太低、有人中途退出研究項目、招募進(jìn)度比預(yù)期慢很多、難以快速對所有數(shù)據(jù)編碼，等等。所有這些可預(yù)見的問題都可以通過小規(guī)模試點試驗的方法來提前解決。

“分析數(shù)據(jù)”階段最容易出問題的地方，就是“不小心犯了錯”。雖然我們都有可能在編碼、制表過程中犯錯，但這些錯誤的后果很難和下面這些案例“相提并論”。

著名經(jīng)濟學(xué)家卡門·萊因哈特與肯尼思·羅戈夫曾于2010年合作發(fā)表了一篇論文，該論文對“人們對經(jīng)濟緊縮政策的態(tài)度”產(chǎn)生了很大影響。然而后來一名博士生偶然發(fā)現(xiàn)，這兩個人的論文不小心遺漏了五個國家的數(shù)據(jù)分析，而這僅僅是因為一個小小的電子表格錯誤。

全球投資公司安盛羅森堡的一名程序員曾因敲錯代碼，導(dǎo)致某個統(tǒng)計模型計算出來的風(fēng)險系數(shù)過低，大約只有實際值的萬分之一，公司客戶因此損失了2.17億美元。2011年，美國證券交易委員會以“未能及時向投資者報告模型錯誤”為名讓安盛羅森堡進(jìn)行等額賠償，同時額外開出了2,500萬美元的罰款，這導(dǎo)致公司一共損失了2.42億美元。

另外，有時雖然計算結(jié)果完全正確，但使用的統(tǒng)計模型卻存在問題。例如：

開展“整群隨機對照試驗”時，錯誤地按照個體隨機對照試驗分析數(shù)據(jù)。整群隨機對照試驗指的是將一整群人（比如某個全科診所的所有病人）同時分配到某一組別當(dāng)中。

分別在基準(zhǔn)狀態(tài)、干預(yù)狀態(tài)測試兩個組別的數(shù)據(jù)，如果一組人在兩種狀態(tài)下的差異達(dá)到了統(tǒng)計顯著性，另一組人則沒有，就得出結(jié)論認(rèn)為兩組人之間存在差異。正確的做法是，對兩組之間的差異進(jìn)行統(tǒng)計檢驗——這在統(tǒng)計學(xué)中又被稱為“交互作用檢驗”。

將“不具有統(tǒng)計顯著性”誤解為“實驗沒有產(chǎn)生任何效應(yīng)”。例如在第10章提到的酒精與死亡風(fēng)險的研究中，年齡在50~64歲之間、每周飲酒15~20個酒精單位的男性，死亡風(fēng)險會顯著降低；而那些飲酒稍多或稍少一些的男性，死亡風(fēng)險的降幅與0之間不存在顯著差異。雖然論文聲稱，這些群體的飲酒結(jié)果存在重要區(qū)別，但從置信區(qū)間來看，這些區(qū)別完全可以忽略不計。再次提醒大家，“具有統(tǒng)計顯著性的結(jié)果”與“不具有統(tǒng)計顯著性的結(jié)果”之間的差異，不一定具有統(tǒng)計顯著性。

在“得出結(jié)論”這一步驟，最明目張膽的做法就是對實驗結(jié)果進(jìn)行多次顯著性檢驗，但只報告最具有統(tǒng)計顯著性的那次結(jié)果，并借此強調(diào)實驗結(jié)論的可靠性。我們已經(jīng)在前文中看到，這種做法能夠極大增加發(fā)現(xiàn)具有統(tǒng)計顯著性的P值的機會，就連“死魚復(fù)生”都不是問題。這相當(dāng)于電視臺在播放足球比賽時，只轉(zhuǎn)播某個球隊的進(jìn)球鏡頭，但不轉(zhuǎn)播失球鏡頭：這種選擇性報道不可能讓我們獲得真實且全面的信息。

如此一來，我們很難分清實驗設(shè)計的失誤到底是因為研究人員能力有所欠缺，還是因為研究者在故意誤導(dǎo)大家。更令人憂心的是，這種現(xiàn)象并不少見。在美國甚至有人因為“利用子集分析，選擇性報道具有統(tǒng)計顯著性的實驗結(jié)果”而被刑事定罪。斯科特·哈科寧曾擔(dān)任美國制藥公司InterMune首席執(zhí)行官，這家公司曾為研究“特發(fā)性肺纖維化”新藥的療效而開展了一項臨床試驗。試驗結(jié)果表明，該藥物的整體療效并不顯著，但在輕度至中度的患者（子集）中，死亡風(fēng)險的降幅卻很顯著。斯科特·哈科寧據(jù)此向投資者發(fā)布了一份新聞稿，報道了該研究成果，并表示自己相信這項研究能夠帶來巨大回報。盡管他并沒有說任何謊話，只是選擇性報道了部分事實，但陪審團還是于2009年認(rèn)定他犯有電信詐騙罪，理由是他有欺詐投資者的意圖。政府原本的訴求是判處他10年監(jiān)禁，以及2萬美元罰款，但法庭最終判處他6個月的軟禁，以及3年緩刑。后來的臨床試驗發(fā)現(xiàn)，該藥物對這部分子集患者不存在任何療效。

統(tǒng)計實驗中的不端行為可能是有意的，也可能是無意的。為了說明科學(xué)界同行評議和審稿制度的嚴(yán)重缺陷，“德國飲食與健康研究所”的約翰內(nèi)斯·博安農(nóng)曾故意設(shè)計了一項有問題的實驗。該實驗中，受試者被隨機分成3組，各組人員分別按照標(biāo)準(zhǔn)飲食、低碳水飲食、低碳水飲食外加巧克力的要求進(jìn)餐。他們在三周的時間里接受了一系列的測試，研究結(jié)果表明，巧克力組的體重降幅比低碳水組的降幅高出10%，其P值為0.04。這份具有統(tǒng)計顯著性的研究結(jié)果被投遞給一家期刊，結(jié)果該期刊認(rèn)為這篇論文是一篇“極其優(yōu)秀的稿件”，并向研究者回復(fù)說，只要支付600歐元的出版費，“它就可以在我們出版社的頂級期刊上發(fā)表出來”。意料之中的是，該研究一經(jīng)發(fā)表便引起了眾多媒體的爭相報道，甚至有媒體寫出了“巧克力可以加快減肥進(jìn)度”這樣的標(biāo)題。

令媒體沒想到的是，這項研究從頭到尾都是一場騙局。“約翰內(nèi)斯·博安農(nóng)”的真名是約翰·博安農(nóng)；他本來的職業(yè)也不是科學(xué)家，而是記者；所謂的“德國飲食與健康研究所”根本不存在，該研究唯一真實的東西就是數(shù)據(jù)——這些數(shù)據(jù)未經(jīng)任何篡改或捏造。但問題是，每組中的受試者只有5名；統(tǒng)計顯著性檢驗進(jìn)行了很多次；論文只報道了具有統(tǒng)計顯著性的結(jié)果。

媒體報道后，論文作者立即承認(rèn)了作假行為，并說出了自己的真實目的。然而，并非所有統(tǒng)計作假都是為了揭露同行評議制度的缺陷。

蓄意欺詐

故意作假的現(xiàn)象確實存在，只不過大家覺得這種現(xiàn)象應(yīng)當(dāng)相對少見。一項匿名的調(diào)查研究發(fā)現(xiàn)，大約有2%的科學(xué)家承認(rèn)自己曾經(jīng)偽造過數(shù)據(jù)，但美國國家科學(xué)基金會、美國科研誠信辦公室處理過的“故意作假”案件卻相當(dāng)之少，完全不符合調(diào)查結(jié)果，哪怕2%已經(jīng)是被低估的數(shù)值了。

用統(tǒng)計學(xué)方法去辨別統(tǒng)計作假行為，聽上去好像也很合理。賓夕法尼亞大學(xué)的心理學(xué)家尤里·西蒙松曾對某些隨機試驗的統(tǒng)計量進(jìn)行了深入研究，結(jié)果發(fā)現(xiàn)這些本應(yīng)帶有很強隨機性的統(tǒng)計量，實際上卻表現(xiàn)出了極為夸張的相似性或差異性。例如他注意到，某篇論文中引用的三個標(biāo)準(zhǔn)差都是25.11，但這三個標(biāo)準(zhǔn)差實際上來自不同的小組（每組均為15人）。尤里·西蒙松設(shè)法找到了原始數(shù)據(jù)，并利用數(shù)據(jù)模擬證明三個標(biāo)準(zhǔn)差完全一樣的概率微乎其微——后來該研究項目的負(fù)責(zé)人主動辭職了。

西里爾·伯特是一名來自英國的心理學(xué)家，因?qū)χ巧踢z傳性的研究而聞名于世。然而在其去世之后，人們開始懷疑他的研究涉嫌作假，因為人們發(fā)現(xiàn)，盡管研究涉及的雙胞胎兒童數(shù)量在不斷增加，但各雙胞胎智商的相關(guān)系數(shù)卻一直沒有什么變化（每對雙胞胎都會在不同的環(huán)境中長大）：1943年的相關(guān)系數(shù)為0.770，1955年為0.771，1966年仍然為0.771。雖然人們懷疑數(shù)據(jù)有假，但他死后所有的研究記錄都被燒毀了，其數(shù)據(jù)是否經(jīng)過偽造至今仍存有爭議。支持他的人認(rèn)為，這些數(shù)字肯定是不小心寫錯了，他應(yīng)該不會做出如此明目張膽的作假行為。

如果統(tǒng)計研究只涉及無心過錯、有意作假，那問題倒也好解決，盡管這些問題本質(zhì)上確實很嚴(yán)重。比如，我們可以提高教育質(zhì)量，仔細(xì)檢查數(shù)據(jù)，重復(fù)多次實驗，公開研究數(shù)據(jù)，等等，最后一章我們還會詳細(xì)討論該問題。但除此之外，我們還面臨一個更嚴(yán)峻、更困難的問題，有些人認(rèn)為這一問題才是可重復(fù)性危機的核心原因。

可疑學(xué)術(shù)行為

就算數(shù)據(jù)完全真實，實驗分析恰當(dāng)合理，統(tǒng)計量和P值的計算準(zhǔn)確無誤，如果我們不知道研究人員得出結(jié)論的具體過程，也很難正確理解實驗結(jié)果的含義。

我們已經(jīng)看到了研究人員選擇性報告具有統(tǒng)計顯著性的結(jié)果所帶來的種種問題，但更重要的是，在整個研究過程當(dāng)中，研究人員有時會有意識或無意識地根據(jù)數(shù)據(jù)的反饋結(jié)果做出各種細(xì)微的“改進(jìn)措施”，比如對實驗設(shè)計、停止收集數(shù)據(jù)的時間、排除哪些數(shù)據(jù)、對哪些因素進(jìn)行分層分析、重點關(guān)注哪些組別與結(jié)果、如何對連續(xù)變量分組、如何處理缺失數(shù)據(jù)等諸多細(xì)節(jié)的改動。尤里·西蒙松將這些決策稱為“研究者自由度”，而安德魯·格爾曼則以更為詩意的方式將其稱為“小徑分岔的花園”。所有這些改動都有可能會提高“獲得具有統(tǒng)計顯著性的實驗結(jié)果”的概率，所以都屬于“可疑學(xué)術(shù)行為”的范疇。

因此，我們有必要將探索性研究（exploratory studies）和驗證性研究（confirmatory studies）區(qū)分開來。顧名思義，探索性研究的調(diào)查方式較為靈活，通常以探索更多可行性、提出更多假設(shè)為目的，而后續(xù)那些為了檢驗假設(shè)可靠性的研究就是驗證性研究。在探索性研究中，我們可以根據(jù)需要適當(dāng)調(diào)整實驗細(xì)節(jié)，但驗證性研究應(yīng)當(dāng)嚴(yán)格按照預(yù)先規(guī)劃好的、最好是公開透明的方案逐步進(jìn)行。雖然這兩種研究都可以用P值來衡量證據(jù)對結(jié)論的支持程度，但二者應(yīng)當(dāng)明確區(qū)分開來，并以完全不同的方式加以解釋。

那些想方設(shè)法去獲取具有統(tǒng)計顯著性結(jié)果的行為，通常又被稱為“P值操縱”。P值操縱最簡單的思路就是進(jìn)行多次檢驗，但只報告具有統(tǒng)計顯著性的結(jié)果。不過除此之外，研究者們還可以通過很多更“巧妙”的方法來行使所謂的“研究者自由度”。

聽披頭士的歌曲《當(dāng)我64歲時》，能讓人返老還童？

大多數(shù)人都會覺得這絕無可能。但是尤里·西蒙松和他的同事一起，在一些“統(tǒng)計小伎倆”的幫助下，得出了一個具有統(tǒng)計顯著性的陽性結(jié)果。

該實驗找來了一群賓夕法尼亞大學(xué)的本科生，這些學(xué)生被隨機分成幾組，分別收聽披頭士樂隊的《當(dāng)我64歲時》、Mr. Scruff的《克林巴》，以及Wiggles的《燙手山芋》。聽完之后，學(xué)生們需要回答自己的出生日期、個人感受，以及其他一些奇奇怪怪的問題。

尤里·西蒙松和他的同事一起，用他們能想到的各種技巧和方法去反復(fù)分析數(shù)據(jù)，并不斷招募新的受試者，直到他們發(fā)現(xiàn)某個具有統(tǒng)計顯著性的相關(guān)性結(jié)論為止。受試人數(shù)達(dá)到34之后，在受試者年齡和他們收聽的音樂之間沒有顯著關(guān)系的情況下，僅通過《當(dāng)我64歲時》和《克林巴》兩首歌的對比，研究人員就得到了P值<0.05的回歸分析結(jié)果（對父親的年齡進(jìn)行了分層分析）。當(dāng)然，他們只報告了具有統(tǒng)計顯著性的分析結(jié)果，而沒有提到他們對實驗做出的諸多調(diào)整、使用的各種技巧，以及對實驗結(jié)果的選擇性報道——直到論文結(jié)尾處，他們才將真相說了出來。這類學(xué)術(shù)不端行為如今被統(tǒng)稱為“根據(jù)結(jié)果構(gòu)建假設(shè)”，即在確定結(jié)果的情況下提出假設(shè)。

學(xué)術(shù)不端行為有多普遍？

2012年，一項針對2,155名美國心理學(xué)家的調(diào)查顯示，只有2%的人承認(rèn)自己偽造過數(shù)據(jù)。但一份包含10項可疑學(xué)術(shù)行為的調(diào)查問卷表明：

35%的人表示自己有過“雖然實驗結(jié)論中提到這是一項意外發(fā)現(xiàn)，但其實在實驗開始前我們就預(yù)料到了該結(jié)果”的行為；

58%的人表示自己有過“一邊收集數(shù)據(jù)，一邊進(jìn)行顯著性檢驗。當(dāng)出現(xiàn)具有統(tǒng)計顯著性的結(jié)果時，立即停止數(shù)據(jù)收集”的行為；

67%的人表示自己有過“沒有公開全部實驗結(jié)果”的行為；

94%的人承認(rèn)，在列出來的10項可疑學(xué)術(shù)行為中，至少有1項符合自身情況。

令人遺憾的是，這些人普遍認(rèn)為以上行為相當(dāng)合理——畢竟誰都想報告一個新奇有趣的、出人意料的發(fā)現(xiàn)。這種現(xiàn)象的癥結(jié)就在于，探索性研究和驗證性研究的界限過于模糊。包括“根據(jù)結(jié)果構(gòu)建假設(shè)”在內(nèi)的諸多行為，在探索性研究中其實都不存在太大問題，畢竟探索性研究的目的就是發(fā)現(xiàn)更多想法，提出更多假設(shè)，以供其他人驗證。但在以驗證假設(shè)為目的的驗證性研究當(dāng)中，這些行為應(yīng)該被嚴(yán)格禁止。