當數據終于支持你時，竟是科研中“最危險的時刻”？

人們通常認為，科學之所以值得信賴，在于它追求客觀、強調“讓數據說話”。但在真實的科研實踐中，科學同樣難以完全擺脫人類固有的偏見。無論是對數據的解讀，還是同行評議的過程，心理學所稱的“確認偏誤”都可能悄然滲入其中。科學家并非圣賢，要抵御這種偏見，或許需要主動尋找數據中的矛盾、不斷追問，打破先入為主的觀念。正是在擁抱矛盾的過程中，新概念與新預言才有可能浮現——而這，往往發生在更自由、更少約束的“夜間科學”時刻。

撰文 | Itai Yanai、Martin Lercher

翻譯 | Kestrel

“在形式邏輯中，矛盾是失敗的信號，但在真實的知識演化中，它代表了邁向勝利的第一步。”

——阿爾弗雷德·諾思·懷特海（Alfred North Whitehead）

表面看來，科學似乎是秩序的典范：嚴謹的邏輯過程、潔凈的白大褂、條理分明的數據分析，以及其核心環節——對假設的規范驗證。雖然這種印象可能捕捉到了“日間科學”的一面，但它忽略了創造性的“夜間科學”部分，后者產生了最初的假設。對于知識的現狀，我們掌握著清晰且精準的認知，而當我們處在夜間科學模式下，則會識別出與之不完全相符的事實。盡管這樣的矛盾源于日間科學所產生的數據，為之陶醉的卻是夜間科學，因為這些是新的概念初現的第一縷微光。

矛盾可能看起來是惱人的事情，但這取決于我們的心態，若擁抱它們，則有助于我們抵抗人類自然的確認偏誤（confirmation bias）[1]傾向——一種心理學中已被廣泛研究的現象。為了探究確認偏誤與數據集中出現矛盾的相互作用，我們設計了一個簡單的實驗：讓持有不同預期的人檢查同一張數據圖，圖中疊加了兩種互為矛盾的趨勢。我們發現，預期圖中的兩個變量之間是正相關的參與者，報告發現正相關的可能性，比預期負相關的參與者高出兩倍以上。我們假定夜間科學的探索模式能抵抗這樣的認知偏差，打開新洞察和預言的大門，甚至深刻地改變研究課題的走向。所以，盡管科學的實踐者本身可能是帶有偏見的，但日間科學和夜間科學的循環往復，卻能讓我們能夠螺旋遞進，逼近真理。

數據并非是透明的

科學常自詡不受“種族假象和洞穴假象”[2]的影響，不為未經證實的假說和理論所滋擾。畢竟數據是客觀的，而科學家致力于“讓數據來說話”。當然，數據不會自己說話。它必須背靠廣泛的概念、理論和方法學的背景來解釋——而這些背景不太可能是不包含偏見的。因此，若斷言一個數據集說明了某個特定的結論，便掩蓋了潛在偏見可能對該結論的影響。

為了研究我們的偏見如何影響數據解讀，我們對計算機科學專業的大學生進行了一項實驗。我們向他們展示了圖1a中的數據圖，并聲稱該數據是收集來用以研究個人財富（x軸）和他們生活滿意度（“幸福值”，y軸）之間關系的。一個數據點代表一個人，根據年齡組標了顏色。然后我們問每一位參與者：“這些數據是否表明財富會帶來幸福？”

這幅圖總體上呈現出財富和幸福值之間有負相關（圖1b），而在每一個年齡組內，又顯然有正相關（圖1c）。這正是一個辛普森悖論（Simpson’s paradox）的例子，即當控制另一個變量時，兩個變量之間的相關性發生了變化。對該數據圖所表現的模式最簡約的解釋是，其他條件都相同時，錢越多越幸福（所以在每個年齡組內的相關性是正的）。但在年齡組間，這種效應被另一個更強的效應所淹沒，即潛在的年齡與幸福值之間有負相關。[需要說明的是，這些數據是人工生成出來的，不應據此關聯現實世界。]總而言之，盡管初看可能會認為更富有的人更不幸福，但這些數據實際上表明財富會帶來幸福。我們的參與者中大概有1/3通過回答“是”承認了這一點（49/171）。

圖1 “這些數據是否顯示了財富會帶來幸福？”a給參與者展示的數據圖（人工生成），關于個人財富與生活滿意度（“幸福值”）之間的關系，每個點代表一個人，根據年齡組標色（1最年長，4最年輕）。b，c與a一致，突出總體的負相關（b）和每個年齡組內部的正相關（c）。

不管某位特定參與者得出了什么樣的結論，我們都假定該結論是出自對數據圖的分析，而不是先前形成的觀念。為了驗證這一點，在展示這張數據圖之前，我們通過以下問題調查了他們的傾向：“想象一下，你要收集數據去研究個人財富和生活滿意度（‘幸福值’）之間的關系。你預期會得到什么樣的總體相關性？”70%的學生（119/171）預期會有正相關，而其余學生預期會有負相關。令人驚訝的是，這兩組學生看同樣數據的方式是不同的：那些帶有正相關預期的學生得到正相關結論的可能性，是那些帶有負相關預期的學生的兩倍以上（表1；42/119 對7/52，比值比3.48，P = 0.0024通過單側Fisher精確檢驗）。

表1兩組學生的列聯表（對財富與幸福值的關系要么預期正相關，要么預期負相關）和他們所觀察到的結果。

所以，該結果提示，當參與者看數據圖的時候，他們帶著先入為主的偏見，而這些偏見框定了他們的感知。這可能反映了科學中的一個普遍現象。有一段著名的故事，主角是亞瑟·斯坦利·愛丁頓（Arthur Stanley Eddington），他在1919年出征驗證愛因斯坦相對論的一個預言。愛丁頓發表的數據既可以被解釋為支持愛因斯坦的引力理論，也可以被解釋為支持牛頓的引力理論（也許最恰當的說法是，沒有辦法下結論）。但在他的論文中，愛丁頓——他相信愛因斯坦的理論會勝出——呈現的數據顯然是支持愛因斯坦的。

近期多項研究都在探究：相同數據在多大程度上可能導致不同的結論？這些研究通常將同一組數據集和一組待檢驗的假設交給不同的科學專家。其中一項研究要求70個獨立團隊分析功能磁共振圖像，檢驗9項具體假設。令人震驚的是，沒有任何兩個團隊采用相同的工作流程來分析數據集，且多個團隊基于相同數據集報告了相互矛盾，卻都呈統計顯著性的結果。在另一項研究中，73個團隊用了相同的數據去驗證單一假設；研究結果之間存在巨大差異，以至于研究者得出這樣的判斷：“研究設計的可變性構成了一個龐大的宇宙，而其通常隱匿于視野之外”（a vast universe of research design variability normally hidden from view）。這兩項研究以及其他研究都證明，數據并非透明，并且在通過統計分析將數據轉化為信息的過程中，存在相當程度的主觀成分。我們自己的實驗顯示，即使研究同一張數據圖，先前形成的偏見可能會導致不同的解讀。

科學家是有偏見的——特別是你

心理學家把人們將新證據視為支持自身信念的傾向稱為“確認偏誤”。早在公元前五世紀，歷史學家修昔底德（Thucydides）就曾如此描述：“人類慣于將渴求之事托付給輕率的希望，卻用至高無上的理性來排斥不稱心之事”。更近現代的實驗顯示，對于人們不能認同的觀點，相比于那些他們自己持有的觀念，他們會要求更高標準的證據來佐證。因為不同的人有不同的信念和經歷，一個群體中的每個人感知現實的方式可能都是不一樣的，每個人都是透過自身偏見的棱鏡在看事情。確認偏誤或許可以解釋為何那些有害的中世紀醫療方法可以延續數世紀——因為只有那些康復的患者會被記住（盡管可能不是因為該治療手段）。同樣的現象可能也是當今“替代醫學”（alternative medicine）被廣泛接受的原因。

盡管現代科學看起來要求一種凌駕于此類偏見之上的客觀性，然而確認偏誤同樣在科學事業中得到了很好的證明。它在學術論文的同行評議過程中展現得淋漓盡致。當研究結果與評審者自身的假定不符時，這篇文章會遭受到更嚴苛的評審。確認偏誤還會導致科學家不去理會或錯誤地解釋那些與他們先入之見矛盾的文章，甚至將對立論文當作支持己方觀點的論據來引用。

除了發表論文之外，應用科學方法本身的過程會不會也遭受確認偏誤的俘虜呢？理論上，答案應該是否定的，就像卡爾·波普爾（Karl Popper）描述科學過程所強調的那樣：對于任何新思想，科學家應該用他們所有的實驗能力去嘗試證偽它，證明它是錯的。但是，正如哲學家邁克爾·斯特雷文斯（Michael Strevens）所指出的，在日常工作中，人類并沒有足夠的紀律性去嚴格遵守這一方法。誠然，盡管我們十分推崇證偽哲學，但它并不實用。首先，不太有誰真的會在初見證偽結果的時候，就排除掉一個優美且證據充分的假說。舉個例子，假如一個實驗結果與能量守恒矛盾，我們絕不會簡單推翻熱力學第一定律，而是會尋找實驗設計或實驗解釋的漏洞。更重要的是，正如下文要闡述的，科學家和所有人一樣，都持有自身的觀念，因此更傾向找到那些能夠證實而非反駁自己觀點的證據。如果我們做出的預測能被表面上的數據證實，那么我們也不會去深究。

不要因為你喜歡結果就停下來

許多科學家乃至公眾都關注科學的“可重復性危機”：大量已發表的結果無法被復現。雖然可以輕松地將問題歸咎于部分行為失范的研究者，但所觀察到的大范圍的不可重復性暗示，這可能是一個科學進程本身的痼疾。

作為參照，了解一個避開了可重復性危機的科學體系很有意義——臨床試驗。對潛在偏見的承認和修正機制，已被納入臨床試驗極其嚴格的過程之中：研究方案必須預先注冊，具體流程必須按方案嚴格執行；事先要明確界定可產生混淆的變量，數據設盲以排除操作者的潛在偏見，并且僅當預先規定好的數據收集完成之后才進行顯著性檢驗。臨床試驗被精心設計為專門驗證假設的形式；如果執行的樣本量足夠大，它們應該不僅對確認偏誤免疫，也能抵御其他導致不可重復的系統性問題。

與臨床試驗的單純假設檢驗模式形成強烈對比的是，基礎研究項目通常在分析數據之前，我們并不完全知道應該從中得到什么結果——畢竟，“如果我們知道我們正在做的是什么，就不叫做研究了，對吧？”高通量數據集尤其典型，它們往往包含在產生它們的時候未曾預料的信息，以及無法預測的觀察結果；出于這個原因，如果我們處理數據之前尚未提出具體假說，那反而可能是迎接新發現的更好姿態。對于幾乎所有數據集來說，它們最自然的位置就是處在數據—假說對話當中，它既可以被用來進行假設檢驗，也可以被用于探索意料之外的模式——這恰恰是未來新假說的種子。

可以說，科學方法的核心就在于挑戰假說——通過用其預測與真實數據對比來實現。但實際操作中，我們往往渴望證偽會失敗：除非我們是在驗證其他人的競爭性假說，我們希望（常常是預期）我們的預測終將應驗。如果結果一開始不符合預期，我們會思考實驗的問題或者輔助假設的問題（例如我們預估某種遺傳操縱手段會如何擾動細胞系統）。有時候，我們會找到多個此類問題，修改之后，結果可能會指向我們原本的預測。原則上講，這種通用方法沒什么問題：科學探索本來就是反復試錯的過程，我們不能指望一個初步的實驗或者第一次分析就毫無差錯。當然，我們必須小心謹慎，避免因為某些數據存在矛盾而進行選擇，同時還要確保類似的錯誤不會影響其他數據。不過，這里還有一個更微妙的問題——確認偏誤可能會以更隱蔽的方式溜進我們的科學研究中。一旦預期的模式終于出現，人類的本能會讓我們獲得一種成就感。雖然此刻是享受咖啡的最佳時間，但我們不能就此停止對數據的分析。我們應該繼續思考實驗、分析和解釋中可能存在的偏誤，否則，我們可能過早地放棄了朝向證偽的努力。

在一個極端的例子中，確認偏誤被提升到了指導原則的高度，這就是所謂的p值操縱（p-hacking）：研究者不斷調整分析的細節，直到出現預期的結果，隨后只報道最終方案。在這個例子中，很重要的是要意識到，導致可重復性危機的原因在于帶有偏見的報告方式，而非探索性分析本身。反過來，如果可以公開探討研究結果會如何隨著分析具體條件的變化而變化，這些信息將成為研究可靠性的保障。

對抗自我驗證式假說的一種優雅方式是，不要只驗證一個假設，而是驗證多個替代假說，即約翰·普拉特（John Platt[3]）所說的“強推斷”（strong inference）方法的核心思想。普拉特認為，提出一套互相矛盾的假說，然后設計可以區分它們的驗證性實驗，是促成科學進展最快的方式。盡管這確實是一個強大的方法，然而我們往往最初并不知道哪些要素能構成最佳的競爭性假說。迫使自己將視線從一個喜歡的假說上移開，找到這樣的競爭性假說是一件嚴肅且枯燥的夜間科學任務，需要縝密的思考并付出艱辛的努力。

擁抱矛盾

回看上述的財富—幸福值實驗，其重點是參與者面臨一個矛盾。數據可以通過兩種方式解釋：用一種方式（年齡組內）看是正相關，用另一種方式（總體上）看則是負相關。可以推測，如果給他們足夠的時間去分析數據，每個參與者都會得出同樣的結論，即最佳概括根本關系的是正相關。正如我們上面所主張的，問題在于矛盾往往并不被探索，也許是因為它們讓人困惑，或是與先前的觀念不相符，抑或僅僅因為承認它們意味著要做更多單調乏味的工作。但是，出現矛盾應該成為欣喜的理由：它暗示現有知識與真實情況之間有顯在出入——我們有可能意外發現新奇而有趣的事情。

在科研中，我們常常發現，為了使矛盾的數據有意義，我們必須找到其中隱藏的錯誤假設。就像我們在之前文章中所強調的（《科學可以被計劃嗎？》），愛因斯坦的狹義相對論之路，始于他注意到麥克斯韋方程組與光速旅行思想實驗的矛盾。盡管如此，他仍努力工作多年，才找到背后的錯誤隱藏假設：即時間是絕對的，且獨立于參考系。

以我們自己近期的一項研究為例，我們比較了十個物種發育時期的基因表達，每個物種來自一個不同的門（果蠅、斑馬魚、線蟲，等等）。先前我們已經比較了同一個門中的不同物種，因此我們期望在所有胚胎發育中期能再次發現一個共有的表達模式（“沙漏模型”）。這個期望激動人心：它將證明所有動物都共有一個信號轉導和轉錄因子表達的特定模式。然而，當比較不同門的動物的基因表達時，我們發現情況完全相反：門與門之間基因表達的相似性主要出現在胚胎早期和晚期的轉錄組，而中間是一個不那么保守[4]的過渡狀態（一個“反沙漏”形狀，如圖2右所示）。對于這個矛盾信號我們感到十分困惑，于是我們撤退回夜間科學，嘗試找到解決辦法。最后我們意識到，將門內部和不同門之間矛盾的模式結合起來時，一個動物“門”分類階元的分子定義出現了：早期和晚期發育是廣泛保守的，而過渡狀態是特異性的——門內部保守，而門之間高度可變，由此可以區分不同的門類。我們必須學習將兩種模式，即沙漏和反沙漏，應用到不同的演化時間尺度上。

圖2 沙漏模型顯示門內部的演化，而反沙漏模型反映門的起源。圖源：Nature 531, 637–641 (2016)

在任何研究課題的過程中，我們可能都會遇到或多或少明顯的矛盾。我們選擇的處理方式將決定課題的命運。擁抱矛盾要求我們坦然面對不確定性，并且不可避免地會拖長研究時間。但這種方式為我們提供了解開矛盾的空間，正如前文懷特海的那句格言——遇到矛盾不是失敗的信號，而是進步的最初標志。若不存在矛盾，常見的夜間科學方式是特意去找一個，故意唱唱反調。采取一種相反的視角去“為辯論而辯論”，可以幫助我們對抗確認偏誤。在與學生或合作者的討論中，我們中大多數人大概不止一次會以這句話開口，“好吧，評審可能會說……”如果這種方式還不夠勁兒，那我們可以采用一種更嚴肅的方法：想象在未來的某個時間節點，有一個競爭的實驗室寫了一篇文章批評當前的課題，這篇“反對論文”的內容是什么？通過刻意挑戰我們的假設和預期，我們或許能避免與科學發現失之交臂。

譯者注

[1] 確認偏誤（confirmation bias）, 通俗來說就是“人們只相信愿意相信的”。

[2] 種族假象和洞穴假象（idols of the tribe and the cave），該說法來自弗朗西斯·培根于1620年在《新工具》中提出的“四假象”學說。“種族假象”指人類共有的天性使其在認知世界時，本能地將主觀強加給自然的現象；“洞穴假象”指個人因教育、習慣和經歷形成的偏見，猶如獨居洞穴，只能看見外界事物在自己洞壁上的投影的現象。另外還有“市場假象”，指人們在社會交往中因語言和詞匯的誤用或空洞定義而引發的思想混亂與無謂爭論的現象；以及“劇場假象”，指人們盲目遵從各種哲學教條、思想體系和論證規則而產生的謬誤，就像在舞臺上看戲，誤將人造的理論布景當作真實世界。

[3] 約翰·普拉特（John Platt），谷歌杰出科學家。

[4] 保守的（conserved）指基因表達模式變化較少。

本文基于知識共享許可協議（CC BY 4.0）譯自 Yanai, I., Lercher, M. Novel predictions arise from contradictions. Genome Biol 22, 153 (2021).
https://doi.org/10.1186/s13059-021-02371-6

注：本文封面圖片來自版權圖庫，轉載使用可能引發版權糾紛。

特 別 提 示

1. 進入『返樸』微信公眾號底部菜單“精品專欄“，可查閱不同主題系列科普文章。

2. 『返樸』提供按月檢索文章功能。關注公眾號，回復四位數組成的年份+月份，如“1903”，可獲取2019年3月的文章索引，以此類推。

版權說明：歡迎個人轉發，任何形式的媒體或機構未經授權，不得轉載和摘編。轉載授權請在「返樸」微信公眾號內聯系后臺。