自然·機器智能：你的神經網絡模型存在著“羅生門效應”嗎？

導語

機器學習模型在數(shù)據(jù)的擬合和預測方面展現(xiàn)出驚人的能力。人們不僅用這些模型做預測，還希望提煉出關于機制的科學假說。然而，良好的數(shù)據(jù)預測能力，是否真的能保證我們對這些模型的解釋是準確的尚未可知。這篇發(fā)表在自然 · 機器智能的文章提出一個具有內生可解釋性的靈活模型框架，用來刻畫神經動力學（neural dynamics），并在此框架下具體檢驗“預測好”與“解釋對”之間的關系。

關鍵詞：機器學習(Machine learning)，靈活模型（Flexible models），神經動力學（Neural dynamics），潛在動力系統(tǒng)（Latent dynamical system），特征復雜度（Feature complexity），軌跡熵（Trajectory entropy）

周莉丨作者

趙思怡丨審校

論文題目：Moving beyond generalization to accurate interpretation of flexible models 論文地址：https://www.nature.com/articles/s42256-020-00242-6

神經網絡作為一種靈活的建模工具，正在催生大量關于神經計算機制的假設。這依賴于一個隱含的假設：即如果一個模型能夠對新的數(shù)據(jù)表現(xiàn)出良好的預測能力，那么該模型的內部機制就一定與產生數(shù)據(jù)的生物系統(tǒng)的機制相匹配。然而該研究發(fā)現(xiàn)在神經科學中的典型任務中，這一假設并不成立。即使是具有完全不同的動力學機制的循環(huán)神經網絡（RNN）模型，也能在某些任務上表現(xiàn)出同樣的泛化能力。這一現(xiàn)象被稱為羅生門效應（Rashomon Effect），即存在多種機制不同的模型都能同樣好地解釋數(shù)據(jù)。為了對這些模型進行區(qū)分，本文提出了一種基于動力系統(tǒng)分析的新框架，并主張要實現(xiàn)對神經回路的準確解釋，必須超越簡單的泛化能力，深入到模型的動力學幾何結構中去。

問題提出：從“預測能力”到“機制解釋”

在傳統(tǒng)統(tǒng)計建模中，研究者通常從若干明確的候選假說出發(fā)，通過假設檢驗或模型比較，在相對小規(guī)模的模型族中選擇最為合適者（圖1 a）。然而，隨著深度學習等機器學習方法的興起，這一范式正在發(fā)生深刻變化。現(xiàn)代神經科學越來越傾向于使用參數(shù)眾多、表達能力極強的靈活模型（Flexible models），例如循環(huán)神經網絡（Recurrent neural networks, RNN）或潛在動力系統(tǒng)模型（Latent dynamical system models），直接從數(shù)據(jù)中學習大腦的計算結構。

在這一過程中，一個關鍵前提常常被默認接受而缺乏系統(tǒng)檢驗：如果一個模型表現(xiàn)出令人滿意的泛化能力（Generalization），就認為該模型內部所采用的計算機制與真實神經系統(tǒng)的機制是一致的。大量關于RNN 自發(fā)涌現(xiàn)出某種動力學結構并因而可類比大腦的論述，均基于這一隱含前提（圖1 b）。本研究試圖在一個可控、可解釋的框架內，對這一前提進行檢驗。研究者關注的問題不是一個模型能否預測數(shù)據(jù)，而是在多少種不同的機制之下，預測同樣可以做得很好，以及在這種情況下，研究者該如何從中選擇具有解釋價值的模型。

圖 1 | 從數(shù)據(jù)中推導理論。a. 可用簡單的特設模型（ad hoc models）對數(shù)據(jù)進行擬合，將與最優(yōu)擬合模型對應的假設解讀為一種生物學機制。b. 可用靈活模型對數(shù)據(jù)進行擬合，該類模型在單一模型架構內涵蓋多種假設（通常包含大量參數(shù)，如人工神經網絡（ANN））。模型優(yōu)化的目標是提升其預測新數(shù)據(jù)的能力（即泛化能力）。通過解讀最優(yōu)預測模型的結構推導假設。目前尚不清楚該方法能否得出能準確反映生物學現(xiàn)實的正確假設。

具有內生可解釋性的潛在動力學框架

建模框架

為了分析預測能力與機制解釋的關系，作者構建了一個兼具靈活性與內生可解釋性的潛在動力學框架（圖2）。該框架將神經群體放電行為視作由低維潛在狀態(tài)軌跡x(t)驅動的隨機過程。與直接擬合發(fā)放率不同，模型假設存在一個連續(xù)演化的潛在狀態(tài)，通過發(fā)放率函數(shù)f(x)映射為瞬時發(fā)放率λ(t)=f(x(t))，進而經由非齊次泊松過程生成離散脈沖。這一潛在狀態(tài)—發(fā)放率—脈沖的生成式結構，使得推斷過程本質上是從觀測數(shù)據(jù)反推最可能的潛在動力學機制。

框架的核心在于利用 Langevin 隨機微分方程描述潛在狀態(tài)的演化。其中，勢能函數(shù)Φ(x)決定確定性漂移，高斯白噪聲ξ(t)引入隨機性。函數(shù)的幾何特征直接對應動力學機制，極小值對應吸引子，谷深反映穩(wěn)定性，勢壘高度決定狀態(tài)躍遷的難易程度。相比于傳統(tǒng)神經網絡的黑箱參數(shù)，Φ(x)的形狀直接構成了關于系統(tǒng)穩(wěn)態(tài)與轉換機制的具體假說。

圖 2 | 一種靈活且具有內生可解釋性的神經動力學建模框架。神經發(fā)放數(shù)據(jù)被建模為非齊次泊松過程，其強度依賴于潛軌跡 x(t)，二者通過發(fā)放率函數(shù)f(t)建立聯(lián)系。潛在動力學由非線性隨機微分方程（公式 1）控制，該方程包含確定性勢函數(shù)Φ(x)和高斯噪聲。

優(yōu)化函數(shù)

為了從數(shù)據(jù)中學習機制，作者在勢能函數(shù)的函數(shù)空間上運用梯度下降算法，以最大化對數(shù)似然為目標來優(yōu)化Φ(x)（圖3 a），每次迭代得到的Φ(x)都對應一個可解釋的動力學假設。隨著訓練推進，勢能形狀從簡單趨向復雜，逐步逼近真實動力學結構（圖3b 第一行）。然而，隨著迭代次數(shù)的增加，模型會過擬合并產生偽結構（圖3b 第二行）。

圖3｜梯度下降優(yōu)化得到一系列具有不同解釋的模型。a. 在梯度下降優(yōu)化過程中，負對數(shù)似然呈單調下降趨勢。b. 梯度下降選定迭代輪次下的擬合勢函數(shù)Φ?(x)（顏色與圖 a 中的點對應），以及生成數(shù)據(jù)所用的真實勢函數(shù)（灰色）。從一個非特異性初始猜測（第 1 輪迭代時的單阱勢函數(shù)）開始，優(yōu)化過程可準確還原真實模型（第 50 輪迭代）；而在后續(xù)迭代中，由于過擬合，模型會出現(xiàn)在真實生成模型中并不存在的虛假特征（更多小尺度的起伏），這主要源于模型在有限樣本和噪聲條件下，對偶然波動的過度擬合（如果在每一次迭代中，都重新生成一批新的模擬數(shù)據(jù)，同樣的學習過程將不會產生那些后期的細小偽結構，勢能函數(shù)可以穩(wěn)定收斂到真實形狀，見原文補充圖1）。

模型選擇

在常規(guī)機器學習圖景中，隨著模型復雜度的提高，訓練誤差通常單調下降，而驗證誤差在某個復雜度處達到最小值后開始上升，從而形成所謂偏差–方差權衡（Bias–variance tradeoff）對應的 U 形曲線。模型選擇通常依據(jù)驗證誤差的最小點，試圖在欠擬合與過擬合之間取得平衡。本文中，作者發(fā)現(xiàn)訓練誤差如預期般持續(xù)下降，而驗證誤差在初期會明顯下降。但在進入一定階段后，會進入一個長而平坦的泛化高原（Generalization plateau），對應的勢能函數(shù)形狀可以彼此差異顯著，但它們在驗證集上的預測性能幾乎難以區(qū)分。

圖 4 | 泛化高原。針對從同一真實模型生成的 10 組獨立訓練集和驗證集樣本，梯度下降（GD）優(yōu)化得到的模型其驗證負對數(shù)似然值。驗證負對數(shù)似然值呈現(xiàn)長平臺期，表明存在一系列泛化性能良好的模型。放大圖（右側）顯示了泛化平臺期形狀的多樣性。在驗證負對數(shù)似然值最小值處選取泛化最優(yōu)模型（樣本 1 和樣本 2 分別對應紅色和藍色箭頭）

這種現(xiàn)象說明，在高參數(shù)、強表達能力的模型中，可能同時存在數(shù)量眾多、內部機制迥異的模型，它們在行為上同樣成功地解釋了數(shù)據(jù)。換言之，在預測層面，這些模型幾乎不可區(qū)分；在機制層面，它們卻對應著不同數(shù)量的吸引子、不同的勢能谷底位置以及不同的狀態(tài)躍遷結構。作者以羅生門效應來概括這一現(xiàn)象：面對相同的數(shù)據(jù)，存在一個龐大的模型集合，每一個都能給出“看似合理”的解釋，但這些解釋彼此并不等價。

是否可以通過強化正則化（regularization）或更精細的交叉驗證策略來緩解這一問題？作者從驗證誤差、多折交叉驗證和加入懲罰項幾個角度系統(tǒng)地考察了這一思路。總的來說，只要模型選擇標準依然主要基于預測或泛化指標，那么在靈活模型中，解釋層面的不確定性就難以根除。 這提示我們需要從根本上調整模型選擇的目標函數(shù)。

因此，作者提出了一個替代思路：找到在不同數(shù)據(jù)子集中最具有穩(wěn)定一致性的結構。通過引入了軌跡熵（Trajectory entropy）及其負值特征復雜度（Feature complexity）來量化勢能對潛在軌跡的約束強度：勢能越深且越分明，軌跡的隨機游走越受限制，軌跡熵下降、特征復雜度上升。該度量反映的是動力學結構的豐富性，而非單純的參數(shù)數(shù)量。總體而言，通過將潛在狀態(tài)、勢能景觀與生成機制形式化，該框架使得模型的學習過程本質上等同于對神經動力學假說的提出與檢驗，從而實現(xiàn)了內生可解釋性。

圖 5 | 識別具有準確解釋性的模型。a. 特征復雜度隨迭代次數(shù)增加而上升，且不同數(shù)據(jù)樣本的增長速率存在差異。b. 特征復雜度邊界 M*（橙色點）將真實特征與噪聲區(qū)分開。c. 數(shù)據(jù)樣本 1 和 2 在不同特征復雜度下的勢函數(shù)（顏色與圖 a 數(shù)據(jù)對應）。d. 不同特征復雜度水平下，從數(shù)據(jù)樣本 1 和 2 中發(fā)現(xiàn)的模型之間的 KL 散度。M*定義為 KL 散度超過固定閾值時的特征復雜度。

框架驗證：On–Off 動力學的再解讀

為了展示這一框架在真實神經數(shù)據(jù)上的效用，作者將其應用于以往在猴子視覺皮層 V4 區(qū)記錄的神經放電數(shù)據(jù)。現(xiàn)有研究表明，在恒定刺激條件下，V4 區(qū)多單元活動并非保持平穩(wěn)，而是呈現(xiàn)出類似在“高放電率狀態(tài)”（On）與“低放電率狀態(tài)”（Off）之間自發(fā)切換的特征。這一現(xiàn)象可以被不同的建模框架擬合。例如，一類模型將其視為圍繞單一穩(wěn)定態(tài)的連續(xù)波動；另一類模型則假設存在兩個穩(wěn)定吸引子，對應 On 與 Off 狀態(tài)，并在二者之間發(fā)生隨機躍遷。二者在擬合單元平均放電率和某些統(tǒng)計量時都可取得不錯結果，因此難以基于傳統(tǒng)指標加以區(qū)分。

在本文中，作者使用提出的潛在動力學框架，對V4區(qū)的神經放電數(shù)據(jù)進行建模。結果表明，在若干記錄通道上，基于泛化的策略往往在不同子集上選出明顯不同的勢能形狀。而采用特征一致性方法時，兩半數(shù)據(jù)各自選出的最佳復雜度所對應的勢能在多數(shù)情況下高度相似。

圖 6 | 從神經生理記錄中發(fā)現(xiàn)可解釋的神經動力學模型。a. 在注視任務中，通過 16 通道電極同步記錄靈長類視覺皮層 V4 區(qū)的多單元活動。b. 針對兩個獨立數(shù)據(jù)樣本得到的模型對應的驗證負對數(shù)似然值。c. 不同數(shù)據(jù)樣本的泛化最優(yōu)模型存在不一致性（顏色與圖 b 對應）。d. 在各特征復雜度水平下，模型之間的 KL 散度。e. 獨立識別出兩個數(shù)據(jù)樣本的 M*（0.01，灰線）對應的勢函數(shù)具有良好一致性。陰影區(qū)為數(shù)據(jù)所發(fā)現(xiàn)的兩個勢函數(shù)之間的陰影區(qū)域，支持 “亞穩(wěn)態(tài)轉換” 的假設。

結語：從“擬合數(shù)據(jù)”走向“理解機制”

這項研究針對當前在神經科學與機器學習交叉研究中廣泛存在的一種趨勢，給出了系統(tǒng)而謹慎的反思。文章通過一個兼具靈活性與內生可解釋性的潛在動力學框架，明確展示了以下幾點：

首先，在高容量靈活模型中，即使在有限樣本下，也可以出現(xiàn)龐大的羅生門集合：內部機制差異顯著的模型，在訓練集和驗證集上卻表現(xiàn)出幾乎無法區(qū)分的預測性能。泛化能力在此僅能定義一個寬泛的合格區(qū)域，而不足以在該區(qū)域中定位唯一或少數(shù)幾個具有機制代表性的模型。

其次，傳統(tǒng)的正則化、交叉驗證和提前停止等技術，即使在形式上考慮了過擬合問題，在解釋層面仍顯不足。只要模型選擇標準主要依賴于預測誤差，這一標準就難以避免被驗證集中的噪聲和樣本劃分偶然性所左右，從而導致所選模式在機制解釋上不穩(wěn)定。

最后，文章提出了一種以特征復雜度與跨樣本一致性為核心的替代范式，將科學解釋的重點從單一模型的最佳預測性能轉移到不同數(shù)據(jù)子集中結構特征的一致再現(xiàn)上。通過這一視角，潛在動力結構的穩(wěn)定部分與噪聲誘導的偽結構得以分離，模型選擇本身也被納入可解釋性的約束之中。

從更廣義的角度來看，這項研究強調了科學建模中預測與解釋的區(qū)別。對于工程應用而言，預測準確往往已足夠；但對于試圖理解大腦計算原理的基礎科學而言，預測只是前提，解釋才是核心。在靈活模型日益普及的今天，這一差別尤為重要。如何在利用機器學習強大擬合能力的同時，引入足夠嚴謹?shù)臋C制約束和一致性標準，將是未來可解釋神經建模和可解釋機器學習共同需要面對的問題。

計算神經科學第三季讀書會

從單個神經元的放電到全腦范圍的意識涌現(xiàn)，理解智能的本質與演化始終是一個關于尺度的問題。更值得深思的是，無論是微觀的突觸可塑性、介觀的皮層模塊自組織，還是宏觀的全局信息廣播，不同尺度的動力學過程都在共同塑造著認知與意識。這說明，對心智的研究從最初就必須直面一個核心挑戰(zhàn)：局部的神經活動如何整合為統(tǒng)一的體驗？局域的網絡連接又如何支撐靈活的智能行為？

繼「」與「」讀書會后，集智俱樂部聯(lián)合來自數(shù)學、物理學、生物學、神經科學和計算機的一線研究者共同發(fā)起，跨越微觀、介觀與宏觀的視角，探索意識與智能的跨尺度計算、演化與涌現(xiàn)。重點探討物理規(guī)律與人工智能如何幫助我們認識神經動力學，以及神經活動跨尺度的計算與演化如何構建微觀與宏觀、結構與功能之間的橋梁。

詳情請見：

1.

2.

3.

4.

5.

6.