通過諧波表示實現快速貝葉斯更新

Fast Bayesian Updates via Harmonic Representations

通過諧波表示實現快速貝葉斯更新

https://arxiv.org/pdf/2511.06978

摘要
貝葉斯推理雖為概率推理的基石，卻常因后驗分布的計算不可行性而受阻，尤其是涉及困難的證據積分。傳統方法如馬爾可夫鏈蒙特卡洛（MCMC）和變分推斷（VI）在可擴展性與效率方面存在顯著局限。本文提出一種新穎的統一框架，通過利用調和分析實現快速貝葉斯更新。我們證明：若將先驗與似然表示于合適的正交基中，貝葉斯更新規則將轉化為譜卷積。具體而言，后驗的傅里葉系數被證明是先驗與似然系數的歸一化卷積。為實現計算可行性，我們引入一種譜截斷方案——對于光滑函數，該方案能提供極高精度的有限維近似，并將更新簡化為循環卷積。此形式使我們可借助快速傅里葉變換（FFT），得到一個確定性算法，其復雜度為 O ( N log ? N ) ，遠優于樸素方法的 成本。我們建立了該方法適用性的嚴格數學準則，將其效率與所涉分布的光滑性及譜衰減特性相聯系。本工作實現了范式轉變，將貝葉斯計算與信號處理相連接，為一大類問題中的實時、序貫推理開辟了新路徑。

關鍵詞：貝葉斯推理 · 快速傅里葉變換 · 調和分析 · 譜方法 · 卷積定理

1 引言
1.1 研究背景與動機

貝葉斯框架為在不確定性條件下更新信念提供了一種原則性方法 [1]。然而，其理論上的吸引力常常被一個根本性的實踐障礙所削弱：后驗分布的計算不可行性。除最簡單的模型外，貝葉斯定理中的歸一化常數——即邊緣似然或證據——涉及一個解析上不可解、數值上也極具挑戰性的積分。這構成了貝葉斯推理中的主要計算瓶頸。

當前實踐嚴重依賴兩類算法來克服這一瓶頸。馬爾可夫鏈蒙特卡洛（MCMC）方法通過從一個以目標后驗為平穩分布的馬爾可夫鏈中生成樣本來近似后驗 [2, 3]。盡管 MCMC 在漸近意義上是精確的，但在復雜、高維模型中可能極其緩慢，存在漫長的預熱期（burn-in）和混合不良（poor mixing）的問題。此外，收斂診斷仍是一項非平凡的任務 [4]。另一種方法是變分推斷（VI），它將后驗計算問題轉化為優化問題，即從一個易于處理的分布族中尋找最佳近似 [5]。雖然 VI 通常比 MCMC 更快，但它引入了由變分族表達能力決定的近似偏差，并且往往需要針對具體問題進行推導，從而限制了其通用性和自動化程度 [6]。

這兩種方法在其標準形式下，都會帶來顯著的計算開銷，且隨著模型復雜度和數據規模的增長而急劇惡化，從而限制了它們在現代數據密集型場景中的應用 [7]。

本工作提出一種范式轉變，通過利用調和分析的工具來應對這一核心挑戰。我們引入一個框架，在其中先驗與似然被表示于一個合適的譜基（spectral basis）中。其核心洞見在于：在此表示下，貝葉斯更新規則——即函數的逐點相乘——轉化為其譜系數之間的簡單卷積。這種將函數乘法轉化為線性代數運算的變換，為高效計算策略打開了大門。通過利用該卷積的結構，特別是結合譜截斷與快速傅里葉變換（FFT）[8]，我們旨在實現后驗更新，其計算復雜度遠低于主流的迭代或基于采樣的方法。

2 預備知識
本章建立我們框架發展所需的基礎概念。我們首先對貝葉斯推斷問題進行形式化描述，隨后介紹調和分析中的關鍵工具，并以卷積的基本性質作為結尾。

2.1 貝葉斯推斷框架
貝葉斯推斷的核心在于提供一種概率機制，用于在觀測到數據 D 后更新關于未知參數 θ ∈ Θ
的信念。該過程由貝葉斯定理 [1, 9] 所支配：

2.2 調和分析基礎

我們的方法論基于將概率密度函數表示為一個精心選擇的函數空間中的元素。自然的設置是希爾伯特空間 [10, 11]。

3 貝葉斯更新的調和表示

本章提出了本工作的核心理論貢獻：在調和表示框架內重新表述貝葉斯推斷。我們首先將概率密度表示為正交基，然后推導出基本結論——貝葉斯更新在譜域中轉化為卷積。

3.1 密度函數的正交展開

設 θ 為定義在區域 Ω 上的一個參數，令 為希爾伯特空間 L2(Ω) 的一組完備標準正交基。我們假設先驗密度 p(θ) 和似然函數 ?(θ) ≡ p(D|θ) 均為此空間中的元素 [10]。

任何函數 f ∈ L2(Ω) 都可唯一展開為如下形式：

3.2 核心定理：后驗系數的卷積形式

該定理從根本上重構了貝葉斯更新。原本在計算上具有挑戰性的任務——將兩個函數相乘再積分以歸一化——被轉化為一個線性代數問題：對兩組系數序列進行卷積。這是一種深刻的簡化。在參數域 θ θ 中的非局部、逐點乘法，在譜域中變成了局部的、按索引進行的操作。這一新視角將模型本身的復雜性與更新操作的復雜性解耦，為下一章所發展的快速算法鋪平了道路。

4 譜截斷與有限維實現
第 3 章導出的調和表示雖然優美，但涉及無窮級數，因此在計算上不可行。本章通過引入譜截斷（spectral truncation）的有限維近似，彌合理論與實踐之間的鴻溝。我們分析了相應的截斷誤差，并展示這種截斷如何自然地導向循環卷積（cyclic convolution），從而實現高效的計算算法。

4.1 從無窮級數到有限近似
譜截斷的動機顯而易見：我們必須對無窮展開式進行近似：

該命題強調了我們方法的一個核心原則：譜方法的效率根本上依賴于先驗與似然的光滑性。對于光滑且性質良好的函數，其譜系數衰減迅速，因此僅需少量（ N N個）基函數即可實現高精度表示。這使得本方法特別適用于一大類涉及此類函數的推斷問題 [11]。

4.2 循環卷積的出現
將截斷應用于第 3.2 節的核心定理，我們通過一個有限卷積來近似未歸一化的后驗系數：

該定義通過將序列 b “環繞”來解決邊界問題。操作現在完全包含在保留的 N 個系數內。因此，在由前 N 個基函數 {φ?}????? 張成的有限維子空間中，貝葉斯更新規則在此周期性模型下變得精確：

定理 4.1（有限維貝葉斯更新）。設 a 和 b 分別為先驗與似然的譜系數向量，截斷至 N 個模態并進行周期化。在此有限維子空間中，未歸一化后驗的譜系數 c? 由循環卷積精確給出： c? = a ? b。 (21)

證據為 Z = c??，歸一化后驗系數為 c = c? / Z。

該定理是理論基礎的最后一塊拼圖。它表明，通過轉向有限維、周期性的譜表示，原本計算上不可行的貝葉斯更新被簡化為一個離散的、有限維的線性運算——循環卷積。這種優雅的表述可直接借助快速傅里葉變換 [8] 加速，我們在下一章中利用這一點以實現我們所設定的快速貝葉斯推斷目標。

5 函數適用性的數學準則

譜貝葉斯更新框架的有效性并非普適；它關鍵取決于先驗和似然函數的性質。本章建立了精確的數學準則，以確定哪些推斷問題適合此方法。我們考察光滑性與譜衰減之間的關系、基選擇的關鍵作用，并將函數分為理想案例與挑戰性案例。

5.1 系數衰減率與函數光滑性

譜展開的收斂速率及其截斷的精度由系數 |a?| 的衰減速率決定，而該衰減速率又由函數 f 的光滑性所支配 [10, 11]。

定理 5.1（光滑性與譜衰減）。設 f 為定義在 [?π, π] 上的函數，其傅里葉系數為 a?。

1. 若 f 是 p 次連續可微的（f ∈ C?），且其 p 階導數具有有界變差，則 |a?| = O(|k|???1)。
2. 若 f 在包含實軸的復平面帶域內是解析的（即局部由收斂冪級數給出），則其傅里葉系數呈指數衰減：|a?| = O(e??|k|)，其中 γ > 0。
3. 一個函數是帶限的（即當 |k| > K 時 a? = 0），當且僅當它是一個指數型整函數。

對于其他基，類似結果同樣成立。對于埃爾米特基（Hermite basis），衰減速率與函數的光滑性及其在無窮遠處的衰減相關。對貝葉斯推斷而言，其啟示是直接的：譜方法的成功取決于先驗和似然函數是否足夠光滑。函數越光滑，達到所需精度所需的譜系數越少，從而帶來更高的計算效率 [11]。

5.2 域與基匹配原則

對于給定域和函數類型的基選擇不當，可能導致吉布斯現象——在不連續點附近出現持續振蕩——以及收斂緩慢，即使對于光滑函數也是如此。指導原則是將基與問題的自然邊界條件相匹配 [10]。

5.2.1 周期域與傅里葉基

對于定義在周期域（如 [?π, π]）上的參數 θ，復指數基 {e???} 是自然且最優的選擇。如果函數 f(θ) 本身是周期性的，則展開式表現良好。若強行將非周期函數納入傅里葉基，將在邊界處誘發吉布斯現象。

5.2.2 有限非周期域與余弦/多項式基

對于函數非周期的有限區間 [a, b]，能自然滿足邊界條件的基更優 [10]。

• 余弦基 {cos(πkθ/L)} 隱含地施加了諾伊曼（零導數）邊界條件。它是那些在邊界處導數消失的函數的最優基，并與函數偶延拓的傅里葉展開密切相關。
• 正交多項式，如勒讓德或切比雪夫多項式，在 [?1, 1] 上構成一組基。它們不假設周期性，且能為光滑函數提供譜精度。特別是切比雪夫基，因其與余弦變換的關聯及其近最優逼近性質而常被優先選用。

5.2.3 無限域與埃爾米特函數/傅里葉變換

對于定義在 ? 上的參數，選擇取決于函數的衰減特性 [10]。

• 埃爾米特函數 {ψ?(θ) = e??2/2 H?(θ)}，其中 H? 為埃爾米特多項式，在 L2(?) 中構成一組標準正交基。它們特別適合于像高斯函數一樣衰減的函數，因為權重函數 e??2/2 已內置到基中。
• 傅里葉變換 是處理無限域最通用的工具。實踐中，它要求函數絕對可積（L1），且在無窮遠處衰減得足夠快才能在大但有限的區間上進行近似。

5.3 理想與具有挑戰性的函數類別

基于上述準則，我們可以根據問題對譜方法的適用性對推斷問題進行分類。

5.3.2 具有挑戰性的情況

該方法在面對以下情況時會遇到顯著困難：

6 快速算法：基于FFT的實現

前幾章建立的理論框架最終形成了一種高效的計算算法。通過利用卷積定理和快速傅里葉變換（FFT），我們將貝葉斯更新轉化為具有準線性復雜度的過程。本章詳細闡述了該算法的推導，給出了其偽代碼，并分析了其計算效率。

6.1 算法推導

回顧定理4.2，未歸一化后驗系數的有限維貝葉斯更新由循環卷積給出：

該定理是我們算法的基石。它表明，原始系數域中計算代價高昂的循環卷積，可以通過執行三個更簡單的操作高效完成：兩次離散傅里葉變換（DFT）、一次廉價的逐元素乘法，以及一次逆離散傅里葉變換（IDFT）[8]。

6.2 算法描述與流程
我們現在給出快速貝葉斯更新的完整算法。該算法假設先驗和似然函數已被投影到所選的標準正交基上，且其系數向量已完成周期化，并按標準 FFT 庫的要求索引為從 0 到 N ? 1
[8]。

6.3 計算復雜度分析

因此，基于譜FFT的方法為滿足第5章所述光滑性準則的問題提供了顯著的 超多項式加速 ，使得此前因計算成本過高而不可行的快速、序貫貝葉斯更新成為可能。

7 討論與未來工作

本研究通過將推斷問題重新表述為調和分析的語言，建立了一種貝葉斯計算的新范式。我們在此總結該理論框架，反思其實際意義，并勾勒出若干有前景的未來研究方向。

7.1 理論框架

總結我們構建了一個完整的快速貝葉斯推斷數學框架。其基礎在于將概率密度表示于一個適當選擇的標準正交基中 [10, 11]，例如傅里葉基、余弦基或多項式基。在此譜表示下，我們證明了核心結論：貝葉斯更新規則——即逐點相乘后歸一化——轉化為先驗與似然譜系數的卷積。為實現計算可行性，我們引入了譜截斷，該方法對光滑函數具有極高精度，并表明這種有限維近似自然地導向循環卷積。最后，通過利用卷積定理與快速傅里葉變換（FFT）[8]，我們導出了一個后驗更新算法，其計算復雜度為 O ( N log ? N )
，顯著優于傳統方法 [2, 3]。

7.2 優勢與局限

所提出的方法具有若干顯著優勢。其首要優勢是速度： O ( N log ? N ) 的復雜度使得在許多場景中實現快速、序貫更新成為可能，而樸素方法或基于采樣的方法對此無能為力。其次，該算法是確定性的：對于給定輸入，它始終產生相同輸出，避免了 MCMC 方法固有的隨機波動，并消除了對馬爾可夫鏈收斂性的擔憂 [4]。第三，該方法在數學上優雅，提供了一種深刻而統一的視角，將貝葉斯推斷與調和分析及信號處理聯系起來 [12]。

然而，這些優勢也伴隨著特定局限。該方法的效率高度依賴于先驗與似然函數的光滑性。涉及不連續性或重尾分布的問題，若無重大修改，則難以適用此方法 [10]。此外，該框架在基本形式下在高維空間中面臨“維度災難”，因為張量積基所需的系數數量隨維度呈指數增長 [14]。

7.3 未來研究方向

本工作為若干激動人心的未來研究開辟了道路。

首要方向是開發自適應基選擇算法。若能建立一種自動程序，根據先驗與似然自動選擇最優基與分辨率 N N，將極大提升該方法的魯棒性與可用性，使其從專用工具轉變為通用算法。

應對高維挑戰至關重要。一個有前景的策略是將譜框架與張量分解技術（如張量列格式，Tensor-Train）相結合。這可高效表示并操作具有低秩結構的高維分布，從而緩解指數級擴展問題 [7]。

另一引人注目的應用在于序貫貝葉斯濾波。我們算法的速度使其特別適用于實時濾波問題 [12]。它可作為新型粒子流或基于網格的濾波器的核心更新機制，高效傳播整個狀態分布，而非僅傳播一組樣本。

最后，探索與非參數貝葉斯模型的融合提供了重要機遇。為函數空間上的分布（如高斯過程 [15]）開發譜表示，可能為這一重要模型類帶來全新且高效的推斷算法。

總之，貝葉斯更新的調和表示提供了一個強大而靈活的框架。盡管存在某些約束，但其卓越的計算性能與堅實的數學基礎，為一大類推斷問題提供了極具吸引力的替代方案，并為未來算法創新提供了肥沃土壤。

原文鏈接：https://arxiv.org/pdf/2511.06978