Information Shapes Koopman Representation：信息如何決定模擬

英國University College London (UCL) 博士程小遠、新加坡Nanyang Technological University (NTU) 博士元文瑄(master project)，為本文共同第一作者；法國Institut Polytechnique De Paris 程思博教授、美國Santa Fe Institute 施密特學者章元肇等，為本文合作者，上海財經大學助理教授孫卓，為本文通訊作者。

圖1：軟體機器人的模擬以及控制

大多數世界模型工作默認：只要學到一個好的 latent dynamics，問題就解決了。 但這個假設本身是可疑的——什么樣的信息，才足以支撐一個可預測、可傳播的動力學？本文從信息論出發，重新審視這一前提。

一個自然的思路是：如果非線性動力學難以建模，能否把它轉化為線性問題？Koopman 算子正是這樣一種誘人的框架，它試圖將復雜系統嵌入潛空間，使其演化近似線性。這一思路在物理表示、天氣預測和流體控制中具有極強吸引力。 然而，這種線性化并不是免費的，它依賴于一個精心構造的表示空間，而這個空間本身才是最難學習的部分。

因此，真正的核心問題不是如何學習一個隱變量表征，而是：在有限維表示中，究竟哪些信息必須被保留，才能支撐穩定的動力學傳播與長期預測？

為此，UCL、ICL、Santa Fe Institute、Institut Polytechnique De Paris、上海財經大學最新聯合提出Information Shapes Koopman Representation。這項工作從動態信息瓶頸的角度重新審視 Koopman 表征學習，明確 Koopman learning 真正所需要的信息，并據此構造出一個可優化的目標。

• 論文地址：
• https://openreview.net/forum?id=Szh0ELyQxL
• 代碼地址：
• https://github.com/Wenxuan52/InformationKoopman

目前，該成果已被 ICLR 2026 Oral 接收。

動機：

世界模型在Koopman表征下難的，不只是「學一個 latent」

Koopman表征學習問題在于，Koopman 表征并不只是像傳統潛空間學習方法，比如Autoencoder、Variational Autoencoder，一樣「學一個能重建輸入的 latent」。相比較而言，它還需要同時滿足三個更強的性質：

• Temporal Coherence：潛空間表示要能穩定地隨時間傳播；
• Structural Consistency：潛空間中的演化要盡量符合 Koopman 的線性結構；
• Predictive Sufficiency：表征里要保留足夠多、足夠關鍵的動力學模式，才能支撐長期預測。

這就帶來了兩個需要權衡的問題：

1、如果 latent 保留的信息太多，表征會更豐富，但很難維持簡單穩定的線性結構；

2、如果壓縮得太狠，又容易丟掉長期預測真正需要的關鍵模態。

所以，該論文真正想回答的問題不是 "再加一個模塊"，而是順著這個Trade-off：

在有限容量下，一個好的 Koopman 表征，到底該保留什么信息？

圖2：信息論 Koopman 框架。(a) 帶有 Information-shaped 優化目標的 Koopman 表征學習結構總覽；(b) Koopman 模態與互信息項對應關系；(c) 互信息（MI）和馮·諾依曼熵（VNE）對模態中信息分配的水填充效應。

關鍵視角：

從信息瓶頸角度看待學習動力學的問題

這篇論文的切入點，是把這個問題重新放回到信息瓶頸（Information Bottleneck, IB）框架下理解。

經典的信息瓶頸強調：一個好的表征，并不是盡量把輸入中的所有信息都搬進 latent，而是在壓縮的同時，保留對下游任務最重要的信息。

對應到 Koopman learning，這里形成了一個動態的信息瓶頸公式：

那么核心目標就變成：學習一種 Koopman representation ，使其對未來狀態具有最大的線性可預測性（Relevance↑），同時保持盡可能結構緊湊（Complexity↓）。

理論分析：

為什么互信息重要，但只靠互信息還不夠？

圍繞這個目標，論文給出了三個相互銜接的理論結論。

1、長期預測誤差，本質上來自逐步累積的信息損失

論文首先從信息傳播的角度分析了 Koopman 潛空間傳播的誤差來源。結論很直觀：

當原始非線性系統被 Koopman 表征近似時，每一步傳播都會損失一部分預測相關的信息，而長時間預測誤差，就是這些小損失一步步累積起來的結果。

這意味著，Mutual Information（互信息，MI）直接關系到 Koopman 表征能夠保住多少預測能力。

2、不是所有信息都一樣重要

但只能通過互信息來量化error還不夠，因為這只能告訴我們損失了多少，卻不能告訴我們損失的是哪一類信息。

3、只最大化 MI，會導致 mode collapse

那么，一個很自然的想法是：既然temporal-coherentinformation最重要，那是不是只要盡量增大這部分互信息就夠了？

答案是否定的。

論文發現，MI的確會優先把信息分配給最穩定、最有收益的少數模態，但這也會帶來副作用：信息過度集中到幾個 dominant modes 上，導致潛空間有效維度下降，出現mode collapse。

為了緩解這個問題，論文又引入了von Neumann entropy（VNE）。它的作用，不是簡單再加一個正則項，而是盡量避免模態信息過度集中，讓潛空間保持必要的模態多樣性。

簡單來說，這篇論文的核心洞察就是：MI 負責保住「對的模態」，VNE 負責保住「足夠多的模態」（圖2(c)）。

從理論走向算法：一個真正「information-shaped」的 Koopman 目標

基于上面的分析，論文進一步構造了一個信息論驅動的 Lagrangian 目標，把互信息、結構一致性項、重建項以及 von Neumann entropy 統一到一個可優化框架中（圖2(a)）。

圖3：提出的Information-shaped Koopman 目標及其可優化形式。上方為從理論分析得到的統一 Lagrangian：由互信息項、von Neumann entropy項、重構項共同構成；下方為對應的可訓練目標，進一步對應到 Koopman 表征學習中的三個性質。

更重要的是，這個目標和 Koopman learning 的三個核心性質是一一對應的（圖3）：

• MI 項對應于Temporal Coherence，強調時間上的穩定傳播；
• 線性 forward 一致性項對應于Structural Consistency，保證潛空間演化與 Koopman 線性結構一致；
• VNE 項對應于Predictive Sufficiency，幫助模型保留足夠豐富的有效模態；
• 再結合 reconstruction / ELBO 項，使整個模型能夠在實際訓練中穩定優化。

也就是說，該論文將 "一個好的 Koopman 表征該保留什么信息" 這個問題，轉換成了一個可優化的訓練目標。

實驗結果：不僅更準，而且更穩

實驗部分，論文在三類任務上驗證了這套方法：

• 物理動力系統預測：如 Lorenz 63、Kármán vortex、Dam flow、ERA5 天氣預測；
• 高維視覺輸入下的控制與表征學習：如 Planar、Pendulum、Cartpole；
• 圖結構動力學預測：如 Rope 和 Soft Robotics（如圖1）。

結果表明，這套方法在短期和長期預測誤差上優于多種 Koopman baseline（圖4和5）。

圖4：全球天氣場包括地球重力勢能、溫度、濕度和風速。最左列為真實物理場，最右列為本文方法的預測結果。

圖5：在其余兩類圖結構和視覺輸入動力學系統上的泛化表現。左為圖結構動力學場景，以帶有噪聲的 Rope 和 Soft Robotics 兩個任務為例；右為視覺輸入場景，以 Planar、Pendulum 和 Cartpole 控制任務為例。

尤其是在 Kármán vortex 的可視化中，在譜性質和manifold 結構上，論文展示了一個很有說服力的現象（圖6）：

圖6： Kármán vortex 任務上的 latent space 幾何分布與 Koopman 譜結構可視化。上排比較了不同 baseline 方法在 latent space 中的軌跡分布，論文方法的 rollout 軌跡更接近單步預測，也更符合真實動力學的極限圓演化結構；下排展示了 Koopman 譜分布，論文方法學到的特征值更多分布在單位圓附近，形成了更穩定的幾何結構。

相比容易出現譜退化和軌跡漂移的 baseline，加入 MI 與 VNE 后，模型學到的特征模態更加穩定，長期軌跡也更接近真實動力學結構。

總結與展望

這篇工作的重要性，在于它把 Koopman 表征學習從一個技巧性方法，重新嵌入到世界模型的基本問題之中。世界模型關心的從來不是表示本身，而是一個表示是否包含足夠的信息去支持動力學的預測與控制。在這一視角下，Koopman 方法中的 simplicity 與 expressiveness 不再是調參經驗，而是被明確為一個信息論上的優化目標。因而問題發生了轉變。關鍵不再是能否找到一個線性化的潛空間，而是在有限維約束下，哪些信息是必須被保留的，才能使動力學既可傳播又可預測。