分布魯棒自由能原理及其在決策中的應用

Distributionally robust free energy principle for decision-making

分布魯棒自由能原理及其在決策中的應用

摘要

盡管自主智能體取得了開創性的性能，但當訓練和環境條件變得不一致時，它們可能會出現行為異常，即使是微小的不匹配也可能導致不理想的行為，甚至災難性的失敗。對于智能體而言，對這些訓練 - 環境模糊性的魯棒性是核心要求，而實現這一要求一直是它們在現實世界部署中長期面臨的挑戰。在此，我們介紹了一種分布魯棒自由能模型（DR-FREE），該模型從設計上就賦予了這一核心屬性。DR-FREE將自由能原理的魯棒擴展與解析引擎相結合，將魯棒性融入智能體的決策機制中。在基準實驗中，DR-FREE使得智能體即使在最先進的模型失敗的情況下也能完成任務。這一里程碑可能會激發在多智能體環境中的部署，并且或許在更深層次上，啟發人們探索自然智能體——幾乎沒有或根本沒有訓練——是如何在反復無常的環境中生存下來的。

引言

設計自主智能體的一種流行方法是向它們提供數據，使用強化學習（RL）和模擬器來訓練一個策略（見圖1a）。基于這種范式設計的深度強化學習智能體已經展現出令人矚目的能力，包括在《GT賽車》中超越人類冠軍、玩《雅達利》游戲、控制等離子體以及在無人機競賽中達到冠軍水平的表現。然而，盡管它們取得了開創性的表現，但最先進的智能體在策略魯棒性方面仍然無法與自然智能相媲美：自然智能體或許通過進化獲得了決策能力，使它們能夠在幾乎沒有或根本沒有訓練的情況下在具有挑戰性的環境中發揮作用。相比之下，對于人工智能體而言，即使它們能夠使用高保真度的模擬器，學習到的策略也可能對學習過程中可用的模型與真實環境之間的不匹配或模糊性表現出脆弱性（見圖1b）。例如，無人機冠軍和玩《雅達利》游戲的智能體都假設環境條件在訓練過程中是一致的，如果這種假設失敗，比如環境照明或物體顏色發生變化，或者無人機出現故障——使其動力學與訓練期間可用的動力學不同——學習到的策略可能會失敗。更一般地說，即使是微小的模型模糊性也可能導致在開放世界環境中出現非魯棒行為和失敗。實現對這些訓練/環境模糊性的魯棒性一直是設計能夠在現實世界中運行的智能機器的長期挑戰。

在這里，我們提出了DR-FREE，這是一個自由能計算模型，它解決了這一挑戰：DR-FREE直接將這種智能的核心屬性植入智能體的決策機制中。這是通過將DR-FREE建立在自由能最小化的基礎上實現的，自由能最小化是信息論、機器學習、神經科學、計算和認知科學中一個統一的解釋框架。該原理假設自然和人工智能體中的適應性行為源于變分自由能的最小化（見圖1c）。DR-FREE由兩個部分組成。第一部分是自由能原理的擴展：分布魯棒（DR）自由能（FREE）原理，它從根本上重新定義了自由能最小化智能體如何處理模糊性。雖然經典的自由能模型（見圖1c）通過基于智能體可用的環境模型來最小化自由能來獲得一個策略，但在我們的魯棒原理下，自由能則是在圍繞訓練模型的一個模糊性集合內的所有可能環境中被最小化。這個集合是根據訓練模型周圍的統計復雜性來定義的。這意味著智能體的動作是從一個策略中采樣的，這個策略在模糊性集合中最小化了最大的自由能。魯棒原理產生了策略計算的問題表述。這是一個具有自由能函數作為目標函數，以及用統計復雜性形式化的模糊性約束的分布魯棒問題。這個問題不僅具有非線性成本函數和非線性約束，而且在決策變量上具有概率密度，為智能體提供了對不確定性和置信度的明確估計。這個框架的產物是一個最小化自由能且在模型模糊性上具有魯棒性的策略。DR-FREE的第二個關鍵部分——它的求解引擎——是計算這個策略的方法。與基于自由能模型的傳統策略計算方法不同，我們的方法表明，策略可以通過首先在模型模糊性集合中最大化自由能——在模糊性下提供一個成本——然后在策略空間中最小化自由能來方便地找到（見圖1d）。簡單來說，策略是在最壞情況下的最佳選擇，其中最壞情況容納了模糊性。當沒有模糊性時，我們的魯棒自由能原理產生了一個自然出現在學習——在最大擴散（MaxDiff）和最大熵（MaxEnt）的背景下——以及控制中的策略計算問題表述。這意味著DR-FREE可以產生不僅繼承了這些方法的所有理想屬性，而且確保它們在整個模糊性集合上的策略。在最大熵——和最大擴散——中，魯棒性取決于最優策略的熵，在離散設置中可以得到策略魯棒性的明確界限。為了計算一個魯棒地最大化獎勵的策略，最大熵需要與一個不同的、悲觀的獎勵一起使用——在DR-FREE中不需要這樣做。我們自由能計算模型的這些理想特性是由它的求解引擎實現的。據我們所知，這是唯一可用的方法，用于解決由我們的魯棒原理產生的完整的分布魯棒、非線性和無限維策略計算問題；詳細信息見結果部分和補充信息中的第S2節。在補充信息中，我們還強調了它與馬爾可夫決策過程（MDPs）形式化方法的聯系。DR-FREE產生了一個結構明確的策略：這是一個軟最大值，其指數取決于模糊性。這種結構闡明了模糊性在最優決策中的關鍵作用，即它如何調節選擇給定動作的概率。

DR-FREE不僅返回了我們自由能模型產生的策略，還確立了其性能極限。通過這樣做，DR-FREE有兩個含義。首先，DR-FREE策略是可解釋的，并且支持（貝葉斯）信念更新。第二個含義是，面對模糊性的智能體不可能超過一個沒有模糊性的智能體。當模糊性消失時，DR-FREE恢復了一個對其環境有完美知識的智能體的策略，沒有智能體能夠獲得更好的性能。反過來，隨著模糊性的增加，DR-FREE表明策略會降低智能體可用模型在模糊性上的權重。

我們在一個涉及真實探測器的實驗測試平臺上評估了DR-FREE，這些探測器的任務是在避開障礙物的同時到達期望的目的地。DR-FREE可用的訓練模型是從有偏差的實驗數據中學習的，這些數據沒有充分捕捉到真實環境，并引入了模糊性。在實驗中——即使存在由于從有偏差的數據中學習模型而產生的模糊性——DR-FREE成功地使探測器完成了它們的任務，即使在最先進的自由能最小化智能體和其他方法都難以完成任務的設置中。實驗結果——通過在流行的高維模擬環境中評估DR-FREE得到證實——表明，為了在開放環境中運行，智能體需要內置的魯棒性機制，這些機制對于補償不良訓練至關重要。DR-FREE提供了一個在問題表述中定義魯棒性的機制，提供了這種能力。

我們的自由能計算模型DR-FREE揭示了自由能最小化智能體如何計算在問題表述中定義的模糊性集合上具有魯棒性的最優動作。它建立了一個規范框架，不僅可以為基于自由能模型的人工智能體的設計提供魯棒決策能力，還可以超越當前的自由能解釋來理解自然行為。盡管取得了成功，但目前還沒有理論解釋這些自由能智能體是否以及如何在模糊性設置中計算動作。DR-FREE提供了這些解釋。

結果

DR-FREE。DR-FREE 包括一個分布魯棒的自由能原理以及相應的求解引擎——該原理（圖 2a）是策略計算的問題陳述；求解引擎是策略計算的方法。該原理建立了一個序貫策略優化框架，其中隨機化策略源于對模糊性下最大自由能的最小化。該求解引擎在策略空間中找到解決方案。這是通過計算——通過對模糊集中的所有可能環境的最大自由能——與模糊性相關的成本來實現的。然后，隨后的最大自由能將在策略空間中被最小化（圖 1d）。

圖 2a 中的策略優化問題是無限維的，因為最小化和最大化都在概率密度空間中進行。這使得對不確定性和模糊性的處理成為貝葉斯最優的，這將控制和規劃表征為（主動）推斷。DR-FREE 求解引擎——計算策略的方法——不僅找到策略，而且或許是反直覺地，返回一個具有明確且定義良好的函數形式的解。求解引擎背后的分析結果在 Supplementary Information 的 Sec. S3 和 Sec. S6 中。在總結中，這些分析結果表明，在每個 k k，最優策略可以通過雙層優化方法找到，首先在模糊性約束下最大化自由能，然后在策略上最小化。雖然最大化問題仍是無限維的，但其最優值——產生模糊性成本——可以通過求解一個標量優化問題獲得。這個標量優化問題是凸的并具有全局最小值。因此，一旦獲得模糊性成本，隨后的自由能可以在策略空間中被最小化，并且最優策略是唯一的。這些理論發現總結在圖 2b 中。具體來說，時間步 k k的策略是一個 soft-max

DR-FREE 在模糊性無感知的自由能最小化代理失敗時成功。為了評估 DR-FREE，我們特別考慮了一個實驗，其中簡單性是一個有意特征，以確保模型模糊性對決策的影響可以被識別、對文獻中的方法進行基準測試46，并定量測量。該實驗平臺（圖 3a）是 Robotarium47，提供硬件和高保真模擬器。任務是機器人導航：一個漫游者需要到達目標目的地，同時避開障礙物（圖 3b）。在這一設置中，我們證明了一個模糊性無感知的自由能最小化代理——即使它做出最優動作——也不能可靠地完成任務，而 DR-FREE 成功了。文獻中的模糊性無感知代理46通過求解圖 2a 中問題的松弛版本（沒有模糊性）來計算最優策略。這個代理求解了一個在學習和控制中相關的策略計算問題56——具有 DR-FREE 目標但沒有約束。我們進行了多項實驗：在每項實驗中，DR-FREE 用于計算反應性動作，只訪問訓練模型并且不知道。我們離線訓練了一個高斯過程模型，分階段學習。在每個階段，通過對機器人施加隨機采樣動作獲得數據，并有意向機器人位置添加偏差（見 Experiments settings in Methods 以獲取訓練細節，以及 Supplementary Information 的 Sec. S5 以獲取數據），從而引入模糊性。每個階段的損壞數據隨后用于通過高斯過程學習訓練模型。圖 3c 顯示了 DR-FREE 在訓練的每個階段的表現，與做出最優決策但模糊性無感知的自由能最小化代理的表現相比。在第一組實驗中，當配備 DR-FREE 時，機器人總是能夠成功完成任務（圖 3c 上方面板）；在所有實驗中，機器人能夠到達目標同時避開障礙物。相比之下，在第二組實驗中，當機器人通過最小化自由能——而不使用 DR-FREE——計算反應性動作時，它失敗了任務，除非在最短路徑無障礙的瑣碎情況下撞上障礙物（見圖 3c 底部；詳見 Methods）。這一結論在為這個模糊性無感知代理配備規劃能力時得到確認。如 Supplementary 圖 3 所示，對于不同寬度的規劃視野，模糊性無感知代理僅在最短路徑無障礙時完成任務，從而確認了圖 3c 底部所示的發現。實驗提供了兩個關鍵亮點。首先，模糊性本身可能對代理及其周圍環境產生災難性影響。其次，DR-FREE 使代理能夠在相同的模糊性下成功完成任務。這一結論還得到 DR-FREE 在 Robotarium 硬件上部署的實驗支持。如圖 3d 所示，DR-FREE 實際上使 Robotarium 提供的機器人能夠導航到目的地，盡管存在模型模糊性，有效完成任務。在 Robotarium 硬件實驗中測量的計算時間約為 0.22 秒（詳見 Methods）。見 Data Availability 以獲取錄像；代碼也提供（見 Code Availability）。Supplementary 圖 4 展示了同一領域但具有不同目標位置和障礙物配置的補充實驗集的結果。實驗確認，盡管存在模糊性，DR-FREE 一致地使機器人在所有測試環境中完成任務（代碼也可用）。

DR-FREE 闡明了模糊性在最優決策中的機制作用。DR-FREE 策略（圖 2b）對與較高模糊性相關的狀態和動作分配較低的概率。

用更簡單的術語來說，一個遵循 DR-FREE 策略的代理更有可能選擇與較低模糊性相關的動作和狀態。DR-FREE 產生了代理行為在小模糊性和大模糊性兩種體制下的特征描述。直觀上，隨著模糊性增加，DR-FREE 產生的策略將由代理的生成模型和模糊性半徑主導。本質上，隨著模糊性增加，DR-FREE 意味著代理將決策基于先驗和模糊性，反映其對模型缺乏信心。相反，當代理對其訓練模型有信心時，DR-FREE 返回一個自由能最小化代理的策略，在一個良好理解、無模糊性的環境中做出最優決策。

放松不確定性可以產生最大擴散。最大擴散（MaxDiff）是一種策略計算框架，它概括了最大熵（MaxEnt）并繼承了其穩健性特性。它在流行的基準測試中表現優于其他最先進的方法。我們展示了當不確定性放松時，通過適當選擇，分布穩健自由能原理（圖2a）可以恢復MaxDiff目標。這明確地將DR-FREE與MaxDiff連接起來，并通過它與更廣泛的穩健決策制定文獻（補充信息的S2節）連接起來。在MaxEnt和MaxDiff中，穩健性保證來自于最優策略的熵，對于離散設置，可以在不確定性集上獲得明確的后驗界限，并具有恒定的不確定性半徑。為了計算穩健最大化獎勵的策略，必須使用輔助的、悲觀的獎勵來使用MaxEnt。相比之下，通過解決圖2a中的問題，DR-FREE直接在問題表述中定義了穩健性保證，明確地通過不確定性集。因此，DR-FREE策略保證在這一不確定性集上是穩健的。如補充信息的S2節所詳述，據我們所知，圖2a中的完整最小-最大問題——同時具有自由能目標和分布穩健約束——對許多方法來說仍然是一個挑戰。這不僅僅是一個理論上的成就，它獨特地將DR-FREE定位在文獻中——我們通過重新審視我們的機器人導航任務來探索其影響：我們為DR-FREE配備了一個生成模型，該模型恢復了MaxDiff目標，并比較了它們的性能。實驗表明，DR-FREE在MaxDiff失敗的環境中取得了成功。這是因為DR-FREE不僅保留了MaxDiff的理想特性，而且還在不確定性集的最壞情況下保證了它們。

最后，我們在 MuJoCo 的螞蟻環境中評估 DR-FREE（圖 5a）。目標是讓四足代理在保持直立姿勢的同時沿 x 軸向前移動。每個回合持續 1000 步，除非螞蟻變得不健康——這是標準環境中定義的失敗條件。我們將 DR-FREE 與所有先前考慮的方法以及模型預測路徑積分控制（NN-MPPI）進行比較。在所有實驗中，代理都可以訪問訓練好的模型。訓練好的模型是使用與原始 MaxDiff 論文中相同的神經網絡架構獲得的，該論文還包括了與 NN-MPPI 的基準測試。提供給代理的成本在所有實驗中都是相同的，對應于標準環境中定義的負獎勵。圖 5b 顯示了該設置的實驗結果。實驗得出兩個主要觀察結果。首先，DR-FREE 的表現優于所有比較方法，平均而言，即使其他方法的最高誤差條（其他方法的平均值的標準差）也不及 DR-FREE 的平均回報。其次，在一些試驗中，其他方法會因為螞蟻變得不健康而提前終止回合。相比之下，在所有 DR-FREE 實驗中，螞蟻始終保持健康，因此回合不會提前終止。有關詳細信息，請參閱方法和補充信息中的實驗設置；代碼也已提供。

魯棒性是智能代理在現實世界中操作的核心要求。與其將這一要求的實現留給——引用文獻5——訓練中出現的潛在脆弱屬性，DR-FREE通過設計確保了這一核心要求，基于自由能的最小化，并將順序策略優化安裝到一個嚴格的（變分或貝葉斯）框架中。 DR-FREE不僅提供了一個考慮環境不確定性的自由能原理，還提供了解決由此產生的順序策略優化框架的解析引擎。這一里程碑很重要，因為它解決了智能機器在開放世界中操作的挑戰。在此過程中，DR-FREE闡明了不確定性對最優決策的機制作用及其策略支持（貝葉斯）信念更新。DR-FREE確立了在不確定性面前的性能極限，顯示出在非常基礎的層面上，受不確定性影響的代理不可能超越無不確定性的自由能最小化代理。這些分析結果通過我們的實驗得到了證實。

在導航實驗中，我們將一個對不確定性不敏感的自由能最小化代理的行為與裝備有DR-FREE的代理的行為進行了比較。所有實驗都表明，DR-FREE對于機器人在不確定性中成功完成任務至關重要，當我們考慮額外的基準測試和不同環境時，這一點得到了證實。DR-FREE能夠重建支持其在相關方法中表現優越的成本函數。我們的實驗設置不僅對智能機器來說是典范的，強調了不確定性的嚴重后果，而且對自然智能也是如此。例如，通過進化適應，細菌可以導航未知環境，這種對生存至關重要的能力是在幾乎沒有或沒有訓練的情況下實現的。DR-FREE表明，如果細菌遵循一種決策策略，雖然簡單，但預見了促進魯棒性的步驟，這可能是可能的。跑-停運動可能是一種精明的方式實現這一點：通過DR-FREE解釋，翻滾可能是由自由能最大化驅動的，需要在環境中量化不確定性的成本，而跑步則是從考慮這一成本的自由能最小化策略中采樣的。 DR-FREE提供了一個通過自由能最小化實現魯棒決策的模型，魯棒性保證在問題表述中定義——它還開啟了許多跨學科研究問題。 首先，我們的結果表明，從這項工作中產生的一個有前途的研究方向是將DR-FREE與感知和學習相結合，將訓練與策略計算耦合。該框架將在策略計算問題的表述中嵌入分布約束，如在DR-FREE中一樣，同時保留受例如MaxDiff和/或證據自由能最小化啟發的感知和學習機制。該框架將激勵分析研究，以量化集成學習相對于離線管道的好處。沿著這些思路，應該開發分析研究來擴展我們的框架，使其能夠明確考慮代理成本/獎勵中的不確定性。其次，DR-FREE將不確定性半徑作為輸入，這激發了在我們模型中推導半徑估計機制的動機。通過我們的分析結果，我們知道減少不確定性可以提高性能；因此，在我們的框架中整合一種學習不確定性的方法將是朝著不僅魯棒而且反脆弱的代理邁出的有前途的一步。最后，我們的實驗引發了一個更廣泛的問題：在不確定性存在的情況下，什么構成了一個好的生成模型/規劃視野？答案仍然難以捉摸——DR-FREE保證了對不確定性的魯棒性，實驗表明它可以補償糟糕的規劃/模型；然而，例如，通過更多的任務導向模型/規劃，對不確定性不敏感的代理可能會成功。這產生了一個后續問題。在具有挑戰性的環境中，專用模型是否比多用途模型更有利于生存？

如果，引用流行的格言，所有模型都是錯誤的，但有些是有用的，那么放寬對訓練的要求，DR-FREE使更多模型變得有用。這是通過偏離強調訓練的作用和重要性的觀點實現的：在DR-FREE中，重點反而在于嚴格地將魯棒性安裝到決策機制中。憑借其魯棒的自由能最小化原理和解析引擎，DR-FREE表明，沿著這條道路，智能機器可以從很大程度上不完美，甚至糟糕的模型中恢復魯棒策略。我們希望這項工作能夠激勵我們在多智能體設置中部署我們的自由能模型（具有異構代理，如無人機、自主船只和人類）跨越廣泛的應用領域，并結合DR-FREE與深度強化學習，導致學習方案——學習不確定性——在經典方法失敗時成功。在可能更深層次的層面上——因為不確定性是心理學、經濟學和神經科學等跨學科領域的關鍵主題——我們希望這項工作能夠為自然代理如何在幾乎沒有或沒有訓練的情況下在具有挑戰性的環境中穩健操作提供生物學上可信的神經解釋的基礎。

方法

這是對自由能原理的一個擴展，考慮了策略對模型不確定性的魯棒性。我們沒有意識到其他任何考慮這種設置的自由能賬戶，以及相應的無限維優化框架無法用優秀的方法解決。當移除不確定性約束且損失為負對數似然時，我們的公式簡化為主動推理中的預期自由能最小化。在這個特殊情況下，預期的復雜性（即不確定性成本）變成了風險；也就是說，推斷結果與首選結果（即訓練結果）之間的KL散度。預期自由能可以表示為風險加上不確定性；然而，預期自由能中的不確定性涉及生成模型中似然映射的不確定性（即條件熵），而不是我們自由能模型中考慮的關于生成模型的不確定性。 在魯棒和傳統的主動推理中，復雜性項在最優控制和杰恩斯的最大口徑（也稱為路徑熵）或最小熵產生原理之間建立了密切的關系。值得注意的是，為我們在主動推理中的自由能最小化提供一般化，我們的魯棒公式產生了其他流行的計算模型，如KL控制、控制作為推理和線性二次高斯調節器。此外，當損失為負對數似然時，成本函數中變分自由能的負值是證據下界，這是機器學習和逆強化學習中的一個關鍵概念。憑借其解析引擎，DR-FREE表明在這個非常廣泛的設置中，仍然可以計算出最優策略。將MaxDiff與DR-FREE聯系起來。我們首先展示圖2a中的魯棒自由能原理公式具有與（1）相同的最優解。我們有以下恒等式：

解析引擎。變分自由能和不確定性約束在無限維決策變量中都是非線性的，這帶來了許多挑戰，我們通過解析引擎來解決這些問題。解析引擎允許我們處理由我們的魯棒自由能原理產生的順序策略優化框架。我們在這里詳細說明解析引擎，并參考補充信息以獲取正式處理。我們的起點是通過上述順序策略優化框架制定的魯棒自由能原理。這可以通過向后遞歸來解決，其中開始，在每個 k 時需要解決以下優化問題：

主論文中的成本重建是通過找到對問題最優的權重來獲得的，即在去掉成本中的第一項后，因為它不依賴于權重。問題的凸性隨之而來，因為成本函數是凸函數的錐形組合。詳見補充信息。

原文：https://arxiv.org/pdf/2503.13223