貝葉斯深度學習結構化照明顯微術讓超分辨率成像更可靠，還能衡量結果的不確定性。

Bayesian deep-learning structured illumination microscopy enables reliable super-resolution imaging with uncertainty quantification

貝葉斯深度學習結構化照明顯微術讓超分辨率成像更可靠，還能衡量結果的不確定性

光學超分辨率成像的目標是獲取可靠的亞衍射信息，以促進科學發現。結構化照明顯微術（SIM）被認為是活細胞超分辨率成像的最佳方式。盡管最近的深度學習技術已經顯著推動了SIM的發展，但其透明度和可靠性仍然不確定且有待深入研究，這常常導致結果不可靠和對生物現象的錯誤解釋。

在這里，我們開發了貝葉斯深度學習（BayesDL）用于SIM，它增強了對密集標記結構的重建，同時能夠量化超分辨率的不確定性。憑借這種不確定性，BayesDL-SIM實現了高保真度的分布信息引導的SIM成像，允許向用戶傳達關于模型結果的可信度估計。我們還證明了BayesDL-SIM通過識別和防止各種模型誤用場景中的錯誤泛化，提高了SIM的可靠性。此外，BayesDL的不確定性在日常超分辨率成像中具有多種用途，例如誤差估計、數據采集評估等。此外，我們還展示了BayesDL-SIM在活細胞成像中的有效性和優越性，它可靠地揭示了F-肌動蛋白的動態變化以及細胞骨架的重組。這項工作為深度學習基礎的SIM方法在實際應用中的可靠實施奠定了基礎。

近年來，超分辨率（SR）熒光顯微技術得到了迅猛發展，它能夠突破衍射極限，并以前所未有的高分辨率揭示各種生物過程。在眾多超分辨率技術中，結構化照明顯微術（SIM）因其快速成像速度、低光毒性、高光子效率以及與熒光團的出色兼容性，被認為是最有希望用于活細胞成像的技術。SIM通常會在樣本上應用一系列具有不同相位偏移和方向的空間圖案化照明，將通常無法分辨的高頻信息編碼到顯微光學傳遞函數的通帶中。除了硬件部分，作為一種計算超分辨率技術，SIM需要重建算法從原始圖像中提取超分辨率信息，然后生成超分辨率SIM（SR-SIM）圖像。傳統的重建方法基于復雜的頻域工作流程或采用手工制作的分析模型，通常容易產生偽影，或在信號保留和噪聲抑制之間做出妥協。基于深度學習的SIM（DL-SIM）方法利用深度神經網絡（DNN）以數據驅動的方式從配對的原始和SIM數據中捕獲統計知識，與傳統方法相比，展現出顯著優勢，例如更高的保真度和更強的抗噪能力，因此成為SIM計算成像領域的主流標準。

盡管DL-SIM方法廣泛流行，但仍面臨兩個實際挑戰。首先，存在噪聲時的SIM重建本質上是一個不適定的逆問題，這意味著對于任何一組給定的原始圖像，都可能存在許多潛在的超分辨率解決方案。然而，無論輸入圖像的信噪比（SNR）如何，以及是否適用于重建模型，當前的DL-SIM方法只輸出一個重建結果，而不考慮其不適定性或超分辨率信息的正確性。其次，生物樣本/結構的多樣性極高，即使是經驗豐富的用戶也很難判斷輸入圖像是否與訓練好的DL-SIM模型在知識一致性（KC）方面相符，因此評估和量化KC規范對于可靠采用DL-SIM模型至關重要，但到目前為止尚未實現。請注意，模型知識應涵蓋成像統計的所有方面，任何方面的知識不一致（KIC）都會導致性能嚴重下降和明顯的偽影。然而，由于模型知識隱含在預訓練權重中，對用戶來說是不可見的，因此保持KC規范并非易事，尤其是對于沒有太多深度學習經驗的生物學家或新手用戶。

在本工作中，我們開發了一種用于SIM的貝葉斯深度學習（BayesDL）框架。BayesDL-SIM不僅提高了復雜結構的保真度，還能夠量化SIM重建中的不同類型的不確定性，包括隨機不確定性（AleaU）和認知不確定性（EpisU），其中AleaU表征由于原始數據中超分辨率信息不完整而導致的成像不適定性，而EpisU則突出了重建模型在其泛化過程中的知識缺陷。具體來說，通過將潛在的超分辨率流形建模為異方差概率分布，BayesDL-SIM量化了AleaU，并首次實現了精確的分布信息引導的超分辨率成像。此外，我們不是使用確定性模型，而是在隨機貝葉斯神經網絡（BNN）內進行貝葉斯后驗推斷，以量化EpisU。憑借BayesDL-SIM賦予的EpisU，現在可以識別由各種KIC引起的錯誤泛化，從而幫助防止不可靠成像和隨后的生物誤解釋。此外，BayesDL的不確定性還作為一種有價值的工具，在日常超分辨率成像中展現出多種用途，例如超分辨率缺陷估計、數據采集評估等。此外，我們在活細胞成像實驗中展示了BayesDL-SIM的優越性，表明BayesDL-SIM能夠實現活細胞中肌動蛋白動態的高保真度、可靠、長期可視化。

結果

貝葉斯深度學習結構化照明顯微術（BayesDL-SIM）的開發

與目前旨在通過確定性神經網絡學習從原始圖像到高質量真實結構化照明顯微術（GT-SIM）圖像的一一映射關系的DL-SIM方法不同，我們開發了用于SIM的貝葉斯深度學習（BayesDL），這是一個能夠以最高精度推斷超分辨率結構的同時，還能對SIM成像中的兩種不確定性（即隨機不確定性和認知不確定性）進行推理的貝葉斯框架。具體來說，BayesDL-SIM將源于超分辨率不適定性的隨機不確定性（AleaU）形式化為潛在SIM圖像的概率分布，同時將認知不確定性（EpisU）形式化為給定由參數θ參數化的網絡時模型參數θ的概率分布。隨后，BayesDL-SIM預測潛在SIM圖像的分布為：

其中 N 是數據項的數量，是真實的SIM圖像，分別表示估計的高斯均值和標準差，其對參數的依賴關系通過下標 θ 來突出。BayesDL網絡可以通過與成對的原始和真實SIM圖像一起，以端到端的方式訓練來最小化異方差損失。誠然，異方差損失允許在SIM重建的同時量化AleaU。然而，我們發現它可能會損害重建的保真度。為了避免異方差損失對重建質量的不利影響，我們提出了一種解耦訓練（DeT）方案，該方案包括兩個步驟：（1）施加雙域損失來指導與SIM重建相關的參數優化；（2）凍結在第一步中訓練的參數，并應用異方差損失進行AleaU學習。

為了量化EpisU，我們通過將我們的BayesDL網絡轉換為貝葉斯神經網絡（BNN），然后執行貝葉斯后驗推斷來捕獲后驗分布。盡管如此，對于深度神經網絡（DNNs）來說，貝葉斯后驗推斷通常是難以處理的。在這里，我們采用了一種稱為隨機梯度Langevin動力學（SGLD）的近似貝葉斯推斷方法，其基本策略是在訓練期間向參數更新中注入噪聲，以這種方式，模型參數的軌跡將收斂到真實的后驗分布。

在推斷階段，我們還遵循方程（1），并使用蒙特卡洛（MC）技術來近似積分。通過從SGLD推斷的后驗中采樣 θ，可以生成多個推斷（稱為MC樣本）。預測均值作為最終的超分辨率SIM結果，并由以下公式給出：

在這項研究中，我們使用了恒定的五個蒙特卡洛（MC）樣本，以獲得最佳的性能-復雜度權衡（補充圖6）。我們建議感興趣的讀者參閱補充說明4，以獲取有關BayesDL-SIM的開發和實現的完整細節。

BayesDL-SIM實現了精確的分布信息引導的超分辨率成像

首先，我們在多種由熒光蛋白標記的亞細胞結構上測試了BayesDL與其他最先進的SIM方法的重建性能，包括包被網格蛋白的坑（CCPs）、微管（MTs）和F-肌動蛋白。我們觀察到，與DFCAN和RCAN相比，BayesDL-SIM能更精確地重建復雜或微弱的結構，同時防止產生與傳統SIM相比的不良偽影（圖1c和補充視頻1-3）。我們還展示了BayesDL-SIM在處理嘈雜原始數據方面的優越性，其中Hessian-SIM特征是過多的重建偽影，DFCAN和RCAN導致一些詳細結構的混亂或缺失，而BayesDL-SIM表現出優越的抗噪性，并仍然產生忠實的超分辨率SIM結果（補充圖7a和補充視頻1-3）。沿著F-肌動蛋白的線掃描輪廓也表明，BayesDL-SIM結果與真實SIM結果的一致性更好（圖1g和補充圖7e）。此外，為了進一步定量評估DL-SIM方法，我們計算了兩個指標，即峰值信噪比（PSNR）和圖像分辨率，后者通過去相關算法測量，這意味著BayesDL-SIM提供了比其他方法更優的重建保真度和分辨率（圖1b和補充圖7d）。與其他先進SIM方法的更多比較可以參考補充圖9。更重要的是，除了能夠精確預測超分辨率SIM強度（即底層超分辨率分布的均值）之外，BayesDL-SIM還為其重建結果量化了像素級的隨機不確定性（即底層超分辨率分布的標準差），如圖1d和補充圖7b所示，從而捕獲了涵蓋所有可能SIM解決方案的整個超分辨率流形。為了驗證可靠性，我們在每種亞細胞結構上執行了模型校準，表明真實SIM強度的經驗頻率與預測的高斯分布非常匹配（圖1f和補充視頻1-3）。也就是說，BayesDL-SIM精確捕獲了據我們所知，以前SIM方法未實現的底層超分辨率分布。一項相關工作是CARE，它也允許使用拉普拉斯似然估計超分辨率分布。我們全面比較了BayesDL-SIM和CARE-SIM，并證明了BayesDL-SIM優于CARE-SIM，突出表現在交叉絲狀物的保真度顯著提高和校準誤差降低約4倍（補充圖11）。

憑借BayesDL-SIM的分布信息引導的超分辨率成像能力，可以評估SIM重建結果的可信度。直觀地說，具有較小隨機不確定性（AleaU）的像素似乎更可信。然而，我們注意到，隨機不確定性（即標準差）與熒光強度成正比，這給評估不同熒光強度區域的可信度帶來了挑戰。在這里，我們設計了一種可信度分析方法。指定一個錯誤率容忍度（δ），超出此容忍度的結果被認為是不可信的，我們計算在指定容忍度內所有可能強度的累積概率作為可信度，其范圍從0到1（方法和補充圖10）。不出所料，CCP圖像中的非特征區域表現出高可信度，因為這些區域是平坦的，易于重建，而對于MT和F-肌動蛋白，聚焦結構往往比具有失焦熒光背景的區域更可信（圖1e和補充圖7c）。用戶還可以獲得其他定制容忍度δ的所需可信度圖（補充圖10）。分布信息引導成像的另一個有價值方面是，能夠根據用戶指定的可信度概率為每個像素提供可信區間（CI），而不是單一的強度值（方法）。例如，給定高斯分布的3-σ概率（0.9974），可以獲得相應的3-σ CI（淺藍色陰影，圖1g和補充圖7e），這意味著真實熒光強度落在3-σ CI內的概率恒定為0.9974。類似地，用戶也可以以相同的方式定制其他可信度概率的CI。

我們通過分別實現帶有（w/）和不帶有（w/o）DeT方案的BayesDL-SIM，進一步分離了所提出的DeT方案的積極效果。可以觀察到，不使用DeT方案的BayesDL-SIM傾向于產生過度平滑的結果，同時量化的AleaU校準適度，而整合DeT方案可以避免由AleaU學習引起的性能下降，提高SIM保真度，并使校準誤差減少3倍以上（補充圖12a-f）。此外，我們證實DeT方案也可以使概率性CARE-SIM模型受益（補充圖12g-j），表明它是一種通用方法。

BayesDL-SIM因錯誤泛化而警告不可靠的超分辨率成像

在實踐中，DL-SIM模型的一個常見陷阱是，它們只有在符合知識一致性（KC）規范時才能對未見數據進行良好的泛化。然而，由于大規模SIM數據的不可獲取性，DL-SIM模型通常提取特定成像設置的專有知識，而不是通用知識。生物樣本（例如不同的組織、細胞類型）和光學系統（例如不同的顯微鏡模式、成像條件）固有的巨大變異性加劇了SIM模型誤用的風險，這違反了KC規范，導致錯誤泛化，并產生不可靠的超分辨率結果。另一方面，DL-SIM模型是黑盒，它們的錯誤泛化通常只能在事后通過真實SIM圖像來評估，而這些圖像在實踐中往往不可用。因此，開發一種事前評估方法，幫助用戶識別知識不一致（KIC）場景，從而防止錯誤泛化并提高超分辨率的可靠性，是非常必要的。在本節中，我們展示了BayesDL-SIM通過量化認知不確定性（EpisU）為這一挑戰提供了一個有希望的解決方案。

我們首先檢驗用不同亞細胞結構訓練的深度SIM模型是否能夠共享它們的知識。為了處理F-肌動蛋白的原始圖像，與用F-肌動蛋白數據訓練的BayesDL-SIM模型提供的忠實重建相比，用CCP或MT訓練的模型在解析F-肌動蛋白絲方面無能為力，其中許多弱信號被移除，一些強肌動蛋白絲變得不連續。定量測量與我們的視覺觀察結果一致。這種有問題的圖像是由不同亞細胞結構的知識不一致問題引起的，可能在日常成像實驗中不易察覺，特別是對于沒有深度學習經驗的生物學家。幸運的是，我們發現BayesDL-SIM可以成為一個可行的工具，通過在訓練和推理不匹配時，用更高的EpisU（平均增加約400%）標記不可靠超分辨率SIM結果的前景（FG）像素，從而向用戶發出警告，提醒他們對成像結果要小心。

接下來，我們在熒光珠上測試BayesDL-SIM，以識別由密度變化引起的知識不一致問題。將綠色FluoSpheres（Thermofisher，F8803，100納米直徑）以1:1000和1:10,000的稀釋度溶解在雙重蒸餾水中，以產生不同密度的熒光珠。我們通過編程積累了兩個數據集，一個包含正態分布的珠子（密度范圍從0到4 μm^-2），另一個由稀疏珠子組成（密度范圍從0到0.5 μm^-2）。兩個BayesDL網絡分別在這兩個數據集上以相同的程序進行訓練（分別稱為正常密度和稀疏密度模型）。在推理階段，我們注意到正常密度模型能夠為稀疏和密集珠子產生高質量的重建，因為它在訓練期間已經看到了各種密度的珠子，而只提取了關于稀疏珠子知識的稀疏密度模型在處理稀疏珠子方面表現出色，但傾向于過度分離間距較近的珠子。這表明熒光珠密度的知識不一致可能在圖像塊級別出現，然后局部損害模型泛化。更重要的是，BayesDL-SIM能夠敏感地檢測局部密度知識不一致，將忠實重建的珠子標記為可忽略的EpisU，而將過度分離的珠子標記為3-4倍更大的EpisU。

空間采樣率是光學成像系統中另一個具有相當變異性的重要屬性。即使在同一臺顯微鏡中，空間采樣率也可以隨著物鏡的放大倍數和數值孔徑（NA）的不同配置而有很大差異。在DL-SIM成像中，空間采樣率也影響神經網絡中的特征表示，使其成為模型知識的一個重要方面。因此，空間采樣率的知識一致性/不一致性問題值得探索。在這項工作中，樣本通過我們的多模式SIM系統捕獲和數字化，采樣率為每像素31.2納米。為了簡單起見，我們通過2倍上采樣和下采樣模擬其他采樣率的成像，分別對應每像素15.6和62.4納米的采樣率。當將訓練在原始數據（采樣率為每像素31.2納米）上的BayesDL-SIM模型應用于其他采樣率數據的重建時，重建的超分辨率SIM圖像中出現了嚴重的模糊或重影偽影，并伴隨著重建保真度的顯著惡化。這表明空間采樣率也是重建模型的專有知識。同樣，我們在兩個知識不一致案例中觀察到前景EpisU的明顯增加（超過250%），這有效地幫助確定了由于SIM模型缺乏對目標數據的適當采樣率知識而超分辨率的不可靠結構。

此外，我們還證實了遷移學習是緩解知識不一致問題的有效方法，它可以通過在少量目標數據上微調模型權重來幫助縮小模型和數據之間的知識差距。感興趣的讀者可以參考補充說明7和8以獲取更多描述。這些結果確立了我們BayesDL-SIM的可用性和優越性，它為防止DL-SIM模型的知識不一致引起的錯誤泛化以及隨之而來的不可靠超分辨率成像結果提供了一個可行的解決方案。

貝葉斯深度學習（BayesDL）作為一種多功能工具

適用于常規超分辨（SR）成像。在本節中，我們展示了貝葉斯深度學習的多功能性，使其成為常規超分辨成像實驗的有前景的工具。首先，我們說明貝葉斯深度學習量化的不確定性為評估超分辨成像誤差提供了有價值的評估。由于模型容量有限，超分辨成像誤差是不可避免的，而且在沒有作為金標準的真實圖像（GT）的情況下，實際中很難評估這些誤差。盡管已經開發了如SQUIRREL34之類的方法，僅使用衍射受限（例如，寬場）圖像來估計超分辨誤差，但我們發現SQUIRREL的誤差估計與真實重建誤差的分布不同（圖3a–c）。相比之下，我們注意到貝葉斯深度學習的兩種不確定性與真實超分辨誤差的相關性更好，高不確定性值傾向于與顯示出明顯誤差的超分辨結構對齊。為了進一步深入研究，我們通過稀疏化圖35,36（方法）對結構化照明顯微鏡（SIM）重建誤差與貝葉斯深度學習不確定性之間的關系進行了定量分析。在所有三種亞細胞結構中，貝葉斯深度學習不確定性的稀疏化圖與真實超分辨誤差的稀疏化圖的一致性超過了SQUIRREL（圖3d–f）。這些觀察結果展示了貝葉斯深度學習在沒有真實SIM圖像的情況下提供超分辨成像誤差的替代測量的潛在用途。此外，值得注意的是，與表觀不確定性（EpisU）相比，偶然不確定性（AleaU）更能準確地反映超分辨誤差分布（圖3d–f）。

考慮到偶然不確定性（AleaU）表征了原始數據中的超分辨信息質量，貝葉斯深度學習可以用于改善超分辨成像流程中的數據采集。例如，受到更嚴重噪聲污染的原始圖像會導致超分辨結構化照明顯微鏡（SR-SIM）結果的重建保真度降低，同時加劇了超分辨信息提取的模糊性，并導致偶然不確定性（AleaU）增加（補充圖18）。因此，用戶可以優化他們的成像參數，以實現獲取產生盡可能小的偶然不確定性的原始數據的目標。此外，貝葉斯深度學習框架可以擴展到包括其他超分辨成像方法。我們將貝葉斯深度學習應用于具有較少原始圖像的結構化照明顯微鏡（SIM）和使用衍射受限寬場圖像的單圖像超分辨成像（SISR）（補充注釋4d）。類似地，由貝葉斯深度學習量化的偶然不確定性（AleaU）可以評估不同超分辨方法傳達的物理超分辨信息。能夠傳達更多超分辨信息的超分辨方法在解析密集標記樣本方面具有更強的能力，同時產生更小的偶然不確定性（AleaU）（補充圖19）。這種效應在單圖像超分辨成像（SISR）中最為顯著，因為超分辨信息在寬場數據中并不存在，只能通過純模型猜測來生成。

生成對抗網絡（GAN）是熒光成像中另一種流行的神經范式，在以往的研究工作中展現出了強大的能力。貝葉斯深度學習（BayesDL）也適用于基于GAN的超分辨成像，通過引入一個輔助鑒別器為重建模型提供額外的對抗損失（補充注釋4d、e）。盡管GAN模型增強了對致密肌動蛋白網的恢復，并在傅里葉域內更寬的范圍內推斷高頻信息，但超分辨保真度卻遭受了退化（重建誤差平均增加了約40%），如補充圖20a–d所示。基于GAN的成像的一個更嚴重問題是幻覺（hallucination），因為其明確的訓練目標是在成像條件下（即使缺乏足夠的超分辨信息）生成足夠且有說服力的細節。幻覺問題通常過于逼真且微妙，難以檢測。貝葉斯深度學習通過量化GAN模型的表觀不確定性（EpisU），提供了一種有效的幻覺檢測方法。可以看到，GAN偽造的不可靠細節通常被標記為具有大約300%–400%更大的前景表觀不確定性（FG-EpisU），尤其是在低信噪比（SNR）條件下（補充圖20a、e）。根據這些觀察結果，我們認為GAN在高頻增強方面的驚人能力部分來源于生成不可靠的幻覺。當使用基于GAN的模型來表征新的細胞過程時，用戶應對具有顯著表觀不確定性的超分辨結構保持謹慎。

貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）實現了對活細胞中密集F-肌動蛋白的可靠可視化。

憑借貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）卓越的超分辨性能，我們將其應用于探測活細胞標本中的動態生物過程。細胞黏附是細胞在基底上附著和鋪展的基本生物過程，已被證明容易受到以往超分辨顯微鏡采用的高激發功率的影響。在這里，在將表達mEmerald-Lifeact的活細胞放置在蓋玻片上后，我們的貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）在低光照成像條件下實現了長達三小時的細胞黏附長期跟蹤，在此過程中，細胞骨架的重組用于細胞形態調整被清晰地觀察到（圖4a和補充視頻4）。與以往的結構化照明顯微鏡（SIM）方法（包括Hifi-SIM和DFCAN）相比，貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）提高了密集肌動蛋白絲的重建保真度，并實現了高保真度、長期、分布信息指導的活細胞超分辨成像，能夠提供重建可信度圖和強度置信區間（圖4b）。此外，我們還在三種常見的光毒性誘導細胞死亡（KIC）場景中測試了活細胞超分辨成像，表明貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）能夠通過產生1.5-2.5倍更大的前景表觀不確定性（FG-EpisU），在整個成像期間一致地識別由KIC誘導的不可靠結構（圖4c、d和補充視頻4）。

在活細胞超分辨成像中，熒光信噪比（SNR）與成像時長之間存在權衡。保持一個不錯的信噪比水平可能會導致快速光漂白，而降低信噪比水平可能會使原始數據無法使用。為了解決這種權衡，我們采用貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）在極端低信噪比條件下進行活細胞SIM成像。與現有的稀疏結構化照明顯微鏡（Sparse-SIM）和scUNet-SIM相比，貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）在從噪聲原始數據中解析細節方面顯示出更大的能力（補充圖21a和補充視頻5）。更值得注意的是，它能夠可靠地可視化多達10,000幀超分辨圖像的肌動蛋白動態，且沒有明顯的保真度下降（補充圖21b、c和補充視頻5），并且重建的肌動蛋白絲的平均長度持續增加（補充圖21e和補充視頻5）。此外，我們注意到，通過平均光子計數測量的熒光信噪比在成像過程中逐漸下降，相應地，重建結果的前景偶然不確定性（FG-AleaU）也隨之增加（補充圖21d、f）。總體而言，這些數據展示了貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）在活細胞超分辨成像中的可靠性和優越性。

科學超分辨成像的最高優先級是可靠性。然而，以往的超分辨技術通常過于自信，認為其結果是可靠的，而事實并非總是如此。例如，傳統的基于模型的超分辨方法容易產生固定模式的偽影，并且需要精心調整參數以獲得最令人滿意的視覺效果；目前基于深度學習（DL）的方法盲目地進行端到端的圖像轉換，而沒有明確的輸出來告知用戶模型的置信度程度。為了應對超分辨顯微鏡中的可靠性需求，在本研究中，我們為結構化照明顯微鏡（SIM）開發了貝葉斯深度學習（BayesDL）框架，該框架結合了神經網絡和貝葉斯學習，旨在將前者可擴展性和表達能力與后者在不確定性量化方面的優勢相結合。我們強調，貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）的實施與現有的監督深度學習結構化照明顯微鏡（DL-SIM）方法相比，并沒有給數據采集和準備帶來額外的負擔。值得注意的是，所提出的貝葉斯深度學習框架與其他網絡架構具有兼容性和可擴展性。在固定細胞和活細胞上的廣泛實驗表明，所提出的貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）即使在極低信噪比（SNR）條件下，也能顯著提高結構化照明顯微鏡（SIM）的保真度，超越現有的最先進的SIM方法，同時量化其重建的兩種良好校準的不確定性，即偶然不確定性（AleaU）和表觀不確定性（EpisU），從而提高了深度SIM模型的透明度，并有助于防止不可靠的超分辨成像結果。

貝葉斯深度學習（BayesDL）量化的偶然不確定性（AleaU）和表觀不確定性（EpisU）傳達了不同的信息，因此服務于不同的目的。在常規生物成像實驗中，用戶可以首先檢查表觀不確定性（EpisU）圖，以確定模型在已知類別（Known Category，KC）場景中是否正確地進行了泛化。我們已經證實了貝葉斯深度學習表觀不確定性（EpisU）在識別由于錯誤泛化而導致的不可靠超分辨結果方面的有效性，這一效果在多種已知類別外（Known Category Outside，KIC）案例中是一致的。在成功檢查表觀不確定性（EpisU）之后，用戶可以參考偶然不確定性（AleaU）來獲取預測的超分辨分布，而不是當前DL-SIM方法提供的單一重建結果。基于分布信息的超分辨成像，還可以結合統計分析定制可信度和強度置信區間（CIs）。此外，貝葉斯深度學習的兩種不確定性在常規超分辨成像中還顯示出額外的多功能性。例如，偶然不確定性（AleaU）和表觀不確定性（EpisU）都比SQUIRREL更適合作為超分辨成像誤差的替代測量；偶然不確定性（AleaU）可用于數據采集評估，從而指導成像參數的優化；表觀不確定性（EpisU）可用于基于生成對抗網絡（GAN）的成像，以檢測不可靠的幻覺。這些發現確立了貝葉斯深度學習不確定性融入日常超分辨成像實驗的潛力。

盡管貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）表現令人印象深刻，但可以預見其進一步改進。最近發表的一項工作在模型訓練過程中引入不確定性，以調節損失函數中的像素級注意力。受此啟發，我們推測貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）量化的不確定性可以反過來進一步提升SIM重建。此外，我們已經證明了貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）在三維結構化照明顯微鏡（3D-SIM）成像中的優越性。在高信噪比（SNR）條件下，貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）優于其他DL-SIM方法，同時與傳統的Open-3DSIM相當（補充圖22）。即使在低信噪比（SNR）條件下，貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）仍然能夠產生體面的超分辨結構化照明顯微鏡（SR-SIM）結果，且沒有明顯的偽影（補充圖23）。其在三維結構化照明顯微鏡（3D-SIM）重建中不確定性量化的適用性也得到了驗證（補充圖22和23）。鑒于貝葉斯深度學習在單圖像超分辨（SISR）和SIM成像中表現出的有效性，合理推測其積極影響可以擴展到其他超分辨顯微鏡類型（例如，定位顯微鏡和光片顯微鏡）。此外，為了應對在某些苛刻條件下獲取足夠的高質量真實圖像（GT）數據過于繁瑣甚至不切實際的挑戰（例如，快速移動和光敏感的生物過程），將無監督學習或零樣本學習技術與貝葉斯深度學習相結合也將具有價值。

此外，我們希望澄清貝葉斯深度學習（BayesDL）不確定性與NanoJ和rFRC中提出的類似概念之間的區別。首先，NanoJ和rFRC都是用于評估超分辨圖像質量的工具，而貝葉斯深度學習旨在量化基于深度學習的圖像重建中的不確定性。其次，NanoJ通過檢測超分辨圖像與衍射受限圖像之間的差異來識別偽影，因此在超分辨尺度上無能為力。rFRC僅僅訓練兩個模型，并需要對輸入數據進行兩次采樣以大致評估不確定性，實際上無法提供定量和全面的不確定性信息。相比之下，貝葉斯深度學習基于貝葉斯理論開發，通過分布近似和貝葉斯推斷量化偶然不確定性（AleaU）和表觀不確定性（EpisU）。第三，貝葉斯深度學習不確定性已被證明是良好校準的，而其他兩種方法尚未實現。

總之，貝葉斯深度學習（BayesDL）相對于其他DL-SIM方法的主要優勢在于其能夠在已知類別（KC）場景中實現精確的分布信息超分辨成像，同時在已知類別外（KIC）場景中提醒用戶注意錯誤的泛化，從而防止用戶信任不可靠的結果。然而，貝葉斯深度學習（BayesDL）仍然存在一個局限性，即它只能識別各種已知類別外（KIC）場景，但不能直接有效地對KIC數據進行泛化。因此，我們認為開發一種能夠在已知類別外（KIC）場景中有效泛化的通用算法是未來研究的一個有前景的方向。

總體而言，所提出的貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）有助于實現持續高保真的活細胞超分辨成像，并確保現代智能顯微鏡算法后端傳遞的亞衍射信息的可靠性。因此，它代表了促進DL-SIM模型可靠應用的一個顯著進步，并為實用的基于深度學習的計算超分辨顯微鏡的發展奠定了基礎。

方法

多模態結構化照明顯微鏡系統

多模態結構化照明顯微鏡系統是基于一臺發明的熒光顯微鏡（Ti2E，Nikon）構建的。來自激光組合器的激發光包含三條激光束，分別為488 nm（Genesis-MX-SLM，Coherent）、560 nm（2RU-VFL-P-500-560，MPB Communications）和640 nm（LBX-640-500，Oxxius）。這些激光被準直后通過一個聲光可調諧濾波器（AOTF，AOTFnC-400.650，AA Quanta Tech），該濾波器可以根據成像需求靈活選擇激發波長并控制其功率和曝光時間。然后，從AOTF輸出的激光光被擴展并送入一個照明圖案生成器，該生成器由一個偏振分束器、一個消色差半波片和一個鐵電空間光調制器（SLM，QXGA-3DM，Forth Dimension Display）組成。通過調整SLM上顯示的光柵圖案的周期和方向，可以生成不同的照明模式，例如1.41數值孔徑（NA）的全內反射結構化照明顯微鏡（TIRF-SIM）和1.35 NA的3相×3方向的格里諾夫干涉（GI-SIM）。為了最大化圖案對比度，使用由液晶單元（Meadowlark，LRC200）和四分之一波片組成的偏振旋轉器來調整線性偏振，以保持s偏振。除了±1階以外的高衍射階被空間掩模濾除。接下來，激發光被傳遞到物鏡（1.49 NA，Nikon）的后焦平面。由不同照明模式激發的多張原始圖像通過相同的物鏡收集，通過一個分色分束器（Chroma，ZT405/488/560/647tpc）分離，并最終由科學級互補金屬氧化物半導體（sCMOS）相機（Hamamatsu，Orca Flash 4.0 v3）捕獲。

細胞培養和制備

COS-7細胞（如圖4和補充圖21所示）在含有10%胎牛血清（FBS）和1%青霉素及鏈霉素的Dulbecco改良Eagle培養基（DMEM，Gibco）中培養，溫度為37°C，二氧化碳濃度為5%。根據標準程序（Lipofectamine 3000，Invitrogen），細胞通過逆轉錄病毒系統感染以穩定表達Lifeact-mEmerald。轉染后的細胞被接種到50 mg/mL膠原蛋白包被的蓋玻片上，在成像前達到50%-70%的匯合度。

數據采集和預處理

本研究中所有相關數據均使用自制的多模態結構化照明顯微鏡系統采集。為了驗證貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）的優越性，我們使用了我們之前發表的BioSR數據集。對于每種樣本類型，至少采集了50個不同感興趣區域（ROIs）的原始圖像，圖像大小為502×502×9（高度×寬度×幀數）。每個ROI以恒定的1毫秒曝光時間依次捕獲，但至少有9種不同的激發功率水平，以覆蓋各種熒光信噪比（SNR）水平（平均光子計數范圍從0到超過600）。最高信噪比水平的原始圖像隨后通過傳統結構化照明顯微鏡算法重建，以作為大小為1004×1004的相應真實結構化照明顯微鏡（GT-SIM）圖像。為了便于模型訓練，應進行數據預處理步驟。我們首先從所有原始圖像中減去平均相機背景。然后采用滾動球法去除焦外熒光并提高GT-SIM圖像的對比度。此外，為了將熒光強度拉伸至一個共同范圍，對原始圖像和GT-SIM圖像均進行了百分位數歸一化處理：

統計分析和評估方法

可信度評估。貝葉斯深度學習結構化照明顯微鏡（BayesDL-SIM）的分布信息超分辨成像的另一個用途是，它能夠對重建的超分辨結構化照明顯微鏡（SR-SIM）圖像進行可信度評估。偶然不確定性（AleaU）是可信度的直接度量，但它隨著強度的增加而增長。這里我們提出了一種可信度評估方法。首先，用戶需要指定一個錯誤率容忍度（δ），超過此容忍度的超分辨結果被認為是不可信的。也就是說，錯誤率低于容忍度的重建結果被認為是用戶可以使用的。然后，計算在指定容忍度內所有可能強度的累積概率，作為適當的可信度度量：

請注意，計算出的可信度是逐像素估計的，范圍從0到1，值越高表示結果的可信度越好。

模型校準。模型校準通過測量預測概率與觀察頻率之間的一致性，從統計學上評估預測超分辨分布的精確度。給定任何概率κ，我們首先按照方程（6）計算其對應的置信區間CI(κ)。然后我們統計GT-SIM像素的熒光強度落在其對應置信區間CI(κ)內的頻率κ'。通過逐漸調整概率κ從0到1，可以充分描繪概率與頻率之間的相關性，并隨后構成校準圖。直觀上，超分辨分布的預測越準確，與校準圖中的理想校準線κ = κ'的一致性就越高。此外，我們定義了校準誤差的度量，即計算概率與頻率之間的平均絕對誤差（MAE）。校準誤差越小，模型校準得越好。

稀疏化圖。稀疏化圖用于定量和明確地描繪數據實體（例如不確定性與誤差）之間的關系。具體來說，它首先根據預定義的排序標準將重建的超分辨結構化照明顯微鏡（SR-SIM）圖像的所有像素按降序排序，然后逐漸移除一部分像素，并計算剩余像素相對于GT-SIM的MAE。我們分別采用SQUIRREL誤差、偶然不確定性（AleaU）和表觀不確定性（EpisU）作為排序標準。同時，為了參考，還展示了以真實超分辨誤差為排序標準的“預言家”（oracle）。稀疏化圖越接近預言家，其對應的排序標準與真實超分辨誤差的相關性就越好。

FG-AleaU和FG-EpisU。貝葉斯深度學習（BayesDL）為其重建的超分辨（SR）圖像的每個像素量化不確定性。然而，引起用戶興趣的是前景（FG）像素而不是背景像素。為此，我們提出了兩個度量標準，即FG-AleaU和FG-EpisU，以表征FG像素的不確定性。為了簡化符號，這里我們將重建的超分辨圖像稱為，并將AleaU和EpisU都稱為σ。FG-AleaU和FG-EpisU的計算方法如下三個步驟：(1) 對超分辨圖像執行如方程(5)所示的百分位數歸一化；(2) 使用Otsu分割方法對歸一化的超分辨圖像進行分割，然后獲得其對應的FG掩模（記為M）；(3) 根據FG掩模M中非零元素提供的索引，從不確定性圖中提取FG像素的不確定性（即FG-AleaU或FG-EpisU）。

其他評估指標。為了定量評估超分辨圖像的保真度，我們計算了常用的峰值信噪比（PSNR）和結構相似性（SSIM）指標，這些指標是在超分辨圖像和真實圖像（GT-SIM）之間計算的。此外，我們還計算了歸一化均方根誤差（NRMSE），其定義為：

其中 B 是像素數量， 分別表示最大值函數和最小值函數。在超分辨（SR）分辨率評估方面，我們采用去相關分析來從去相關函數的局部最大值估計最高的超分辨頻率。為了定量測量原始結構化照明顯微鏡（SIM）圖像的熒光信噪比（SNR）水平，我們使用平均光子計數的度量。平均光子計數度量的計算詳見補充注釋7。此外，我們通過首先使用Otsu算法對肌動蛋白圖像進行分割，并將結果的二值分割圖轉換為8位類型，來測量不同肌動蛋白絲的長度。然后我們使用ImageJ的插件AnalyzeSkeleton（2D/3D）來提取各種骨架信息，包括骨架化的肌動蛋白長度。

原文：https://www.nature.com/articles/s41467-025-60093-w