從四種主要影像技術看深度學習的飛躍

在醫療影像分析的廣闊天地中，一場靜默的革命正在發生。當人工智能遇見放射學，當海量未標記數據的潛力被釋放，自監督學習正成為連接二者的關鍵橋梁。想象一下，計算機如同一位不知疲倦的醫學生，無需老師指導，便能從數以萬計的X光片中自主學習，提取出肺部結節的特征、心臟異常的模式。本文將探索這項技術如何在X光、CT、核磁共振和超聲這四大放射影像領域帶來診斷能力的質的飛躍，特別是在標記數據稀缺的情況下，如何顯著提升診斷準確性，為醫學影像分析開辟新紀元。

學會自學：自監督學習的奧秘

自監督學習，簡單來說就是讓機器在沒有人工標注的情況下，自己給自己出題、自己解答，從而學到有用的知識。就像一個孩子在看到各種水果后，不需要大人告訴他們哪個是蘋果、哪個是橙子，自己就能發現水果之間的區別——有的圓，有的橢圓；有的紅色，有的綠色。這些自學得來的知識，未來在認識新水果時就能派上用場。

在醫學影像分析中，自監督學習的基本工作流程分為兩步。第一步是＂自我預訓練＂：模型接收大量未標記的醫學影像（比如胸部X光片），通過解決一個預設任務（稱為＂前置任務＂）來學習基本的特征表示。這個前置任務不需要人工標注，完全可以從數據本身生成。第二步是＂有監督微調＂：將預訓練好的模型用于實際的醫學診斷任務，如肺炎檢測或腫瘤識別，此時只需要少量帶標簽的數據進行微調。

目前，自監督學習主要有兩類方法：生成式方法和預測式方法。生成式方法要求模型重建被破壞的影像。比如，在降噪自編碼器中，醫學影像會被添加噪聲，模型需要恢復原始影像；在圖像修復任務中，影像的一部分會被遮擋，模型需要預測被遮擋的內容。這類方法的優勢在于直觀易懂，且能捕捉影像的全局特征。

預測式方法則更加多樣化，包括預測圖像變換、解決拼圖任務等。例如，在旋轉預測任務中，模型需要判斷影像被旋轉的角度；在拼圖任務中，影像被切成小塊并打亂，模型需要恢復正確順序。這些任務看似簡單，實際上要求模型理解影像的結構和組織方式。

近年來，對比學習成為自監督學習的主流方向。它的核心思想是使同一影像的不同變換版本（正樣本對）在特征空間中靠近，而不同影像的變換版本（負樣本對）則遠離。以SimCLR為例，它通過隨機數據增強（如裁剪、旋轉、顏色變換）創建同一影像的兩個視圖，然后使這兩個視圖的特征表示相似。在2020年，Azizi等人將這一方法應用于胸部X光片分析，相比完全監督學習，平均AUC提高了0.01以上。

隨著研究深入，非對比學習方法也嶄露頭角。它們不依賴負樣本對，只需要正樣本對就能學習有用的特征表示。例如BYOL，它使用兩個網絡——一個在線網絡和一個目標網絡，在線網絡學習預測目標網絡的輸出。Nguyen等人在2022年將BYOL應用于胸部X光片分類，取得了比隨機初始化或ImageNet預訓練更好的效果。

理論上，為什么自監督預訓練能提高下游任務的性能？Balestriero與LeCun在2022年提出，只要前置任務中正樣本對之間的關系包含了標簽之間的關系，自監督方法就能為下游任務學到有用的特征。簡單說，如果前置任務能捕捉到與實際診斷相關的變化，那么學到的特征就能幫助診斷。

X光中的奇跡：胸片分析新境界

在所有醫學影像模態中，X光，尤其是胸部X光片（CXR）的自監督學習研究最為豐富。這并非偶然，因為胸部X光檢查是全球最常見的醫學影像檢查之一，且有多個公開的大型數據集如CheXpert、ChestX-ray14和MIMIC-CXR，為研究提供了堅實基礎。

2020年，Zhou等人提出了C2L（聯合嵌入對比學習）方法，它采用批量混合操作和帶動量更新的教師網絡。他們在多個公開數據集上進行預訓練，并在Chest X-ray14、CheXpert和RSNA肺炎數據集上評估，結果顯示C2L優于ImageNet預訓練的監督模型和MoCo預訓練的自監督模型。具體來說，使用ResNet18作為骨干網絡時，C2L在Chest X-ray14上的平均AUC達到0.8350，而ImageNet預訓練僅為0.8150；使用DenseNet121時，C2L達到0.8440，ImageNet預訓練為0.8290。

Azizi等人的Multi-Instance對比學習進一步擴展了正樣本對的定義，將同一患者的不同胸片視為正樣本對，從而利用數據集中已有的信息來增強前置任務的難度。他們的實驗揭示了幾個關鍵發現：首先，用ImageNet預訓練的權重初始化自監督預訓練效果最佳；其次，自監督預訓練模型在外部數據集Chest X-ray14上的表現優于完全監督模型，表明自監督學習提高了模型的泛化能力。

非對比學習方法在胸片分析中也有出色表現。Mondal等人在2022年使用BYOL預訓練CheXpert數據集上的模型，然后在COVIDx CXR-2數據集上進行COVID-19分類，比隨機初始化的模型準確率提高了約1%。這表明即使是針對新出現的疾病，自監督預訓練仍能提供有價值的特征表示。

除了對比和非對比學習，研究者還探索了其他前置任務。Pang等人提出了POPAR，通過拼圖打亂和恢復來預訓練視覺Transformer，在Chest X-ray14上的平均AUC達到0.8181，優于隨機初始化（0.7429）和ImageNet預訓練（0.8132）。Ma等人展示了掩碼圖像建模對視覺Transformer胸片任務的好處，使用Swin-B架構在Chest X-ray14上達到0.8195的AUC，比隨機初始化（0.7704）提高了約5個百分點。

多模態前置任務也為胸片分析帶來突破。Ji等人預訓練了一個網絡，學習配對的胸片和放射學報告的相似表示。Tiu等人最大化了MIMIC-CXR數據集中胸片圖像和報告＂印象＂部分的余弦相似度。有趣的是，他們沒有進行微調，而是通過提供文本提示進行零樣本學習（例如＂氣胸＂和＂無氣胸＂），模型表現幾乎匹敵完全監督方法。這種方法的成功得益于如MIMIC-CXR這樣同時包含影像和醫生報告的數據集。

在乳腺癌識別方面，Truong等人發現解決拼圖前置任務的預訓練改善了惡性乳腺病變的預測，特別是在只有四分之一標簽可用的情況下。You等人展示了對比學習前置任務優于基線，他們的前置任務獨特之處在于將同一乳房的多個視圖視為正樣本對。將雙側乳房攝影作為正樣本對也改善了乳腺癌篩查模型的性能。BYOL預訓練也被證明能提高乳腺腫瘤分割效果。

在口腔放射影像領域，Taleb等人研究了SimCLR、Barlow Twins和BYOL預訓練CNN檢測齲齒的效果，僅使用152幅圖像微調就將敏感性提高了6%，并且優于人類表現。Hu等人觀察到，使用重建前置任務預訓練改善了下游的頜骨腫瘤和囊腫的分類與分割。

值得注意的是，盡管多項研究表明自監督預訓練優于從零開始訓練，但與ImageNet預訓練相比的結果卻不一致。有些研究顯示自監督預訓練優于ImageNet預訓練，而另一些則顯示兩者相當或前者稍遜。這可能與具體任務、數據集大小以及預訓練方法有關。2D CNN或視覺Transformer的自監督預訓練并不總是明顯優于ImageNet預訓練初始化，這點在Models Genesis、Semantic Genesis和Parts2Whole等方法的評估中有所體現。

總結來說，自監督預訓練在X光影像分析中展現了巨大潛力，尤其是在標記數據稀缺的情況下。它不僅提高了模型性能，還增強了模型對外部數據集的泛化能力。研究表明，將臨床知識融入前置任務設計是一個有前途的方向，如利用多視圖檢查、配對報告等現有醫學信息來定義更有意義的正樣本對關系。

影像三兄弟：多模態自監督突破

在醫學影像的世界里，CT、MRI和超聲被視為X光的＂升級版＂，它們能提供更豐富的結構信息，但標注成本也更高。CT掃描是三維的，需要專業醫生逐層標注；MRI能區分不同軟組織，但數據量巨大；超聲則添加了時間維度，圖像質量受操作者影響大。這三種模態的自監督學習應用展現出豐富多彩的前景。

在CT領域，肺結節檢測是最熱門的應用之一。LIDC-IDRI數據庫作為公開的帶標注的CT掃描集合，包含了詳細的肺結節標注和分割掩碼，成為了諸多自監督研究的試驗場。2019年，Zhou等人提出了Models Genesis，一種針對3D醫學圖像的恢復式預訓練方法。具體做法是對CT子體積應用非線性平移、像素打亂、裁剪和掩蔽等變換，然后訓練一個編碼器-解碼器CNN來恢復原始子體積。在LUNA2016挑戰數據集上，使用Models Genesis預訓練的3D CNN達到了0.9834的測試AUC，遠高于從零訓練的0.9603。有趣的是，2D CNN使用Models Genesis預訓練雖然比隨機初始化好，但不如使用ImageNet預訓練的權重。

基于Models Genesis，Haghighi等人在2021年提出了Semantic Genesis，增加了一個分類損失到重構損失中。分類任務是預測子區域屬于哪個類別，這些類別是根據預訓練自編碼器潛在空間的聚類構建的。Semantic Genesis的3D模型在LUNA2016上達到了0.9847的AUC，進一步提升了性能。2022年，Feng等人提出Parts2Whole，任務是從隨機子體積重構整個CT體積，在同樣的數據集上達到了0.9867的AUC，成為當時的最高分。

腦出血檢測是CT自監督應用的另一個成功案例。Zhuang等人訓練了一個3D CNN分類器來檢測腦出血，應用了一個他們戲稱為＂解魔方＂的自定義前置任務。這個任務是預測應用于立方體輸入的8個子體積的隨機排列和旋轉。他們的自定義預訓練使準確率比從零訓練提高了11.2%。

在COVID-19診斷方面，多項研究證明了自監督學習的價值。Ewen和Khan在公開的COVID-CT數據集上取得了不錯的性能，而他們使用的前置任務看似平凡——預測CT掃描是否在矢狀平面上水平反射。Lu和Dai進行了兩輪使用MoCo的對比預訓練，一輪在LUNA2016數據集上，第二輪在擴展版的COVID-CT上。評估結果顯示，這種方法優于ImageNet預訓練。

器官和腫瘤分割是CT自監督學習的另一大應用。多項研究在NIH Pancreas-CT數據集上報告了胰腺腫瘤分割的結果。Zheng等人的切片打亂重構預訓練達到了0.8621的Dice得分，優于隨機初始化的0.8569。Tao等人的Rubik＇s cube++方法達到了0.8408，而Yang等人的VoxSeP達到了0.8571，都顯著優于基線。在LiTS2017肝臟腫瘤分割基準測試中，Models Genesis（3D）達到了0.8510的IoU，Parts2Whole達到了0.8670，United達到了0.8653，都大幅超過了從零訓練的0.7782到0.7976。

MRI自監督應用同樣豐富多彩。在腦腫瘤分割任務上，BraTS挑戰賽是一個常用的多模態MRI分割基準。多種重構前置任務被提出，如Chen等人的圖像塊位置交換、Kayal等人的3D超體素修復、Taleb等人的多模態拼圖以及Huang等人的邊界區域加權掩蔽重構。Kayal的方法使得他們的3D CNN顯著優于隨機初始化的基線，即使在所有訓練標簽都包括在內的情況下也是如此。

在精神疾病檢測方面，自監督預訓練也取得了成功。Mahmood等人開發了1D CNN，在靜息態功能性MRI時間序列上檢測阿爾茨海默病、精神分裂癥和自閉癥。他們使用的對比前置任務將時間序列的片段和整體視為一對，這改善了所有三個分類器的AUC。Zhao等人提出了一種前置任務，結合了基本的自編碼器和均方誤差，以及一個旨在強制同一患者在兩個時間點拍攝的體積表示在潛在空間中具有方向性的正則化器。他們的方法使預訓練模型的測試AUC比前一項工作提高了0.076。

超聲影像的自監督研究相對較少，但仍有一些成功案例。在乳腺超聲惡性腫瘤識別方面，Lin等人提出了一種視頻特定的前置任務，預訓練編碼器-解碼器架構以恢復隨機掩蔽整幀和剩余幀中的補丁后的超聲視頻。在私有數據集上進行半監督微調用于良惡性病變分類時，掩蔽視頻預訓練比隨機初始化提高了1%的準確率。

在超聲心動圖任務中，Anand等人評估了多種聯合嵌入SSL方法（如SimCLR、MoCoV2、BYOL、DINO）在視圖分類任務上的表現。他們發現預訓練不僅優于隨機和ImageNet預訓練初始化，而且預訓練使用更多未標記數據會擴大性能差距。Dezaki等人設計了一個多方面的定制前置任務，包括重新排序連續幀的打亂三元組，最小化連續幀的嵌入并最大化時間上遠離的幀的嵌入，以及最小化來自多個視圖的對應于心動周期中相同點的幀的嵌入差異。盡管在使用所有標簽時，完全監督學習與自監督預訓練相當，但在標簽較少時，SSL大大提高了性能。

甲狀腺結節評估是超聲的另一個重要應用。Zhao和Yang預訓練了一個區分良惡性結節的分類器，使用公開的TN-SCUI2020數據集。他們將先前醫學知識整合到對比前置任務中，該任務旨在最小化手工制作的放射組學特征和原始超聲圖像嵌入之間的差異。他們的方法優于隨機初始化和使用通用前置任務的預訓練。

未來方向：從實證走向理論

自監督學習的成功不僅僅是實驗結果的堆砌，更需要理論指導與實踐總結。通過對大量文獻的梳理，我們可以歸納出幾個關鍵的發展方向和建議。

低標記場景是自監督學習的最大價值所在。多項研究一致表明，當標簽數量有限時，自監督預訓練帶來的性能提升最為顯著。Chen等人通過限制可用于下游微調的標簽數量，證明了自監督預訓練在使用25%和50%數據集時帶來的改進。Truong等人也觀察到，在只有四分之一標簽可用時，預訓練解決拼圖前置任務改善了惡性乳腺病變的預測。

在實踐中，一個常見策略是比較在不同標簽可用性分數下完全監督和自監督模型的性能。Azizi等人以及Dezaki等人的實驗都顯示，隨著可用標簽減少，自監督預訓練的優勢越來越明顯。這一現象不僅限于某一種模態或任務，而是在X光、CT、MRI和超聲的各種應用中都有體現。由此可見，自監督學習是解決醫學影像領域標簽稀缺問題的有力工具。

理論支持與實證方法的結合是未來研究的重要方向。目前，許多針對特定任務的SSL方法往往依靠直覺而非嚴格的理論基礎。它們通常根據臨床和/或背景知識來設計前置任務，但這些選擇主要是基于直覺的。隨著研究深入，需要更多理論工作來指導前置任務的選擇和設計。

Balestriero與LeCun的工作為此提供了一個框架，他們證明只要前置任務中正樣本對之間的關系包含了標簽之間的關系，SSL方法就能為下游任務學到有用的特征。這一理論指導了Fernandez-Quilez等人修改SimCLR的數據轉換分布，使其捕捉不會改變標簽的差異。Azizi等人則擴展了成對關系，將同一病理的多個采集視圖包括在內。這些策略利用了現有的臨床知識，而不需要額外的標簽工作。

未來的方法應盡可能應用經過理論證明的方法進行SSL預訓練；否則，在提出優于常規方法的主張時，應進行統計顯著性測試。此外，研究者還應考慮利用多視圖檢查、多模態研究、隨附的放射學報告和DICOM標簽等＂免費＂的臨床知識來源。

可比較與可重復的基準測試對推動領域發展至關重要。醫學影像機器學習的一個長期問題是缺乏公共數據集，這阻礙了結果的可復制性。本綜述中許多提出新型SSL方法的研究僅在私有數據集上進行評估，導致許多結果無法直接比較。

建議提出新型SSL方法的作者使用公共數據集評估其方法，或者除了私有數據集外，還包括公共數據集的結果。評估公共數據集時，研究者應使用與前人研究相同的訓練/測試分割。此外，作者應努力在標準公共數據集上評估時使用相同的預訓練和訓練集。

預訓練對模型泛化能力的影響也值得深入研究。在不同分布下訓練的機器學習模型容易出現性能下降。偏差可能來自訓練集中混雜或中介變量的分布，如標簽差異、患者人口統計、采集技術和設備制造商。外部驗證因此成為部署前的關鍵步驟。

一些研究報告了自監督預訓練在外部測試集上表現的改進。Azizi等人發現，在CheXpert上進行自監督預訓練并在Chest X-ray14上評估的模型優于在Chest X-ray14上訓練的完全監督模型。Tiu等人和Wang等人也觀察到類似的改進。這些發現暗示自監督學習可能有助于提高模型的泛化能力，但需要更多工作來確認這一現象。

綜上所述，自監督學習為放射學影像分析開辟了新的可能性，特別是在標簽稀缺的情況下。通過充分利用未標記數據，整合臨床知識，理論與實踐相結合，自監督學習有望進一步提升醫學影像分析的能力和效率，造福醫療實踐。

參考資料

1. VanBerlo， B.， Hoey， J.， &； Wong， A. （2023）. A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images. arXiv preprint arXiv:2309.02555.

2. Shurrab， S.， &； Duwairi， R. （2022）. Self-supervised learning methods and applications in medical imaging analysis: A survey. Artificial Intelligence in Medicine， 102333.

3. Zhou， L.， et al. （2022）. Models Genesis: Self-supervised Learning Framework for Domain Adaptive Medical Image Analysis. Medical Image Analysis， 79， 102447.

4. Azizi， S.， et al. （2021）. Big Self-Supervised Models Advance Medical Image Classification. In Proceedings of the IEEE/CVF International Conference on Computer Vision.