視覺(jué)變換器在肺癌診斷與預(yù)后中的革新：從分類到生存預(yù)測(cè)

醫(yī)學(xué)影像診斷領(lǐng)域正悄然發(fā)生革命，視覺(jué)變換器這一人工智能新銳力量，正以驚人的速度改變著肺癌診斷與預(yù)后的游戲規(guī)則。從肺部CT掃描到病理切片，這些智能模型如同訓(xùn)練有素的放射科醫(yī)生，能夠捕捉影像中隱藏的微妙特征，甚至能預(yù)測(cè)患者的生存期。然而，這場(chǎng)技術(shù)革命也面臨著計(jì)算資源需求巨大、臨床轉(zhuǎn)化路徑不明晰等挑戰(zhàn)。隨著中國(guó)和美國(guó)研究者引領(lǐng)這一領(lǐng)域的快速發(fā)展，我們不禁要問(wèn)：這些先進(jìn)算法是否真能突破傳統(tǒng)影像診斷的瓶頸，為肺癌患者帶來(lái)生存希望？

智能革新路

肺癌作為全球范圍內(nèi)高致死率的癌癥之一，其早期診斷與準(zhǔn)確預(yù)后評(píng)估對(duì)患者生存至關(guān)重要。長(zhǎng)期以來(lái)，醫(yī)學(xué)影像技術(shù)如CT掃描、X光、PET和MRI在肺癌的診斷、預(yù)后和早期檢測(cè)中扮演著至關(guān)重要的角色。傳統(tǒng)上，這些影像需要經(jīng)驗(yàn)豐富的放射科醫(yī)生進(jìn)行解讀，這不僅耗時(shí)，還可能受到人為誤差和觀察者間差異的影響。

2017年前后，人工智能方法特別是深度學(xué)習(xí)模型開(kāi)始在醫(yī)療影像自動(dòng)化處理領(lǐng)域嶄露頭角。卷積神經(jīng)網(wǎng)絡(luò)（CNN）曾一度主導(dǎo)這一領(lǐng)域，在各種醫(yī)學(xué)影像應(yīng)用中展現(xiàn)出顯著的改進(jìn)。然而，隨著技術(shù)的不斷演進(jìn)，研究人員發(fā)現(xiàn)CNN存在一個(gè)重大缺陷：它們難以捕捉圖像中的長(zhǎng)程依賴關(guān)系，如無(wú)法有效提取上下文信息和物體之間的非局部關(guān)聯(lián)。

2020年，Dosovitskiy及其團(tuán)隊(duì)創(chuàng)新性地將自然語(yǔ)言處理中的變換器技術(shù)應(yīng)用到了圖像處理領(lǐng)域，開(kāi)發(fā)出了視覺(jué)變換器（Vision Transformer，簡(jiǎn)稱ViT）。這種新型模型將圖像分類視為一系列圖像塊的序列預(yù)測(cè)任務(wù)，能夠捕捉圖像內(nèi)部的長(zhǎng)期依賴關(guān)系。與CNN相比，視覺(jué)變換器在處理全局信息時(shí)表現(xiàn)出了明顯的優(yōu)勢(shì)。

在醫(yī)學(xué)影像領(lǐng)域，視覺(jué)變換器的應(yīng)用如雨后春筍般興起。2022年的統(tǒng)計(jì)數(shù)據(jù)顯示，中國(guó)和美國(guó)研究人員分別發(fā)表了21篇和8篇相關(guān)研究，占據(jù)了這一領(lǐng)域研究的絕大部分比例。這些研究覆蓋了肺癌診斷與預(yù)后的多個(gè)方面，包括肺癌類型分類、腫瘤分割、結(jié)節(jié)檢測(cè)和生存預(yù)測(cè)等。

視覺(jué)變換器的獨(dú)特之處在于其能夠關(guān)注圖像的全局特征，不受感受野大小的限制。這一特性在處理醫(yī)學(xué)影像時(shí)尤為重要，因?yàn)獒t(yī)學(xué)圖像中的病變往往需要結(jié)合周圍組織和整體結(jié)構(gòu)來(lái)判斷。例如，在肺部CT圖像中，良性和惡性結(jié)節(jié)的區(qū)分不僅需要觀察結(jié)節(jié)本身的特征，還需要考慮其與周圍組織的關(guān)系。

值得注意的是，研究人員并沒(méi)有完全拋棄CNN，而是將視覺(jué)變換器與CNN結(jié)合，創(chuàng)造出更強(qiáng)大的混合模型。2022年發(fā)表的7項(xiàng)研究展示了將視覺(jué)變換器與CNN結(jié)合的方法，這種組合利用了CNN在提取局部特征方面的優(yōu)勢(shì)和視覺(jué)變換器在捕捉全局關(guān)系方面的能力，形成了互補(bǔ)效應(yīng)。

在技術(shù)實(shí)施方面，幾乎半數(shù)研究（18篇）使用了PyTorch框架，這反映了PyTorch在深度學(xué)習(xí)研究中的主導(dǎo)地位。計(jì)算資源需求方面，雖然有些研究使用了多達(dá)48個(gè)GPU的集群，但大多數(shù)研究?jī)H使用了1-4個(gè)GPU，這表明視覺(jué)變換器模型雖然計(jì)算密集，但通過(guò)合理設(shè)計(jì)，也可以在較為普通的硬件上實(shí)現(xiàn)。

多維應(yīng)用譜

在肺癌應(yīng)用領(lǐng)域，視覺(jué)變換器展現(xiàn)出了令人印象深刻的多功能性。研究數(shù)據(jù)表明，34項(xiàng)納入研究中，有11項(xiàng)（占比32%）專注于肺癌類型的分類任務(wù)，15項(xiàng)（占比44%）致力于預(yù)測(cè)腫瘤生長(zhǎng)或疾病進(jìn)程，6項(xiàng)（約18%）關(guān)注肺部腫瘤或結(jié)節(jié)的分割，還有少量研究進(jìn)行肺結(jié)節(jié)檢測(cè)。

肺癌類型分類是視覺(jué)變換器最常見(jiàn)的應(yīng)用之一。鑒別肺鱗狀細(xì)胞癌和肺腺癌是這類研究的核心任務(wù)，這對(duì)確定治療方案至關(guān)重要。例如，2021年Shao等人開(kāi)發(fā)的TransMIL模型采用變換器架構(gòu)處理全幻燈片圖像（WSI），在區(qū)分肺癌亞型方面取得了優(yōu)于傳統(tǒng)方法的成績(jī)。這類模型的特點(diǎn)是能夠從大量醫(yī)學(xué)圖像中自動(dòng)提取關(guān)鍵特征，減少人工解讀的主觀性。

良惡性肺結(jié)節(jié)的區(qū)分是另一個(gè)重要應(yīng)用。2022年，Wu等人使用Swin Transformer模型來(lái)區(qū)分良性和惡性肺部結(jié)節(jié)，該模型在公共數(shù)據(jù)集上達(dá)到了高達(dá)95%的準(zhǔn)確率。Swin Transformer作為視覺(jué)變換器的一種變體，通過(guò)引入移動(dòng)窗口注意力機(jī)制，在處理醫(yī)學(xué)圖像中的細(xì)微差異時(shí)表現(xiàn)出色。

視覺(jué)變換器在肺癌患者生存預(yù)測(cè)方面也顯示出巨大潛力。2022年，Chen等人開(kāi)發(fā)的多模態(tài)協(xié)同注意力變換器能夠分析千兆像素級(jí)別的全幻燈片圖像，預(yù)測(cè)肺癌患者的生存期。這類模型的創(chuàng)新之處在于能夠整合病理學(xué)圖像和基因組學(xué)數(shù)據(jù)，提供更全面的預(yù)后評(píng)估。

在肺部結(jié)節(jié)分割方面，視覺(jué)變換器與UNet模型的結(jié)合產(chǎn)生了顯著效果。2022年，Dhamija等人提出了將卷積和變換器網(wǎng)絡(luò)融合的方法，在肺部結(jié)節(jié)分割任務(wù)中取得了88%以上的Dice相似系數(shù)（DSC），這一指標(biāo)衡量了分割結(jié)果與真實(shí)標(biāo)注的重疊度。

數(shù)據(jù)類型方面，22項(xiàng)研究使用了公開(kāi)可用的數(shù)據(jù)，6項(xiàng)使用私人收集的數(shù)據(jù)，另有6項(xiàng)同時(shí)使用了公開(kāi)和私人數(shù)據(jù)集。在這些研究中，約三分之二（21項(xiàng)）使用了肺部CT掃描，而三分之一（11項(xiàng)）使用了組織病理學(xué)或全幻燈片圖像。最常用的公共數(shù)據(jù)集包括肺成像數(shù)據(jù)庫(kù)聯(lián)盟（LIDC-IDRI）、癌癥基因組圖譜（TCGA）和LUNA16數(shù)據(jù)集。

在技術(shù)實(shí)現(xiàn)方面，研究者們展現(xiàn)出了多樣化的方法。除了單純使用視覺(jué)變換器外，不少研究將其與其他技術(shù)結(jié)合。例如，一些研究將視覺(jué)變換器與CNN結(jié)合，另一些則將其與UNet模型融合，還有研究探索了視覺(jué)變換器與圖網(wǎng)絡(luò)的組合。特別是SWIN變換器（一種能更好處理高分辨率圖像的變換器變體）作為6項(xiàng)研究的骨干架構(gòu)，顯示出在肺癌影像分析中的突出優(yōu)勢(shì)。

評(píng)估這些模型性能的指標(biāo)主要包括準(zhǔn)確率和ROC曲線下面積（AUC），每項(xiàng)在16項(xiàng)研究中被報(bào)告。其他常用指標(biāo)包括特異性（11項(xiàng)研究）、敏感性（9項(xiàng)研究）、Dice相似系數(shù)（7項(xiàng)研究）和一致性指數(shù)（6項(xiàng)研究）。這些多元化的評(píng)估指標(biāo)反映了視覺(jué)變換器在肺癌應(yīng)用中的全面性能表現(xiàn)。

總體而言，視覺(jué)變換器在肺癌應(yīng)用中展現(xiàn)出了從診斷分類到預(yù)后預(yù)測(cè)的全方位能力。通過(guò)捕捉醫(yī)學(xué)圖像中的復(fù)雜特征和長(zhǎng)程依賴關(guān)系，這些模型正在改變傳統(tǒng)醫(yī)學(xué)影像解讀的范式，為肺癌患者帶來(lái)更精準(zhǔn)、更個(gè)性化的診療可能。

數(shù)據(jù)實(shí)踐論

在視覺(jué)變換器肺癌應(yīng)用的研究中，數(shù)據(jù)集的選擇和質(zhì)量直接影響著模型的性能和可靠性。公共數(shù)據(jù)集在這一領(lǐng)域扮演著核心角色，它們不僅提供了標(biāo)準(zhǔn)化的測(cè)試基準(zhǔn)，還促進(jìn)了研究成果的可比較性和可重復(fù)性。根據(jù)2022年的統(tǒng)計(jì)，在34項(xiàng)納入研究中，有22項(xiàng)完全依賴公共數(shù)據(jù)集，6項(xiàng)使用私人收集的數(shù)據(jù)，另有6項(xiàng)同時(shí)使用了公共和私人數(shù)據(jù)。

肺成像數(shù)據(jù)庫(kù)聯(lián)盟（LIDC-IDRI）是最受歡迎的數(shù)據(jù)集之一，被6項(xiàng)研究采用。這個(gè)數(shù)據(jù)集包含了1018例胸部CT掃描，每例都有多位放射科醫(yī)生的標(biāo)注，為肺結(jié)節(jié)檢測(cè)和分類研究提供了寶貴資源。癌癥基因組圖譜（TCGA）數(shù)據(jù)集同樣受到廣泛使用，特別是在處理肺鱗狀細(xì)胞癌和肺腺癌分類任務(wù)時(shí)。LUNA16數(shù)據(jù)集作為另一個(gè)重要資源，被4項(xiàng)研究采用，其特點(diǎn)是專注于肺結(jié)節(jié)檢測(cè)與分割。

這些公共數(shù)據(jù)集的規(guī)模各不相同。例如，LC25000數(shù)據(jù)集包含25，000張肺癌和結(jié)腸癌的組織病理學(xué)圖像，而NLST（國(guó)家肺篩查試驗(yàn)）數(shù)據(jù)集則包含了超過(guò)53，000名參與者的低劑量CT掃描。數(shù)據(jù)集的多樣性對(duì)于訓(xùn)練魯棒的模型至關(guān)重要，不同的數(shù)據(jù)來(lái)源和采集環(huán)境可以幫助模型學(xué)習(xí)更加通用的特征。

計(jì)算資源需求是視覺(jué)變換器應(yīng)用的另一個(gè)關(guān)鍵方面。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)相比，視覺(jué)變換器通常需要更多的計(jì)算資源和內(nèi)存。在已發(fā)表的研究中，GPU使用情況差異明顯。最極端的例子是一項(xiàng)研究使用了48個(gè)NVIDIA V100 GPU的集群進(jìn)行訓(xùn)練，而大多數(shù)研究則使用了1-4個(gè)GPU。

具體來(lái)看，3項(xiàng)研究使用了單個(gè)NVIDIA RTX 2080Ti GPU（通常具有11GB顯存），4項(xiàng)研究使用了NVIDIA V100 GPU（其中一項(xiàng)使用了4個(gè)V100），3項(xiàng)研究使用了單個(gè)NVIDIA RTX 3090 GPU。這種多樣化的硬件配置反映了視覺(jué)變換器模型在不同規(guī)模項(xiàng)目中的適應(yīng)性，同時(shí)也提示了計(jì)算資源在該領(lǐng)域研究中的重要性。

模型評(píng)估方面，研究人員采用了多種驗(yàn)證方法和評(píng)估指標(biāo)。最常見(jiàn)的是將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，約有11項(xiàng)研究采用這種方法。交叉驗(yàn)證也很受歡迎，8項(xiàng)研究使用了5折交叉驗(yàn)證，6項(xiàng)使用了10折交叉驗(yàn)證。這些不同的驗(yàn)證策略旨在確保模型的泛化能力，避免過(guò)擬合現(xiàn)象。

評(píng)估指標(biāo)方面，準(zhǔn)確率和ROC曲線下面積（AUC）是最常用的兩個(gè)指標(biāo)，各有16項(xiàng)研究報(bào)告。特異性（11項(xiàng)）、敏感性（9項(xiàng)）、Dice相似系數(shù)（7項(xiàng)）和一致性指數(shù)（6項(xiàng)）也被廣泛采用。Dice相似系數(shù)主要用于評(píng)估分割任務(wù)的性能，而一致性指數(shù)則常用于評(píng)估生存預(yù)測(cè)模型。這些多樣化的指標(biāo)從不同角度評(píng)估了模型性能，提供了全面的性能畫(huà)像。

研究結(jié)果的可重復(fù)性是科學(xué)研究的基礎(chǔ)，但在視覺(jué)變換器肺癌應(yīng)用研究中，這一點(diǎn)顯得尤為薄弱。在34項(xiàng)研究中，僅有9項(xiàng)（約26%）提供了GitHub鏈接分享實(shí)現(xiàn)代碼。這種低共享率限制了研究社區(qū)的協(xié)作與進(jìn)步，也使得結(jié)果驗(yàn)證變得困難。

2022年，數(shù)據(jù)顯示使用視覺(jué)變換器的肺癌應(yīng)用研究呈爆發(fā)式增長(zhǎng)，單年就發(fā)表了28項(xiàng)研究，而2021年僅有4項(xiàng)，2020年只有2項(xiàng)。這一趨勢(shì)反映了研究者對(duì)這一技術(shù)在肺癌應(yīng)用中潛力的認(rèn)可，也預(yù)示著這一領(lǐng)域可能會(huì)繼續(xù)蓬勃發(fā)展。

挑戰(zhàn)未來(lái)圖

盡管視覺(jué)變換器在肺癌診斷與預(yù)后評(píng)估中展現(xiàn)出了巨大潛力，但這一領(lǐng)域仍面臨著多重挑戰(zhàn)。計(jì)算復(fù)雜性是最突出的問(wèn)題之一。視覺(jué)變換器模型本身就具有較高的計(jì)算復(fù)雜度，當(dāng)處理高分辨率醫(yī)學(xué)圖像時(shí)，這一問(wèn)題更加突出。特別是在處理全幻燈片病理圖像時(shí)，這些圖像可以達(dá)到千兆像素級(jí)別，即使是強(qiáng)大的GPU也難以直接處理。

從實(shí)際應(yīng)用角度看，計(jì)算資源需求與臨床相關(guān)性之間的平衡尤為重要。雖然使用48個(gè)V100 GPU的集群可以訓(xùn)練出高性能模型，但這樣的硬件配置在大多數(shù)醫(yī)療機(jī)構(gòu)中是不現(xiàn)實(shí)的。如何在有限的計(jì)算資源下保持模型性能，成為研究者面臨的關(guān)鍵挑戰(zhàn)。一些研究已經(jīng)開(kāi)始探索模型壓縮、知識(shí)蒸餾等技術(shù)，試圖減輕計(jì)算負(fù)擔(dān)。例如，2022年Chen團(tuán)隊(duì)提出的層次化自監(jiān)督學(xué)習(xí)方法，能夠有效處理千兆像素級(jí)別的圖像，同時(shí)保持計(jì)算效率。

模型可解釋性的缺失是另一個(gè)關(guān)鍵挑戰(zhàn)。視覺(jué)變換器與大多數(shù)深度學(xué)習(xí)模型一樣，常被視為＂黑盒＂，其決策過(guò)程難以解釋。在醫(yī)療領(lǐng)域，特別是在涉及生死攸關(guān)的肺癌診斷中，理解模型為什么做出特定決策至關(guān)重要。醫(yī)生和患者都需要了解算法推薦背后的理由，以建立對(duì)AI系統(tǒng)的信任。

在已發(fā)表的研究中，只有少數(shù)關(guān)注了模型的可解釋性。2022年Shen等人的研究是個(gè)例外，他們提出了一種可解釋的生存分析方法，使用卷積參與的視覺(jué)變換器，能夠指出影響肺癌預(yù)后預(yù)測(cè)的關(guān)鍵因素。這類研究為提高臨床接受度鋪平了道路，但總體而言，模型可解釋性仍然是個(gè)被忽視的方面。

研究地域分布的不平衡是個(gè)值得關(guān)注的現(xiàn)象。中國(guó)（21項(xiàng)）和美國(guó)（8項(xiàng)）研究占據(jù)了絕大多數(shù)，而其他國(guó)家如加拿大、印度、沙特阿拉伯、韓國(guó)和巴基斯坦各只有1項(xiàng)研究。這種失衡狀態(tài)限制了研究視角的多樣性，也可能導(dǎo)致模型在不同人群和醫(yī)療系統(tǒng)中的適用性問(wèn)題。特別是在發(fā)展中國(guó)家，肺癌負(fù)擔(dān)可能更重，但相關(guān)研究卻明顯不足。

技術(shù)轉(zhuǎn)化到臨床實(shí)踐是個(gè)巨大挑戰(zhàn)。雖然許多研究報(bào)告了令人印象深刻的性能指標(biāo)，但幾乎沒(méi)有研究詳細(xì)討論如何將這些模型整合到現(xiàn)有的醫(yī)療工作流程中。模型的部署、維護(hù)、更新，以及與現(xiàn)有醫(yī)院信息系統(tǒng)的集成，都是實(shí)際應(yīng)用中必須考慮的問(wèn)題。

移動(dòng)設(shè)備部署是一個(gè)未被充分探索的方向。在已發(fā)表的研究中，沒(méi)有一項(xiàng)討論了將視覺(jué)變換器模型部署到移動(dòng)設(shè)備上的可能性。考慮到醫(yī)療資源分配不均的現(xiàn)實(shí)，特別是在偏遠(yuǎn)地區(qū)和發(fā)展中國(guó)家，能夠在普通智能手機(jī)上運(yùn)行的輕量級(jí)模型將大大提高肺癌篩查的可及性。這需要研究人員開(kāi)發(fā)計(jì)算效率更高的模型變體，可能結(jié)合模型量化、剪枝等技術(shù)。

網(wǎng)絡(luò)平臺(tái)開(kāi)發(fā)是另一個(gè)潛在機(jī)會(huì)。已發(fā)表研究中提到了一個(gè)交互式儀表板（lung-cancer.onrender.com/），但這類面向醫(yī)生、患者甚至普通公眾的在線工具仍然稀少。這些平臺(tái)可以降低先進(jìn)AI技術(shù)的使用門檻，促進(jìn)技術(shù)擴(kuò)散和應(yīng)用。

視覺(jué)變換器在肺癌研究中的迅速崛起表明，這一領(lǐng)域正處于快速發(fā)展階段。未來(lái)的研究方向可能包括：開(kāi)發(fā)更加高效的視覺(jué)變換器變體，專為醫(yī)學(xué)圖像優(yōu)化；結(jié)合多模態(tài)數(shù)據(jù)（影像、基因組學(xué)、電子健康記錄等）進(jìn)行更全面的分析；增強(qiáng)模型可解釋性以提高臨床接受度；以及探索在資源受限設(shè)備上的部署策略。

隨著技術(shù)的不斷成熟和研究的深入，視覺(jué)變換器有望成為肺癌診斷與預(yù)后預(yù)測(cè)的強(qiáng)大工具，但真正實(shí)現(xiàn)其臨床價(jià)值還需要解決上述挑戰(zhàn)。這一旅程才剛剛開(kāi)始，未來(lái)充滿了機(jī)遇與可能。

參考資料

1. Ali， H.， Mohsen， F.， &； Shah， Z. （2022）. Improving diagnosis and prognosis of lung cancer using vision transformers: A scoping review.

2. He， K.， et al. （2022）. Transformers in medical image analysis: A review. Intelligent Medicine， 3（1）， 59-78.

3. Chen， R. J.， et al. （2022）. Scaling Vision Transformers to Gigapixel Images via Hierarchical Self-Supervised Learning. IEEE/CVF Conference on Computer Vision and Pattern Recognition， 16144-16155.

4. Dosovitskiy， A.， et al. （2020）. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint arXiv:2010.11929.

5. Lian， J.， et al. （2022）. Early stage NSCLS patients＇ prognostic prediction with multi-information using transformer and graph neural network model. eLife， 11.