IEEE TMI 2025 | AI自建學(xué)習(xí)大綱多實(shí)例多標(biāo)簽醫(yī)學(xué)圖像分析新框架

作者丨論文團(tuán)隊(duì)

編輯丨ScienceAI

做自身免疫病檢查的時(shí)候，醫(yī)生要盯著一張張綠色的抗核抗體（ANA）免疫熒光顯微圖，一張圖里上百個(gè)細(xì)胞、好幾種發(fā)光模式摻在一起，只能靠經(jīng)驗(yàn)慢慢看、慢慢判，很費(fèi)時(shí)間也很考驗(yàn)人。現(xiàn)實(shí)中，醫(yī)生通常只會(huì)在報(bào)告里勾一下“這張圖有哪些模式”，而不會(huì)有空給每個(gè)小區(qū)域、每個(gè)細(xì)胞單獨(dú)打標(biāo)簽，這就讓很多 AI 方法“有心無(wú)力”，模型想學(xué)，但細(xì)粒度標(biāo)注太貴、幾乎拿不到。

近期，香港理工大學(xué)聯(lián)合四川大學(xué)華西醫(yī)院在國(guó)際醫(yī)學(xué)圖像頂級(jí)期刊 IEEE Transactions on Medical Imaging（IEEE TMI）上發(fā)表了最新成果：團(tuán)隊(duì)提出了一套只用“整張圖的結(jié)果”，就能教會(huì) AI 自動(dòng)讀抗核抗體（ANA）免疫熒光顯微圖的通用方法。

簡(jiǎn)單說(shuō)，就是讓 AI 自己學(xué)會(huì)三件事：先把大圖切成很多小塊，自動(dòng)挑出“最有信息量”的那些，再在只知道“整張圖有哪些模式”的前提下，倒推出每塊圖里大概出現(xiàn)了什么模式，最后給出整張圖的多標(biāo)簽判斷。這樣一來(lái)，既不增加醫(yī)生的標(biāo)注負(fù)擔(dān)，又能顯著提升 ANA 自動(dòng)判讀的準(zhǔn)確性，而且在其他多實(shí)例多標(biāo)簽的醫(yī)學(xué)圖像任務(wù)上，同樣表現(xiàn)很好，有希望成為一套“通用套路”。

文章作者分別來(lái)自兩所高校和一所臨床醫(yī)學(xué)院，包括江奕飏、錢光武、吳嘉欣、黃琪、李青、武永康、魏驍勇，其中魏驍勇教授為通訊作者。

代碼鏈接：https://github.com/fletcherjiang/ANA-SelfPacedLearning

論文鏈接：https://ieeexplore.ieee.org/document/11269887

Arxiv鏈接：https://arxiv.org/abs/2511.21519

醫(yī)生看 ANA 圖，有多難？

ANA 是檢查自身免疫性疾病的一種常規(guī)項(xiàng)目，做自身免疫病（比如紅斑狼瘡、干燥綜合征、硬皮病）檢查時(shí)，醫(yī)生會(huì)做一個(gè) ANA 檢測(cè)，把病人的血清滴到細(xì)胞上，再加上會(huì)發(fā)綠光的二抗，最后在熒光顯微鏡下看，這會(huì)帶來(lái)以下問(wèn)題：

• 一張圖里有很多細(xì)胞：不是一兩個(gè)，是一大片視野；
• 可能同時(shí)有好幾種“發(fā)光模式”：比如“均質(zhì)+顆粒+核膜”混一起；
• 醫(yī)生給的往往只有“整張圖的結(jié)果”：比如勾選了幾種模式，而不會(huì)告訴你“哪一塊是哪種”。

對(duì) AI 來(lái)說(shuō)，這就像：老師只告訴你“這個(gè)班語(yǔ)文平均 85、數(shù)學(xué)平均 90”，但不告訴你“每個(gè)學(xué)生具體多少分”，還要你自己學(xué)會(huì)給每個(gè)學(xué)生估分，再總結(jié)出這班是什么水平。傳統(tǒng)做法要么是把單個(gè)細(xì)胞摳出來(lái)，一個(gè)個(gè)分類（但和臨床實(shí)際讀片方式不太一樣），要么假裝“一張圖只有一個(gè)標(biāo)簽”（現(xiàn)實(shí)中根本不是這樣）。

基于這些問(wèn)題，此工作的目的就是想實(shí)現(xiàn)：在“只知道整張圖結(jié)果”的情況下，讓 AI 自己學(xué)會(huì)從大圖里挑出關(guān)鍵區(qū)域，并且搞懂有哪些模式、多重共存到什么程度。

圖 1：抗核抗原（ANA）圖像示例及多標(biāo)簽多實(shí)例挑戰(zhàn)。

讓 AI 像醫(yī)生一樣先“挑重點(diǎn)再下結(jié)論”

醫(yī)生看片子的習(xí)慣其實(shí)很樸素，先掃一眼，心里有數(shù)：哪些區(qū)域是“信息量很大”的，哪些只是空背景或者隨機(jī)噪音，聚焦在那些代表性的區(qū)域上，再綜合判斷整體有哪些模式。本文的框架就是把這個(gè)邏輯“程序化”， 把大圖切成很多小塊，讓 AI 一邊學(xué)模式，一邊自己決定。哪些小塊值得重點(diǎn)看，每塊大概對(duì)應(yīng)哪些模式，整個(gè)流程可以想象成三步走。

1. 把大圖切成“小格子”

原始顯微鏡圖不做花里胡哨的預(yù)處理，不摳單細(xì)胞，按網(wǎng)格直接切成一堆小塊（patch），每個(gè)小塊就是一個(gè)“實(shí)例”，一張大圖，就是裝滿這些小塊的“包”。 這樣做的好處是：簡(jiǎn)單粗暴、貼近真實(shí)讀片視野，也方便遷移到別的醫(yī)學(xué)圖像上。

1. 實(shí)例采樣器：別把時(shí)間浪費(fèi)在“水圖”上

切完之后，小塊很多，但價(jià)值不一樣：有的小塊是典型模式，信息量大，醫(yī)生一看就說(shuō)“就它了”；有的則是沒(méi)多少細(xì)胞、甚至就是背景，基本白看；還有一些是好幾種模式混在一起，比較難學(xué)。

因此團(tuán)隊(duì)給模型加了一個(gè)“小助手”名為實(shí)例采樣器：在訓(xùn)練過(guò)程中，模型會(huì)給每個(gè)小塊打一個(gè)“有用程度”的分?jǐn)?shù)。分?jǐn)?shù)高，說(shuō)明“這個(gè)小塊對(duì)學(xué)會(huì)某種模式很有幫助”；分?jǐn)?shù)低，訓(xùn)練時(shí)就少看甚至直接忽略。通俗來(lái)講就是 AI 自己學(xué)會(huì)“挑重點(diǎn)”。

有價(jià)值的題多做幾遍，亂七八糟的題少浪費(fèi)時(shí)間。這個(gè)機(jī)制可以讓訓(xùn)練更快收斂、也更穩(wěn)定，最終效果也更好。

圖2：所提方法的整體框架示意圖。首先將輸入的 ANA 大圖劃分為多個(gè)局部小塊，不同符號(hào)表示其中包含的不同 ANA 模式，由實(shí)例采樣器結(jié)合可學(xué)習(xí)置信度選擇代表性小塊并送入 CNN。隨后偽標(biāo)簽分配器利用整圖標(biāo)簽和置信度生成連續(xù)偽標(biāo)簽，動(dòng)態(tài)自步學(xué)習(xí)損失自適應(yīng)強(qiáng)化可靠實(shí)例，最后將各子區(qū)域預(yù)測(cè)結(jié)果聚合，得到整圖的多標(biāo)簽 ANA 判讀結(jié)果。

1. 偽標(biāo)簽 + 自己控制學(xué)習(xí)節(jié)奏

只有“整張圖的標(biāo)簽”還不夠，模型從兩個(gè)點(diǎn)切入。第一就是創(chuàng)建偽標(biāo)簽分配器，把大標(biāo)簽拆到小塊上。醫(yī)生只告訴這張圖有“均質(zhì) + 顆粒 + 核膜，但實(shí)際上模型不知道：哪些小塊是“純均質(zhì)”，哪些是“純顆粒”，哪些是“啥也沒(méi)有”。 偽標(biāo)簽分配器做的事情是：根據(jù)當(dāng)前模型的預(yù)測(cè)，給每個(gè)小塊、每個(gè)模式一個(gè) 0～1 的軟標(biāo)簽。這些“偽標(biāo)簽”會(huì)在訓(xùn)練過(guò)程中不斷更新，相當(dāng)于模型在自己給自己補(bǔ)作業(yè)答案。

第二個(gè)就是自步學(xué)習(xí)：簡(jiǎn)單的先學(xué)，難的后學(xué)。如果一上來(lái)就把“混得一團(tuán)糟”的小塊塞給模型，很容易學(xué)崩。所以在損失函數(shù)里加入了一個(gè)“自我節(jié)奏”的設(shè)計(jì)：標(biāo)簽比較干凈、模式清晰的小塊：權(quán)重大一點(diǎn)，先學(xué)扎實(shí)；特別復(fù)雜、模式混得厲害的：一開(kāi)始權(quán)重小一些，等模型基礎(chǔ)扎實(shí)再慢慢加強(qiáng)它們的影響。

實(shí)驗(yàn)表現(xiàn)

在實(shí)驗(yàn)部分，團(tuán)隊(duì)首先基于真實(shí)臨床工作流，與華西醫(yī)院共同構(gòu)建了一套大規(guī)模 ANA 圖像數(shù)據(jù)集。數(shù)據(jù)全部來(lái)自實(shí)際檢測(cè)過(guò)程中的原始顯微鏡大圖，涵蓋 8 種常見(jiàn) ANA 熒光模式，同時(shí)保留了多種模式共存、圖像質(zhì)量參差不齊等“真實(shí)世界”問(wèn)題。

在這一數(shù)據(jù)集上，將所提出的方法與多種主流 ANA 自動(dòng)判讀模型及通用多標(biāo)簽算法進(jìn)行了系統(tǒng)對(duì)比，在多標(biāo)簽情形下的主要評(píng)價(jià)指標(biāo)（如 F1、mAP 等）上均取得了更優(yōu)的結(jié)果，尤其在一張圖同時(shí)存在多種模式的復(fù)雜樣本上表現(xiàn)更為突出。

圖3：提出方法與各類 SOTA 方法在測(cè)試集上的實(shí)驗(yàn)結(jié)果。加粗表示該指標(biāo)的最佳結(jié)果，標(biāo)記 ? 的模型為專門(mén)為 ANA 檢測(cè)設(shè)計(jì)。

為了檢驗(yàn)方法的通用性，團(tuán)隊(duì)進(jìn)一步在 NuCLS、BCSS 和 PaNNuke 三個(gè)公開(kāi)的多實(shí)例多標(biāo)簽病理圖像數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。

這些數(shù)據(jù)集涵蓋乳腺癌全視野切片、語(yǔ)義分割任務(wù)以及跨多器官、多組織類型和多類細(xì)胞核的標(biāo)注，基本保持同一套“切塊 + 實(shí)例采樣 + 偽標(biāo)簽分配 + 自步學(xué)習(xí)”的整體框架，僅做必要的適配，在多數(shù)評(píng)價(jià)指標(biāo)上依然能與現(xiàn)有代表性方法相比取得領(lǐng)先或接近領(lǐng)先的結(jié)果。

這表明，所提出的思路不僅適用于 ANA 判讀場(chǎng)景，也具備向其他多實(shí)例多標(biāo)簽醫(yī)學(xué)影像任務(wù)推廣的潛力。

圖4：三個(gè)醫(yī)學(xué)數(shù)據(jù)集上的對(duì)比結(jié)果（均值 ± 標(biāo)準(zhǔn)差）。帶 ↑（↓）的指標(biāo)數(shù)值越大（越小）性能越好；加粗為該指標(biāo)最優(yōu)結(jié)果，下劃線為次優(yōu)結(jié)果；N/A 表示在 72 小時(shí)內(nèi)未得到結(jié)果。

不只看 ANA：走向更多醫(yī)學(xué)影像場(chǎng)景

在整體上，這項(xiàng)工作立足于真實(shí)臨床場(chǎng)景的核心難點(diǎn)：一張圖像中往往存在多種 ANA 模式，而臨床常規(guī)只提供整圖級(jí)別的判讀結(jié)果，不會(huì)對(duì)局部區(qū)域或單個(gè)細(xì)胞進(jìn)行逐一標(biāo)注；在此設(shè)定下，團(tuán)隊(duì)通過(guò)“切塊、挑選關(guān)鍵實(shí)例、推斷偽標(biāo)簽和自步學(xué)習(xí)”讓模型在僅有整圖標(biāo)簽的前提下，仍能自動(dòng)聚焦關(guān)鍵信息并給出多模式判讀，從而在基本不改變現(xiàn)有工作流、幾乎不增加標(biāo)注負(fù)擔(dān)的情況下，獲得更穩(wěn)定、客觀的輔助結(jié)果。

由于該框架只依賴于“一張大圖由若干局部區(qū)域組成、整體可能對(duì)應(yīng)多個(gè)標(biāo)簽”這一通用假設(shè)，它有望自然推廣到病理全視野切片的多病灶檢測(cè)、胸片中多病變共存的識(shí)別，甚至更廣泛的多實(shí)例多標(biāo)簽視覺(jué)任務(wù)。

未來(lái)計(jì)劃在多中心、多設(shè)備數(shù)據(jù)上進(jìn)一步驗(yàn)證跨醫(yī)院泛化能力，并強(qiáng)化模型可解釋性（如通過(guò)可視化關(guān)注區(qū)域），同時(shí)探索與醫(yī)院信息系統(tǒng)和檢驗(yàn)報(bào)告流程的深度融合，使其以“模型建議 + 醫(yī)生審核”的形式真正服務(wù)于臨床實(shí)踐。