
腫瘤患者的生存預(yù)測(cè)是精準(zhǔn)醫(yī)學(xué)中的核心問(wèn)題之一。隨著高通量測(cè)序和數(shù)字病理技術(shù)的發(fā)展,研究者可以同時(shí)獲取患者的轉(zhuǎn)錄組數(shù)據(jù)與全景病理切片圖像( Whole Slide Images, WSI )。這兩類數(shù)據(jù)分別從分子層面和組織形態(tài)層面刻畫腫瘤特征,具有高度互補(bǔ)性 。
然而,在實(shí)際應(yīng)用中,多模態(tài)生存預(yù)測(cè)仍面臨顯著挑戰(zhàn)。一方面,轉(zhuǎn)錄組數(shù)據(jù)高度稀疏、維度極高,且基因間存在復(fù)雜的非線性相互作用;另一方面, WSI 通常被切分為成千上萬(wàn)個(gè) patch ,如何從中提取與預(yù)后相關(guān)的關(guān)鍵信息并進(jìn)行有效聚合仍是難題。更重要的是,分子模態(tài)與組織模態(tài)之間存在顯著異質(zhì)性,簡(jiǎn)單拼接或單向融合難以充分建模兩者之間的交互關(guān)系 。
因此,構(gòu)建一種既能充分利用多模態(tài)信息、又具備良好可解釋性的生存預(yù)測(cè)模型,是當(dāng)前計(jì)算病理與精準(zhǔn)腫瘤學(xué)研究的重要方向 。
為應(yīng)對(duì)多模態(tài)生存預(yù)測(cè)中的異質(zhì)性與可解釋性挑戰(zhàn),黃金艷課題組從分子建模、病理表征和跨模態(tài)融合三個(gè)層面進(jìn)行了系統(tǒng)設(shè)計(jì),提出了一種新的多模態(tài)生存預(yù)測(cè)框架——DABSP( Dual-directional Attention-based Survival Prediction ) ,用于實(shí)現(xiàn)全景病理圖像與轉(zhuǎn)錄組數(shù)據(jù)的高效、穩(wěn)定且可解釋融合。 該研究以DABSP: Integrating histologic and transcriptomic data for pan-cancer survival outcome prediction through a dual-directional attention based multimodal data fusion framework為題,發(fā)表在Biomedical Signal Processing and Control雜志。
![]()
在轉(zhuǎn)錄組建模方面, DABSP 采用了一種新的通路級(jí) tokenizer —— SnChebyKAN 。該模塊將 自歸一化神經(jīng)網(wǎng)絡(luò)( Self-Normalizing Networks, SNN ) 與 基于切比雪夫多項(xiàng)式的 Kolmogorov–Arnold 網(wǎng)絡(luò)( ChebyKAN ) 相結(jié)合,形成三層結(jié)構(gòu): SNN 保證模型在高維稀疏轉(zhuǎn)錄組數(shù)據(jù)上的訓(xùn)練穩(wěn)定性; ChebyKAN 能夠捕獲通路之間的高階非線性關(guān)系;以通路為單位進(jìn)行建模,有助于增強(qiáng)生物學(xué)可解釋性。該設(shè)計(jì)不僅提升了模型對(duì)復(fù)雜分子相互作用的刻畫能力,也為后續(xù)跨模態(tài)交互提供了結(jié)構(gòu)化表示。在病理圖像模態(tài)中, DABSP 使用大規(guī)模自監(jiān)督學(xué)習(xí)的基礎(chǔ)模型,從 WSI 中提取魯棒的 patch 級(jí)特征。這種方式避免了對(duì)人工標(biāo)注的強(qiáng)依賴,同時(shí)能夠捕捉組織形態(tài)中的關(guān)鍵模式,為生存預(yù)測(cè)提供穩(wěn)定的視覺(jué)表示。多模態(tài)融合是 DABSP 的核心創(chuàng)新之一。模型引入了 LoRA 增強(qiáng)的雙向注意力機(jī)制 ,顯式建模:分子通路對(duì)病理 patch 的關(guān)注;病理 patch 對(duì)分子通路的重要性反饋。這種 雙向交互機(jī)制 能夠更真實(shí)地反映分子與組織形態(tài)之間的相互影響。此外, DABSP 還設(shè)計(jì)了門控殘差特征融合模塊,在強(qiáng)化跨模態(tài)信息交流的同時(shí),保留各模態(tài)的特異性語(yǔ)義,降低冗余干擾。
在五個(gè)公開(kāi)癌癥生存數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明, DABSP 在 concordance index ( C-index ) 和患者風(fēng)險(xiǎn)分層能力上均優(yōu)于現(xiàn)有主流方法。更重要的是,模型提供了多層級(jí)可解釋性分析,能夠識(shí)別:與預(yù)后密切相關(guān)的分子通路;關(guān)鍵的組織學(xué)形態(tài)模式;以及二者之間的重要跨模態(tài)交互關(guān)系。這些結(jié)果不僅提升了模型的可信度,也為腫瘤生物學(xué)研究提供了新的線索。
DABSP 提出了一種面向多模態(tài)生存預(yù)測(cè)的統(tǒng)一建模框架,在性能、穩(wěn)定性與可解釋性之間取得了良好平衡。通過(guò)通路級(jí)分子建模、雙向注意力融合以及殘差引導(dǎo)機(jī)制,該方法充分挖掘了病理圖像與轉(zhuǎn)錄組數(shù)據(jù)的互補(bǔ)信息。該研究為多模態(tài)計(jì)算病理提供了一種具有推廣價(jià)值的技術(shù)范式,也為精準(zhǔn)腫瘤學(xué)中的生存預(yù)測(cè)和機(jī)制探索提供了新的工具。
相關(guān)代碼已開(kāi)源:https://github.com/elegantlyy/DABSP
原文鏈接:https://www.sciencedirect.com/science/article/pii/S1746809426000819?dgcid=author
制版人:十一
BioArt
Med
Plants
人才招聘
學(xué)術(shù)合作組織
(*排名不分先后)
![]()
轉(zhuǎn)載須知
【非原創(chuàng)文章】本文著作權(quán)歸文章作者所有,歡迎個(gè)人轉(zhuǎn)發(fā)分享,未經(jīng)作者的允許禁止轉(zhuǎn)載,作者擁有所有法定權(quán)利,違者必究。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.