微軟發(fā)布醫(yī)療時序基座模型：4540億數(shù)據(jù)預(yù)訓(xùn)練，解決不規(guī)則采樣

在大模型（LLM）與計算機視覺（CV）爭相重塑醫(yī)療行業(yè)的今天，我們似乎已經(jīng)擁有了無所不能的數(shù)字助手：它們能夠像放射科醫(yī)生一樣精準(zhǔn)解讀CT影像，也能像內(nèi)科醫(yī)生一樣撰寫病歷摘要。

但醫(yī)療AI世界中，仍有一塊關(guān)鍵拼圖缺失——那就是理解“生命動態(tài)演變”的能力。

△圖1.不同模態(tài)的醫(yī)療數(shù)據(jù)

正如圖1所示，如果將患者的生命歷程比作一部電影，現(xiàn)有的AI往往只能捕捉到零散的幀畫：

影像（Image）是“快照”：定格的僅僅是某一瞬間的解剖結(jié)構(gòu)；

文本（Text）是“敘述”：往往只是對既往病情的主觀回顧；

唯有時間序列（Time Series），才忠實記錄了生命體征的連續(xù)軌跡。

然而，讀懂這條“曲線”遠比處理靜態(tài)圖像復(fù)雜。為此，微軟亞洲研究院推出了專為醫(yī)療時序數(shù)據(jù)設(shè)計的通用基座模型——MIRA。

該模型基于4540億個醫(yī)療數(shù)據(jù)點進行大規(guī)模預(yù)訓(xùn)練，通過兩大核心技術(shù)突破了傳統(tǒng)模型對規(guī)則采樣的依賴，旨在解決真實世界醫(yī)療數(shù)據(jù)“不規(guī)則、異構(gòu)性”的難題。

實驗表明，MIRA在關(guān)鍵預(yù)測任務(wù)上的表現(xiàn)超越了現(xiàn)有SOTA模型，并展現(xiàn)出卓越的零樣本（Zero-shot）遷移能力。

一起來看具體方案。

真實醫(yī)療數(shù)據(jù)：大模型的“噩夢”

長期以來，醫(yī)療時序模型的通用化進程面臨諸多挑戰(zhàn)，其核心問題在于“理想假設(shè)”與“現(xiàn)實數(shù)據(jù)”的錯位。

通用深度學(xué)習(xí)模型通常基于“規(guī)則采樣”的理想化假設(shè)，即數(shù)據(jù)是整齊劃一、均勻分布的。

然而，在真實醫(yī)療場景中，尤其是重癥監(jiān)護室（ICU），生命體征的記錄往往呈現(xiàn)出“時疏時密”的特點：心跳以秒為單位波動，血壓可能以小時為單位記錄，而血液檢測指標(biāo)可能需要一天甚至更長時間才能更新一次。

這種多時間尺度交織、采樣頻率不規(guī)則的特性，構(gòu)成了醫(yī)療時序數(shù)據(jù)最顯著的挑戰(zhàn)，也是大模型在醫(yī)療領(lǐng)域落地應(yīng)用的核心障礙。

△圖2.醫(yī)療時間序列數(shù)據(jù)典型樣例

圖2醫(yī)學(xué)時間序列數(shù)據(jù)具有以下特點：①時間間隔不規(guī)則，②采樣率異質(zhì)，③由于臨床工作流程不標(biāo)準(zhǔn)或儀器按照不到位造成的數(shù)據(jù)缺失。

傳統(tǒng)方法為了讓模型處理這些數(shù)據(jù)，往往不得不采用插值（Imputation）等手段強行對齊。這種做法不僅容易引入人為的“噪聲”，還可能丟失原本的時間動力學(xué)信息，屬于典型的“削足適履”。

而MIRA的提出，正是為了解決這一難題。它不再局限于單一場景訓(xùn)練，而是從海量醫(yī)療數(shù)據(jù)中學(xué)習(xí)跨場景、跨模態(tài)的生理動態(tài)模式，成為一個具備卓越遷移能力的通用醫(yī)療基座模型。

兩大核心技術(shù)：讀懂不規(guī)則律動

面對醫(yī)療數(shù)據(jù)“雜亂無章”的特性，MIRA設(shè)計了兩大核心技術(shù)模塊，分別解決了“歷史”與“未來”的建模難題。

△圖3.MIRA的架構(gòu)

MIRA的架構(gòu)如下：①接收不規(guī)則時間序列和時間戳作為輸入，并應(yīng)用CT-RoPE進行連續(xù)時間編碼。②混合專家層根據(jù)頻率路由到不同的Expert。③Neural ODE模塊將潛在狀態(tài)演化到任意目標(biāo)時間戳，從而實現(xiàn)靈活的時間感知預(yù)測

1.CT-RoPE：給“歷史”一把彈性標(biāo)尺

傳統(tǒng)模型處理時間序列習(xí)慣用離散的整數(shù)索引（1，2，3…）來標(biāo)記順序，默認每一步距離相等，忽略了醫(yī)療數(shù)據(jù)中“時疏時密”的真實間隔。

MIRA創(chuàng)新性地提出了連續(xù)時間旋轉(zhuǎn)位置編碼（CT-RoPE）。它摒棄了離散索引，直接將真實的連續(xù)時間戳代入旋轉(zhuǎn)矩陣計算。

這意味著，模型能夠精準(zhǔn)感知歷史記錄中任意時間間隔的變化，而不是機械地記錄采樣次數(shù)。

2. Neural ODE：描繪“未來”的連續(xù)曲線

人體狀態(tài)是連續(xù)流動的，而非離散跳變。為了精準(zhǔn)推演病情走向，MIRA引入了神經(jīng)常微分方程（Neural ODE）模塊。

如果說CT-RoPE是為了讀懂過去零散的點，那么Neural ODE就是為了畫出未來連續(xù)的線。它模擬生物體內(nèi)部的動力學(xué)變化，能基于離散數(shù)據(jù)推導(dǎo)出連續(xù)時間下的潛在狀態(tài)演化軌跡。

這意味著，即使未來的采樣時間點不確定，模型也能依循生理規(guī)律，給出符合動力學(xué)邏輯的合理預(yù)測。

實驗驗證：零樣本與高魯棒性

研究團隊在MIMIC-III、MIMIC-IV等多個權(quán)威數(shù)據(jù)集上對MIRA進行了評估。

1. 零樣本（Zero-shot）預(yù)測突破

最值得關(guān)注的是MIRA的遷移能力。在未經(jīng)過任何特定目標(biāo)數(shù)據(jù)集訓(xùn)練的情況下，MIRA直接被部署到全新的醫(yī)療場景中。

數(shù)據(jù)顯示，其在分布外（OOD）測試集上的表現(xiàn)，甚至超越了部分專門訓(xùn)練的全監(jiān)督模型。這說明MIRA學(xué)到了生理信號變化的“通用規(guī)律”，而不僅僅是擬合了某家醫(yī)院的數(shù)據(jù)分布。

△圖4.與baseline相比，MIRA out-of-distribution表現(xiàn)

2.極度稀疏數(shù)據(jù)的“高魯棒性”

面對缺失值，傳統(tǒng)模型往往依賴插值預(yù)處理。這種做法不僅引入人為噪聲，還可能破壞數(shù)據(jù)的原始分布特性。

而MIRA得益于Neural ODE，無需任何插值操作即可原生適配。通過建模時間序列的連續(xù)動力學(xué)特性，MIRA能夠直接處理數(shù)據(jù)中的缺失值，無需額外的預(yù)處理步驟。

實驗表明，即便在數(shù)據(jù)極度稀疏（例如僅保留30%觀測點）的條件下，MIRA的性能依然保持穩(wěn)健，并未像傳統(tǒng)預(yù)測模型那樣出現(xiàn)性能的顯著下滑。這種對真實世界“臟數(shù)據(jù)”的適應(yīng)能力，證明了其在復(fù)雜臨床環(huán)境下的高魯棒性。

開啟醫(yī)療AI的“通用基座”時代

MIRA的提出可謂是醫(yī)療時序預(yù)測向“通用基座”時代邁進的重要探索。通過解決不規(guī)則采樣和異構(gòu)數(shù)據(jù)難題，MIRA為醫(yī)療AI擺脫“煙囪式”開發(fā)模式提供了可能。

未來，醫(yī)院或可利用MIRA作為底座，配合少量本地數(shù)據(jù)微調(diào)，快速獲得高精度的定制化模型。這為構(gòu)建更智能的ICU早期預(yù)警、慢病管理以及通用AI助手奠定了堅實基礎(chǔ)。

論文鏈接：

https://arxiv.org/abs/2506.07584
項目鏈接:

https://github.com/microsoft/MIRA