ScDiVa：首個(gè)基于掩碼離散擴(kuò)散的單細(xì)胞基礎(chǔ)模型

單細(xì)胞測(cè)序的稀疏性曾被視為技術(shù)局限，ScDiVa卻將其轉(zhuǎn)化為建模優(yōu)勢(shì)。

單細(xì)胞RNA測(cè)序（scRNA-seq）技術(shù)的快速發(fā)展使研究者能夠以前所未有的分辨率解析細(xì)胞異質(zhì)性。然而，該技術(shù)產(chǎn)生的數(shù)據(jù)具有高維、極度稀疏（零值比例常超過80%）和無(wú)序集合（unordered multiset）的特性，給計(jì)算建模帶來(lái)根本性挑戰(zhàn)。

針對(duì)上述問題，來(lái)自中國(guó)人民大學(xué)高瓴人工智能學(xué)院和開睿醫(yī)療的團(tuán)隊(duì)提出ScDiVa（Single-cell Masked Diffusion for Identity & Value），全球首個(gè)基于掩碼離散擴(kuò)散的單細(xì)胞基礎(chǔ)模型。該模型在59,162,450個(gè)單細(xì)胞轉(zhuǎn)錄組上完成預(yù)訓(xùn)練，系統(tǒng)性驗(yàn)證了其在重建、整合、注釋及因果推斷等任務(wù)上的優(yōu)越性能，大幅度領(lǐng)先已有細(xì)胞基礎(chǔ)模型。該工作第一作者為中國(guó)人民大學(xué)研究生王銘軒，通訊作者為中國(guó)人民大學(xué)高瓴人工智能學(xué)院馬彥彪老師和開睿醫(yī)療施璐博士。

項(xiàng)目已全面開源：

? 論文：https://arxiv.org/abs/2602.03477

? 模型：https://huggingface.co/warming666/ScDiVa

? 代碼：https://github.com/wangmingxuan666/ScDiVa

? 數(shù)據(jù)集：https://huggingface.co/datasets/warming666/ScDiVa

? 項(xiàng)目網(wǎng)站：https://wangmingxuan666.github.io/ScDiVa-web/

01
從結(jié)構(gòu)性錯(cuò)配到機(jī)制對(duì)齊：為什么掩碼擴(kuò)散更適合單細(xì)胞數(shù)據(jù)？

理解ScDiVa的創(chuàng)新，需先厘清現(xiàn)有方法的局限。

自回歸模型的順序困境
自回歸（AR）模型通過“從左到右”依次預(yù)測(cè)基因表達(dá)來(lái)生成細(xì)胞狀態(tài)。這種設(shè)計(jì)隱含了一個(gè)假設(shè)：基因之間存在嚴(yán)格的因果時(shí)序。然而在真實(shí)的基因調(diào)控網(wǎng)絡(luò)中，調(diào)控關(guān)系多為對(duì)稱或循環(huán)的——轉(zhuǎn)錄因子A激活基因B的同時(shí)，B的產(chǎn)物也可能反饋調(diào)節(jié)A。強(qiáng)制線性順序不僅引入了生物學(xué)上不存在的依賴關(guān)系，還會(huì)導(dǎo)致“暴露偏差”（exposure bias）：早期預(yù)測(cè)的微小誤差會(huì)沿序列級(jí)聯(lián)放大，使整個(gè)細(xì)胞狀態(tài)的重建偏離真實(shí)軌跡。

高斯擴(kuò)散的數(shù)值困境
另一類方法將表達(dá)值視為連續(xù)變量，通過添加高斯噪聲進(jìn)行擴(kuò)散建模。但單細(xì)胞測(cè)序中的“零值”具有雙重含義：可能是基因真實(shí)不表達(dá)，也可能是技術(shù)性信號(hào)丟失。高斯噪聲假設(shè)數(shù)值擾動(dòng)是平滑連續(xù)的，卻無(wú)法區(qū)分“低表達(dá)”與“信號(hào)丟失”這兩種本質(zhì)不同的狀態(tài)。這導(dǎo)致模型傾向于生成“過度平滑”的表達(dá)譜，丟失了基因激活/失活的離散事件特性。

ScDiVa的機(jī)制同構(gòu)設(shè)計(jì)

ScDiVa的核心突破在于建立了前向擴(kuò)散過程與技術(shù)性dropout之間的數(shù)學(xué)同構(gòu)。模型定義了一個(gè)連續(xù)時(shí)間的馬爾可夫過程 ：在任意時(shí)刻 ，每個(gè)基因位置以概率 被替換為吸收態(tài)[MASK]（即完全信息丟失），以概率 1-t 保留原始狀態(tài)。這一設(shè)計(jì)與單細(xì)胞測(cè)序的物理機(jī)制高度一致——當(dāng) 時(shí)，所有信號(hào)消失，對(duì)應(yīng)極低測(cè)序深度；當(dāng) 趨于0時(shí)，信號(hào)完整保留，對(duì)應(yīng)高深度測(cè)序。

更重要的是，ScDiVa采用雙向Transformer編碼器進(jìn)行去噪，可同時(shí)利用所有未掩碼位置的全局上下文推斷被掩碼基因。這完美契合基因調(diào)控的非順序性：推斷基因A的狀態(tài)時(shí)，既可參考上游調(diào)控因子，也可參考下游效應(yīng)基因，形成閉環(huán)推理。該設(shè)計(jì)從根本上避免了AR模型的暴露偏差及人為順序依賴。

ScDiVa架構(gòu)概覽。該框架采用掩碼建模方法，引入潛在編碼器以捕獲細(xì)胞的全局上下文信息。輸入的基因表達(dá)譜經(jīng)隨機(jī)掩碼后，通過一個(gè)配備RoPE相對(duì)位置編碼和SwiGLU激活函數(shù)的12層Transformer編碼器進(jìn)行處理。模型優(yōu)化雙重目標(biāo)損失（L）：結(jié)合交叉熵?fù)p失（LCE）用于基因身份重建，以及均方誤差損失（LMSE）用于表達(dá)量值回歸，實(shí)現(xiàn)基因調(diào)控拓?fù)渑c表達(dá)劑量的聯(lián)合建模。

02
關(guān)鍵技術(shù)組件：如何實(shí)現(xiàn)身份與表達(dá)量的聯(lián)合建模？

單細(xì)胞表達(dá)譜包含兩類異質(zhì)信息：基因身份（決定調(diào)控拓?fù)洌┡c表達(dá)量值（編碼功能劑量）。傳統(tǒng)方法往往側(cè)重其一：離散tokenization擅長(zhǎng)捕獲身份結(jié)構(gòu)但丟失數(shù)值精度；連續(xù)回歸保留數(shù)值信息卻模糊了基因事件的離散性。

ScDiVa提出雙重去噪損失（Dual Denoising Loss），在統(tǒng)一框架下同步優(yōu)化兩類目標(biāo)：

? 身份損失（L id ）：對(duì)掩碼位置進(jìn)行基因分類，重建調(diào)控網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

? 值損失（L val ）：對(duì)同一位置進(jìn)行表達(dá)值回歸，恢復(fù)精確的劑量信息

二者通過加權(quán)組合： 。理論推導(dǎo)表明，該目標(biāo)等價(jià)于聯(lián)合分布的變分下界（ELBO）最大化，確保模型學(xué)習(xí)到身份與值的聯(lián)合概率分布。

為在有限上下文窗口（ScDiVa設(shè)為1200）內(nèi)編碼最大信息量，模型進(jìn)一步引入熵歸一化序列化（Entropy-Normalized Serialization）。傳統(tǒng)按表達(dá)量降序選取基因的方法易陷入“高豐度陷阱”：管家基因（如GAPDH、ACTB）在所有細(xì)胞中高表達(dá)，占據(jù)大量token卻提供極少的細(xì)胞類型判別信息。ScDiVa對(duì)每個(gè)基因計(jì)算群體水平的Shannon熵 ，熵值越低表示該基因在細(xì)胞群體中表達(dá)越一致（判別力弱）。排序分?jǐn)?shù)定義為：

該公式對(duì)高豐度但低熵的管家基因施加“懲罰”，使模型將token預(yù)算分配給高判別性的稀有基因。實(shí)驗(yàn)表明，該策略在細(xì)胞注釋任務(wù)中使Macro-F1提升5.3%，尤其改善了稀有細(xì)胞類型的識(shí)別。

針對(duì)不同單細(xì)胞實(shí)驗(yàn)測(cè)序深度差異巨大的問題（10x Genomics平臺(tái)通常每個(gè)細(xì)胞測(cè)得1000–5000個(gè)UMI，而Smart-seq2可達(dá)數(shù)十萬(wàn)），ScDiVa設(shè)計(jì)了深度不變采樣（Depth-Invariant Sampling）策略：將擴(kuò)散時(shí)間 視為測(cè)序深度的倒數(shù)代理，訓(xùn)練時(shí)均勻采樣 ，迫使模型學(xué)習(xí)一個(gè)深度不變的規(guī)范流形。該設(shè)計(jì)使模型無(wú)需顯式批次校正即可在多批次整合任務(wù)中實(shí)現(xiàn)技術(shù)噪聲消除與生物信號(hào)保留的最優(yōu)平衡。

03
系統(tǒng)性驗(yàn)證：從重建到因果推斷的全棧能力

ScDiVa在5900余萬(wàn)個(gè)單細(xì)胞轉(zhuǎn)錄組上完成預(yù)訓(xùn)練，系統(tǒng)性評(píng)估覆蓋四大任務(wù)層級(jí)：

1.重建任務(wù)：同時(shí)恢復(fù)基因排序與表達(dá)量
重建任務(wù)要求模型同時(shí)恢復(fù)基因的相對(duì)排序（Rank）與絕對(duì)表達(dá)量（Value）。ScDiVa在4個(gè)基準(zhǔn)數(shù)據(jù)集上全面超越基線：在極度稀疏的Immune數(shù)據(jù)集（88%零值）上，Spearman秩相關(guān)系數(shù)達(dá)0.970，比次優(yōu)模型GeneMamba（0.844）提升14.9%；在PBMC12k上，相關(guān)性達(dá)0.812，提升14.2%。關(guān)鍵的是，ScDiVa在Value維度的提升未以犧牲Rank為代價(jià)——BLEU分?jǐn)?shù)保持0.987，證明其避免了“數(shù)值平滑化”陷阱。

使用L-Dist(↓)、BLEU(↑) 和Spearman(↑) 對(duì)多個(gè)數(shù)據(jù)集的重建質(zhì)量進(jìn)行評(píng)估。

2.多批次整合：消除技術(shù)噪聲同時(shí)保留生物信號(hào)
整合任務(wù)要求模型消除不同實(shí)驗(yàn)平臺(tái)、不同測(cè)序深度引入的技術(shù)批次效應(yīng)，同時(shí)保留真實(shí)的生物異質(zhì)性。ScDiVa在5個(gè)異構(gòu)數(shù)據(jù)集上實(shí)現(xiàn)Avg-Batch（批次混合度）與Avg-Bio（生物結(jié)構(gòu)保留度）的帕累托最優(yōu)：在PBMC12k上，Avg-Batch達(dá)0.9960（近乎完美混合），Avg-Bio達(dá)0.9566（生物結(jié)構(gòu)高度保留）；在病理狀態(tài)復(fù)雜的COVID-19數(shù)據(jù)集上，Avg-Bio達(dá)0.6689，比次優(yōu)模型scGPT（0.6476）提升3.3%。

ScDiVa展現(xiàn)出卓越

的批次集成能力，在各種基準(zhǔn)測(cè)試中，平衡了技術(shù)噪聲消除（

Avg-Batch

）和生物保護(hù)（

Avg-Bio

scDiVa

與領(lǐng)先基準(zhǔn)在各種基準(zhǔn)測(cè)試中的比較。

3.細(xì)胞注釋：精準(zhǔn)識(shí)別稀有細(xì)胞類型
在4個(gè)組織特異性數(shù)據(jù)集上的微調(diào)實(shí)驗(yàn)中，ScDiVa在hPancreas上達(dá)到98.6%準(zhǔn)確率與0.7919 Macro-F1；在高度不平衡的多發(fā)性硬化癥（MS）數(shù)據(jù)集上，Macro-F1達(dá)0.7271，比GeneMamba提升36%。零樣本評(píng)估（凍結(jié)主干，僅訓(xùn)練分類頭）在8個(gè)數(shù)據(jù)集上平均準(zhǔn)確率91.4%，Macro-F10.841，表明預(yù)訓(xùn)練表征具備強(qiáng)大的泛化能力。

ScDiVa 在精細(xì)調(diào)整（針對(duì)特定組織）和零樣本場(chǎng)景中均能實(shí)現(xiàn)高精度

4.擾動(dòng)預(yù)測(cè)與調(diào)控網(wǎng)絡(luò)推斷：邁向因果理解
在Adamson單基因擾動(dòng)數(shù)據(jù)集上，ScDiVa預(yù)測(cè)與觀測(cè)的表達(dá)變化相關(guān)性達(dá)0.837，MSE 0.134；在Norman雙基因擾動(dòng)數(shù)據(jù)集上，相關(guān)性0.709，成功建模非加性遺傳互作。對(duì)髓系主調(diào)控因子SPI1的分析顯示：模型精準(zhǔn)識(shí)別其促進(jìn)髓系標(biāo)記（MS4A3、FTH1）同時(shí)抑制紅系基因（HBG1/2）的雙重邏輯，且排除了非因果的細(xì)胞周期基因（CCNB2、TOP2A），驗(yàn)證了模型的生物學(xué)可解釋性。

03

范式轉(zhuǎn)移：離散擴(kuò)散為何是單細(xì)胞建模的“自然選擇”？

ScDiVa的成功驗(yàn)證了一種領(lǐng)域原生的建模范式。與自回歸和高斯擴(kuò)散相比，掩碼離散擴(kuò)散在三個(gè)維度上與單細(xì)胞數(shù)據(jù)本質(zhì)對(duì)齊：

維度

自回歸模型

掩碼離散擴(kuò)散（ScDiVa）

結(jié)構(gòu)假設(shè)

強(qiáng)制線性順序，破壞調(diào)控對(duì)稱性

無(wú)序集合建模，尊重基因調(diào)控的非順序性

噪聲建模

無(wú)顯式噪聲模型

掩碼吸收態(tài)，與技術(shù)性dropout同構(gòu)

生成機(jī)制

順序采樣，誤差級(jí)聯(lián)

并行去噪，利用全局上下文，避免暴露偏差

這種對(duì)齊不是工程技巧的堆砌，而是將數(shù)據(jù)生成的物理機(jī)制內(nèi)化為模型先驗(yàn)。當(dāng)AI模型的歸納偏置與數(shù)據(jù)的生成機(jī)制一致時(shí)，學(xué)習(xí)效率與泛化能力將獲得質(zhì)的提升。

05
應(yīng)用前景

? 基礎(chǔ)研究：作為“ 計(jì)算顯微鏡 ” ，通過注意力分析揭示未知調(diào)控關(guān)系，指導(dǎo)濕實(shí)驗(yàn)驗(yàn)證

? 臨床轉(zhuǎn)化：在癌癥異質(zhì)性分析中識(shí)別稀有耐藥亞群；在免疫治療中預(yù)測(cè)T 細(xì)胞響應(yīng)；在再生醫(yī)學(xué)中設(shè)計(jì)最優(yōu)重編程路徑

? 技術(shù)融合：框架可擴(kuò)展至空間轉(zhuǎn)錄組、多組學(xué)整合等場(chǎng)景，構(gòu)建統(tǒng)一的單細(xì)胞多模態(tài)生成模型

單細(xì)胞測(cè)序的稀疏性曾被視為技術(shù)局限，ScDiVa卻將其轉(zhuǎn)化為建模優(yōu)勢(shì)。這不僅是工程創(chuàng)新，更是對(duì)“如何讓AI理解生命數(shù)據(jù)”這一根本問題的重新思考——真正的智能不在于對(duì)抗世界的不完美，而在于理解不完美背后的生成邏輯，并與之共舞。

06
ScDiVa 背后的科研工作者

本文第一作者王銘軒本科就讀吉林大學(xué)數(shù)學(xué)學(xué)院，現(xiàn)為中國(guó)人民大學(xué)統(tǒng)計(jì)學(xué)院2026級(jí)碩士研究生，研究方向聚焦于AI for Science，大模型機(jī)理等，于高瓴人工智能學(xué)院馬彥彪老師處進(jìn)行科研實(shí)習(xí)。

2023至2024年，他曾在吉林大學(xué)數(shù)學(xué)學(xué)院進(jìn)行科研實(shí)習(xí)，從事時(shí)間序列領(lǐng)域的研究。

自2024年起，王銘軒開始參與馬彥彪老師課題，深度參與與開睿公司合作的細(xì)胞大模型項(xiàng)目。

本文的通訊作者為馬彥彪，他是中國(guó)人民大學(xué)高瓴人工智能學(xué)院講師。于2020年和2025年獲得西安電子科技大學(xué)學(xué)士和博士學(xué)位，導(dǎo)師為焦李成教授。

他的研究方向涵蓋大模型機(jī)理，多模態(tài)大模型圖文理解，多智能體系統(tǒng)優(yōu)化，長(zhǎng)尾學(xué)習(xí)等，以第一作者和通訊作者在TPAMI、IJCV、CVPR、ICLR等人工智能領(lǐng)域頂級(jí)期刊發(fā)表論文20余篇，曾獲6項(xiàng)由IGARSS、CVPR、ICCV等舉辦的國(guó)際競(jìng)賽冠軍。長(zhǎng)期擔(dān)任TPAMI、CVPR、NeurIPS、ICLR等期刊和會(huì)議的審稿人。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。