BrainOmni：統(tǒng)一腦電磁基礎模型，跨設備、跨模態(tài)通用腦信號表征

作者丨論文團隊

編輯丨ScienceAI

上海人工智能實驗室（上海 AI 實驗室）聯(lián)合清華大學、劍橋大學等合作單位，正式發(fā)布 BrainOmni—— 全球首個統(tǒng)一 腦電（EEG）與腦磁（MEG）的大腦基礎模型。BrainOmni 通過一種新注意力機制，模擬了腦科學中源重構算法的前向過程，并且首次利用傳感器的真實物理屬性（坐標、方向、類型）替代通道命名，從而實現(xiàn)跨設備、跨模態(tài)兼容。通過 1997 小時 EEG 和 656 小時 MEG 的大規(guī)模自監(jiān)督預訓練，BrainOmni 在 9 項下游任務上超越現(xiàn)有基礎模型與專用模型，并在未見過的設備上展現(xiàn)強零樣本泛化能力。工作自發(fā)布以來，收到了來自牛津大學、劍橋大學、法國國家科學研究中心、荷蘭 Radboud 大學、美國著名可穿戴腦磁圖企業(yè)等的關注與合作邀請。

論文鏈接：https://arxiv.org/abs/2505.18185

開源鏈接：https://github.com/OpenTSLab/BrainOmni

BrainOmni: 統(tǒng)一 EEG-MEG 的腦基礎模型

神經(jīng)元活動是大腦功能的主要載體，對其精確的測量與理解對探究大腦思考過程、多模態(tài)刺激下的信息解碼、神經(jīng)疾病診斷等任務至關重要。腦電圖（EEG）和腦磁圖（MEG）通過記錄神經(jīng)電流引發(fā)的二次電流及磁場，間接測量大腦內部的活動，是兩種相對安全便利的非侵入式測量手段，具有廣闊的拓展與應用前景。

盡管 EEG 與 MEG 同源于神經(jīng)電流激發(fā)的電磁場，二者長期以來多被分開建模。且由于腦電磁設備的異構特性（通道數(shù)、布局、朝向、傳感器類型），過往的模型往往只能應用于特定的數(shù)據(jù)集 / 設備 / 任務，難以學習跨設備跨數(shù)據(jù)集的泛化知識。近來，一些 EEG 基礎模型對腦電信號的大規(guī)模預訓練進行了探索，然而這些模型大多仍依賴特定的通道命名系統(tǒng)，無法真正兼容全部的腦電數(shù)據(jù)。同時盡管 MEG 有比 EEG 更高的時空精度，因復雜性高且公開數(shù)據(jù)稀缺，還缺少基礎模型的探索。

BrainOmni 首次在統(tǒng)一特征空間內對 EEG 與 MEG 進行聯(lián)合預訓練，兼容不同腦電磁設備，實現(xiàn)跨模態(tài)、跨設備、跨任務、跨被試的通用表征學習，在多種下游任務上表現(xiàn)優(yōu)越。該工作配套提出 BrainTokenizer，把連續(xù)的腦活動壓縮并量化為離散神經(jīng)詞元，為大規(guī)模 “腦信號語言建模” 奠定基礎。

更強跨被試下游性能與零樣本跨設備泛化

• 下游性能領先：跨被試實驗設置下，BrainOmni 在運動想象、情緒識別、異常檢測、抑郁檢測、阿爾茨海默癥檢測、帕金森檢測、 自閉癥檢測等 9 個下游任務上，取得了優(yōu)于領域專家模型以及之前的 EEG 基礎模型的性能。

表：八個 EEG 數(shù)據(jù)集上 BrainOmni 與 baseline 的比較。

表：MEG 和 EMEG 數(shù)據(jù)集上 BrainOmni 與 Baseline 的比較。

• 零樣本跨設備泛化能力：在訓練期間未接觸的 EEG/MEG 設備上，BrainTokenizer 保持穩(wěn)定的信號重建效果，體現(xiàn)了模型跨設備的強大泛化能力。

表：BrainTokenizer在零樣本設備數(shù)據(jù)的重建結果。

• 腦電磁模態(tài)互增益：相比于單模態(tài)預訓練，EEG/MEG 的聯(lián)合預訓練帶來了穩(wěn)定的性能提升，體現(xiàn)了將同源的腦電磁信號聯(lián)合建模的優(yōu)勢。

表：聯(lián)合EEG/MEG預訓練與單獨進行EEG或MEG訓練的比較。

“潛在源變量” 建模與神經(jīng)詞元離散，實現(xiàn)異構數(shù)據(jù)統(tǒng)一與上下文建模

BrainTokenizer：研究團隊創(chuàng)新性提出了 Sensor Encoder 模塊對腦電磁傳感器的物理特性進行可學習建模，通過設備信息的顯式注入使得模型實現(xiàn)對多樣化設備的兼容。同時團隊受腦科學領域源活動估計方法的啟發(fā)，假定異構的電磁信號由同構的一組神經(jīng)活動源變量激發(fā)，將腦外電磁信號映射到統(tǒng)一特征空間，并將連續(xù)的源變量特征離散化，將腦信號轉化為神經(jīng)詞元序列。

圖：BrainTokenizer架構

BrainOmni：基于 BrainTokenizer 的得到的神經(jīng)詞元，使用掩碼語言建模的無監(jiān)督范式進行自監(jiān)督學習，使模型學習高層次語義特征，顯著提升對神經(jīng)活動的理解能力。

圖：BrainOmni架構

國家 “十五五” 規(guī)劃已將腦機接口列為未來新經(jīng)濟增長點之一，其戰(zhàn)略價值正日益凸顯。要實現(xiàn)這一目標，算法、硬件與臨床的深度融合至關重要。腦電磁信號因具備無侵入、可穿戴、高時空精度、低延遲等優(yōu)勢，具備廣泛的普適性和應用潛力，是拓展腦機接口人群與場景、提升產(chǎn)業(yè)價值的關鍵方向。

BrainOmni 系列基礎模型從 AI 角度破解了電磁信號融合、跨設備通用等長期技術瓶頸，并為高價值 MEG 數(shù)據(jù)稀缺這一行業(yè)痛點提供了新的解決途徑。上海 AI 實驗室正與國內外機構緊密合作，從 “通專融合” 的技術路線持續(xù)演進 BrainOmni 系列，在提升性能的同時拓展更多應用領域，進一步融入侵入式腦電、神經(jīng)影像等更多模態(tài)信息。

未來，該系列模型將與上海人工智能實驗室的『書生』通專融合基礎大模型 Intern-S1與 科學發(fā)現(xiàn)平臺 Intern Discovery 深度融合，發(fā)展為面向腦機接口研究與臨床應用、覆蓋全模態(tài)的 AGI4Science 關鍵組件之一。