腦機(jī)啟偵 | 睡眠記憶解碼框架推進(jìn)認(rèn)知腦機(jī)接口（04.21）

4月，我國(guó)研究團(tuán)隊(duì)在Neuron在線發(fā)表論文《Interpreting Human Sleep Activity Through Neural Contrastive Learning》。

睡眠并不是大腦“關(guān)機(jī)”，而是大腦整理記憶、重組信息的重要階段。這項(xiàng)工作是AI與腦科學(xué)深度交叉的一項(xiàng)新進(jìn)展。研究團(tuán)隊(duì)提出了睡眠記憶解碼框架Sleep Interpreter（SI，“思”模型）。簡(jiǎn)單來(lái)說(shuō)，它嘗試讓AI從睡眠腦電中讀出與語(yǔ)義內(nèi)容相關(guān)的神經(jīng)活動(dòng)，進(jìn)一步判斷睡眠中哪些記憶正在被重新激活。依托135名被試的大規(guī)模腦電數(shù)據(jù)，團(tuán)隊(duì)實(shí)現(xiàn)了跨被試、零樣本語(yǔ)義解碼。模型無(wú)需為每位新被試單獨(dú)訓(xùn)練，也能在新個(gè)體上識(shí)別其睡眠中被重現(xiàn)的語(yǔ)義記憶信息。在此基礎(chǔ)上，團(tuán)隊(duì)還搭建了可實(shí)時(shí)運(yùn)行的睡眠分期與階段特異性內(nèi)容解碼系統(tǒng)，為睡眠記憶研究、閉環(huán)睡眠干預(yù)，以及認(rèn)知腦機(jī)接口的發(fā)展提供了新的方法學(xué)基礎(chǔ)。

越來(lái)越多研究表明，人們?cè)诎滋煨纬傻慕?jīng)驗(yàn)，會(huì)在睡眠中被重新激活和“重播” （replay），這一過(guò)程被認(rèn)為是記憶鞏固的重要機(jī)制。但是，與能夠直接記錄神經(jīng)元放電的動(dòng)物研究不同，人類睡眠研究主要依賴頭皮腦電圖（EEG）。而睡眠腦電中最顯著的，往往是慢振蕩等大幅度節(jié)律活動(dòng)，這些強(qiáng)背景信號(hào)很容易掩蓋與具體記憶內(nèi)容相關(guān)的微弱表征，也使基于清醒狀態(tài)訓(xùn)練的解碼器難以直接泛化到睡眠狀態(tài)。

為解決這一問(wèn)題，團(tuán)隊(duì)設(shè)計(jì)了“目標(biāo)語(yǔ)義重激活”（Targeted Semantic Reactivation，TSR）任務(wù)。實(shí)驗(yàn)中，被試先在清醒狀態(tài)下學(xué)習(xí)15組語(yǔ)義一致的圖片—聲音配對(duì)，例如“綿羊圖片—羊叫聲”。進(jìn)入睡眠后，研究人員再次播放這些聲音線索，在盡量不干擾自然睡眠的前提下，追蹤大腦何時(shí)可能重新激活了相應(yīng)的語(yǔ)義信息（圖1）。主實(shí)驗(yàn)共納入135名健康成年被試，最終獲得約1000小時(shí)睡眠記錄和400小時(shí)清醒記錄，構(gòu)建了大規(guī)模、標(biāo)注精細(xì)的人類睡眠語(yǔ)義解碼數(shù)據(jù)資源。

圖1 目標(biāo)語(yǔ)義重激活任務(wù)與大規(guī)模睡眠語(yǔ)義解碼數(shù)據(jù)集

在方法上，團(tuán)隊(duì)提出了多域睡眠解碼模型 SI-MD。可以把它理解為：讓AI同時(shí)學(xué)習(xí)清醒時(shí)“看圖”的腦信號(hào)、清醒時(shí)“聽聲音”的腦信號(hào)，以及睡眠中聽到提示音后的腦信號(hào)，再把它們放到同一個(gè)語(yǔ)義空間里比較。這樣一來(lái)，AI就能把“同一概念”在不同腦狀態(tài)下的活動(dòng)對(duì)齊，把“不相關(guān)概念”區(qū)分開，從復(fù)雜的睡眠節(jié)律背景中提取真正與記憶內(nèi)容相關(guān)的信息。這也是AI+腦科學(xué)在睡眠研究中的一個(gè)關(guān)鍵進(jìn)展。

結(jié)果顯示，在零樣本、跨被試測(cè)試中，SI在非快速眼動(dòng)睡眠NREM 2/3期和快速眼動(dòng)睡眠REM期的15分類任務(wù)中，準(zhǔn)確率分別達(dá)到 22.82% 和 19.27%。在這一任務(wù)中，隨機(jī)水平僅為 6.67%，而SI的表現(xiàn)顯著優(yōu)于多種線性模型和深度學(xué)習(xí)基線（圖2）。這表明，睡眠中的語(yǔ)義記憶重激活并非不可讀出，而是能夠被模型以顯著高于基線的水平識(shí)別。

圖2 神經(jīng)對(duì)比學(xué)習(xí)支持跨清醒與睡眠狀態(tài)的零樣本語(yǔ)義解碼

研究還進(jìn)一步找到了睡眠中最有利于解碼記憶內(nèi)容的關(guān)鍵時(shí)間窗口。團(tuán)隊(duì)發(fā)現(xiàn)，解碼效果并不是在整個(gè)睡眠過(guò)程中平均分布的，而是在慢振蕩由下降相過(guò)渡到首次上升相時(shí)達(dá)到最高，也就是慢波活動(dòng)即將轉(zhuǎn)入上升的時(shí)刻。這個(gè)時(shí)間窗同時(shí)也是紡錘波最活躍、慢振蕩與紡錘波耦合最明顯的階段。

進(jìn)一步分析表明，慢振蕩相位和紡錘波的存在都會(huì)獨(dú)立提升解碼正確率，而且兩者的作用可以疊加（圖3）。研究人員進(jìn)一步選取耦合事件更豐富的樣本重新訓(xùn)練模型后，整體解碼性能得到進(jìn)一步提升。這提示，特定節(jié)律耦合窗口可能正是睡眠中記憶內(nèi)容最容易被外顯、也最容易被可靠讀取的神經(jīng)時(shí)間窗。

圖3 慢振蕩與紡錘波耦合是睡眠語(yǔ)義記憶解碼的重要生理窗口

為進(jìn)一步檢驗(yàn)?zāi)Ｐ偷姆夯芰Γ瑘F(tuán)隊(duì)開展了兩項(xiàng)獨(dú)立驗(yàn)證實(shí)驗(yàn)。

第一項(xiàng)實(shí)驗(yàn)采用經(jīng)典的“目標(biāo)記憶重激活”（Targeted Memory Reactivation，TMR）范式。與主實(shí)驗(yàn)不同，這一實(shí)驗(yàn)使用的是不攜帶語(yǔ)義信息的任意聲音作為提示線索。結(jié)果顯示，在不重新訓(xùn)練模型的情況下，SI仍能正確區(qū)分被提示的概念，而且解碼概率與被試睡后的記憶提升相關(guān)（圖4）。

圖4 SI可在經(jīng)典TMR范式中捕捉非語(yǔ)義聲音提示引發(fā)的記憶重激活

第二項(xiàng)實(shí)驗(yàn)則完全不播放任何聲音線索，用于檢驗(yàn)?zāi)Ｐ湍芊褡R(shí)別自發(fā)性的記憶重激活。結(jié)果發(fā)現(xiàn)，即使沒(méi)有外部提示，SI仍可從與慢振蕩相關(guān)的腦電片段中解碼出與當(dāng)次學(xué)習(xí)內(nèi)容一致的語(yǔ)義偏向，而且解碼概率能夠預(yù)測(cè)個(gè)體后續(xù)的記憶保持水平（圖5）。這說(shuō)明，SI捕捉到的并不只是聲音本身的物理特征，而更接近睡眠中大腦自發(fā)進(jìn)行的記憶加工內(nèi)容。

圖5 SI可在無(wú)外部提示條件下識(shí)別自發(fā)性記憶重激活

在此基礎(chǔ)上，研究團(tuán)隊(duì)進(jìn)一步搭建了實(shí)時(shí)睡眠解碼系統(tǒng)。該系統(tǒng)包括自動(dòng)睡眠分期模塊SI-Staging和階段特異性語(yǔ)義解碼模塊。前者僅依賴3個(gè)EEG通道，便可在獨(dú)立留出的測(cè)試被試上實(shí)現(xiàn)90.38%的專家標(biāo)注一致率（圖6）；后者則在檢測(cè)到穩(wěn)定睡眠狀態(tài)后，對(duì)全腦EEG片段進(jìn)行在線內(nèi)容解碼，并可在毫秒級(jí)完成推理輸出。

這意味著，該系統(tǒng)不僅能夠判斷“當(dāng)前處于什么睡眠階段”，還能夠進(jìn)一步估計(jì)“當(dāng)前大腦正在處理什么內(nèi)容”。換句話說(shuō)，它讓腦機(jī)接口從“識(shí)別狀態(tài)”邁向“理解內(nèi)容”，具備了內(nèi)容感知型認(rèn)知腦機(jī)接口的雛形，也為未來(lái)閉環(huán)睡眠干預(yù)、記憶增強(qiáng)和精準(zhǔn)神經(jīng)調(diào)控提供了可行路徑。

圖6 實(shí)時(shí)睡眠解碼系統(tǒng)

該研究進(jìn)一步推動(dòng)了AI與腦科學(xué)的深度融合，讓研究者不只知道人是否在睡、睡到哪一步，還能開始理解睡眠中的認(rèn)知加工內(nèi)容。相關(guān)成果為記憶增強(qiáng)、異常記憶調(diào)控、睡眠相關(guān)腦疾病干預(yù)，以及夢(mèng)境內(nèi)容的客觀評(píng)估提供了新的研究基礎(chǔ)。

目前，SI已實(shí)現(xiàn)跨被試、零樣本解碼，顯示出初步的泛化能力。下一步，課題組將繼續(xù)突破封閉類別集的限制，面向開放語(yǔ)義空間構(gòu)建更通用的基礎(chǔ)模型，逐步打通從睡眠分期、記憶加工到更廣義認(rèn)知功能表征的技術(shù)鏈路，推動(dòng)AI+腦科學(xué)、認(rèn)知腦機(jī)接口、精準(zhǔn)神經(jīng)調(diào)控以及個(gè)體化學(xué)習(xí)與記憶干預(yù)的發(fā)展。

論文鏈接：https://www.cell.com/neuron/fulltext/S0896-6273(26)00219-9

來(lái)源 | 北京腦、腦機(jī)接口社區(qū)

浙大科技園啟真腦機(jī)智能產(chǎn)業(yè)化基地是在浙大控股集團(tuán)領(lǐng)導(dǎo)下，由浙江大學(xué)科技園發(fā)展有限公司與杭州未來(lái)科技城管委會(huì)共建，圍繞腦機(jī)智能產(chǎn)業(yè)主體，輻射腦機(jī)+生命健康、腦機(jī)+智能制造、腦機(jī)+新一代信息技術(shù)、腦機(jī)+新材料等領(lǐng)域的專業(yè)化特色產(chǎn)業(yè)基地，由杭州啟真未來(lái)科技發(fā)展有限公司負(fù)責(zé)全面運(yùn)營(yíng)。

基地依托浙江大學(xué)在腦機(jī)智能方面的學(xué)科優(yōu)勢(shì)，以腦機(jī)智能作為核心科技支撐，貫徹浙江大學(xué)國(guó)家大學(xué)科技園“有組織科技成果轉(zhuǎn)化、有靶向科技企業(yè)孵化、有體系未來(lái)產(chǎn)業(yè)培育”的服務(wù)體系，致力于打造腦機(jī)智能領(lǐng)域具備成果顯示度、區(qū)域影響力的產(chǎn)業(yè)化高地。