腦機接口或讓中文失語患者重獲“新聲” | 科技前線

語言是人類文明和社會進步的重要載體，也是人與人之間溝通交流的主要形式。但腦卒中、漸凍癥等重大腦疾病可導致患者喪失語言表達能力，影響生活質量，給社會和家庭帶來巨大負擔。

近日，中國科學院上海微系統與信息技術研究所等，針對漢語解碼，開發出植入式高通量柔性腦機接口系統和漢語言實時神經網絡解碼算法，并在國際上首次實現腦機接口實時漢語解碼和語句合成。

01

研究落差與突破契機

語言腦機接口可重建語言功能障礙患者的溝通能力，有效改善其社會生活質量。國際上，應用腦機接口技術已突破英語語音和文字合成，但針對漢語解碼的腦機接口技術研究卻相對較少。

相比于英語，漢語具有其獨特性。具體而言，英語是以多音節為主的非聲調語言，漢語則是以單音節為主的聲調語言。同時，英語詞匯量較大，常用英語單詞約為20000個，而漢語通過約400個漢語音節加4個聲調，可構建出覆蓋日常需求的3500多個常用漢字。

▲漢語與英語特征對比

02

漢語解碼新思路

研究團隊利用漢語本身優勢，從約400個漢語音節和4個聲調入手，將其作為穩定的中間解碼單元，實現從腦電到文字的“翻譯”，且通過解碼這些漢語音節和聲調，可外推至全部漢字。

同時，解碼過程可同步采集漢語句子任務下的發音信號和高通量高質量腦電信號。

研究團隊通過構建多級實時解碼數據流，以50毫秒滑動窗口提取70Hz至170Hz的High-γ頻段腦電信號，并對齊腦電信號與發音起始點，驅動雙流解碼器同步生成音節與聲調的概率分布，進而融合語言模型進行最合適的句子組合選擇，實現實時漢語語句輸出。

研究顯示，受試者經過9天的語言解碼任務后，394個漢語音節（解碼未覆蓋音節為生僻音節且受試者不認識）純神經解碼平均準確率達到71.2%，單音節解碼延時65ms，實時漢語語句解碼速率達到49.6字/分鐘。

▲漢語語句實時解碼

研究團隊進一步融合了語言腦機接口技術與人工智能和具身智能技術，并基于實時漢語解碼技術和自主研發的通用型腦機操作系統，使受試者實現了驅動數字分身、對話人工智能大模型。同時，研究可將人的腦電解碼成語言，進而轉化成指令，實時操控靈巧手，以實現人機交互。

▲語言腦機接口技術與人工智能和具身智能技術融合

這項研究提供了一種針對漢語等聲調語言的高效腦機接口解碼策略，讓中文失語患者有望重新“開口說話”。

論文鏈接：

https://www.science.org/doi/10.1126/sciadv.adz9968

來源：中國科學院上海微系統與信息技術研究所

責任編輯：閆文藝