腦機啟偵 | 新型腦機接口（BCI）可即時合成語音（02.12）

一項新研究發現，通過分析神經信號，腦機接口 (BCI) 現在幾乎可以即時合成因神經退行性疾病而失去聲音的患者的語音。

研究人員提醒說，這種能夠幫助癱瘓患者恢復語言能力的設備要應用于日常交流仍需很長時間。盡管如此，加州大學戴維斯分校神經義肢實驗室的項目科學家Maitreyee Wairagkar 表示，他們希望這項研究“能夠開辟一條進一步改進這些系統的途徑——例如，通過技術轉讓給產業”。

腦機接口的一個主要潛在應用是幫助因疾病或受傷而無法說話的人恢復溝通能力。例如，科學家已經開發出多種腦機接口，可以幫助將神經信號轉換為文本。

然而，單靠文本無法捕捉人類語音的許多關鍵方面，例如有助于傳達含義的語調。此外，Wairagkar 表示，基于文本的交流速度很慢。

現在，研究人員開發了一種名為“腦轉語音”的神經假體，可以實時將神經活動解碼為聲音。他們于6月11日在《自然》雜志上詳細介紹了他們的研究成果。

“因神經系統疾病而失去說話能力是毀滅性的”，Wairagkar說?！伴_發一種能夠繞過受損神經系統通路來恢復說話能力的技術，將對失語人士的生活產生重大影響?！?/p>

用于言語恢復的神經映射

新的腦機接口 (BCI)使用四個微電極陣列來映射神經活動?？茖W家們總共在三個大腦區域放置了 256個微電極陣列，其中最主要的是腹側中央前回，它在控制說話肌肉方面發揮著關鍵作用。

“這項技術并不能‘讀懂’或‘讀懂內心的想法’，”Wairagkar 說。 “我們從控制言語肌肉的大腦區域進行記錄。因此，系統僅在參與者主動嘗試說話時才會發出聲音?！?/p>

研究人員將腦機接口（BCI）植入一位45歲的肌萎縮側索硬化癥（ALS）志愿者體內，ALS是一種神經退行性疾病，也稱為盧伽雷氏癥。雖然這位志愿者仍然可以發出聲音，但在植入BCI之前的幾年里，他一直無法獨自發出清晰的語音。

神經假體記錄了患者嘗試大聲朗讀屏幕上的句子時產生的神經活動。隨后，科學家們利用這些數據訓練了一個深度學習人工智能模型，使其能夠生成患者想要表達的語音。

研究人員還利用患者患病前的錄音訓練了一個語音克隆人工智能模型，以便BCI能夠合成患者患病前的聲音。研究指出，患者表示，聽到合成的聲音“讓我感到快樂，感覺就像我真實的聲音一樣”。

在實驗中，科學家發現腦機接口 (BCI) 能夠檢測到預期語音語調的關鍵方面。他們讓患者嘗試將一組句子以陳述句（音調不變）或疑問句（句末音調上升）的形式說出來。他們還讓患者通過改變音調來強調“我從未說過她偷了我的錢”這句話中七個單詞中的一個。（這個句子有七種不同的含義，取決于強調哪個單詞。）這些測試表明，在問題結尾和強調單詞之前，神經活動有所增強。反過來，這使得患者能夠控制自己的腦機接口 (BCI) 聲音，從而能夠提出問題、強調句子中的特定單詞或唱出三音調旋律。

“我們說什么，怎么說也同樣重要，”Wairagkar 說?！罢Z調有助于我們有效地溝通。”

總而言之，新的腦機接口 (BCI) 可以獲取神經信號并以 25 毫秒的延遲發出聲音，從而實現近乎即時的語音合成，Wairagkar 說道。事實證明，BCI 足夠靈活，能夠說出自創的假詞，以及諸如“啊”、“呃”、“哦”和“嗯”之類的感嘆詞。最終的聲音通常清晰易懂，但并非始終如一。在測試中，人類聽眾需要轉錄 BCI 的話語，他們理解患者話語的準確率約為 56%，而未使用 BCI 時僅為 3%。“我們并非聲稱這套系統已經準備好供失去說話能力的人使用，并進行對話，”Wairagkar 說道?！跋喾?，我們只是展示了當前 BCI 技術所能實現的概念驗證。”未來，科學家們計劃提升該設備的準確性，例如，增加電極數量和改進AI模型。他們還希望腦機接口公司能夠開展臨床試驗，將這項技術融入其中。“目前尚不清楚這種腦機接口是否適用于完全閉鎖（locked in）的人”——也就是說，除了眼球運動和眨眼之外，幾乎完全癱瘓，Wairagkar補充道。另一個有趣的研究方向是研究這種語音腦機接口是否能幫助語言障礙患者，例如失語癥患者?！拔覀兡壳暗哪繕嘶颊呷后w是由于肌肉麻痹而無法說話，”Wairagkar說道。“然而，他們產生語言和認知的能力仍然完好無損。” 她指出，與此相反，未來的研究可能會研究如何恢復大腦中負責說話的區域受損或因殘疾而自幼無法學習說話的人的語言能力。

來源 | 腦機接口社區

浙大科技園啟真腦機智能產業化基地是在浙大控股集團領導下，由浙江大學科技園發展有限公司與杭州未來科技城管委會共建，圍繞腦機智能產業主體，輻射腦機+生命健康、腦機+智能制造、腦機+新一代信息技術、腦機+新材料等領域的專業化特色產業基地，由杭州啟真未來科技發展有限公司負責全面運營。

基地依托浙江大學在腦機智能方面的學科優勢，以腦機智能作為核心科技支撐，貫徹浙江大學國家大學科技園“有組織科技成果轉化、有靶向科技企業孵化、有體系未來產業培育”的服務體系，致力于打造腦機智能領域具備成果顯示度、區域影響力的產業化高地。