隨著柔性物聯(lián)網(wǎng)設(shè)備和多感官人機(jī)交互應(yīng)用的快速發(fā)展,對(duì)能夠以智能、節(jié)能方式進(jìn)行多模態(tài)數(shù)據(jù)感知、處理和反饋的先進(jìn)系統(tǒng)需求日益迫切。然而,傳統(tǒng)馮·諾依曼架構(gòu)中傳感、計(jì)算與反饋單元相互分離,導(dǎo)致能效低下、接口不匹配等諸多挑戰(zhàn)。
受高度集成的生物感官系統(tǒng)啟發(fā),福建師范大學(xué)趙毅研究員、劉洋教授和西北工業(yè)大學(xué)黃維院士合作,成功開(kāi)發(fā)出一種基于MXene的柔性雙模傳感-處理-可視化集成系統(tǒng)。該系統(tǒng)通過(guò)一種分層的MXene平臺(tái),將壓電納米發(fā)電機(jī)(機(jī)械感知)、光電突觸(視覺(jué)處理)和變色量子點(diǎn)發(fā)光二極管(光學(xué)反饋)集成于單一可穿戴設(shè)備中,實(shí)現(xiàn)了優(yōu)化的機(jī)械與電學(xué)接口匹配。這一仿生集成系統(tǒng)展示了觸覺(jué)-視覺(jué)信號(hào)識(shí)別、對(duì)環(huán)境刺激的自適應(yīng)仿生自我保護(hù)行為、動(dòng)態(tài)軌跡識(shí)別以及用于運(yùn)動(dòng)識(shí)別的空間定位等強(qiáng)大功能,為可穿戴神經(jīng)形態(tài)硬件、邊緣計(jì)算和智能人機(jī)交互的發(fā)展開(kāi)辟了新道路。相關(guān)論文以“Bioinspired flexible sensing-processing-visualizing integrated system towards tactile-visual signal recognition”為題,發(fā)表在
Nature Communications上。
![]()
該集成系統(tǒng)的設(shè)計(jì)靈感源于生物細(xì)胞膜。如圖1所示,生物細(xì)胞膜作為一個(gè)共享的準(zhǔn)二維平臺(tái),通過(guò)其上嵌入的不同蛋白質(zhì)(如感知壓力的Piezo2、感知視覺(jué)的視紫紅質(zhì))實(shí)現(xiàn)多模態(tài)感知和高效的離子-電子信號(hào)傳導(dǎo)。研究團(tuán)隊(duì)借鑒這一“材料-架構(gòu)-功能”協(xié)同設(shè)計(jì)策略,利用二維材料MXene(Ti?C?T?)構(gòu)建了柔性傳感-處理-可視化集成系統(tǒng)。通過(guò)調(diào)控MXene的尺寸和表面狀態(tài),使其在系統(tǒng)中扮演多重角色:作為共享的高效導(dǎo)電平臺(tái);在壓電納米發(fā)電機(jī)中作為增強(qiáng)觸覺(jué)感知的材料;在人工光電突觸中作為視覺(jué)感知和突觸材料;在變色量子點(diǎn)發(fā)光二極管中作為優(yōu)化的電荷注入層。圖1c展示了不同尺寸MXene的形貌及制備流程,所有組分均來(lái)自同一前驅(qū)體的高效利用,體現(xiàn)了低成本、環(huán)保的生產(chǎn)理念。
![]()
圖1 | 基于MXene的柔性傳感-處理-可視化集成系統(tǒng)設(shè)計(jì)。 a 通過(guò)發(fā)生在細(xì)胞膜上的神經(jīng)傳導(dǎo)連接的生物多模態(tài)神經(jīng)系統(tǒng)示意圖。左圖:Piezo2離子通道蛋白在受壓時(shí)允許離子通過(guò)細(xì)胞膜并產(chǎn)生動(dòng)作電位。中圖:視紫紅質(zhì)在光照下,由于視網(wǎng)膜構(gòu)象變化影響輔基分離,允許離子通過(guò)并產(chǎn)生動(dòng)作電位。右圖:因外部刺激在大腦區(qū)域形成的痛覺(jué)和視覺(jué)。b 通過(guò)發(fā)生在大尺寸MXene上的電子傳導(dǎo)連接的基于MXene的柔性傳感-處理-可視化集成系統(tǒng)示意圖。左圖:含有中等尺寸MXene添加劑(極化鎖定)和大尺寸MXene電極的MXene雙功能壓電納米發(fā)電機(jī)。中圖:基于氧化小尺寸MXene(電荷俘獲)并配有大尺寸MXene電極的人工光電突觸。右圖:配有大尺寸MXene(高導(dǎo)電性)電極的變色量子點(diǎn)發(fā)光二極管。c 上圖:中等尺寸MXene(左)、氧化小尺寸MXene(中)和大尺寸MXene(右)的掃描電子顯微鏡圖像;比例尺:1 μm。下圖:最小強(qiáng)度層剝離法刻蝕和機(jī)械剝離過(guò)程示意圖。
圖2展示了基于MXene的雙功能壓電納米發(fā)電機(jī)的優(yōu)異特性。其中,中等尺寸的MXene作為添加劑,通過(guò)氫鍵作用鎖定PVDF-TrFE聚合物中的偶極子取向,顯著提升了壓電相的含量和輸出性能。而大尺寸MXene作為電極,改善了界面接觸和電荷收集效率。該器件在超過(guò)9900次循環(huán)后仍保持穩(wěn)定的輸出電壓,顯示出卓越的機(jī)械耐久性和可靠性,其輸出電流與壓力呈現(xiàn)良好的線性關(guān)系,可用于精確的壓力傳感與標(biāo)定。
![]()
圖2 | MXene雙功能壓電納米發(fā)電機(jī)的表征。 a MXene雙功能壓電納米發(fā)電機(jī)制備過(guò)程示意圖。b 和 c 分別示意MXene雙功能壓電納米發(fā)電機(jī)在初始狀態(tài)和受壓狀態(tài)下的工作原理。d 在11N壓力下,不同MXene尺寸對(duì)應(yīng)的壓電輸出。e 不同中等尺寸MXene含量下,MXene雙功能壓電納米發(fā)電機(jī)的短路電流。f MXP-0.5的短路電流隨施加壓力(1.5至13N)線性增加。g 與其他電極對(duì)比,顯示MXene電極對(duì)電荷收集效率的提升。h COMSOL Multiphysics有限元分析模擬結(jié)果,支持實(shí)驗(yàn)數(shù)據(jù)。
在視覺(jué)與信息處理方面,圖3揭示了基于氧化小尺寸MXene的人工光電突觸的突觸特性。該器件在電脈沖和光脈沖刺激下,能夠模擬生物突觸的權(quán)重調(diào)節(jié)、短期記憶、雙脈沖易化等關(guān)鍵特性。特別值得一提的是,壓電納米發(fā)電機(jī)產(chǎn)生的電脈沖可直接用于調(diào)制光電突觸的導(dǎo)電狀態(tài),無(wú)需外接脈沖電源,實(shí)現(xiàn)了感知信號(hào)的原位處理。該突觸器件在單脈沖刺激下的能耗極低,展現(xiàn)出在高能效神經(jīng)形態(tài)計(jì)算中的應(yīng)用潛力。
![]()
圖3 | 基于氧化小尺寸MXene的人工光電突觸的突觸特性表征。 a 光電突觸結(jié)構(gòu)示意圖。b 氧化小尺寸MXene的高分辨率X射線光電子能譜P 2p譜。c 人工光電突觸的I-V掃描曲線(0→+1.2V→0V,循環(huán)10次)。d 通過(guò)15個(gè)幅度逐漸增加的正電脈沖和15個(gè)固定幅度的負(fù)電脈沖實(shí)現(xiàn)的連續(xù)電導(dǎo)調(diào)制。e 和 f 由壓電納米發(fā)電機(jī)觸發(fā)的人工光電突觸的興奮性突觸后電流,顯示脈沖數(shù)量和頻率增加對(duì)電流響應(yīng)的增強(qiáng)。g 和 h 在不同紫外光照射時(shí)間和脈沖數(shù)下,人工光電突觸的光電流響應(yīng)行為。i 不同頻率連續(xù)光脈沖序列下的人工光電突觸興奮性突觸后電流。j 光誘導(dǎo)雙脈沖易化行為及擬合的時(shí)間常數(shù)。k 4位光脈沖輸入對(duì)應(yīng)16種不同響應(yīng)狀態(tài)。l 開(kāi)爾文探針力顯微鏡表征,顯示光照下薄膜表面電勢(shì)變化,表明界面處電荷積累。
為了實(shí)現(xiàn)感知信息的直觀反饋,研究團(tuán)隊(duì)在圖4中集成了變色量子點(diǎn)發(fā)光二極管。該器件利用大尺寸MXene作為導(dǎo)電層,其功函數(shù)與電荷注入層良好匹配,實(shí)現(xiàn)了高效電荷注入。通過(guò)調(diào)節(jié)驅(qū)動(dòng)電壓,可以控制紅/綠量子點(diǎn)的發(fā)光比例,從而實(shí)現(xiàn)從紅光到綠光的顏色變化。受章魚(yú)皮膚自適應(yīng)變色行為的啟發(fā),該系統(tǒng)被賦予環(huán)境自適應(yīng)功能。當(dāng)同時(shí)施加壓力和光刺激時(shí),系統(tǒng)的“觸覺(jué)”與“視覺(jué)”輸入?yún)f(xié)同作用,驅(qū)動(dòng)發(fā)光二極管發(fā)出不同顏色的光(如紅光代表非防御狀態(tài)、黃光代表環(huán)境監(jiān)測(cè)狀態(tài)、綠光代表警報(bào)狀態(tài)),直觀反映環(huán)境刺激的強(qiáng)度與模式。
![]()
圖4 | 基于柔性傳感-處理-可視化集成系統(tǒng)的可視化雙模傳感及其環(huán)境自適應(yīng)應(yīng)用。 a 變色量子點(diǎn)發(fā)光二極管結(jié)構(gòu)示意圖。b 變色量子點(diǎn)發(fā)光二極管的能級(jí)圖及電荷載流子轉(zhuǎn)移過(guò)程。c 不同電壓下的歸一化電致發(fā)光光譜。d 柔性傳感-處理-可視化集成系統(tǒng)中信號(hào)采集與處理示意圖。e 章魚(yú)在光和觸覺(jué)壓力刺激下變色的示意圖。f 仿章魚(yú)環(huán)境自適應(yīng)雙模感知與可視化能力的系統(tǒng)示意圖。g 變色量子點(diǎn)發(fā)光二極管在不同壓力和光強(qiáng)刺激下的發(fā)光強(qiáng)度變化。h 變色量子點(diǎn)發(fā)光二極管在不同電壓下的國(guó)際照明委員會(huì)色度圖。
最后,圖5展示了該集成系統(tǒng)在多模態(tài)信息感知與識(shí)別方面的強(qiáng)大應(yīng)用能力。在復(fù)雜的多模態(tài)圖像識(shí)別任務(wù)中,系統(tǒng)對(duì)受污染的圖像(部分區(qū)域僅能通過(guò)觸覺(jué)信號(hào)感知)實(shí)現(xiàn)了91%的分類準(zhǔn)確率。此外,在一個(gè)簡(jiǎn)化的羽毛球運(yùn)動(dòng)場(chǎng)景中,該系統(tǒng)能夠?qū)崟r(shí)識(shí)別四種不同的擊球類型、八個(gè)方向的球拍擺動(dòng)軌跡,并通過(guò)兩個(gè)光電探測(cè)器捕捉發(fā)光二極管的光信號(hào),實(shí)現(xiàn)高精度的空間定位。這些功能充分展現(xiàn)了其在動(dòng)態(tài)、交互式多感官人機(jī)交互場(chǎng)景中的應(yīng)用價(jià)值。
![]()
圖5 | 多模態(tài)信息感知與識(shí)別。 a 在復(fù)雜環(huán)境中識(shí)別多模態(tài)Fashion-MNIST數(shù)據(jù)集的示意圖。b 對(duì)七類圖像進(jìn)行分類的混淆矩陣。c 在一個(gè)簡(jiǎn)單的羽毛球運(yùn)動(dòng)場(chǎng)景中,柔性傳感-處理-可視化集成系統(tǒng)實(shí)現(xiàn)擊球類型識(shí)別、動(dòng)態(tài)球拍擺動(dòng)軌跡識(shí)別和位置識(shí)別的示意圖,應(yīng)用于多感官交互場(chǎng)景。d 用于動(dòng)態(tài)識(shí)別擊球類型和球拍擺動(dòng)軌跡的傳感內(nèi)儲(chǔ)備池計(jì)算系統(tǒng)示意圖。e 對(duì)不同擊球類型進(jìn)行分類的混淆矩陣。f 和 g 讀出層單元的讀出函數(shù)值,表示對(duì)應(yīng)軌跡的概率。h 訓(xùn)練前后權(quán)重分布的初始與最終狀態(tài)。i 球拍擺動(dòng)軌跡識(shí)別的交叉熵?fù)p失和準(zhǔn)確率。j 位置檢測(cè)原理示意圖。k 估計(jì)點(diǎn)坐標(biāo)與實(shí)際點(diǎn)坐標(biāo)對(duì)比。l 位置檢測(cè)的訓(xùn)練損失和驗(yàn)證損失。
這項(xiàng)研究通過(guò)仿生的材料-架構(gòu)-功能協(xié)同設(shè)計(jì)策略,成功構(gòu)建了集機(jī)械感知、視覺(jué)處理與光學(xué)反饋于一體的柔性集成系統(tǒng)。它不僅高效處理了觸覺(jué)與視覺(jué)信號(hào),實(shí)現(xiàn)了環(huán)境自適應(yīng)交互,更在多模態(tài)圖像識(shí)別、動(dòng)態(tài)運(yùn)動(dòng)軌跡追蹤與空間定位方面表現(xiàn)出色。該工作凸顯了MXene在仿生功能集成柔性電子領(lǐng)域的巨大潛力,為下一代智能可穿戴設(shè)備及多感官人機(jī)交互系統(tǒng)的發(fā)展提供了一條充滿希望的技術(shù)路徑。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.