靈活的物聯(lián)網(wǎng)設(shè)備和多感官人機(jī)交互的快速發(fā)展需要能夠以智能和節(jié)能的方式進(jìn)行多模態(tài)數(shù)據(jù)感知、處理和反饋的先進(jìn)系統(tǒng)。然而,由于感知、處理和反饋單元的碎片化架構(gòu),傳統(tǒng)架構(gòu)面臨能量低效率和界面不匹配的限制。
![]()
西北工業(yè)大學(xué)黃維院士,福建師范大學(xué)趙毅教授、劉洋教授等人受生物傳感系統(tǒng)的啟發(fā),將基于MXene的柔性雙模傳感-處理-可視化集成系統(tǒng)引入到單個(gè)可穿戴設(shè)備中,通過(guò)分層MXene平臺(tái)將壓電納米發(fā)電機(jī)(機(jī)械感覺(jué))、光電突觸(視覺(jué)處理)和變色量子點(diǎn)發(fā)光二極管(光反饋)與優(yōu)化的界面結(jié)合在一起。該可穿戴集成系統(tǒng)具有觸覺(jué)-視覺(jué)信號(hào)識(shí)別能力,適應(yīng)環(huán)境刺激的生物自我保護(hù)行為,動(dòng)態(tài)軌跡識(shí)別和運(yùn)動(dòng)識(shí)別的空間定位,這些都是多感官交互中非常需要的。仿生材料-建筑-功能協(xié)同設(shè)計(jì)策略和集成系統(tǒng)促進(jìn)了可穿戴神經(jīng)形態(tài)硬件、邊緣計(jì)算和智能人機(jī)交互的發(fā)展。
相關(guān)工作以《Bioinspired flexible sensing-processing-visualizing integrated system towards tactile-visual signal recognition》為題在《Nature Communications》上發(fā)表論文。從Peer review文件上可以看到,該研究歷經(jīng)了3輪審稿,從投稿到接收歷經(jīng)275天!
圖文介紹
![]()
圖1 基于MXene的柔性傳感-處理-可視化集成系統(tǒng)設(shè)計(jì)
細(xì)胞膜作為一種通用平臺(tái),通過(guò)共享組件增強(qiáng)了營(yíng)養(yǎng)物質(zhì)的利用以及機(jī)械和電信號(hào)的兼容性,發(fā)揮著多種作用,包括通過(guò)插入的Piezo2實(shí)現(xiàn)觸覺(jué)感知,通過(guò)插入的視紫紅質(zhì)實(shí)現(xiàn)視覺(jué)感知,將感覺(jué)刺激轉(zhuǎn)化為離子-電子信號(hào),并高效傳輸這些信號(hào)以進(jìn)行交互和處理,從而促進(jìn)各種生理過(guò)程(圖1a)。基于準(zhǔn)二維多功能細(xì)胞膜的多感官感知-處理-反饋系統(tǒng)的工作原理和結(jié)構(gòu)為仿生電子領(lǐng)域的融合材料和結(jié)構(gòu)設(shè)計(jì)提供了有價(jià)值的啟示,以實(shí)現(xiàn)多模式、可穿戴和界面匹配功能。
本文提出了一種基于MXene的柔性傳感-處理-可視化集成系統(tǒng)(FSPVS),具有機(jī)械和電子匹配的界面,可穿戴智能傳感系統(tǒng)(圖1b)。通過(guò)定制尺寸和表面狀態(tài),MXene具有多種功能,包括共享高效電傳導(dǎo)平臺(tái)、觸覺(jué)增強(qiáng)材料、視覺(jué)感覺(jué)和突觸材料,以及具有最小能量勢(shì)壘的優(yōu)選電荷注入層,從而實(shí)現(xiàn)感覺(jué)刺激轉(zhuǎn)化為電子信號(hào)并有效傳輸。大型MXene (L-MXene)作為一個(gè)共享平臺(tái),包含以下集成單元:通過(guò)中型MXene(M-MXene)界面極化鎖定調(diào)節(jié)壓電納米發(fā)電機(jī)(PENG)實(shí)現(xiàn)機(jī)械感應(yīng);基于氧化小尺寸MXene (OSMX)的人工光電突觸(AOS)的視覺(jué)感覺(jué)和突觸功能集成色移量子點(diǎn)發(fā)光二極管(CS-QLED)光反饋。
這些MXene的形貌和物相表征如圖1c從左到右所示。首先,采用“MILD”方法刻蝕富Al的Ti3AlC2 MAX(MXene前驅(qū)體),得到缺陷最小的多層MXene。隨后,利用渦旋振蕩產(chǎn)生的機(jī)械力對(duì)多層MXene進(jìn)行剝離,得到L-MXene和M-MXene,保持橫向尺寸,使面內(nèi)缺陷最小化。利用離心力進(jìn)一步分離富含-OH端部的M-MXene和具有最小缺陷的大橫向尺寸L-MXene,分別匹配PENG、AOS和CS-QLED的器件應(yīng)用。此外,為了滿足材料利用和AOS應(yīng)用要求,機(jī)械上不可剝蝕的多層MXene首先被超聲破碎成S-MXene,然后氧化和表面功能化,以產(chǎn)生含有豐富缺陷位點(diǎn)的光響應(yīng)性O(shè)SMX。
![]()
圖2 MXene基雙功能PENG的表征
自供電MXene基雙功能PENG,類(lèi)似于Piezo2的觸覺(jué)傳感單元,是通過(guò)在共享的L-MXene導(dǎo)電層(圖2a)上沉積M-MXene/P(VDF-TrFE)(MXP)來(lái)制造的,具有優(yōu)異的導(dǎo)電性和機(jī)械強(qiáng)度。此外,MXene具有豐富和可調(diào)的表面末端,有利于溶液處理,能夠在各種溶劑中均勻分散,包括水、極性和非極性有機(jī)溶劑。圖2b、c分別展示了MXene基雙功能PENG在初始狀態(tài)和加壓狀態(tài)下的工作機(jī)理。M-MXene和P(VDF-TrFE)基體之間的界面極化導(dǎo)致復(fù)合材料內(nèi)電偶極子的取向相對(duì)均勻(圖2b)。壓縮后,自極化效應(yīng)加上變形偶極子的形成,誘導(dǎo)薄膜表面產(chǎn)生極化電荷。這些電荷隨后被吸引并積聚在帶電表面上,從而形成壓電電位(圖2c)。因此,外部自由電荷遷移到電極并積累以抵消壓電電位。
作者初步研究了不同薄片尺寸的MXene對(duì)PENG壓電性能的影響(圖2d)。當(dāng)使用具有合適片狀尺寸的M-MXene作為添加劑時(shí),得到的MXene基雙功能PENG顯示出最高的輸出,這可歸因于有效增強(qiáng)的界面極化和最小化的泄漏電流。進(jìn)一步評(píng)估了壓電輸出性能,包括開(kāi)路電壓和短路電流的測(cè)量(圖2e)。兩個(gè)指標(biāo)都表明,MXene基雙功能PENG的輸出性能在MXene含量為0.5 wt%時(shí)達(dá)到峰值。圖2f顯示,在1.5~13 N范圍內(nèi),MXP-0.5的短路電流隨施加壓力呈線性增加,表明輸出電流與壓力呈線性關(guān)系,可以進(jìn)行精確的信號(hào)校準(zhǔn)和準(zhǔn)確的壓力估計(jì)。
在PENG中,M-MXene作為添加劑和L-MXene作為電極的雙重功能作用改善了界面接觸,顯著提高了電荷收集效率(圖2g)。這導(dǎo)致了壓力刺激下電流密度的大幅增加,這明顯高于使用其他電極的壓電薄膜。制備的MXene基雙功能PENG具有優(yōu)異的機(jī)械界面匹配性能和9900次以上穩(wěn)定的輸出電壓,在實(shí)際應(yīng)用中表現(xiàn)出優(yōu)異的機(jī)械耐久性和可靠性。COMSOL多場(chǎng)有限元分析仿真結(jié)果進(jìn)一步支持了實(shí)驗(yàn)數(shù)據(jù)(圖2h)。
![]()
圖3 基于OSMX的AOS突觸特性的表征
通過(guò)將基于OSMX的AOS集成在共享的柔性透明L-MXene薄導(dǎo)電層上,可以獲得視覺(jué)感覺(jué)和突觸功能(圖3a)。為了獲得AOS所需的光感知能力和電荷捕獲能力,同時(shí)提高M(jìn)Xene合成過(guò)程的效率,實(shí)施了兩步改性程序:(1)通過(guò)超聲破碎廢棄的多層MXene來(lái)制備的S-MXene能夠被可控地氧化為T(mén)iOx基的OSMX,同時(shí)提高了光響應(yīng)性和缺陷密度,從而增強(qiáng)了電荷捕獲能力,進(jìn)而提升了突觸性能;(2)使用正十二烷基磷酸(DDPA)對(duì)表面進(jìn)行功能化處理,提高了有機(jī)溶劑中的膠體穩(wěn)定性(圖3b)。
為了評(píng)估該裝置的突觸可塑性,對(duì)AOS進(jìn)行了電測(cè)試。通過(guò)測(cè)量I-V曲線對(duì)模擬電阻開(kāi)關(guān)行為進(jìn)行了表征,顯示了良好的電阻開(kāi)關(guān)能力。采用連續(xù)電壓掃描方式對(duì)L-MXene電極施加正電壓(0 V→+ 1.2 V→0 V),使電流逐漸增大(圖3c)。相反,施加負(fù)電壓(0 V→-1.2 V→0 V)會(huì)導(dǎo)致電流持續(xù)減小。為了闡明AOS的電學(xué)機(jī)制,對(duì)I-V曲線進(jìn)行了詳細(xì)的擬合分析。圖3d顯示了電壓脈沖刺激下器件電導(dǎo)(突觸重量)的調(diào)制過(guò)程。通過(guò)施加不同幅值的定寬電壓脈沖,器件電導(dǎo)隨正脈沖幅值的增加而增加。通過(guò)施加不同幅值的定寬電壓脈沖,器件電導(dǎo)隨正脈沖幅值的增加而增加。
在測(cè)試過(guò)程中,PENG直接連接到AOS。PENG可以通過(guò)其壓電效應(yīng)直接產(chǎn)生不同幅度和脈沖的電脈沖,而無(wú)需使用外部脈沖電源。當(dāng)產(chǎn)生的電脈沖的數(shù)量和頻率都增加時(shí),AOS表現(xiàn)出增強(qiáng)的電流響應(yīng),模仿生物系統(tǒng)在外部刺激下的增強(qiáng)反應(yīng)性(圖3e、f)。從電阻開(kāi)關(guān)機(jī)制的角度來(lái)看,脈沖數(shù)量的增加導(dǎo)致缺陷部位捕獲的電荷進(jìn)一步積累,從而增強(qiáng)器件的導(dǎo)電性。此外,當(dāng)脈沖頻率增加時(shí),在施加后續(xù)脈沖之前,在前一個(gè)脈沖期間捕獲的電荷不能完全釋放,導(dǎo)致電荷隨著時(shí)間的推移而逐漸積累。
在人類(lèi)視覺(jué)系統(tǒng)中,光信號(hào)照射的強(qiáng)度和持續(xù)時(shí)間是獲取圖像信息的關(guān)鍵參數(shù)。對(duì)不可見(jiàn)紫外線的檢測(cè)和識(shí)別可以有效地避免可見(jiàn)光的干擾,有利于人工視覺(jué)系統(tǒng)的發(fā)展。AOS在不同紫外(365 nm)光持續(xù)時(shí)間、脈沖數(shù)和光強(qiáng)下的光電流響應(yīng)行為如圖3g和h所示,證明了光刺激參數(shù)對(duì)EPSC的調(diào)節(jié)作用。光照條件的改變不僅直接決定了響應(yīng)幅度,而且有效地調(diào)節(jié)了隨后的弛豫過(guò)程。圖3i進(jìn)一步說(shuō)明了當(dāng)AOS受到不同頻率的連續(xù)光脈沖序列時(shí)的EPSC。當(dāng)峰值頻率從0.2 Hz增加到0.67 Hz時(shí),累積效應(yīng)變得越來(lái)越顯著,導(dǎo)致明顯的EPSC響應(yīng)。
![]()
圖4 基于FSPVS的環(huán)境自適應(yīng)可視化雙模傳感器
通過(guò)將CS-QLED集成在共享的L-MXene導(dǎo)電層上,可以獲得感官反饋功能(圖4a)。利用CS-QLED作為反饋單元,利用其在可見(jiàn)光譜中的高色純度和可調(diào)性,以及它們?cè)诓煌r底上的溶液可處理性,從而促進(jìn)了柔性電子皮膚的發(fā)展。通過(guò)混合紅綠量子點(diǎn)(R/G量子點(diǎn))可以實(shí)現(xiàn)不同波長(zhǎng)的光發(fā)射。L-MXene除了具有優(yōu)異的導(dǎo)電性,良好的透明度和出色的抗彎性能外,其功函數(shù)約為4.9 eV,與PEDOT:PSS電荷注入層(約5.1 eV)非常接近。這種匹配有助于高效的電荷注入,并實(shí)現(xiàn)最佳的電界面匹配(圖4b)。隨著CS-QLED電壓的升高(2.8~7.4 V,圖4c),~543 nm處的綠色發(fā)射強(qiáng)度逐漸增大,~632 nm處的紅色發(fā)射強(qiáng)度逐漸減小。
受章魚(yú)獨(dú)特的感覺(jué)和神經(jīng)特性的啟發(fā),開(kāi)發(fā)了一種靈活的仿生觸覺(jué)-視覺(jué)-光學(xué)反饋神經(jīng)網(wǎng)絡(luò)系統(tǒng),以利用PENG、AOS和CS-QLED的潛力。系統(tǒng)的信號(hào)采集和處理工作流程如圖4d所示。由于CS-QLED需要相當(dāng)大的驅(qū)動(dòng)電壓來(lái)誘導(dǎo)從紅色到綠色的顏色變化,因此集成了電流放大模塊以滿足其操作需求。所設(shè)計(jì)的電路可以在只接收視覺(jué)信號(hào)而不接收觸覺(jué)信號(hào)的情況下正常工作。FSPVS的決策邏輯如下:PENG檢測(cè)壓力信號(hào),而AOS接收光輸入。壓力和光的聯(lián)合刺激協(xié)同作用于AOS,觸發(fā)EPSCs的產(chǎn)生。這些EPSCs隨后被外圍電路中的轉(zhuǎn)換單元捕獲并轉(zhuǎn)換成具有不同幅度的電壓,從而有效地驅(qū)動(dòng)CS-QLED產(chǎn)生視覺(jué)輸出并實(shí)現(xiàn)顏色切換。
一些生物體的皮膚具有獨(dú)特的附加功能,使它們能夠有效地進(jìn)行生理活動(dòng)。例如,章魚(yú)的皮膚可以根據(jù)外部刺激(如壓力或光刺激)迅速改變顏色,從而實(shí)現(xiàn)有效的偽裝。圖4f展示了系統(tǒng)原理圖,該系統(tǒng)旨在模仿章魚(yú)的環(huán)境自適應(yīng)雙模式感知和可視化能力。當(dāng)光和壓電刺激同時(shí)施加時(shí),光子激發(fā)和壓電調(diào)節(jié)協(xié)同增強(qiáng)電導(dǎo)率。因此,隨著AOS電阻的減小,會(huì)產(chǎn)生放大的電流,并隨之轉(zhuǎn)化為放大的驅(qū)動(dòng)電壓,從而有效地誘導(dǎo)CS-QLED發(fā)生明顯的顏色變化。
如圖4g所示,在沒(méi)有額外光刺激的情況下,增加壓力可以誘導(dǎo)CS-QLED從紅光(狀態(tài)1:非防御模式)到黃光(狀態(tài)2:環(huán)境監(jiān)測(cè)模式)的發(fā)射發(fā)生轉(zhuǎn)變(發(fā)光強(qiáng)度閾值1)。同樣,在沒(méi)有外界壓力刺激的情況下,光強(qiáng)的增加也可以觸發(fā)相同的發(fā)射躍遷。當(dāng)同時(shí)施加光和壓力刺激時(shí),以光輸入為主導(dǎo)(20 mW cm-2光刺激和1.5 N壓力刺激),CS-QLED發(fā)出超過(guò)閾值1的黃光(狀態(tài)2)。相反,當(dāng)壓力刺激占主導(dǎo)地位時(shí)(5 N壓力刺激和6 mW cm-2光刺激),隨著刺激數(shù)量的增加,CS-QLED最初發(fā)出高于閾值1的黃光,并逐漸過(guò)渡到超過(guò)閾值2的綠光(狀態(tài)3:警報(bào)模式)。當(dāng)適當(dāng)?shù)膲毫凸鈴?qiáng)同時(shí)施加時(shí),CS-QLED發(fā)出超過(guò)閾值1的黃光(狀態(tài)2)。當(dāng)高壓和強(qiáng)光同時(shí)施加時(shí),CS-QLED超過(guò)閾值2(狀態(tài)3),發(fā)出綠光。
![]()
圖5 多模式信息感知與識(shí)別
為了展示集成系統(tǒng)的優(yōu)勢(shì),在此實(shí)現(xiàn)了多模態(tài)圖像識(shí)別任務(wù)。在識(shí)別污染圖像時(shí)(圖5a),被不透明材料覆蓋的左側(cè)只能通過(guò)觸覺(jué)信號(hào)(電信號(hào))感知,而右側(cè)仍然可以通過(guò)視覺(jué)信號(hào)(光信號(hào))感知。因此,采用多模態(tài)混合輸入“EEOO”模式(包括兩個(gè)電脈沖和兩個(gè)光脈沖)。這種模式顯示了明顯的功能空間劃分:“EE”部分選擇性地響應(yīng)圖像的左半部分,而“OO”部分專(zhuān)門(mén)響應(yīng)右半部分。隨后,使用混合輸入“EEOO”模式讀取處理后的圖像。訓(xùn)練過(guò)程結(jié)束后,突觸權(quán)值由隨機(jī)分布變?yōu)檎龖B(tài)分布,表明神經(jīng)網(wǎng)絡(luò)得到了有效訓(xùn)練。混淆矩陣(圖5b)和達(dá)到91%的準(zhǔn)確率顯示了混合輸入策略在多模態(tài)識(shí)別任務(wù)中的有效性。
除了靜態(tài)圖像識(shí)別之外,還以簡(jiǎn)化的羽毛球場(chǎng)景為例,進(jìn)一步評(píng)估了系統(tǒng)在動(dòng)態(tài)信息感知和識(shí)別方面的潛力(圖5c)。具體來(lái)說(shuō),用戶A和用戶B的手腕上都戴著FSPVS。即使位于不同的空間,這兩個(gè)用戶也能夠進(jìn)行在線互動(dòng)(圖5c)。例如,當(dāng)用戶A揮動(dòng)球拍擊打虛擬羽毛球時(shí),F(xiàn)SPVS可以準(zhǔn)確檢測(cè)到正手重拍(F-HS)、正手輕拍(F-LS)、反手重拍(B-HS)和反手輕拍(B-LS)四種基本擊球類(lèi)型。同時(shí),F(xiàn)SPVS識(shí)別出球拍在8個(gè)不同方向的擺動(dòng)軌跡。此外,兩個(gè)光電探測(cè)器(PD)捕獲CS-QLED感應(yīng)發(fā)光信號(hào)以確定位置數(shù)據(jù)。這些打擊類(lèi)型、軌跡識(shí)別和空間定位使用戶B能夠適當(dāng)和迅速地作出反應(yīng)。
在羽毛球場(chǎng)景中,關(guān)節(jié)運(yùn)動(dòng)(代表壓電信號(hào))和球拍擺動(dòng)(代表光學(xué)信號(hào))同時(shí)發(fā)生,并分別輸入到工作在電學(xué)和光學(xué)模式的AOSs中(作為RC單元)(圖5d)。對(duì)于球拍揮動(dòng)軌跡的識(shí)別,光脈沖對(duì)于信息處理至關(guān)重要。為了將連續(xù)幀中的空間和時(shí)間信息整合為一個(gè)緊湊的表示形式,將每個(gè)幀圖像劃分為四個(gè)連續(xù)的子幀(t0、t1、t2和t3),分別代表球拍揮動(dòng)的四個(gè)不同時(shí)刻。當(dāng)檢測(cè)到球拍(黃色像素)時(shí),會(huì)對(duì)每個(gè)像素對(duì)應(yīng)的AOS應(yīng)用光脈沖。當(dāng)未檢測(cè)到任何拍頻運(yùn)動(dòng)(藍(lán)色像素)時(shí),就不會(huì)施加光學(xué)脈沖。光脈沖序列(從(0000)到(1111))作為輸入被輸入到憶阻器的物理存儲(chǔ)器中,從而導(dǎo)致器件的EPSC值發(fā)生變化。這一過(guò)程將每個(gè)像素的時(shí)間演變嵌入到單個(gè)憶阻器的導(dǎo)電性中,從而表征物體運(yùn)動(dòng)的時(shí)間特征。
作者驗(yàn)證了測(cè)試集中目標(biāo)標(biāo)簽與輸出標(biāo)簽的混淆矩陣,結(jié)果表明系統(tǒng)可以有效識(shí)別不同的打擊類(lèi)型(圖5e)。此外,傳感器的內(nèi)部存儲(chǔ)庫(kù)使用自定義數(shù)據(jù)集準(zhǔn)確識(shí)別球拍運(yùn)動(dòng),包括八個(gè)不同的方向(圖5f、g)。在訓(xùn)練過(guò)程中,目標(biāo)輸入的讀出函數(shù)F值不斷增大,而非目標(biāo)輸入的讀出函數(shù)F值不斷減小。圖5h顯示了訓(xùn)練前后的初始和最終權(quán)重分布。球拍揮拍軌跡識(shí)別的交叉熵?fù)p失和準(zhǔn)確率如圖5i所示。
文獻(xiàn)信息
Bioinspired flexible sensing-processing-visualizing integrated system towards tactile-visual signal recognition,Nature Communications,2026.
https://www.nature.com/articles/s41467-025-67316-0
(來(lái)源:網(wǎng)絡(luò)版權(quán)屬原作者 謹(jǐn)致謝意)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.