自然·通訊：具身神經形態智能的計算框架與系統前景

導語

當機器人在春晚舞臺上完成高度同步的群體表演時，公眾看到的是技術突破與視覺震撼；研究者則更關注一個問題：這種“群體協同”究竟意味著什么？

從工程角度看，春晚機器人的協同動作通常依賴中央控制與精確編排，屬于高度優化的集中式系統。然而，從復雜系統與人工智能的視角出發，這一現象也引出了一個更深層的問題——機器人能否在沒有中央調度的情況下，通過局部感知與分布式決策實現真正的群體智能？

近年來，具身神經形態智能（Embodied Neuromorphic Intelligence）作為融合類腦計算、事件驅動感知與低功耗神經動力學的新興方向，為這一問題提供了新的理論與技術路徑。該方向不僅關注單體機器人的感知—行動閉環能力，也為未來分布式機器人系統與群體自組織機制奠定潛在的計算基礎。

這篇2022 年發表于 Nature Communications 的綜述論文系統梳理了具身神經形態智能的理論框架與技術挑戰。

研究領域：具身認知、類腦智能、神經形態工程

??

Chiara Bartolozzi, Giacomo Indiveri, Elisa Donati | 作者

趙林 | 譯者

趙樂、梁金 | 審校

論文題目： Embodied neuromorphic intelligence 論文鏈接： https://www.nature.com/articles/s41467-022-28487-2

目錄

摘要

一、機遇與挑戰

二、智能機器人的需要

1. 神經形態感知

2. 神經形態行為

3. 神經感知和行為的計算基元

4. 贏者通吃網絡

5. 狀態依賴的智能處理

三、展望

摘要

春晚機器人所呈現的是多體協同的視覺結構，但其協作機制主要依賴集中式控制。若要實現真正的分布式群體智能，則需要在單體層面構建低功耗、自主決策的計算單元——這正是具身神經形態智能試圖回答的問題。

設計與環境自主交互并能夠完成復雜行為的機器人是一個公開的挑戰，通過研究理解是什么讓生物適應這個世界，我們將會從中獲益。神經形態工程研究的是神經計算原理，目標是開發出可用于構建緊湊和低功耗處理系統的計算技術。本文討論了為什么將神經形態技術——從感知到運動控制——賦予機器人，這一非常有前途的方法能夠實現創造無縫融入社會的機器人。本文陳述了在這個方向上的初步嘗試，強調開放的挑戰，并提出可以克服發展限制的措施。

一、機遇與挑戰

如果說春晚舞臺展示了機器人“可編排能力”的極致，那么產業真正關心的問題是：機器人能否在開放場景中穩定運行？能否在不可預測環境下自主決策？

我們將智能定義為能夠有效地與環境互動，基于感官信號和內部狀態的正確解析來規劃合適的行為，實現其目標，學習和預測其行動的效果，并能夠不斷適應無約束情景的變化。最終，具身智能實現機器人在通用條件和任務中與環境快速交互[1]。這一切要高效完成，意味著在處理噪音、可變性和不確定性的同時，盡量少地消耗電源、內存和空間計算等資源來執行穩健的信息處理。這就要求找到改善性能和增強穩健性的方法，該方法與在系統中增加通用計算資源、冗余和控制結構的標準工程方法不同。

機器學習和計算神經科學的當前研究進展正在深刻影響人工智能領域 （AI） [2-4]。然而，傳統的計算和機器人技術遠遠不能像人類或其他動物那樣執行依賴具身智能的任務[1,5]。例如，制定長期導航的空間感知任務，以及需要快速反應時間和適應外部條件的精細電機控制任務。在此背景下，產生智能行為的一個核心要求是需要在多時間尺度上處理數據。這種多尺度方法支持即時感知分析、分層信息提取和時間結構化數據的記憶，用于終身學習、適應和記憶重組。雖然，傳統計算可以通過高精度 （比如32位浮點） 的數值參數和將數據長期存儲在外部存儲器庫中的方式實現在不同時間尺度上的處理，但是，這樣操作會導致計算基底的功耗和面積/體積的需求大增，與生物神經網絡相比性能堪憂[6]。

神經形態工程方法采用混合信號模擬/數字信號硬件來支持生物智能啟發的神經計算基元 （Neural Computational Primitives） ，這些基元與傳統馮·諾依曼計算機體系架構[7]中使用的基元完全不同。神經形態工程方法能夠提供節能且緊湊的解決方案，支持實現智能及其在機器人平臺上的嵌入[8]。然而，在機器人技術中應用神經形態工程方法需要克服許多阻力，往往使研究者無法遵循這一充滿前景的方法。其挑戰領域包括從全定制神經形態傳感器芯片、傳統計算模塊與電機系統集成，到集成神經形態芯片的神經處理系統“編程”，也亟需一個原理框架使用神經元代替數字在這些設備中實現和組合計算基元、功能和操作。

無論是常規機器人，還是神經形態機器人，都面臨著開發兼顧魯棒性和自適應的計算模塊，以解決通用任務的挑戰，尤其是在人-機協作任務中的應用。兩者都亟需一個旨在組合這類模塊的設計框架，以賦能給一個真正的自主智能體。在這一視角下，我們討論了當前機器人技術和神經形態技術所面臨的挑戰，并提出克服當前挑戰的潛在研究方向。

二、從“舞臺智能”到“現實智能”：

智能機器人的真正需求

在日益強大的可用計算資源的支持下，目前機器學習的發展在機器人領域取得了豐碩成果[2-4]。然而，除了經過精確校準的機器人在受控環境中執行重復操作外，在自然環境中的自主操作仍然具有挑戰性，這是因為動態環境具有可變性和不可預測性的特點。

如方框1所述，與非控制環境和人類的交互，需要不斷地推斷、預測和適應環境、人類以及機器人平臺本身的狀態。現有的機器學習、深度網絡和人工智能機器人技術并不能適應這類場景，因為這些現有方法通常需要很高的計算 （功耗） 資源。例如，深度神經網絡一般有大量的參數，需要非常大的數據集，花費大量的訓練時間訓練，即使使用大型圖形處理單元 （GPU） 集群，也未必能改善性能。而且，現有方法所使用的數據集大多是不符合實際情況的理想化數據構成的，對于機器人來說，這些數據集需要被定制和配置到特定平臺[9]。對于端到端強化學習，數據集依賴于機器人的運動和驅動，數據的采集和創建過程非常昂貴并且耗時。雖然虛擬仿真可以一定程度上改善這種不足，但是遷移學習技術并不能使用將預先訓練好的體系架構遷移到實際應用場景。在大型數據集上離線訓練需要使用高性能、功能強，昂貴且耗電的計算基礎設施。相反，推理方法較少受到這個問題的困擾，可以在性能較低的嵌入式平臺上運行，但是這是以非常有限或沒有適應能力為代價換取來的，從而使系統很難被用于變幻莫測的現實世界場景[10]。

方框1：機器人適應領域的需要

雖然，目前大多數工業機器人都在受控環境中操作，以執行可編程和重復的動作，但是機器人研究正朝著人-機器人協作的方向發展，在日常任務中[133,134]，機器人有望在無控制的環境中與人類進行互動和協作。不同個體的行為和環境物理狀況可能會隨時間和任務發生變化。因此，機器人的適應能力對于在現實世界和人類互動至關重要。在工業應用中，機器人設備會隨著運行周期發生磨損，控制器需要在很長的時間尺度上適應設備特性的變化。

在康復機器人領域，控制器既要適應醫生個體的治療過程，也要適應不同患者長期和短期的要求[136]。在大多數交互式應用中，機器人必須能夠在短時間內對突發的環境變化做出反應，例如切換到以前學習過的配置。自主飛行器需要應對環境的變化，比如風力和方向的變化；仿人和挖沙機器人需要適應不同類型的地形[137]；機械手需要學會操縱不同重量和柔軟度的物體。

生物學為解決這些需求提供了豐富的案例集合，以適應上文描述的變化[138,139]。在短時間尺度上，生物系統能夠適應具有短期可塑性機制的恒定輸入[140]；對于較長的時間尺度，它們的傳感器需要能夠應對編碼信號的靈敏度 （例如，感光器適應全球平均光照，弱光下更敏感，或太陽直射下不敏感） [141]。在更長的時間尺度上，穩態機制調節整體神經活動，使其保持在定義的界限內，從而應對環境的緩慢變化，或者種群的整體驅動[142]。

因此，機器人技術的關鍵是減少或盡可能消除對數據和計算密集型算法的需要，有效地利用傳感數據，并為持續在線學習制定解決方案，使機器人能夠通過弱監督或自我監督獲取新知識。實現這一目標的一個重要步驟是從靜態 （或基于框架） 轉移到動態 （或基于事件） 的計算范式，能夠泛化和適應不同的應用場景、用戶、機器人和目標。

神經形態感知直接從傳感器采集的層面來解決這些問題。它采用新穎的生物啟發傳感器，以異步事件策略高效地編碼感官信息[11]。它還采用計算基元從傳感器獲取的事件中提取信息，依靠一組多樣化的脈沖驅動的計算模塊。神經形態行為遵循的控制策略，通過整合多種感官輸入來適應不同環境和操作條件，利用基于事件的計算基元來完成預期的任務。

神經形態感知和行為都是基于計算基元，這些基元來源于生物大腦中神經回路的模型，因此非常適合用混合信號模擬/數字信號電路來實現[12]。這為機器人技術中的神經形態感知和行為提供了高效的技術基礎。例如，依賴于語境的合作和競爭信息處理，以及多時間尺度上的學習和適應[13,14]。

利用硬件神經形態計算基元開發和集成神經形態感知和行為，最終目的是設計具有端到端神經形態智能的機器人，如圖1所示。

圖1. 具有端到端神經形態智能的機器人。從感知（紫紅色）、智能行為（綠色）到動作執行（藍色）都將采用脈沖神經網絡（Spiking Neural Network，SNN）硬件技術來實現。| 來源：iCub picture ?IIT author Agnese Abrusci.

下一章節將介紹神經形態感知、動作規劃和認知處理策略，總結這些領域最前沿的特征和問題。以一個路線圖和一個“行動號召”來總結具身神經形態智能領域的進展。

1. 神經形態感知：讓機器人“看到變化”而非“看到圖像”

機器人通常包括許多收集外界信息的傳感器，如攝像機、麥克風、觸摸壓力傳感器、激光雷達、飛行時間記錄傳感器、溫度傳感器、力矩傳感器、和距離傳感器。在常規裝置中，所有傳感器都測量相應的物理信號，以固定的時間間隔采樣，不論信號本身的狀態和動態。它們通常提供一系列外部世界的靜態快照。當信號靜止時，它們繼續傳輸冗余的數據，但沒有額外的信息，并且當信號發生快速變化時可能會錯過重要的數據樣本，因此我們需要在采樣率 （用于捕捉動態信號） 和數據負載之間進行權衡。

相反，在大多數神經形態的傳感系統中，只有當信號本身有足夠大的變化時，才會采樣并轉換成數字脈沖 （“事件”或“脈沖”） ，采用基于事件的時間編碼方案[15,16]，如脈沖密度或Σ-Δ調制[17]。因此，數據采集適應于信號動力學，對于快速變化的刺激，事件速率增大，而對于緩慢變化的刺激，事件速率減小。這種類型的編碼不會丟失信息[18-20]，在活動稀疏場景下是效果更好。這種事件表征對于高效、快速、穩健和信息量很大的感知至關重要。技術改進包括減少對數據傳輸、存儲和處理，以及高時間分辨率和低延遲。這對于機器人的實時應用極其有用。

從運動傳感器和瞬態成像儀[21]的設計出發，第一種具有足夠分辨率、低噪聲和傳感器失配的事件驅動視覺傳感器——動態視覺傳感器 （Dynamic Vision Sensor，DVS） [22]和異步時間成像傳感器 （Asynchronous Time Imaging Sensor，ATIS） [23]——引發了事件驅動視覺處理算法的發展以及在機器人平臺上的適配應用[24]。這些傳感器信息編碼方式打破了使用幾十年的傳統攝像機靜態幀編碼方式。它們的新穎性要求發展一種新的原理方法來處理事件驅動感知。采用事件驅動的機器視覺方法快速目標跟蹤[25]、光流[26-28]或立體聲[29]和同步定位與地圖創建 （SLAM） [30]等具體任務，遠優于常規算法。但是，這些算法及其硬件實現仍然存在任務特異性和適應性有限的問題。

這些事件驅動的傳感處理模塊將逐步替代機器人框架中的對應模塊 （見圖2） 。然而，雖然已經取得了令人鼓舞的成果，但是由于需要改變思維方式來處理事件流而不是靜態幀，因此在機器人技術中采用事件驅動的感知仍然困難。此外，這種新的數據表示要求開發新的特定接口、通信協議 （如方框2和圖3所示） 和處理事件的軟件庫。開源的JAVA[31]和C++[32]已經開發了33個庫，在兩個主要的機器人中間件——ROS和YARP——中開發，但是它們需要大型社區提供的額外貢獻才能發展并達到機器人的成熟應用。最終，機器人領域可能更廣泛采用一種結合基于幀和事件驅動模塊的混合方法，并促進圍繞它的社區的發展。然而，這種混合神經形態/傳統的設計策略并不能充分利用神經形態范式的所有優點。

圖2. 機器人的神經形態感知

為了實現具有完全神經形態視覺的機器人，神經形態和計算神經科學界已經開始深入研究立體視覺[34]和邊緣[35]、注意力[36]和物體識別[37]的感知模塊。這些算法可以在神經形態計算基底上運行，以實現高效率、適應性和低延遲。

神經形態傳感器發展的路線圖，從視覺開始非常弱地受到生物光傳導的啟發，再到聽覺受到耳蝸的啟發，后來才發展到觸覺和嗅覺。事件驅動的采集原理在應用于其他感官模式時也非常有價值，特別是那些具有時間和空間局部化激活特性的模式，如觸覺、聽覺和力矩模式，那些需要極低的閉環控制延時的模式，如編碼器和慣性測量單元 （IMU） 、激光雷達、飛行時間 （Time-of-flight） 、3D和接近傳感器 （Proximity Sensor） ，以及幫助機器人檢測人類狀態的傳感器，例如肌電圖 （EMG） 、腦電圖 （EEG） 、質心等[38]。

可用的耳蝸要么依賴于亞閾值混合模硅基器件[39,40]，要么依賴于現場可編程邏輯門陣列 （FPGA） [41]。它們主要應用于聲源定位和聽覺注意，基于左右信號極其精確的時間足跡[42,43]和視聽語音識別[44]實現。然而，它們在機器人上的集成仍然非常有限：與事件驅動的愿景一樣，它們需要應用開發工具，以及可以被語音處理利用。

觸覺感知問題因為三個因素變得復雜化。首先，可用的不同物理傳感器的數量；其次，傳感器與硅讀出裝置之間交互非常困難；再次，在機器人平臺上集成觸覺傳感器存在工程挑戰，包括微型化，以及設計和實現具有良好機械性能、布線和魯棒性的柔性和耐用材料。

迄今為止，只有很少的神經形態觸覺傳感器被開發出來[45-48]，除了實驗室原型外，還沒有穩定集成在機器人平臺上的產品。在這些傳感器集成到機器人上的同時，現有的基于時鐘的集成傳感可以用來支持事件驅動的機器人應用的開發。在這種“軟”神經形態學方法中，前端時鐘樣本通過在軟件[49–51]中實現的算法，或嵌入在數字信號處理器 （DSPs） [52]或FPGAs[53,54]中的算法，轉換為基于事件的表示。同樣的方法在其他感官模式中也很有價值，例如本體感覺[55,56]，以支持事件驅動算法的開發并驗證其在機器人中的應用。然而，它在大小、功率和延遲方面并不是最優的。

對于所有的傳感模式，最基本的神經形態學原理是“變化檢測” （Change Detection） ，它是捕捉生物感覺編碼本質的一種高度抽象。它也是一個定義良好的操作，使得從數據流[15]中提取信息的算法和方法得以形式化。更好地理解感知信號屬性的復雜神經編碼及其與主體行為決策的關系[57]，以及它們在新型神經形態傳感器設計中的應用，將增強人工智能提取相關信息并做出合適決策的能力。

方框2：神經形態通信協議

像神經系統一樣，神經形態系統依賴于數字通信：信息編碼在電壓脈沖（或尖峰）的時間上。在神經組織的三維結構的支持下，生物神經元與巨大的扇入和扇出有專門的連接。相反，硅神經元只能在二維平面使用導線，但它們可以利用金屬導線比軸突快幾個數量級的傳輸速度。因此，通過采用時間多路復用技術，使用相同的物理線路發送不同神經元的脈沖信號，可以部分解決物理連接上的這些限制。為了區分在同一根導線上傳播的脈沖，源或目標神經元的身份會編碼在數字世界中，實現所謂的地址事件表征 （Address Event Representation，AER） 協議[143]。

自90年代末以來，AER已經被神經形態社區在許多不同的設置及變體中實施。在機器人平臺上集成這種通信協議的需求定義了一系列的要求，如事件通信的稀疏性、高噪聲抑制、低延遲、足夠的帶寬和最小數量的導線，這些都可以導致廣泛采用的標準的定義。在組合多個分布式傳感器的機器人應用中，異步串行實現是最好的[147]，因為使用同步協議將需要包括和同步多個時鐘。鑒于最近大型行業對神經形態技術的吸收和研究團體的增長，定義一個通用標準是必要的，也是時機合適的，可以允許不同傳感、計算和執行模塊之間的互操作性。

根據圖3中應用、數據和物理層的定義，可以對通信協議進行標準化和優化。應用層包括發送或接收異步地址事件的神經形態組件。在應用層，時間代表自身：事件在發生時是異步通信的。在數據層，事件被捆綁到更大的包中，包的大小可以固定也可以變化。如果要使用MIPI或USB等良好建立的標準，這是一個必要的步驟。將AER接口到同步設施，需要在數據流中嵌入事件的精確時間信息 （例如通過時間戳） 。物理層定義了傳輸實際比特的方式。為了適應最先進的視覺傳感器所需的帶寬，可以使用成熟的高速通信標準，如差分信號。

對于每一層，社區將必須定義通用規范，并開發必要的芯片集成接口電路，消除對橋接設備 （如FPGA） 的需求。從這個角度來看，標準應用層的定義將降低開發許多特定應用接口的成本。然而，最佳協議的需求定義在社區中仍然是一個開放的問題，并強烈依賴于應用。

圖3. AER：事件驅動傳感器（三角形斑塊，每個斑塊有6個感知區域）與脈沖神經網絡（SNN）芯片之間的通信示例。每個傳感元件發出異步脈沖，通過仲裁發送給總線。同樣被解復用送至SNN芯片上正確的突觸。

2. 神經形態行為：從動作執行到決策生成

機器人為了與環境進行有效的交互，需要選擇最恰當的行為，依靠對其他智能體的注意、分配、預期、推理，根據它們對外部世界和自身狀態的理解，規劃正確的動作和動作序列。生物智能行為將執行高水平任務的能力，與從經驗中估計未來事件的后果聯系起來，產生目標導向的行動。

關于哺乳動物神經系統如何進行智能行為的一個假設是，整個大腦皮層中使用一組有限的計算基元。計算基元是可組合的結構單元，可以從多個感覺模式中提取信息，并協調一組復雜的動作，這些動作依賴于智能體的目標和偶然場景 （例如，障礙的存在、人類協作、工具） 。

目前，在神經形態域中選擇最合適的行為或動作僅限于概念驗證模型。方框3回顧了在神經形態設備上實現感知和處理的機器人的研究現狀。大多數實現包括一個雙穩態網絡，區分模糊的外部刺激[58]和選擇兩個可能的動作之一。動態場理論 （Dynamic Field Theory，DFT） 是建模這類網絡的參考框架，其基本計算單元是一個動態神經場 （Dynamic Neural Field，DNF） [59]，在計算上相當于一個軟贏者通吃網絡 （Winner-Take-All，WTA） 。如方框4所述，WTA網絡是可以在神經形態硬件中實現的核心計算基元之一。因此，動態神經場代表了一個理想的框架，可以將智能模型轉換為與神經形態架構兼容的語言的可行實現[60]。這類系統目前面臨的挑戰是，為在不確定條件下參與決策的皮層區域開發一個多區域和多任務的脈沖神經元模型。

機器人技術的不同分支應對這一挑戰時，通過探索生物啟發的具身腦結構來實現更高級別的功能[61]，為機器人提供與現實世界實時交互的技能。這些架構需要通過與環境的交互以及通過增量開發階段來學習感覺運動技能[62,63]。

方框3：神經形態機器人

輪式機器人

輪式機器人 （Wheeled Robots） 常被用來執行空間導航任務。然而，雖然最近在研究方面取得了進展[300,148-150]，但是機器人在地圖生成時視覺場景變化的魯棒性，或者存儲地圖和路徑規劃數據的功耗和效能方面，仍然無法與生物系統相比。神經形態輪式機器人被用來驗證神經系統如何以低功耗和有限資源 （例如利用脈沖神經網絡） 完成任務。這些研究還處于初期階段，但是在小型機器人智能體[58,148,151,152]中已經存在利用硬件脈沖神經網絡實現基本導航任務 （如左轉/右轉或調諧機器人的速度等） 的成功實例。

iCub

iCub是一種類人型機器人，可以用來與神經形態設備進行閉環實驗，因為它支持使用事件驅動的視覺和與神經形態處理器交互的觸摸傳感器。文獻[56]的作者提出了一種神經形態結構，用于使用Loihi神經形態處理器實現頭部姿態估計和場景表示[70]。在一個基于動態神經場 （DNF） 的神經路徑整合過程中，網絡整合了電機命令來估計iCub的頭部姿態。文獻[55]使用的閉環PID控制器，采用關系型神經網絡控制iCub頭部旋轉。該網絡采用混合信號DYNAP-SE神經形態處理器實現[69]。文獻[153] Vestibulo-Ocular Reflex (VOR) 采用自適應實時控制環路內的脈沖小腦模型。VOR協議移動了iCub的頭和眼睛，其中包含一個攝像頭，可以用來檢查視網膜上的圖像運動。在這些概念證明中，機器人表現出適應行為，但是僅限于一個自由度。無人機SNNs是控制需要快速反應時間 （例如UAV的低延遲和快速響應時間） 的資源受限智能體的有效途徑。文獻[154]中的無人機執行光流著陸，伴隨著演化的SNN高頻 （超過250kHz） 運行。與常規移動GPU相比，表現為更低（1/75）的功耗，性能沒有任何損失，但仍然是一個自由度。類似的工作是將Loihi應用到無人機上，利用脈沖比例積分微分 （Proportional Integral Derivative，PID） 控制單個自由度。該控制器用神經元集群構建，其中單個脈沖攜帶傳感和控制信號[77]。

機械臂

文獻[155]的作者按照共同基準比較了Loihi和SpiNNaker2這兩個平臺機械臂控制的計算時間和有功能量。兩個平臺在特定參數區域都是高效的，SpiNNaker2在輸入維數較高時效率更高，而Loihi在輸入維數較低時效率更高。另一個例子部署了基于神經工程框架 （NEF） 的神經形態算法，用于逆運動學和PID控制的六自由度機械臂[156]。該算法使用Nengo進行設計，并在Loihi上進行評估。同樣，文獻[79]中采用脈沖PID控制四自由度機械臂。將脈沖PID與PFM電機控制相結合，當所有電機同時工作時，系統達到1A以下的電流消耗。在現場可編程邏輯門陣列 （FPGA） 上實現控制器，可以運行在DYNAP-SE平臺，機器人關節的控制命令被硅基神經元集群中接收，這些硅基神經元產生用于FPGA脈沖頻率調制 （PFM） 的參考信號。

足式機器人（Legged-robot）

中樞模式發生器 （CPG） 是一種產生和控制節律運動的計算基元。脈沖CPG技術被用在昆蟲機器人的運動控制、協調單腿和多腿協調運動。脈沖CPG表現出穩定協調的運動模式，具有魯棒性，適應外部擾動[157]，可運行在FPGA上[158]。

一旦選擇合適的行為，就必須將其轉化為一系列動作的組合或動態運動基元，以產生豐富的復雜動作和行為切換，例如通過中樞模式發生器 （Central Pattern Generator，CPG） 產生的行走和游泳等不同節奏動作之間的切換。這些系統在產生多樣化動作方面的穩定性和能力已經被有效證明[65]。這促進了它們實施脈沖以進一步提高生物可塑性[66]。因此，機器人從動物運動技能的生物學中獲益，可以作為工具測試動物移動和運動控制模型，以及它們如何受到傳感反饋影響[67]。

雖然從神經計算中得到啟發，但是受神經系統啟發的機器人最近才開始使用脈沖神經網絡 （Spiking Neural Network，SNN） 和生物上可信的感知輸入，以及支持脈沖神經網絡和學習的相應計算基底。神經形態技術朝著這個方向邁進了一步。近年來，在開發大規模類腦計算技術[68-71]方面取得了實質性進展，這些技術允許探索不同神經處理基元的計算作用，以構建智能系統[72-74]。雖然人們對這些功能背后的神經活動的認識在不斷增加，但是我們還不能明確和定量地將智能與神經結構和活動聯系起來。這阻礙了大規模系統的配置以實現有效的行為和行動規劃。開發工具以脈沖神經元為基礎來實現數學功能的一個案例是神經工程框架 （Neural Engineering Framework，NEF） [75]，它已經被成功地部署到一個具有自適應電機控制的機器人手臂[76]。NEF形式化允許使用神經元作為計算單元，實現標準控制理論，卻忽略了實現相同功能的腦結構和典型回路。

目前基于類腦計算基元的運動控制的研究，主要集中在將成熟的機器人控制器轉換為在神經形態設備上運行的脈沖神經網絡[56,77-79]。盡管許多成果顯示這項技術的應用潛力，但這些實現仍然遵循一種混合方法，即神經形態模塊必須與標準的機器人模塊實現通信接口。在上文的例子中，電機被具有專有算法和封閉/無法訪問的電子元件的嵌入式控制器所驅動。因此，需要對由經典傳感器測量的連續感知信號進行脈沖編碼，并將脈沖信息解碼為與經典電機控制器兼容的信號。這就不可避免地限制了混合系統的性能，性能改善需要采用基于端到端的事件處理機制。

在這方面，由于系統層級的接口問題，標準電機控制器及其相應的脈沖設備的性能無法在相同的機器人任務上進行基準測試。為了設計完全神經形態的端到端機器人系統，必須設計新的基于事件的傳感器 （例如，IMU、編碼器、壓力） 來彌補現有的傳感器 （例如音頻、視頻、觸摸） 。另外，電機或執行器應由脈沖訓練直接控制，從脈沖寬度調制 （PWM） 轉變為脈沖頻率調制 （PFM） [80–82]。

此外，端到端的神經形態機器人系統可以受益于，將目前機器人研究中使用的基本方法 （例如，模型預測控制（MPC）、比例積分微分（PID）） 替換為生物上更可信的方法 （如運動神經元-Golgi-肌梭結構[83]） ，這些方法可以直接由神經形態處理器上的脈沖神經網絡回路實現。然而，這種方法的缺點在于這些處理器所使用的有限分辨率和噪聲計算基底，以及缺乏一種既定的控制理論，即利用脈沖神經網絡 （例如整合、適應、整流） 中存在的線性和非線性算子。提出的生物啟發的控制策略可能會受益于生物啟發執行器的使用，如肌腱[48]、激動劑-拮抗劑肌肉[84]、軟執行器[85]。在提供更柔順的行為的同時，這些行為引入了傳統方法難于實現控制的非線性，但是符合由神經元和突觸網絡驅動的生物驅動的內在特性。

方框4：硬件神經基元詞典

傳感器 將模擬和連續的物理信號轉變成模擬神經感知編碼的電離散脈沖。依靠物理位置、形狀和局部計算，它們可以采用非平庸方式對傳感信號進行預處理。例如，視覺神經形態傳感器作為邊緣特征提取器[11]，神經形態耳蝸起頻率作為調諧濾波器[159]。

神經元 會隨著時間的推移整合多源信息，并根據影響其狀態的多個因素，通過數字電壓脈沖 （動作電位或脈沖） 將模擬運算結果傳遞給其他神經元。起始于Hodgkin和Huxley神經元模型[160]的硅基實現，其中不同的離子電流調節膜電位，人們提出了更緊湊的回路來更好地權衡精確建模和功能行為。Leaky Integration-and-Fire（LIF）[162]模型捕捉到了這一原理，隨時間推移整合脈沖，并產生與輸入成正比的輸出放電。廣義LIF回路再現神經元的特征簇狀發放 （Burst） 行為[163-165]。

突觸 連接神經元，介導信息在神經元之間的傳播。它們最簡單的實現方式是向神經元膜內注入一定量電流；使用少量晶體管來增加突觸后電流的時間動態[166]。該信息通過興奮或抑制連接傳遞，增加或減少接收神經元的活性。

可塑性 （Plasticity） 是根據突觸的狀態和輸入活動改變神經計算和突觸傳遞行為的機制。它支持自適應和學習。一些電路實現了短時 （幾十毫秒） 活動相關的可塑性，如短時抑制 （STD） [167]和短時激勵 （STF） [168]，或脈沖頻率適應 （SFA） [169]，有助于增強傳輸信息的變化和過濾恒定活動。由連接神經元的一致激活驅動的長期 （秒級） 可塑性支持Hebbian類型的學習[170–175]。納米技術[46,176–178]的進步正在促成硬件可塑性基元，朝著密集集成的方向發展。在長期可塑性范圍內，學習突觸中的多個時間尺度使用離散和約束狀態[179]增加網絡的記憶容量。非常長期的可塑性 （以天為長度） 支持整體網絡活動的同態調節。面對網絡的長期變化或輸入刺激的變化，保持在功能范圍內[14].

神經振蕩器 （Neural Oscillator） 發現于神經皮層，依靠兩個相互連接的神經群體通過節律活動的產生來支持特征融合和運動協調。神經振蕩器的一個具體實例是中樞模式發生器 （CPG） 。它們依賴于神經元脈沖頻率適應，能夠產生豐富多樣的復雜運動和轉換行為，支持步行、游泳和飛行[100]。

延遲/時間測量 電路從昆蟲大腦中獲得靈感，其中運動計算為刺激從一個感知元件到鄰居的行程時間[180]。這種類型的計算基元對運動估計和避障[88]是有用的。

合作-競爭網絡 依賴于循環連接的神經元網絡。從功能上講，它們處理信息的方式考慮了語境和不同單位的相對激活。對一個興奮神經元群的循環抑制 （Recurrent Inhibition） 有助于提高神經元對特定特征的選擇性，因為具有相似選擇性的神經元相互強化對方的反應，抑制其他被調諧到不同特征的神經元的響應[34,181]。關系網絡使用循環連接來表示變量之間的相對依賴關系，例如計算被測信號與目標值[78]之間的誤差。

執行器 （Actuator） 移動并控制身體的部分，達到預期的動作。不同類型的執行器依賴于不同物理性質的機器人。

3. 智能感知和行為的計算基元

除了采用神經形態傳感器外，完全端到端的神經形態傳感運動系統的實現需要從根本上改變信號處理和計算的方式。特別是，它要求將通常使用標準計算平臺 （如微控制器、DSP或FPGA器件） 替換為可以使用神經形態處理系統實現的計算基元。也就是說，由大量脈沖神經元實現的計算基元，這些神經元作用于從內部和外部傳感器獲得的信號，學習預測統計數字，處理并將連續的傳感輸入流轉換成離散的符號，并表示內部狀態和目標。通過在神經形態硬件基底中支持這些計算基元，這樣的架構將能夠進行感知、規劃和預測。它將能夠產生狀態依賴的決策和電機命令來驅動機器人并產生自主行為。這種方法將允許集成多個神經形態感知處理系統，完成實時感知和動作之間的循環，具有自適應、低延遲和低功耗特點。

實現一個模擬物理或生物神經處理系統的硬件基底，并使用它來實現計算基元，可以被視為一種實現具身智能的方法 。在這方面，人們可以把這些硬件計算基元看作“認知的元素”[86]，從而可以在具身神經形態智能與認知機器人技術[87]的研究之間架起橋梁。

目前已有一些關于神經形態處理系統的案例，通過模擬真實神經元的動力學進行信號處理和計算，支持實現腦啟發計算基元[42,69,88]。這些系統不是使用串行、二進制、時鐘、時分復用表示，而是使用大規模并行的內存計算模擬電路。最近，在開發遵循這種并行內存計算策略的大規模腦啟發計算技術方面也取得了實質性進展，其中硅基電路可以放慢到與機器人應用相關的時間尺度[69,71,89]。

通過神經形態模擬回路的多個并行陣列的動力學實現計算基元，可以繞過使用時鐘化的、時分復用回路將物理時間與處理時間解耦的需要，避免可惡的馮·諾依曼瓶頸問題[7,8,90]——這要求以非常高的時鐘速率來回將數據從外部存儲器中傳輸到時分復用處理單元。雖然神經形態學方法顯著降低了功耗，但它需要電路和處理元件，能夠在與被感知信號相匹配的時間尺度上集成信息。例如，機器人關節運動的控制、語音命令的感知，或對視覺目標或人體手勢的跟蹤，都需要突觸和神經回路具有在5ms-500ms范圍內時間常數。

除了實現能夠具有如此長久記憶痕跡的緊湊可靠電路元件的技術挑戰外，還有一個重要的理論挑戰是理解如何利用這類非線性動力系統進行期望狀態計算。與傳統的計算方法不同，仍然缺乏編譯器”工具的等價物，它允許將所需的復雜計算或行為映射到基本計算單元的“機器碼”級配置中，如動態突觸或“整合與放電”神經元。解決這一挑戰的一個方法是，確定一組受大腦啟發的神經計算基元，這些基元與用于實現它們的神經形態電路的特征和限制兼容 [12,91-94]，并且可以模塊化方式組合以實現所需的高級計算基元功能。方框4列出了這類基元的建議詞典。

此外，機器人系統的計算要求必須把傳感器和執行器當作計算基元，根據它們的物理形狀 （例如，復眼相對于視網膜樣的凹形或均勻視覺傳感器，無刷和直流電機相對于軟執行器） 、位置 （例如，雙眼與單眼視覺，觸覺傳感器的非均勻分布以及電機相對于移動的身體部位的位置） 和局部計算 （如傳感器中的特征提取或低水平閉環控制等） 來決定對感知信號和運動的編碼。

基于所要求的結果，神經回路可以被賦予實現非線性的附加性質，如脈沖頻率自適應 （SFA） 或不應期設置。這些要素可以進一步組合生成計算基元，如軟WTA網絡[95–99]、神經振蕩器[100]或狀態相關計算網絡[7,12,101]，以識別或生成動作序列[8,78,102–107]。通過將這些與感知和驅動神經基元相結合，可以創造出機器人的豐富行為。

4. 贏者通吃網絡

贏者通吃（WTA，Winner-Take-All）網絡 代表一種典型的回路，在新皮質的多個部分中都可以找到[108,109]。理論研究表明，這類網絡提供了可以穩定對神經元動力學進行去噪的基本計算單元[108,110,111]。這些特性已通過神經形態SNN實現得到驗證，以在封閉的感覺運動回路 （Sensorimotor Loop） 中產生穩健的行為[97,101,112–114]。由n個單元組成的WTA網絡可以用群體編碼 （Population Coding） 表示n值變量。這樣就有可能將多個WTA網絡相互耦合，實現不同變量間的關系網絡[115,116] （例如表示給定電機指令值與期望關節角度之間的關系[78]） 。由于WTA網絡能夠創造持續的激活以保持神經元狀態的活躍，即使在網絡的輸入被移除后，它們也能提供工作記憶的模型[100,102,117,118]。

WTA動力學創造穩定的吸引子在計算上等價于動態神經場 （DNF） ，它使得能夠在封閉的感覺運動回路中進行行為學習，感覺輸入隨著智能體產生動作而不斷變化。為了學習感覺狀態與其結果之間的映射，或者一個先決條件與一個動作之間的映射，動作前的感覺狀態需要存儲在神經元表征中。這可以通過在神經元群中創建一個重復激活來實現，即使初始輸入停止，激活也可以在動作期間持續。當獲得獎勵或懲罰信號時[60,119]，持續活動可用于更新感覺運動映射。最后，這些基于吸引子的表示可以穩健的方式將神經元回路動力學與機器人行為時間尺度聯系起來[8,118,120]，并被用來開發更復雜的嵌入式神經形態智能系統。然而，要實現這一目標，必須開發更高層次的控制策略和理論框架，與具有組成性和模塊化特性的混合信號神經形態硬件兼容。

5. 狀態依賴的智能處理：讓機器人“記住情境”

狀態依賴的智能處理是一個計算框架，可以支持開發更復雜的神經形態智能系統。在生物學中，真實的神經網絡利用WTA型工作記憶結構執行狀態相關計算，該結構由循環激發維持并由負反饋抑制調節[121–126]。具體來說，皮質網絡中狀態相關處理的建模研究表明，耦合WTA網絡如何能夠復現有限狀態機 （Finite State Machines，FSMs） [101,123,127]的計算性質。FSM是一種抽象計算機，只能處于它的n個可能狀態中的一個，并且在接受適當的外部輸入時可以在狀態之間轉換。真正的FSM可以在二進制編碼的數字計算機中穩健地實現。但是，它們使用神經形態的SNN架構構建的相應神經實現受到噪聲和可變性的影響，與它們的生物學對應物非常相似。除了利用WTA網絡的穩定特性外，神經形態工程師發現利用含噪的硅基神經元回路實現穩健可靠的FSM狀態依賴處理的解決方案，是求助于類似許多腦區的去抑制機制[128，129]。這些依賴于硬件狀態的處理SNN被稱為神經狀態機 （Neural State Machines, NSMs） [101，105]。它們代表了脈沖神經網絡實現狀態依賴和語境依賴計算的基本結構。多個神經狀態機以模塊化的方式交互，可以作為構建神經形態智能體[105,130]復雜認知計算的模塊。

神經形態傳感器、計算基底和執行器結合起來，通過類似大腦的異步數字通信，構建具有具身智能的自主智能體 。現有智能體從單片實現——即傳感器直接連接到一個神經形態計算設備——到模塊化實現，其中分布式傳感器和處理設備通過中間件抽象層連接，在緊湊性和具有靈活性的特定任務實現之間進行權衡。這兩種方法都將受益于通信協議的標準化 （在方框2中討論） 。

方框5：行動號召

對神經形態社區的號召

為了吸收和建立由用戶群體和具身神經形態智能相關人士組成的更大社區，神經形態社區應側重于設計模塊化且可重用的感知和計算模塊。一個通用通信協議的標準化如方框2所述，已經實現了模塊和系統的共享。開源的算法和數據集共享將促進該領域的繁榮。一個里程碑將是定義一組基準，可以用來定量比較不同神經形態系統的特征和效益，如方框6所述。

對計算神經科學社區的號召

神經元回路需要將感知信號轉換為地址事件以便進一步處理。計算神經科學社區可以指出神經系統用來將模擬輸入轉換為脈沖和編碼感知信號的原理和策略，來啟發和教育神經形態工程師。與神經科學社區的緊密合作將帶來對神經形態感知回路的重要改進[57,182]。同樣，這個社區可以為設計由噪聲和非均勻電路組成的循環脈沖神經網絡 （Recurrent Spiking Neural Networks） 來進行信號處理和計算提供有益的見解[183-185]。在這方面，將特定的神經科學觀察與它們最基本的計算作用聯系起來，以便分離出足以實現給定功能的基本機制將非常重要。然后，硬件實現將重現這樣一個簡化的“極小”模型，其中特征、復雜性、細節和多樣性具有相應的計算功能。

對材料科學社區的號召

新興的存儲技術為改進傳統的計算結構提供了巨大的希望，但同時也為設計能夠直接模擬真實突觸物理的新型固態納米器件提供了重要的機遇，從而為更有效地實現神經計算原理提供了計算基礎。因此，材料科學界應該嘗試利用這些器件的非線性物理，以優化具身神經形態計算架構的設計[94]。

對計算機科學社區的號召

與計算機使用抽象層次來管理復雜運算的定義類似，計算機科學可以利用迄今為止發展起來的概念和工具來定義新的結合神經計算基元的方法來實現智能功能[186]，如方框4所述。未來面臨的一個挑戰也是如何利用非線性動力學、隨機和概率方法形式化計算，包括嵌入到機器人平臺。

對軟機器人社區的號召

由于神經形態方法很好地適用于非平庸控制的復雜系統，它很適合軟機器人技術。需要向神經形態社區提供未定義的用例。由此產生的感知和認知功能——使用神經形態計算基底實現——必須嵌入到機器人，適配平臺的形態可能影響感知信號的獲取方式 （例如，通過傳感器的不同放置方式） 和動作的執行方式 （例如，不同的運動方式，硬驅動和軟驅動等） 。神經形態工程，由于其能夠實現自適應回路和系統來求解非線性控制系統，可以為軟機器人的復雜控制提供解決方案。

方框6：數據集和基準

用于評估不同神經形態處理器和行為系統性能的基準任務和數據集的定義是一項困難和具有挑戰性的工作，目前還沒有完全解決[187]。雖然大多數現有的數據集 （主要由機器學習社區開發） 依賴于大量的靜態數據集合，但是，神經形態數據集應該考慮神經形態系統使用的不同空間和時間表征。事實上，已經有人嘗試創建新的數據集，對基于事件的處理算法和方法進行基準測試[188,189,190,191,192]。

然而，這些數據集只能用于比較非常有限的系統和方法。評估神經形態系統時空能力的特定基準將需要超越機器學習的標準模式。為了驗證和比較大腦啟發的神經形態行為系統的廣泛光譜，有必要定義多個基準集，用于對復雜任務從端到端評估系統的性能。需要評估的計算例子包括時空模式識別、預測、注意力、決策、記憶、語言和空間感知，以及回歸、聚類和降維。

單獨來看，這些任務對于機器學習社區正在解決的一些問題來說是常見的。但神經形態系統也應該包括性能作為使用資源的函數如何變化。與機器學習不同的是，神經形態系統的設計目的是最小化內存和功耗。所以效果的基準也應該包括節省功耗 （如自主機器人） ，減少體積和重量 （如無人機） ，減少延遲和響應時間，使得對輸入信號和系統內部狀態的噪聲和變化的穩健性最大化。對于這些基準測試，內存和時間也是需要考慮的重要方面。鑒于神經形態系統使用“內存計算”，不能在任意時間訪問外部存儲庫以獲取信息，基準測試需要評估神經形態系統在需要將當前感知到的信號與幾秒、幾分鐘甚至幾小時前測量到的數據聯系起來的任務中，能多好地運行。開發適當的任務來評估神經形態系統的存儲性能，以適當地產生所期望的行為本身就是一個挑戰。

一旦定義了任務，基準測試還需要考慮上面討論的其他穩健性、延遲或功耗。目前用于評估傳統處理器和計算系統的標準數值，如精度、每秒浮點運算數 （FLOPS） 、每秒兆運算次數 （TOPS） 或每秒乘法和累加運算次數 （MAC） ，在這種情況下是不合適的。

三、展望

春晚展示了具身神經形態智能體的“能力”。具身神經形態智能體正在快速發展。它們通過大腦啟發的計算方法，與環境和人類進行更順暢地互動。它們被設計為以一種考慮到許多不同信息源的方式自主決策和執行相應的行動，減少來自感知的不確定性和模糊性，不斷學習和適應不斷變化的條件。

總的來說，傳統機器人技術甚至目前的神經形態方法的整體系統設計，都還遠遠沒有得到任何生物學的啟發。如果整個系統設計以生物計算原理為基礎，讓對周圍環境和機器人自身狀態的估計、決策、計劃和行動之間有緊密的交互，那么該領域將發生真正的突破。擴展到更復雜的任務仍然是一個挑戰，需要進一步發展感知和行為，進一步協同設計能夠自然映射到神經形態計算平臺上、并被電子元件物理支持的計算基元。

在系統層面，對于如何將所有感知和計算組件整合成一個連貫系統，有效地感知行為，我們仍然缺乏理解。此外，該領域還缺乏如何利用生物神經處理系統的復雜非線性特性的概念，例如在不同時間尺度上整合適應和學習。在理論/算法、硬件層面，可以利用新技術來滿足這種需求。

正如方框5、方框6所討論的那樣，神經形態智能成功的路線圖包括神經形態社區的成長，需要與其他研究領域交流探討。

具身神經形態智能體的發展，為機器人產業打開新的想象空間。迄今為止，神經形態計算技術的特點已經通過概念應用得到驗證，用于構建高效、緊湊的智能機器人系統，能夠在充滿挑戰的現實環境中感知、行動和學習。在這項技術足夠成熟能被用于解決復雜機器人任務并進入主流機器人技術前，還有許多問題需要解決。在短期內，當務之急是開發用戶友好的工具以便集成和編程神經形態裝置，使用戶和機器人專家使用神經形態方法。研究遵循的路徑可以類似于機器人技術所采用的路徑，使用開源平臺和開發用戶友好的中間件。同樣，社區應該有一套通用的指導原則來開發基于神經基元的智能。 新的信息和信號處理理論應該在神經形態硬件和神經編碼回路中設計異步的、基于事件的處理。這應該通過計算神經科學和信息論的神經形態社區的交互性影響來完成；此外，與材料和 （軟） 機器人社區的互動將更好地界定神經形態方法的應用領域。最后，神經形態方法在機器人領域的應用同樣也適用于其他領域，例如智能空間、汽車、假肢、康復和腦機接口，在這些領域可能需要解析不同類型的信號，以便做出決策并實時生成動作。

春晚機器人的爆火，或許只是一個起點。真正的產業躍遷，不在于機器人是否能完成一場演出，而在于它們是否能在真實世界中持續、自主、可靠地行動。當機器人不再只是“舞臺演員”，成為具身智能體時，產業的價值鏈也將被重新定義。而神經形態工程，正試圖為這場轉型提供底層計算范式。

參考文獻

1. Barrett, L. Beyond the Brain: How Body a nd Environment Shape Animal 5and Human Minds (Princeton University Press, 2011). https://doi.org/ 10.1515/9781400838349. Barrett provides an in-depth overview on what shapes human and animal’s intelligent behaviour, exploiting their brains, but also bodies and environment. She describes how physical structure contributes to cognition, and how it employs materials and resources in specific environments.

2. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).

3. Schmidhuber, J. Deep learning in neural networks: an overview. Neural Netw. 61, 85–117 (2015).

4. Sejnowski, T. J. The unreasonable effectiveness of deep learning in artificial intelligence. Proc. Natl Acad. Sci. (2020). https://www.pnas.org/content/early/2020/01/23/1907373117.full.pdf.

5. Jordan, M. I. Artificial intelligence—the revolution hasn’t happened yet. Harvard Data Sci. Rev. 1 (2019-07-01). https://hdsr.mitpress.mit.edu/pub/wot7mkc1.

6. Silver, D. et al. Mastering the game of go with deep neural networks and tree search. Nature 529, 484–489 (2016).

7. Indiveri, G. & Liu, S.-C. Memory and information processing in neuromorphic systems. Proc. IEEE 103, 1379–1397 (2015).

8. Indiveri, G. & Sandamirskaya, Y. The importance of space and time for signal processing in neuromorphic agents. IEEE Signal Process. Mag. 36, 16–28(2019).

9. Pasquale, G., Ciliberto, C., Odone, F., Rosasco, L. & Natale, L. Are we done ith object recognition? the icub robot’s perspective. Robot. Autonomous Syst.112, 260–281 (2019).

10. Hadsell, R., Rao, D., Rusu, A. & Pascanu, R. Embracing change: continual learning in deep neural networks. Trends Cogn. Sci. 24, 1028–1040 (2020).

11. Liu, S.-C. & Delbruck, T. Neuromorphic sensory systems. Curr. Opin.Neurobiol. 20, 288–295 (2010).

12. Chicca, E., Stefanini, F., Bartolozzi, C. & Indiveri, G. Neuromorphic electronic circuits for building autonomous cognitive systems. Proc. IEEE 102(September), 1367–1388 (2014). A description of neuromorphic computational primitives, their implementation in mixed-mode subthreshold CMOS circuits, and their computational relevance in supporting cognitive functions.

13. Qiao, N. et al. A reconfigurable on-line learning spiking neuromorphic processor comprising 256 neurons and 128k synapses. Front. Neurosci. 9, 141 (2015).

14. Qiao, N., Bartolozzi, C. & Indiveri, G. An ultralow leakage synaptic scaling homeostatic plasticity circuit with configurable time scales up to 100 ks. IEEE Transactions on Biomedical Circuits and Systems 11, 1271–1277 (2017).

15. Lazar, A. A. & To?th, L. T. Perfect recovery and sensitivity analysis of time encoded bandlimited signals. IEEE Transactions on Circuits and Systems I: Regular Papers. 51, 2060–2073 (2004).

16. Karen, A., Scholefield, A., & Vetterli M. Sampling and reconstruction of bandlimited signals with multi-channel time encoding. IEEE Transactions on Signal Processing 68, 1105–1119 (2020).

17. Singh Alvarado, A., Rastogi, M., Harris, J. G. & Príncipe, J. C. The integrateand-fire sampler: a special type of asynchronous σ-δ modulator. In 2011 IEEE International Symposium of Circuits and Systems (ISCAS), 2031–2034 (2011).

18. Akolkar, H. et al. What can neuromorphic event-driven precise timing add to spike-based pattern recognition? Neural Comput. 27, 561–593 (2015).

19. Bartolozzi, C. et al. Event-driven encoding of off-the-shelf tactile sensors for ompression and latency optimisation for robotic skin. In 2017 IEEE/RSJ nternational Conference on Intelligent Robots and Systems (IROS), 166–173 (2017-09).

20. Scheerlinck, C. et al. Fast image reconstruction with an event camera. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) (2020-03).

21. Kramer, J. An integrated optical transient sensor. IEEE Trans. Circuits Syst. II: Analog Digital Signal Process. 49, 612–628 (2002).

22. Lichtsteiner, P., Posch, C. & Delbruck, T. A 128x128 120 dB 15 μs latency asynchronous temporal contrast vision sensor. IEEE J. Solid-State Circuits 43, 566–576 (2008). This paper describes the first event-driven sensor used outside the designer’s lab. The DVS usability (robust hardware and friendly open source software) pushed the field of neuromorphic vision.

23. Posch, C., Matolin, D. & Wohlgenannt, R. A QVGA 143 dB dynamic range frame-free PWM image sensor with lossless pixel-level video compression and time-domain CDS. IEEE J. Solid-State Circuits 46, 259–275 (2011).

24. Gallego, G. et al. Event-based vision: a survey. IEEE Transactions on Pattern Analysis and Machine Intelligence 44, 154–180 (2020). Comprehensive review of the plethora of different approaches used i event-driven vision, from adapting computer vision and DL, to biologically inspired vision.

25. Glover, A., Vasco, V. & Bartolozzi, C. A controlled-delay event camera framework for on-line robotics. In 2018 IEEE International Conference on Robotics and Automation (2018-05).

26. Benosman, R., Ieng, S.-H., Clercq, C., Bartolozzi, C. & Srinivasan, M. Asynchronous frameless event-based optical flow. Neural Netw. 27, 32–37(2012).

27. Gallego, G., Rebecq, H. & Scaramuzza, D. A unifying contrast maximization framework for event cameras, with applications to motion, depth, and optical flow estimation. In IEEE Int. Conf. Comput. Vis. Pattern Recog.(CVPR), vol. 1 (2018).

28. Zhu, A. Z., Yuan, L., Chaney, K. & Daniilidis, K. Unsupervised event-based learning of optical flow, depth, and egomotion. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019-06).

29. Zhou, Y., Gallego, G. & Shen, S. Event-based stereo visual odometry. IEEE Transactions on Robotics 37, 1–18 (2021).

30. Vidal, A. R., Rebecq, H., Horstschaefer, T. & Scaramuzza, D. Ultimate SLAM? combining events, images, and imu for robust visual SLAM in hdr and highspeed scenarios. IEEE Robot. Autom. Lett. 3, 994–1001 (2018).

31. Delbruck, T. Jaer open source project. http://jaerproject.org (2007).

32. Glover, A., Vasco, V., Iacono, M. & Bartolozzi, C. The event-driven software library for yarp with algorithms and icub applications. Front. Robot. AI. 4, 73 (2017).

33. Mueggler, E., Huber, B. & Scaramuzza, D. Event-based, 6-DOF pose tracking for high-speed maneuvers. In Intelligent Robots and Systems (IROS), 2014 IEEE/RSJ International Conference on, 2761–2768 (IEEE, 2014).

34. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. A spiking neural network model of 3Dperception for event-based neuromorphic stereo vision systems. Sci. Rep. 7, 1–11 (2017).

35. Vasco, V. et al. Vergence control with a neuromorphic icub. In IEEE-RAS International Conference on Humanoid Robots (Humanoids 2016), 732–738 (2016-11).

36. Iacono, M. et al. Proto-object based saliency for event-driven cameras. In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 805–812 (2019).

37. Illing, B., Gerstner, W. & Brea, J. Biologically plausible deep learning. but how far can we go with shallow networks? Neural Netw. 118, 90–101 (2019).

38. Romano, F. et al. The codyco project achievements and beyond: toward human aware whole-body controllers for physical human robot interaction. IEEE Robot. Autom. Lett. 3, 516–523 (2018).

39. Hamilton, T. J., Jin, C., Van Schaik, A. & Tapson, J. An active 2-d silicon cochlea. IEEE Trans. Biomed. circuits Syst. 2, 30–43 (2008).

40. Liu, S.-C., van Schaik, A., Minch, B. A. & Delbruck, T. Asynchronous binaural spatial audition sensor with 2 × 64 × 4 channel output. Biomed. Circuits Syst., IEEE Trans. 8, 453–464 (2014). Latest version of event-based cochlea. It only outputs data in response to energy at its input.

41. Jiménez-Fernández, A. et al. A binaural neuromorphic auditory sensor for fpga: a spike signal processing approach. IEEE Trans. Neural Netw. Learn. Syst. 28, 804–818 (2017).

42. Schoepe, T. et al. Neuromorphic sensory integration for combining sound source localization and collision avoidance. In 2019 IEEE Biomedical Circuits and Systems Conference (BioCAS), 1–4 (2019).

43. Anumula, J., Ceolini, E., He, Z., Huber, A. & Liu, S. An event-driven probabilistic model of sound source localization using cochlea spikes. In 2018 IEEE International Symposium on Circuits and Systems (ISCAS), 1–5 (2018).

44. Li, X., Neil, D., Delbruck, T. & Liu, S. Lip reading deep network exploiting multi-modal spiking visual and auditory sensors. In 2019 IEEE International Symposium on Circuits and Systems (ISCAS), 1–5 (2019).

45. Caviglia, S., Pinna, L., Valle, M. & Bartolozzi, C. Spike-based readout of posfet tactile sensors. IEEE Trans. Circuits Syst. I – Regul. Pap. 64, 1421–1431 (2016).

46. John, R. et al. Self healable neuromorphic memtransistor elements for decentralized sensory signal processing in robotics. Nat. Commun. 11, 4030 (2020). Neuromorphic tactile system encompassing healable materials and memristive elements to perform proof-of-concept edge tactile sensing, demonstrated in a prosthetic application.

47. Wan, C. et al. An artificial sensory neuron with tactile perceptual learning. Adv. Mater. 30, 1801291 (2018).

48. Lee, J.-H., Chung, Y. S. & Rodrigue, H. Long shape memory alloy tendonbased soft robotic actuators and implementation as a soft gripper. Sci. Rep. 9, 1–12 (2019).

49. Rongala, U., Mazzoni, A., Camboni, D., Carrozza, M. & Oddo, C. Neuromorphic artificial sense of touch: Bridging robotics and neuroscience. In Bicchi A., B. W. (ed.) Robotics Research. Springer Proceedings in Advanced Robotics, chap. 3 (Springer, Cham., 2018). 50. Ward-Cherrier, B., Pestell, N. & Lepora, N. F. Neurotac: A neuromorphic optical tactile sensor applied to texture recognition. In International conference on Robotics and Automation (ICRA) 2020 (2020).

51. Nguyen, H. et al. Dynamic texture decoding using a neuromorphic multilayer tactile sensor. In 2018 IEEE Biomedical Circuits and Systems Conference (BioCAS), 1–4 (2018).

52. Bergner, F., Dean-Leon, E. & Cheng, G. Design and realization of an efficient large-area event-driven e-skin. Sensors 20, (2020). https://www.mdpi.com/ 1424-8220/20/7/1965. 53. Motto Ros, P., Laterza, M., Demarchi, D., Martina, M. & Bartolozzi, C. Eventdriven encoding algorithms for synchronous front-end sensors in robotic platforms. IEEE Sens. J. 19, 7149–7161 (2019). 54. Lee, D.-H., Zhang, S., Fischer, A. & Bengio, Y. Difference target propagation. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, 498–515 (Springer, 2015).

55. Zhao, J. et al. Closed-loop spiking control on a neuromorphic processor implemented on the icub. IEEE J. Emerg. Sel. Top. Circuits Syst. 10, 546–556 (2020). Example of the use of Spiking Neural Networks for the implementation of a cooperative/collaborative network for the control of a single joint of the iCub humanoid robot.

56. Kreiser, R. et al. An on-chip spiking neural network for estimation of the head pose of the iCub robot. Front. Neurosci. 14, 551 (2020).

57. Panzeri, S., Harvey, C. D., Piasini, E., Latham, P. E. & Fellin, T. Cracking the neural code for sensory perception by combining statistics, intervention, and behavior. Neuron 93, 491–507 (2017). Computational neuroscience that can support neuromorphic computing. Panzeri and colleagues explore the information content of spike patterns and their correlate with information about the input stimulus and about the behavioural choice of the subject. Understanding the encoding and decoding of the neural code can provide insights on how to design efficient and powerful Spiking Neural Network for robotics.

58. Milde, M. B., Dietmüller, A., Blum, H., Indiveri, G. & Sandamirskaya, Y. Obstacle avoidance and target acquisition in mobile robots equipped with neuromorphic sensory-processing systems. In International Symposium on Circuits and Systems, (ISCAS) (IEEE, 2017).

59. Zibner, S. K. U., Faubel, C., Iossifidis, I. & Schoner, G. Dynamic neural fields as building blocks of a cortex-inspired architecture for robotic scene representation. IEEE Trans. Autonomous Ment. Dev. 3, 74–91 (2011). Theory of Dynamic Neural Fields and this can be used to develop cognitive robots. DNF is one of the proposed computational frameworks that can support the principled design of neuromorphic intelligent robots.

60. Sandamirskaya, Y. Dynamic neural fields as a step toward cognitive neuromorphic architectures. Front. Neurosci. 7, 276 (2014).

61. Falotico, E. et al. Connecting artificial brains to robots in a comprehensive simulation framework: the neurorobotics platform. Front. Neurorobotics 11, 2 (2017).

62. Patacchiola, M. & Cangelosi, A. A developmental cognitive architecture for trust and theory of mind in humanoid robots. IEEE Transactions on Cybernetics PP(99), 1–13 (2020).

63. Richter, M., Sandamirskaya, Y. & Sch?ner, G. A robotic architecture for action selection and behavioral organization inspired by human cognition. In Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on, 2457–2464 (IEEE, 2012).

64. Ijspeert, A., Crespi, A., Ryczko, D. & Cabelguen, J. From swimming to walking with a salamander robot driven by a spinal cord model. Science 315, 1416–1420 (2007).

65. M. Wensing, P. & Slotine, J.-J. Sparse control for dynamic movement primitives. IFAC-PapersOnLine 50, 10114–10121 (2017).

66. Tieck, J. C. V. et al. Generating pointing motions for a humanoid robot by combining motor primitives. Front. Neurorobotics 13, 77 (2019).

67. Ijspeert, A. J. Amphibious and sprawling locomotion: from biology to robotics and back. Annu. Rev. Control, Robot., Autonomous Syst. 3, 173–193 (2020).

68. Furber, S., Galluppi, F., Temple, S. & Plana, L. The SpiNNaker project. Proc. IEEE 102, 652–665 (2014).

69. Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. A scalable multicore architecture with heterogeneous memory structures for dynamic neuromorphic asynchronous processors (DYNAPs). Biomed. Circuits Syst., IEEE Trans. 12, 106–122 (2018). Mixed-signal analog/digital multi-core neuromorphic processor for implementing spiking neural networks with biologically realistic dynamics.

70. Davies, M. et al. Loihi: a neuromorphic manycore processor with on-chip learning. IEEE Micro 38, 82–99 (2018).

71. Neckar, A. et al. Braindrop: a mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proc. IEEE 107, 144–164 (2019).

72. Rhodes, O. et al. spynnaker: A software package for running pynn simulations on spinnaker. Front. Neurosci. 12, 816 (2018). 73. Lin, C.-K. et al. Mapping spiking neural networks onto a manycore neuromorphic architecture. In Proceedings of the 39th ACM SIGPLAN Conference on Programming Language Design and Implementation PLDI, 78–89 (ACM, 2018). 74. Stefanini, F., Sheik, S., Neftci, E. & Indiveri, G. Pyncs: a microkernel for highlevel definition and configuration of neuromorphic electronic systems. Front. Neuroinfo. 8,

73 (2014). 75. Eliasmith, C. & Anderson, C. Neural engineering: Computation, representation, and dynamics in neurobiological systems (The MIT Press, 2004).

76. DeWolf, T., Stewart, T. C., Slotine, J.-J. & Eliasmith, C. A spiking neural model of adaptive arm control. Proc. R. Soc. B: Biol. Sci. 283, 20162134 (2016). Neural Engineering Framework applied to the adaptive control of a robotic arm. NEF is one of the mathematical frameworks that could support the development of neuromorphic robotics.

77. Stagsted, R. K. et al. Event-based PID controller fully realized in neuromorphic hardware: a one dof study. In Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference on (2020).

78. Zhao, J., Donati, E. & Indiveri, G. Neuromorphic implementation of spiking relational neural network for motor control. In International Conference on Artificial Intelligence Circuits and Systems (AICAS), 2020, 89–93 (IEEE, 2020).

79. Linares-Barranco, A., Perez-Pe?a, F., Jimenez-Fernandez, A. & Chicca, E. EDBiorob: a neuromorphic robotic arm with FPGA-based infrastructure for bioinspired spiking motor controllers. Front. Neurorobotics 14, 590163 (2020).

80. Jimenez-Fernandez, A. et al. A neuro-inspired spike-based PID motor controller for multi-motor robots with low cost FPGAs. Sensors 12, 3831–3856 (2012).

81. Perez-Pe?a, F., Le?ero-Bardallo, J. A., Linares-Barranco, A. & Chicca, E. Towards bioinspired close-loop local motor control: a simulated approach supporting neuromorphic implementations. In 2017 IEEE International Symposium on Circuits and Systems (ISCAS) (2017).

82. Donati, E., Perez-Pefia, F., Bartolozzi, C., Indiveri, G. & Chicca, E. Open-loop neuromorphic controller implemented on VLSI devices. In Biomedical Robotics and Biomechatronics (BIOROB), 7th IEEE International Conference on, 827–832 (2018-08).

83. Shadmehr, R. et al. The computational neurobiology of reaching and pointing: a foundation for motor learning (MIT press, 2005).

84. Huang, X. et al. Highly dynamic shape memory alloy actuator for fast moving soft robots. Adv. Mater. Technol. 4, 1800540 (2019).

85. Schaffner, M. et al. 3d printing of robotic soft actuators with programmable bioinspired architectures. Nat. Commun. 9, 1–9 (2018).

86. Sch?ner, G. Dynamical systems approaches to cognition. In Sun, R. (ed.) TheCambridge Handbook of Computational Psychology, 101–126 (CambridgeUniversity Press, 2008).

87. Yang, C., Wu, Y., Ficuciello, F., Wang, X. & Cangelosi, A. Guest editorial:special issue on human-friendly cognitive robotics. IEEE Trans. Cogn.Developmental Syst. 13, 2–5 (2021).

88. Milde, M. B. et al. Obstacle avoidance and target acquisition for robot navigation using a mixed signal analog/digital neuromorphic processing system. Front. Neurorobotics 11, 28 (2017).

89. Thakur, C. S. et al. Large-scale neuromorphic spiking array processors: a quest to mimic the brain. Front. Neurosci. 12, 891 (2018). Review of large-scale emulators of neural networks that also discuss promising applications.

90. Backus, J. Can programming be liberated from the von Neumann style: a functional style and its algebra of programs. Commun. ACM 21, 613–641 (1978).

91. Neckar, A. et al. Braindrop: a mixed-signal neuromorphic architecture with a dynamical systems-based programming model. Proc. IEEE 107, 144–164 (2018).

92. Payvand, M., Nair, M. V., Müller, L. K. & Indiveri, G. A neuromorphic systems approach to in-memory computing with non-ideal memristive devices: from mitigation to exploitation. Faraday Discuss. 213, 487–510 (2019).

93. Dalgaty, T. et al. Hybrid neuromorphic circuits exploiting non-conventional properties of RRAM for massively parallel local plasticity mechanisms. APL Mater. 7, 081125 (2019).

94. Chicca, E. & Indiveri, G. A recipe for creating ideal hybrid memristive-CMOS neuromorphic processing systems. Appl. Phys. Lett. 116, 120501 (2020). Guidelines and specifications for the integration of memristive devices on neuromorphic chips and their relevance in the design of truly low-power and compact building blocks to support always-on learning in neuromorphic computing systems.

95. Horiuchi, T. A spike-latency model for sonar-based navigation in obstacle fields. Circuits Syst. I: Regul. Pap., IEEE Trans. 56, 2393–2401 (2009).

96. Oster, M., Douglas, R. & Liu, S.-C. Computation with spikes in a winner-takeall network. Neural Comput. 21, 2437–2465 (2009).

97. H?fliger, P. Adaptive WTA with an analog VLSI neuromorphic learning chip. IEEE Trans. Neural Netw. 18, 551–572 (2007). 98. Mostafa, H. & Indiveri, G. Sequential activity in asymmetrically coupled winner-take-all circuits. Neural Comput. 26, 1973–2004 (2014). 99. Indiveri, G. A current-mode hysteretic winner-take-all network, with excitatory and inhibitory coupling. Analog Integr. Circuits Signal Process. 28(September), 279–291 (2001).

100. Donati, E., Krause, R. & Indiveri, G. Neuromorphic pattern generation circuits for bioelectronic medicine. In 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), 1117–1120 (2021).

101. Giulioni, M. et al. Robust working memory in an asynchronously spiking neural network realized in neuromorphic VLSI. Front. Neurosci. 5 (2012). http://www.frontiersin.org/neuromorphic_engineering/10.3389/ fnins.2011.00149/abstract.

102. Neftci, E. et al. Synthesizing cognition in neuromorphic electronic systems. Proc. Natl Acad. Sci. 110, E3468–E3476 (2013). In this paper, one of the cited computational primitives (the Winner-Take-All) is used as building block to implement a cognitive function, performing real-time context-dependent classification of motion patterns observed by a silicon retina/decision making.

103. Kreiser, R., Aathmani, D., Qiao, N., Indiveri, G. & Sandamirskaya, Y. Organising sequential memory in a neuromorphic device using dynamic neural fields. Front. Neurosci. 12, 717 (2018).

104. Duran, B. & Sandamirskaya, Y. Learning temporal intervals in neural dynamics. IEEE Trans. Cogn. Developmental Syst. 10, 359–372 (2018).

105. Liang, D. & Indiveri, G. A neuromorphic computational primitive for robust context-dependent decision making and context-dependent stochastic computation. IEEE Trans. Circuits Syst. II: Express Briefs 66, 843–847 (2019).

106. Liang, D. & Indiveri, G. Robust state-dependent computation in neuromorphic electronic systems. In Biomedical Circuits and Systems Conference, (BioCAS), 2017, 108–111 (IEEE, 2017-10).

107. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Front. Neurorobotics 14, 93 (2020). 108. Douglas, R. J. & Martin, K. A. Neuronal circuits of the neocortex. Annu. Rev. Neurosci. 27, 419–451 (2004). 109. Douglas, R. & Martin, K. Recurrent neuronal circuits in the neocortex. Curr. Biol. 17, R496–R500 (2007). 110. Maass, W. On the computational power of winner-take-all. Neural Comput. 12, 2519–2535 (2000). 111. Rutishauser, U., Douglas, R. & Slotine, J. Collective stability of networks of winner-take-all circuits. Neural Comput. 23, 735–773 (2011).

112. Indiveri, G. Neuromorphic analog VLSI sensor for visual tracking: Circuits and application examples. IEEE Trans. Circuits Syst. II 46, 1337–1347 (1999).

113. Indiveri, G. Modeling selective attention using a neuromorphic analog VLSI device. Neural Comput. 12, 2857–2880 (2000).

114. Bartolozzi, C. & Indiveri, G. Selective attention in multi-chip address-event systems. Sensors 9, 5076–5098 (2009).

115. Cook, M. & Bruck, J. Networks of relations for representation, learning, and generalization (2005). https://resolver.caltech.edu/CaltechPARADISE:2005.ETR071.

116. Cook, M., Jug, F., Krautz, C. & Steger, A. Unsupervised learning of relations.In Artificial Neural Networks–ICANN 2010, 164–173 (Springer, 2010).

117. Hahnloser, R. Emergence of neural integration in the head-direction systemby visual supervision. Neuroscience 120, 877–891 (2003).

118. Johnson, J. S., Spencer, J. P. & Sch?ner, G. Moving to higher ground: Thedynamic field theory and the dynamics of visual cognition. N. Ideas Psychol.26, 227–251 (2008).

119. Sandamirskaya, Y. & Conradt, J. Increasing autonomy of learning sensorimotortransformations with dynamic neural fields. In International Conference on Robotics and Automation (ICRA), Workshop “Autonomous Learning" (2013).

120. Sandamirskaya, Y., Zibner, S. K., Schneegans, S. & Sch?ner, G. Using dynamic field theory to extend the embodiment stance toward higher cognition. N. Ideas Psychol. 31, 322–339 (2013).

121. Douglas, R., Koch, C., Mahowald, M., Martin, K. & Suarez, H. Recurrent excitation in neocortical circuits. Science 269, 981–985 (1995).

122. Compte, A., Brunel, N., Goldman-Rakic, P. S. & Wang, X.-J. Synaptic mechanisms and network dynamics underlying spatial working memory in a cortical network model. Cereb. Cortex 10, 910–923 (2000).

123. Dayan, P. Simple substrates for complex cognition. Front. Neurosci. 2, 255(2008).

124. Harris, K. D. & Thiele, A. Cortical state and attention. Nat. Rev. Neurosci. 12, 509 (2011).

125. Cheng-yu, T. L., Poo, M.-m & Dan, Y. Burst spiking of a single cortical neuron modifies global brain state. Science 324, 643–646 (2009).

126. Sch?lvinck, M. L., Saleem, A. B., Benucci, A., Harris, K. D. & Carandini, M. Cortical state determines global variability and correlations in visual cortex. J. Neurosci. 35, 170–178 (2015).

127. Rutishauser, U. & Douglas, R. State-dependent computation using coupled recurrent networks. Neural Comput. 21, 478–509 (2009).

128. Hangya, B., Pi, H.-J., Kvitsiani, D., Ranade, S. P. & Kepecs, A. From circuit motifs to computations: mapping the behavioral repertoire of cortical interneurons. Curr. Opin. Neurobiol. 26, 117–124 (2014).

129. Letzkus, J. J., Wolff, S. B. & Lüthi, A. Disinhibition, a circuit mechani...