英特爾宣布全球最大的神經(jīng)擬態(tài)系統(tǒng)，算力是人腦的200倍

之前科幻片中出現(xiàn)的機(jī)器人讓很多影迷驚嘆，紛紛討論這種機(jī)器人什么時(shí)候能夠走進(jìn)我們的生活。現(xiàn)在這種幻想有肯能成為現(xiàn)實(shí)。

北京時(shí)間4月18日凌晨，美國芯片巨頭英特爾（Intel）宣布，其打造出全球最大的神經(jīng)擬態(tài)系統(tǒng)——Hala Point，旨在支持未來類腦 AI 研究，以及解決 AI 目前在效率和可持續(xù)性等方面的挑戰(zhàn)。

Hala Point內(nèi)置1152個(gè)、基于Intel 4（7nm）制程的英特爾Loihi 2處理器，支持多達(dá)11.5億個(gè)神經(jīng)元和1280億個(gè)突觸，每秒可處理超過380萬億個(gè)8位突觸和超過 240 萬億個(gè)神經(jīng)元操作，相關(guān)系統(tǒng)最初部署在美國桑迪亞國家實(shí)驗(yàn)室。應(yīng)用于仿生尖峰神經(jīng)網(wǎng)絡(luò)模型時(shí)，在運(yùn)行神經(jīng)元數(shù)量較低的情況下，Hala Point速度可比人腦快200倍（20000%）。

英特爾研究院神經(jīng)擬態(tài)計(jì)算實(shí)驗(yàn)室總監(jiān)Mike Davies表示：“目前，AI模型的算力成本正在以不可持續(xù)的速度上升。行業(yè)需要能夠規(guī)模化的全新計(jì)算方法。為此，英特爾開發(fā)了Hala Point，將高效率的深度學(xué)習(xí)和新穎的類腦持續(xù)學(xué)習(xí)、優(yōu)化能力結(jié)合起來。我們希望使用Hala Point的研究能夠在大規(guī)模AI技術(shù)的效率和適應(yīng)性上取得突破。”

早在2018年，英特爾就推出了首款神經(jīng)擬態(tài)芯片Loihi，這款芯片的計(jì)算任務(wù)由許多小單元進(jìn)行，這些單元通過類似生物神經(jīng)的尖峰信號(hào)相互通信，并通過尖峰調(diào)整其行為。

到了2021年，英特爾對Loihi系列進(jìn)行了全面升級，發(fā)布了第二代神經(jīng)擬態(tài)芯片Loihi 2。這款芯片采用了英特爾首個(gè)EUV工藝節(jié)點(diǎn)Intel 4，等效于4nm，實(shí)際為7nm工藝。Loihi 2共有128個(gè)神經(jīng)擬態(tài)核心，每個(gè)內(nèi)核都有192KB的靈活內(nèi)存，每個(gè)神經(jīng)元可以根據(jù)模型分配多達(dá)4096個(gè)狀態(tài)，這是之前限制的24倍。

與普通的CPU和GPU不同，神經(jīng)擬態(tài)沒有外部內(nèi)存。每個(gè)神經(jīng)元都有一小部分內(nèi)存供其專用。主要作用是分配給不同神經(jīng)元輸入的權(quán)重、最近活動(dòng)的緩存以及峰值發(fā)送到的所有其他神經(jīng)元的列表。Loihi 2可以根據(jù)用途選擇各種不同連接選項(xiàng)，這一點(diǎn)上有些類似于FPGA。

英特爾強(qiáng)調(diào)，在執(zhí)行AI推理負(fù)載和處理優(yōu)化問題時(shí)，Loihi 2神經(jīng)擬態(tài)芯片系統(tǒng)的速度比常規(guī)CPU和GPU架構(gòu)快50倍，同時(shí)能耗降低100倍。此外，英特爾還發(fā)布了用于Loihi芯片的軟件——一個(gè)名為Lava的新開發(fā)框架。該框架及相關(guān)庫都用Python編寫，并在GitHub上開源，使得開發(fā)人員無需訪問硬件即可為Loihi開發(fā)程序。

如今，Loihi 2芯片已經(jīng)被應(yīng)用于機(jī)械臂、神經(jīng)擬態(tài)皮膚、機(jī)器嗅覺等場景。英特爾表示，Loihi 2應(yīng)用了眾多類腦計(jì)算原理，如異步（asynchronous）、基于事件的脈沖神經(jīng)網(wǎng)絡(luò)（SNNs）、存算一體，以及不斷變化的稀疏連接，以實(shí)現(xiàn)能效比和性能的數(shù)量級提升。

而在新一輪AI技術(shù)引領(lǐng)下，4月17日，英特爾將這個(gè)神經(jīng)擬態(tài)芯片進(jìn)行“暴力組裝”，構(gòu)建了全球最大的神經(jīng)擬態(tài)系統(tǒng)Hala Point。該系統(tǒng)由封裝在一個(gè)六機(jī)架的數(shù)據(jù)中心機(jī)箱中的1152個(gè)Loihi 2處理器組成，大小相當(dāng)于一個(gè)微波爐。該系統(tǒng)支持分布在140544個(gè)神經(jīng)形態(tài)處理內(nèi)核上的多達(dá)11.5億個(gè)神經(jīng)元和1280億個(gè)突觸，最大功耗僅為2600瓦。

Hala Point將處理、內(nèi)存和通信通道集成在大規(guī)模并行結(jié)構(gòu)中，提供總共16 PB/s的內(nèi)存帶寬、3.5 PB/s的內(nèi)核間通信帶寬和5 TB/s的帶寬（TB/s）的芯片間通信帶寬。該系統(tǒng)每秒可以處理超過380萬億個(gè)8位突觸和超過240萬億個(gè)神經(jīng)元操作。

早期研究結(jié)果表明，通過利用稀疏性高達(dá)10比1的稀疏連接（sparse connectivity）和事件驅(qū)動(dòng)的活動(dòng)，Hala Point運(yùn)行深度神經(jīng)網(wǎng)絡(luò)的能效比高達(dá)15 TOPS/W，同時(shí)無需對輸入數(shù)據(jù)進(jìn)行批處理。盡管仍處于研究階段，但未來的神經(jīng)擬態(tài)大語言模型將不再需要定期在不斷增長的數(shù)據(jù)集上再訓(xùn)練，從而節(jié)約數(shù)千兆瓦時(shí)的能源。

目前，Hala Point是一個(gè)旨在改進(jìn)未來商用系統(tǒng)的研究原型。英特爾預(yù)計(jì)其研究將帶來實(shí)際技術(shù)突破，如讓大語言模型擁有從新數(shù)據(jù)中持續(xù)學(xué)習(xí)的能力，從而有望在AI廣泛部署的過程中，大幅降低訓(xùn)練能耗，提高可持續(xù)性。

接下來，Hala Point系統(tǒng)將向桑迪亞國家實(shí)驗(yàn)室交付，這標(biāo)志著英特爾共享的大型神經(jīng)擬態(tài)研究系統(tǒng)的首次部署，進(jìn)一步推動(dòng)神經(jīng)擬態(tài)計(jì)算應(yīng)用和類腦AI研究等。如今，英特爾神經(jīng)擬態(tài)研究社區(qū)（INRC）成員總數(shù)已超過200個(gè)。