智能之巔：低功耗人工智能計(jì)算的優(yōu)雅演繹

院士的話

如何實(shí)現(xiàn)低能耗人工智能計(jì)算?

人工智能的發(fā)展歷程中，一個重要的推動因素是對人類神經(jīng)系統(tǒng)的研究。通過對視覺皮層、聽覺系統(tǒng)以及其他神經(jīng)系統(tǒng)的深入研究，科學(xué)家們得以理解和模擬大腦處理信息的方式，這些研究成果為構(gòu)建更先進(jìn)的人工智能算法提供了理論基礎(chǔ)。然而，盡管人工智能在許多方面已經(jīng)取得了顯著的進(jìn)步，但在能耗效率上卻遠(yuǎn)遜于人腦。相關(guān)研究表明，完成特定任務(wù)的人工智能計(jì)算系統(tǒng)的能耗大約是人腦處理相同任務(wù)能耗的數(shù)千倍。這種巨大的能源消耗不僅限制了人工智能的應(yīng)用范圍，也對環(huán)境產(chǎn)生了負(fù)面影響。

因此，發(fā)展低能耗的人工智能成為了科研人員的緊迫任務(wù)。未來，人工智能的發(fā)展借鑒生物神經(jīng)系統(tǒng)高效節(jié)能的信息處理方式，通過模仿大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和突觸傳遞機(jī)制，開發(fā)出能夠像人腦一樣在極低能耗下運(yùn)行的人工智能系統(tǒng)。這樣的類腦技術(shù)將有可能帶來一場人工智能的革命。發(fā)展低能耗人工智能計(jì)算不僅是解決當(dāng)前算力瓶頸和環(huán)境問題的關(guān)鍵，也將推動人工智能走向千行百業(yè)，真正改變我們的生活和社會。

錢德沛

中國科學(xué)院院士，北京航空航天大學(xué)教授

01

何為人工智能？

人工智能（ArtifcialIntelligence，AI）是一門研究如何使計(jì)算機(jī)能夠模擬和執(zhí)行人類智能任務(wù)的科學(xué)和技術(shù)領(lǐng)域。它致力于開發(fā)能夠感知、理解、學(xué)習(xí)、推理、決策和與人類進(jìn)行交互的智能系統(tǒng)。1956年8月在美國的達(dá)特茅斯夏季人工智能研究計(jì)劃中首次提出并確立了人工智能這一研究領(lǐng)域。因此1956年被普遍認(rèn)為是人工智能元年，但人工智能真正為大眾普遍關(guān)注是在2010年前后，當(dāng)神經(jīng)網(wǎng)絡(luò)終于被明確證明是非常有效的機(jī)器學(xué)習(xí)架構(gòu)時。研究人員通過學(xué)習(xí)人類視覺神經(jīng)系統(tǒng)，發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)能夠解決機(jī)器視覺問題；通過學(xué)習(xí)人類大腦的獎勵機(jī)制，發(fā)現(xiàn)了強(qiáng)化學(xué)習(xí)的方法從而大幅提升機(jī)器學(xué)習(xí)效率。要進(jìn)一步了解人工智能，就要了解機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)這些術(shù)語。

從視覺神經(jīng)網(wǎng)絡(luò)到機(jī)器視覺

人類一直渴望機(jī)器能像人一樣擁有智能。機(jī)器“看懂這個世界”即機(jī)器視覺，就是計(jì)算機(jī)接收到視覺信息如圖片、視頻、文字并能夠進(jìn)行識別、分類、分析的智能處理過程。哈佛大學(xué)的大衛(wèi)·休伯爾和托斯坦·維厄瑟爾是兩位神經(jīng)生物學(xué)家，他們因在貓的視覺系統(tǒng)的研究成果獲得了1981年的諾貝爾生理學(xué)或醫(yī)學(xué)獎。他們發(fā)現(xiàn)視覺信號是通過幾層神經(jīng)元傳遞后呈現(xiàn)的結(jié)果。在初級視覺皮層中，每個神經(jīng)元僅連接到視野的一小部分區(qū)域，這些神經(jīng)元被稱為簡單細(xì)胞。在下一層，即視覺皮層中，其他單元集成了上一層激活的信息，使得視覺對象即使在視野中稍微移動，視覺系統(tǒng)也能保持圖像的呈現(xiàn)，這些單元被稱為復(fù)雜細(xì)胞。這種由簡單探測器（簡單細(xì)胞）被“總結(jié)”來創(chuàng)建更復(fù)雜探測器（復(fù)雜細(xì)胞）的機(jī)制遍布整個人類視覺系統(tǒng)。最終這種結(jié)構(gòu)和機(jī)制成為卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

▲卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

（引自：Yann LeCun論文：Gradient-based learning applied to document recognition）

卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)如圖所示，它是計(jì)算機(jī)視覺最經(jīng)典的架構(gòu)，它模擬人類視覺神經(jīng)元的感受野，將輸入的圖像分割為像素點(diǎn)矩陣，通過卷積運(yùn)算和滑動窗口完成輸入信息的特征學(xué)習(xí)，具有非常高的視覺識別、分類和檢測性能，被廣泛應(yīng)用于自動駕駛、人臉識別、自助超市等場景。

02

人工智能大模型高能耗的挑戰(zhàn)

全球綠色可持續(xù)發(fā)展目標(biāo)

今年聯(lián)合國氣候大會指出，全球碳排放量自2019年以來持續(xù)上升，盡管全球在減少溫室氣體排放方面取得了一些進(jìn)展，但仍不足以實(shí)現(xiàn)巴黎協(xié)定的溫度目標(biāo)。2015年簽署《巴黎協(xié)定》時，預(yù)計(jì)到2030年的溫室氣體排放量將增加16%，而如今預(yù)計(jì)的增加幅度為3%。然而，到2030年溫室氣體排放仍需分別下降28%和42%，才能達(dá)到《巴黎協(xié)定》的氣溫上升2°C 和1.5°C的限制。能源是溫室氣體排放的主要來源，目前占全球二氧化碳排放量的86%。報(bào)告呼吁所有國家加速低碳經(jīng)濟(jì)發(fā)展的轉(zhuǎn)型，擁有更大能力和排放責(zé)任的國家需要采取更具雄心的行動。

大模型高能耗的挑戰(zhàn)

人工智能模型的訓(xùn)練和推理是實(shí)現(xiàn)人工智能應(yīng)用的關(guān)鍵環(huán)節(jié)。訓(xùn)練的過程可以類比為人類的學(xué)習(xí)過程，需要花費(fèi)時間和精力來理解和掌握知識；推理可以類比為人類的決策過程，是利用已有的知識進(jìn)行判斷和決策。

人工智能模型訓(xùn)練能耗巨大。根據(jù)斯坦福人工智能研究所（HAI）發(fā)布的《2023年人工智能指數(shù)報(bào)告》，OpenAI的GPT-3完成訓(xùn)練耗電量高達(dá)1287兆瓦時（1 兆瓦時=1000千瓦時），大約相當(dāng)于120個美國家庭1年的用電量。而這僅僅是訓(xùn)練人工智能模型的電力消耗。

▲全球承諾排放量示意圖

（引自《Emissions?Gap?Report?2023》）

03

如何應(yīng)對人工智能的高能耗問題

低能耗人工智能是指在保證性能的同時，降低人工智能計(jì)算平臺的功耗。隨著人工智能技術(shù)的廣泛應(yīng)用，越來越多的設(shè)備開始搭載人工智能算法，而這也使得這些設(shè)備的電量消耗不斷增加。因此，如何降低人工智能的能耗，延長設(shè)備的續(xù)航時間，成為了當(dāng)前亟待解決的問題。

更高效的數(shù)據(jù)

數(shù)據(jù)被視為AI系統(tǒng)的基石，是機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練和學(xué)習(xí)的“燃料”，現(xiàn)階段先進(jìn)的大模型進(jìn)行參數(shù)訓(xùn)練時，常采用依賴于海量數(shù)據(jù)的粗獷式計(jì)算方式，造成大量計(jì)算資源和存儲空間浪費(fèi)。相比于“數(shù)海戰(zhàn)術(shù)”，足量的優(yōu)質(zhì)數(shù)據(jù)更能為AI系統(tǒng)提供全面的、準(zhǔn)確的訓(xùn)練信息，使算法在面對未知的情況時能夠做出準(zhǔn)確且具有魯棒性的決策。為了適應(yīng)AI算法的小樣本訓(xùn)練和學(xué)習(xí)，可以通過數(shù)據(jù)清洗、數(shù)據(jù)預(yù)處理、特征工程等對原始數(shù)據(jù)進(jìn)行有效改造，將數(shù)據(jù)轉(zhuǎn)化為高價值資源，為低能耗AI的開發(fā)及優(yōu)化提供有力支持。

▲數(shù)據(jù)優(yōu)化示意圖

優(yōu)化算法

在人工智能領(lǐng)域，算法是人工智能技術(shù)的核心，也是能耗的重要組成部分。隨著“百模大戰(zhàn)”競爭的不斷加劇，頂級的NLP模型參數(shù)已經(jīng)高達(dá)上千億，訓(xùn)練使用的高性能加速卡增長到了約4000張，所帶來的功耗和成本需求更是驚人。因此，在不降低模型性能的前提下，針對特定應(yīng)用場景，需要根據(jù)數(shù)據(jù)特性和任務(wù)需求，探索算法創(chuàng)新和超參調(diào)優(yōu)，減少模型的復(fù)雜度和計(jì)算量，進(jìn)行精細(xì)的優(yōu)化和設(shè)計(jì)。好的算法可以更好地匹配訓(xùn)練數(shù)據(jù)，有效挖掘特征信息，更好的理解數(shù)據(jù)的本質(zhì)和規(guī)律，顯著縮短模型訓(xùn)練的時間。模型在推理部署前進(jìn)行量化和壓縮，使模型在運(yùn)行時更加高效和穩(wěn)定，進(jìn)一步降低能源消耗。

硬件提升

算力是模型算法利用數(shù)據(jù)進(jìn)行訓(xùn)練和推理的硬件底座，如深度學(xué)習(xí)算法的計(jì) 算任務(wù)通常具有海量數(shù)據(jù)、復(fù)雜計(jì)算、高度并行等特性，需要計(jì)算單元和存儲單元高效協(xié)同工作，快速完成大規(guī)模數(shù)據(jù)的并發(fā)計(jì)算和模型的參數(shù)優(yōu)化。相比于中央處理器，圖形處理器有更多的計(jì)算單元和線程以及更大的內(nèi)存和帶寬，適合人工智能模型的訓(xùn)練和推理。如美國英偉達(dá)公司的A100GPU是2020年5月正式發(fā)布的，采用7納米制程技術(shù)，在AI算力方面比前代產(chǎn)品V100有顯著提升；2022年3月正式發(fā)布H100 GPU，采用4納米制程技術(shù)，并且在AI算力和高帶寬內(nèi)存等方面比前代產(chǎn)品有顯著提升。如圖7所示的性能對比。另一種專門用于加速神經(jīng)網(wǎng)絡(luò)推理階段的定制ASIC，如Google的張量處理單元，Google在2021 年5月發(fā)布了第四代張量處理單元TPUv4i。這是用于加速機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)。

▲Nvidia的GPU?A100和H100性能對比圖

（引自Datasheet?of?NVIDIA?H100?Tensor?Core?GPU）

04

總結(jié)

智能計(jì)算將逐步成為主流計(jì)算方式，低能耗是人工智能走進(jìn)千行百業(yè)、千家萬戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問題，將促進(jìn)全社會數(shù)智化轉(zhuǎn)型，助力實(shí)現(xiàn)高質(zhì)量發(fā)展、碳達(dá)峰與碳中和的發(fā)展目標(biāo)。智能計(jì)算將逐步成為主流計(jì)算方式，低能耗是人工智能走進(jìn)千行百業(yè)、千家萬戶的必然途徑。解決人工智能產(chǎn)業(yè)的高耗能問題，將促進(jìn)全社會數(shù)智化轉(zhuǎn)型，助力實(shí)現(xiàn)高質(zhì)量發(fā)展、碳達(dá)峰與碳中和的發(fā)展目標(biāo)。

下期小編還會給大家?guī)砥渌把乜萍嫉慕庾x內(nèi)容，歡迎讀者朋友們持續(xù)關(guān)注我們！

圖文內(nèi)容來源于：

《面向未來的科技——2023重大科學(xué)問題、工程技術(shù)難題和產(chǎn)業(yè)技術(shù)問題解讀》

微信號｜大美科學(xué)

07-05熱文

06-26熱文