破GPU算力供需失衡之困，開(kāi)放加速計(jì)算何以應(yīng)對(duì)AIGC算力挑戰(zhàn)？

眾所周知，AIGC時(shí)代，算力需求爆發(fā)式增長(zhǎng)，而開(kāi)放加速計(jì)算（OAI）硬件架構(gòu)正是為超大規(guī)模深度神經(jīng)網(wǎng)絡(luò)模型并行計(jì)算而生，天然適用于AIGC大模型訓(xùn)練，將為AIGC提供有力的創(chuàng)新動(dòng)力。而隨著日前舉行的OCP ChinaDay大會(huì)上，業(yè)界首個(gè)面向AIGC的《開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》（以下簡(jiǎn)稱(chēng)《指南》）正式發(fā)布，勢(shì)必會(huì)有效加速算力產(chǎn)業(yè)多樣化的轉(zhuǎn)型與發(fā)展，幫助AIGC時(shí)代的AI計(jì)算產(chǎn)業(yè)跨越“創(chuàng)新”鴻溝。

生成式AI計(jì)算需求增長(zhǎng)，算力多樣化轉(zhuǎn)型帶來(lái)新挑戰(zhàn)

隨著AI的發(fā)展，IDC預(yù)測(cè)，全球AI計(jì)算市場(chǎng)規(guī)模將從2022年的195.0億美元增長(zhǎng)到2026年的346.6億美元，其中生成式AI計(jì)算市場(chǎng)規(guī)模將從2022年的8.2億美元增長(zhǎng)到2026年的109.9億美元。生成式AI計(jì)算占整體AI計(jì)算市場(chǎng)的比例將從4.2%增長(zhǎng)到31.7%。

隨之而來(lái)的是這種生成式AI算力需求的增長(zhǎng)推動(dòng)算力產(chǎn)業(yè)轉(zhuǎn)型升級(jí)，即企業(yè)需要為人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)建設(shè)全新的IT基礎(chǔ)架構(gòu)，正由CPU密集型轉(zhuǎn)向搭載GPU、FPGA、ASIC芯片的加速計(jì)算密集型，且越來(lái)越多地使用搭載GPU、FPGA、ASIC等加速卡的服務(wù)器，所以，異構(gòu)計(jì)算將成為未來(lái)計(jì)算的主流。

其實(shí)，Henessy和Patterson在幾年前的《計(jì)算機(jī)架構(gòu)的新黃金時(shí)代》中就引入了特定領(lǐng)域體系架構(gòu)（Domain Specific Architectures，DSAs）的概念，即隨著通用算力技術(shù)的演進(jìn)逐漸減緩，針對(duì)特定問(wèn)題或領(lǐng)域定制計(jì)算架構(gòu)變得愈發(fā)重要。基于DSAs思想設(shè)計(jì)的AI計(jì)算芯片，在特定人工智能工作負(fù)載下展現(xiàn)出超越通用芯片的處理能力，這極大地推動(dòng)了多元化人工智能芯片的發(fā)展，為產(chǎn)業(yè)智能化的加速提供了關(guān)鍵基礎(chǔ)和更廣泛的選擇。

正是在上述背景下，目前全球已有上百家公司投入新型AI加速芯片的開(kāi)發(fā)，AI計(jì)算芯片多元化轉(zhuǎn)型趨勢(shì)凸顯，但同時(shí)也出現(xiàn)了新的挑戰(zhàn)。

主要表現(xiàn)在，單機(jī)具有更高的擴(kuò)展性、集群具有更高的加速比，對(duì)卡間互聯(lián)、網(wǎng)絡(luò)帶寬和延遲提出了更高的要求。例如加速卡間通信的數(shù)據(jù)量越來(lái)越多，僅僅通過(guò)傳統(tǒng)的PCIe P2P通信已經(jīng)無(wú)法滿足超大規(guī)模深度學(xué)習(xí)模型的要求。同時(shí)，為了提升AI加速卡的算力，單張AI加速卡的功耗逐代顯著提升。

為了解決這些問(wèn)題，芯片公司相繼推出了各自非標(biāo)準(zhǔn)PCIe CEM形態(tài)的AI加速卡，這些新形態(tài)的AI加速卡支持更高的功耗和更強(qiáng)大的卡間互聯(lián)能力。但隨之而來(lái)的是，各廠商采用不同技術(shù)路線，產(chǎn)業(yè)面臨硬件體系孤島和生態(tài)割裂問(wèn)題，即由于缺乏統(tǒng)一的業(yè)界規(guī)范，不同AI芯片廠商的新形態(tài)AI加速卡，無(wú)論在結(jié)構(gòu)上還是電氣特性上都各不相同，導(dǎo)致不同廠商AI系統(tǒng)硬件平臺(tái)方案的定制化，帶來(lái)算力產(chǎn)業(yè)發(fā)展高成本和低靈活性等問(wèn)題。

而業(yè)內(nèi)知道，從芯片到計(jì)算系統(tǒng)，需要完成體系結(jié)構(gòu)、信號(hào)完整性、散熱、可靠性等大量系統(tǒng)性設(shè)計(jì)工作，涉及到材料、熱力學(xué)、電池技術(shù)、流體力學(xué)、化學(xué)等眾多學(xué)科隨著系統(tǒng)能耗、總線速率、電流密度等指標(biāo)隨業(yè)務(wù)需求持續(xù)攀升，給人工智能計(jì)算系統(tǒng)設(shè)計(jì)帶來(lái)嚴(yán)峻挑戰(zhàn)。

此外，由于AI計(jì)算系統(tǒng)的技術(shù)挑戰(zhàn)和設(shè)計(jì)復(fù)雜性，將專(zhuān)有AI芯片集成到系統(tǒng)中，通常既耗時(shí)，又需要不菲的系統(tǒng)開(kāi)發(fā)費(fèi)用，這同樣嚴(yán)重阻礙了AI加速器的研發(fā)創(chuàng)新和應(yīng)用推廣。

那么問(wèn)題來(lái)了，業(yè)內(nèi)何以應(yīng)對(duì)上述的新挑戰(zhàn)？

從OCP到OAM，開(kāi)放計(jì)算架構(gòu)適合AIGC天然屬性初顯

眾所周知，OCP是全球基礎(chǔ)硬件技術(shù)領(lǐng)域覆蓋面最廣、最有影響力的開(kāi)源組織，以其為代表的開(kāi)放計(jì)算項(xiàng)目，創(chuàng)造出一種全新的、全球化的協(xié)作模式，通過(guò)消除技術(shù)壁壘，使得硬件創(chuàng)新的速度遠(yuǎn)超過(guò)去，加速技術(shù)創(chuàng)新迭代。

而面對(duì)AI的發(fā)展大勢(shì)，2019年OCP成立OAI（OpenAccelerator Infrastructure）小組，對(duì)更適合超大規(guī)模深度學(xué)習(xí)訓(xùn)練的AI加速卡形態(tài)進(jìn)行了定義，以解決多元AI加速卡形態(tài)和接口不統(tǒng)一的問(wèn)題，并由此開(kāi)啟了我們前述AI加速卡在AIGC應(yīng)用中的挑戰(zhàn)的應(yīng)對(duì)之道。

需要說(shuō)明的是，作為OAI項(xiàng)目中最核心的OAM（OCP Accelerator Module）—AI加速卡模塊，以標(biāo)準(zhǔn)化和互操作性促進(jìn)了OAI生態(tài)的建立。同年，OCP發(fā)布了AI加速卡基板 OAM-UBB SPEC設(shè)計(jì)規(guī)范，又大幅提升了各類(lèi)符合OAM規(guī)范的AI加速芯片的兼容性。

之后的2020年，全球首個(gè)OAI基準(zhǔn)的計(jì)算系統(tǒng)—MX1發(fā)布，采用了高帶寬、雙供電等技術(shù)，尤其是兩種互聯(lián)拓?fù)涞牟捎茫欣谟脩翎槍?duì)不同深度學(xué)習(xí)模型，并根據(jù)芯片通信的需求靈活設(shè)計(jì)芯片互聯(lián)方案。

2021年，浪潮信息發(fā)布首款A(yù)ll in One開(kāi)放加速計(jì)算整機(jī)NF5，卡間互聯(lián)帶寬達(dá)PCIe 4.0通訊速率的9倍以上，跨節(jié)點(diǎn)高速直連帶寬448GB/s，支持構(gòu)建千卡級(jí)大模型并行訓(xùn)練集群。

《指南》拾遺補(bǔ)缺，加速開(kāi)放計(jì)算向產(chǎn)業(yè)落地之道

由模塊到基板，由系統(tǒng)到集群，從上述事實(shí)我們不難發(fā)現(xiàn)，開(kāi)放加速計(jì)算的硬件架構(gòu)正是為超大規(guī)模深度神經(jīng)網(wǎng)絡(luò)模型并行計(jì)算而生，天然適用于AIGC大模型訓(xùn)練。但實(shí)際的情況是，在當(dāng)前開(kāi)放計(jì)算技術(shù)推向產(chǎn)業(yè)落地的過(guò)程中，依然存在大量的定制化工作以及現(xiàn)有OAI標(biāo)準(zhǔn)未能完全覆蓋的領(lǐng)域。

因此，浪潮信息基于豐富的開(kāi)放加速計(jì)算工程實(shí)踐和產(chǎn)品歷程，面向?qū)嶋HAIGC計(jì)算場(chǎng)景，進(jìn)一步發(fā)展和完善了開(kāi)放加速規(guī)范計(jì)算系統(tǒng)的理論體系和設(shè)計(jì)方法，提出了面向AIGC的《開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》。

縱觀《指南》，我們看到，其進(jìn)一步發(fā)展和完善了開(kāi)放加速規(guī)范AI服務(wù)器的設(shè)計(jì)理論和設(shè)計(jì)方法，提出了四大設(shè)計(jì)原則、全棧設(shè)計(jì)方法，包括硬件設(shè)計(jì)參考、管理接口規(guī)范和性能測(cè)試標(biāo)準(zhǔn)，旨在幫助社區(qū)成員更快更好地開(kāi)發(fā)AI加速卡并適配開(kāi)放加速AI服務(wù)器，應(yīng)對(duì)生成式AI的算力挑戰(zhàn)。

在該《指南》中，開(kāi)放加速規(guī)范AI服務(wù)器設(shè)計(jì)應(yīng)遵循四大設(shè)計(jì)原則，即應(yīng)用導(dǎo)向、多元開(kāi)放、綠色高效、統(tǒng)籌設(shè)計(jì)。在此基礎(chǔ)上，應(yīng)采用多維協(xié)同設(shè)計(jì)、全面系統(tǒng)測(cè)試和性能測(cè)評(píng)調(diào)優(yōu)的設(shè)計(jì)方法，以提高適配部署效率、系統(tǒng)穩(wěn)定性、系統(tǒng)可用性。

那么問(wèn)題來(lái)了，該《指南》為何要制定這些設(shè)計(jì)原則和設(shè)計(jì)方法？

以設(shè)計(jì)原則中的應(yīng)用導(dǎo)向?yàn)槔瑹o(wú)論是加速卡的設(shè)計(jì)，還是系統(tǒng)的設(shè)計(jì)，都要聚焦實(shí)際應(yīng)用場(chǎng)景，在充分考慮業(yè)務(wù)特點(diǎn)、模型特征、部署環(huán)境的基礎(chǔ)上，以提供“用的了”、“用的起”、“用的好”的解決方案為目標(biāo)，自上而下完成開(kāi)放加速計(jì)算系統(tǒng)的設(shè)計(jì)規(guī)劃，避免過(guò)度冗余設(shè)計(jì)和一味追求性能帶來(lái)的時(shí)間、空間、資源和成本的浪費(fèi)，最終實(shí)現(xiàn)高效適配、高效部署、節(jié)省產(chǎn)業(yè)和社會(huì)總成本。浪潮信息服務(wù)器產(chǎn)品線總經(jīng)理趙帥如此解釋。

又如設(shè)計(jì)原則中的綠色高效，隨著AI訓(xùn)練芯片功耗的不斷增長(zhǎng)，用于AI訓(xùn)練的機(jī)器單機(jī)柜功率密度將大幅增加，傳統(tǒng)的風(fēng)冷模式已無(wú)法滿足制冷散熱需求和PUE指標(biāo)要求，需要加速液冷散熱、高效供配電、能效監(jiān)測(cè)、智能運(yùn)維等技術(shù)在開(kāi)放加速計(jì)算節(jié)點(diǎn)和集群層面的全面布局和應(yīng)用。

對(duì)此，趙帥進(jìn)一步解釋稱(chēng)，我們看到現(xiàn)在很多的客戶，對(duì)于新的數(shù)據(jù)中心建設(shè)都有非常高的能耗指標(biāo)要求，所以需要通過(guò)先進(jìn)的液冷，或者是其他的一些散熱技術(shù)，以使整個(gè)數(shù)據(jù)中心的PUE能到一個(gè)更高的水平，所以我們?cè)谠O(shè)計(jì)原則方面更多來(lái)自于終端客戶的痛點(diǎn)和需求。

至于設(shè)計(jì)方法方面，趙帥告訴《班門(mén)弄斧》，主要是基于前期去跟一些OAM在做適配過(guò)程當(dāng)中發(fā)現(xiàn)的一些問(wèn)題，以及在性能測(cè)試當(dāng)中我們自己積累的一些經(jīng)驗(yàn)，把這些東西固化，形成了更加具體和深入的規(guī)范，幫助芯片廠商減少試錯(cuò)成本，基于指南，能更快地去完成產(chǎn)品的開(kāi)發(fā)和迭代。

以其中的全面系統(tǒng)測(cè)試為例，由于架構(gòu)復(fù)雜度高、芯片種類(lèi)多、高速信號(hào)多、系統(tǒng)功耗大等特點(diǎn)導(dǎo)致異構(gòu)加速計(jì)算節(jié)點(diǎn)通常面臨故障率高的問(wèn)題。因此，需要更加全面、嚴(yán)苛的測(cè)試條件才能夠最大程度降低系統(tǒng)生產(chǎn)、部署、運(yùn)行過(guò)程中的問(wèn)題和故障風(fēng)險(xiǎn)，提高系統(tǒng)穩(wěn)定性，減少斷點(diǎn)對(duì)訓(xùn)練持續(xù)性的影響。為此，《指南》對(duì)結(jié)構(gòu)、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測(cè)試要點(diǎn)進(jìn)行了全面梳理。

由此看，《指南》從最終客戶和AI芯片合作伙伴的角度對(duì)于現(xiàn)有的OAI標(biāo)準(zhǔn)做了拾遺補(bǔ)缺，更細(xì)化、更具體、更完善。那么接下來(lái)的問(wèn)題是，《指南》未來(lái)的前景如何？

產(chǎn)品與解決方案筑基，開(kāi)放加速生態(tài)未來(lái)可期

說(shuō)到《指南》未來(lái)的前景，在我們看來(lái)，所謂實(shí)踐出真知，用產(chǎn)品和解決方案說(shuō)話才是硬道理。

據(jù)我們了解，目前有燧原科技、英特爾、浪潮信息等10余家OAI小組成員已經(jīng)陸續(xù)開(kāi)發(fā)了10余種符合開(kāi)放加速規(guī)范的產(chǎn)品組合方案并已實(shí)現(xiàn)落地應(yīng)用，越來(lái)越多的芯片、算力系統(tǒng)企業(yè)已經(jīng)聚集在這個(gè)開(kāi)放加速的生態(tài)之中。

例如早在2019年燧原科技發(fā)布第一代“邃思”芯片的同時(shí)發(fā)布了基于這款芯片云燧T11 PoC，這是國(guó)內(nèi)第一個(gè)OAM模組。2021年燧原科技發(fā)布第二代“邃思芯片，以及基于這款芯片打造的一組云端AI訓(xùn)練產(chǎn)品：云燧T20訓(xùn)練加速卡，云燧T21訓(xùn)練OAM模組。

2022年3月，浪潮信息與其聯(lián)合發(fā)布了“錢(qián)塘江”智算中心方案。該方案具有綠色低碳的獨(dú)特優(yōu)勢(shì)，創(chuàng)新研發(fā)全球首臺(tái)開(kāi)放加速模組液冷計(jì)算平臺(tái)，率先實(shí)現(xiàn)單節(jié)點(diǎn)8顆400W高性能AI芯片液冷散熱，支持中高溫水運(yùn)行，采用先進(jìn)變頻流量系統(tǒng)，大幅提高流量變化范圍、降低能耗，智算中心整體PUE低于1.1。單集群即可提供超過(guò)200P峰值A(chǔ)I算力（TF32），支持超強(qiáng)擴(kuò)展能力，采用高帶寬、全互聯(lián)拓?fù)浼軜?gòu)，跨節(jié)點(diǎn)互聯(lián)帶寬高達(dá)448GB/s，結(jié)合GCU-LARE 2.0多芯互聯(lián)技術(shù)，可實(shí)現(xiàn)千芯級(jí)大規(guī)模集群高速互聯(lián)，具備優(yōu)異的線性加速比，支撐超千億參數(shù)巨量模型的高效、并行訓(xùn)練。目前，該方案已在大型實(shí)驗(yàn)室落地1280卡規(guī)模的全液冷AI訓(xùn)練集群。

同年8月，壁仞科技發(fā)布首款通用GPU芯片BR100，以及符合OCP標(biāo)準(zhǔn)的OAM模組壁礪100，同時(shí)支持最高8卡全互連，最大板級(jí)功耗可達(dá)550W。同時(shí)，壁仞科技與浪潮信息共同發(fā)布基于8個(gè)壁礪100 OAM模組打造的海玄OAM服務(wù)器，其通過(guò)全互聯(lián)的模式，可以提供高達(dá)8PFLOPS的浮點(diǎn)峰值算力，支持PCIe Gen 5的CPU，并結(jié)合CXL互連協(xié)議，將CPU-GPU的訪存和數(shù)據(jù)搬移效率做到了極致。

而在今年剛剛過(guò)去的7月，英特爾正式于中國(guó)市場(chǎng)推出第二代Gaudi深度學(xué)習(xí)加速器——Habana?Gaudi?2，并聯(lián)合浪潮信息發(fā)布面向生成式AI領(lǐng)域創(chuàng)新開(kāi)發(fā)的新一代 AI 服務(wù)器 NF7，其在6U空間支持8顆基于開(kāi)放加速模組OAM高速互聯(lián)的Gaudi2 AI加速器，每顆Gaudi2芯片配置96GB HBM高速內(nèi)存，共提供2.1Tbps的P2P互聯(lián)帶寬，支持全互聯(lián)拓?fù)洌瑵M足大模型訓(xùn)練張量并行的通信需求，搭載的2顆第四代至強(qiáng)處理器，支持AMX/DSA等AI加速引擎。

不知業(yè)內(nèi)看到上述作何感想？我們看到的是從芯片，系統(tǒng)、集群，再到智算中心，基于OAM開(kāi)放加速計(jì)算產(chǎn)品和解決方案不斷的精進(jìn)和拓展，而這勢(shì)必使得基于《指南》的開(kāi)放加速計(jì)算生態(tài)未來(lái)可期，AIGC應(yīng)用可待。

寫(xiě)在最后：不知是巧合，還是其他原因，《指南》發(fā)布之際，據(jù)相關(guān)媒體報(bào)道，百度、字節(jié)跳動(dòng)、騰訊和阿里巴巴等互聯(lián)網(wǎng)企業(yè)正爭(zhēng)相訂購(gòu)英偉達(dá)的高性能GPU芯片，即便是在加價(jià)的情況下，諸多企業(yè)也是“一芯難求”，由此看，單一GPU算力供需失衡相當(dāng)嚴(yán)重。

與之形成鮮明對(duì)比的是，我們又看到許多AI芯片企業(yè)，尤其是國(guó)內(nèi)AI芯片企業(yè)面臨缺乏系統(tǒng)平臺(tái)和標(biāo)準(zhǔn)支撐、導(dǎo)致適配難，開(kāi)發(fā)成本高企，無(wú)法讓其創(chuàng)新產(chǎn)品更加快速、高效地部署和落地等窘境。

所幸的是，通過(guò)《指南》的發(fā)布，我們看到，開(kāi)放加速規(guī)范的AI服務(wù)器可為AI芯片創(chuàng)新提供成熟的系統(tǒng)平臺(tái)支撐，幫助AI芯片廠商聚焦于芯片創(chuàng)新研發(fā)，實(shí)現(xiàn)更科學(xué)合理的產(chǎn)業(yè)分工，避免封閉技術(shù)生態(tài)存在的單點(diǎn)單線風(fēng)險(xiǎn)，推動(dòng)智算產(chǎn)業(yè)生態(tài)健康發(fā)展；另一方面，基于開(kāi)放加速工程實(shí)踐和成熟計(jì)算平臺(tái)總結(jié)的設(shè)計(jì)指南，可加速有競(jìng)爭(zhēng)力的AI芯片的創(chuàng)新研發(fā)和落地部署，有效縮短開(kāi)發(fā)適配周期，節(jié)省研發(fā)投入，為用戶提供可以用來(lái)支撐AIGC大模型訓(xùn)練的多元算力解決方案，以多元算力之道破解當(dāng)下AI算力供需難題。