北京
作者｜子川
來(lái)源｜AI先鋒官
阿里云搞了個(gè)省錢大招！
最近，阿里云提出的計(jì)算池化技術(shù)“C"成功入選了頂級(jí)學(xué)術(shù)會(huì)議SOSP 2025，目前，該核心技術(shù)已應(yīng)用在阿里云百煉平臺(tái)。
SOSP全稱為操作系統(tǒng)原理研討會(huì)（Symposium on Operating Systems Principles），又被稱為“操作系統(tǒng)界的奧斯卡”，以其極低的論文錄用率而聞名。
平均每年收錄的論文數(shù)量?jī)H有數(shù)十篇，能入選的都是行業(yè)里最前沿的科研突破。
那么Aegaeon為什么能入選呢？
其核心在于大幅度提升GPU資源的利用效率。
在AI飛速發(fā)展的今天，全球模型數(shù)量與日俱增，目前單Hugging Fac平臺(tái)就已托管了超100萬(wàn)個(gè)模型。
但是在實(shí)際使用中，僅有少量熱門模型才會(huì)被用戶大量使用，而很多模型的使用量非常低，甚至有些模型一年的使用次數(shù)不足100次。
現(xiàn)在通常的做法是：哪怕一個(gè)模型再冷門，至少要給它單獨(dú)留一塊GPU供它使用。
結(jié)果就是造成大量的GPU資源的浪費(fèi)。
有數(shù)據(jù)顯示，在阿里云模型市場(chǎng)中，曾有17.7%的GPU算力僅用于處理1.35%的請(qǐng)求。
而阿里發(fā)布的Aegaeon就能非常好的解決這個(gè)問(wèn)題。
它的核心理念是GPU池化，該技術(shù)打破了“一個(gè)模型綁定一塊GPU”的傳統(tǒng)低效模式。
簡(jiǎn)單來(lái)說(shuō)，就是把那些原本分散的GPU資源，匯聚成一個(gè)大池子，然后通過(guò)一套精妙的調(diào)度系統(tǒng)，讓不同的AI模型可以在這個(gè)池子里共享GPU算力，而不是過(guò)去每款模型至少獨(dú)占一塊GPU。
不僅如此，Aegaeon還實(shí)現(xiàn)了“token級(jí)調(diào)度”。
可能大家對(duì)token級(jí)調(diào)度不太理解，這里給大家簡(jiǎn)單介紹一下。
Token是AI模型處理和生成文本的最小單位，類似于一個(gè)漢字或一個(gè)字母，AI模型回復(fù)時(shí)，其實(shí)是一個(gè)一個(gè)token蹦出來(lái)的過(guò)程。
Aegaeon能在大模型每生成一個(gè)token的極短的瞬間，會(huì)快速評(píng)估 GPU 的負(fù)載和排隊(duì)情況。
并決定是繼續(xù)讓當(dāng)前模型生成下一個(gè) token，還是把接下來(lái)的計(jì)算時(shí)間優(yōu)先安排給隊(duì)列里更緊急的模型，切換速度非常快，達(dá)到了亞秒級(jí)。
同時(shí)通過(guò)組件復(fù)用、顯存精細(xì)化管理和KV緩存同步優(yōu)化等全棧技術(shù)，Aegaeon將模型切換開銷降低97%。
根據(jù)阿里云團(tuán)隊(duì)介紹，目前Aegaeon系統(tǒng)支持單GPU同時(shí)服務(wù)多達(dá)7個(gè)不同模型，相比現(xiàn)有主流方案提升1.5-9倍的有效吞吐量，實(shí)現(xiàn)2-2.5倍的請(qǐng)求處理能力。
在實(shí)際測(cè)試中，Aegaeon的表現(xiàn)十分優(yōu)異。
在阿里云百煉平臺(tái)上為期超過(guò)三個(gè)月的Beta測(cè)試中。
結(jié)果顯示：在服務(wù)數(shù)十個(gè)參數(shù)量高達(dá)720億的大模型時(shí)，原本需要1192塊英偉達(dá)H20GPU才能支撐的算力，現(xiàn)在只需要213塊就夠了。
GPU用量直接削減了82%！
這意味著硬件采購(gòu) 和運(yùn)營(yíng)成本將得到顯著降低，這對(duì)于動(dòng)輒需要成千上萬(wàn)張GPU的大模型服務(wù)商而言至關(guān)重要。
Aegaeon的成功也揭示了未來(lái) AI 發(fā)展的一個(gè)重要方向，僅僅依賴硬件算力的增長(zhǎng)是遠(yuǎn)遠(yuǎn)不夠的，通過(guò)系統(tǒng)級(jí)的軟件創(chuàng)新來(lái)深度挖掘現(xiàn)有硬件的潛力同樣至關(guān)重要。
掃碼邀請(qǐng)進(jìn)群，我們帶你一起來(lái)玩轉(zhuǎn)ChatGPT、GPT-4、文心一言、通義千問(wèn)、訊飛星火等AI大模型，順便學(xué)一些AI搞錢技能。
往期文章回顧
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
