微軟新一代AI芯片Maia 200發(fā)布：FP8性能超越谷歌第七代TPU！

1月27日，微軟正式宣布推出第二代人工智能（AI）芯片地推出 Maia 200，這是一款突破性的推理加速器，旨在顯著提升 AI Token生成的經(jīng)濟(jì)效益。

據(jù)介紹，Maia 200 采用臺積電 3nm 工藝制造，配備原生 FP8/FP4 張量核心，重新設(shè)計(jì)的內(nèi)存系統(tǒng)包含 216GB HBM3e（讀寫速度高達(dá) 7TB/s）和 272MB 片上 SRAM，以及能夠確保海量模型快速高效運(yùn)行的數(shù)據(jù)傳輸引擎。這使得 Maia 200 成為目前所有超大規(guī)模數(shù)據(jù)中心中性能最高的自研芯片，其 FP4 性能是第三代 Amazon Trainium 的三倍，F(xiàn)P8 性能更是超越谷歌第七代 TPU。Maia 200 也是微軟迄今為止部署的最高效推理系統(tǒng)，其每美元的性能比我們目前部署的最新一代硬件提升了 30%。

微軟稱，Maia 200 是其異構(gòu) AI 基礎(chǔ)設(shè)施的一部分，它將支持多種模型，包括來自 OpenAI 的最新 GPT-5.2 模型，從而為 Microsoft Foundry 和 Microsoft 365 Copilot 帶來更高的性價(jià)比。微軟超級智能團(tuán)隊(duì)將利用 Maia 200 進(jìn)行合成數(shù)據(jù)生成和強(qiáng)化學(xué)習(xí)，以改進(jìn)下一代內(nèi)部模型。對于合成數(shù)據(jù)管道用例，Maia 200 的獨(dú)特設(shè)計(jì)有助于加快高質(zhì)量、特定領(lǐng)域數(shù)據(jù)的生成和篩選速度，從而為下游訓(xùn)練提供更新鮮、更具針對性的信號。

目前，Maia 200 已部署在微軟位于愛荷華州得梅因附近的美國中部數(shù)據(jù)中心區(qū)域，接下來將部署位于亞利桑那州鳳凰城附近的美國西部數(shù)據(jù)中心區(qū)域，未來還將部署更多區(qū)域。Maia 200 與 Azure 無縫集成，我們正在預(yù)覽 Maia SDK，其中包含一套完整的工具，用于構(gòu)建和優(yōu)化 Maia 200 模型。它包含全套功能，包括 PyTorch 集成、Triton 編譯器和優(yōu)化的內(nèi)核庫，以及對 Maia 底層編程語言的訪問。這使開發(fā)人員能夠在需要時(shí)進(jìn)行細(xì)粒度控制，同時(shí)實(shí)現(xiàn)跨異構(gòu)硬件加速器的輕松模型移植。

專為人工智能推理而設(shè)計(jì)

Maia 200 采用臺積電先進(jìn)的 3nm 工藝制造，每顆芯片包含超過 1400 億個(gè)晶體管，專為大規(guī)模 AI 工作負(fù)載量身打造，同時(shí)兼顧高性價(jià)比。Maia 200 在這兩方面都力求卓越。它專為使用低精度計(jì)算的最新模型而設(shè)計(jì)，每顆 Maia 200 芯片在 4 位精度 (FP4) 下可提供超過 10 petaFLOPS 的性能，在 8 位精度 (FP8) 下可提供超過 5 petaFLOPS 的性能，所有這些都控制在 750W 的 SoC TDP 范圍內(nèi)。實(shí)際上，Maia 200 可以輕松運(yùn)行當(dāng)今最大的模型，并且為未來更大的模型預(yù)留了充足的性能空間。

至關(guān)重要的是，F(xiàn)LOPS（浮點(diǎn)運(yùn)算次數(shù)）并非提升人工智能速度的唯一要素。數(shù)據(jù)輸入同樣重要。Maia 200 通過重新設(shè)計(jì)的內(nèi)存子系統(tǒng)解決了這一瓶頸問題。Maia 200 的內(nèi)存子系統(tǒng)以窄精度數(shù)據(jù)類型、專用 DMA 引擎、片上 SRAM 和用于高帶寬數(shù)據(jù)傳輸?shù)膶Ｓ闷暇W(wǎng)絡(luò) (NoC) 架構(gòu)為核心，從而提高了令牌吞吐量。

優(yōu)化的人工智能系統(tǒng)

在系統(tǒng)層面，Maia 200 引入了一種基于標(biāo)準(zhǔn)以太網(wǎng)的新型雙層可擴(kuò)展網(wǎng)絡(luò)設(shè)計(jì)。定制的傳輸層和緊密集成的網(wǎng)卡無需依賴專有架構(gòu)，即可實(shí)現(xiàn)卓越的性能、強(qiáng)大的可靠性和顯著的成本優(yōu)勢。

每個(gè)加速器都會暴露：

2.8 TB/s 雙向?qū)Ｓ脭U(kuò)展帶寬
可預(yù)測的、高性能的跨集群集體操作，最多可達(dá) 6,144 個(gè)加速器
該架構(gòu)可為密集推理集群提供可擴(kuò)展的性能，同時(shí)降低 Azure 全球集群的功耗和總體擁有成本。

每個(gè)托架內(nèi)，四個(gè) Maia 加速器通過直接的非交換鏈路完全連接，從而實(shí)現(xiàn)高帶寬的本地通信，以獲得最佳推理效率。機(jī)架內(nèi)和機(jī)架間聯(lián)網(wǎng)均采用相同的通信協(xié)議，即 Maia AI 傳輸協(xié)議，從而能夠以最小的網(wǎng)絡(luò)跳數(shù)實(shí)現(xiàn)跨節(jié)點(diǎn)、機(jī)架和加速器集群的無縫擴(kuò)展。這種統(tǒng)一的架構(gòu)簡化了編程，提高了工作負(fù)載的靈活性，并減少了閑置容量，同時(shí)在云規(guī)模下保持了一致的性能和成本效益。

云原生開發(fā)方法

微軟芯片開發(fā)計(jì)劃的核心原則是在最終芯片上市之前，盡可能多地驗(yàn)證端到端系統(tǒng)。

從架構(gòu)的早期階段開始，一套精密的芯片前開發(fā)環(huán)境就指導(dǎo)著Maia 200的開發(fā)，它能夠高保真地模擬LLM的計(jì)算和通信模式。這種早期協(xié)同開發(fā)環(huán)境使我們能夠在首塊芯片問世之前，將芯片、網(wǎng)絡(luò)和系統(tǒng)軟件作為一個(gè)整體進(jìn)行優(yōu)化。

微軟表示，從設(shè)計(jì)之初就將 Maia 200 定位為數(shù)據(jù)中心內(nèi)快速、無縫的可用性解決方案，并對包括后端網(wǎng)絡(luò)和第二代閉環(huán)液冷熱交換器單元在內(nèi)的一些最復(fù)雜的系統(tǒng)組件進(jìn)行了早期驗(yàn)證。與 Azure 控制平面的原生集成，可在芯片和機(jī)架級別提供安全、遙測、診斷和管理功能，從而最大限度地提高生產(chǎn)關(guān)鍵型 AI 工作負(fù)載的可靠性和正常運(yùn)行時(shí)間。

得益于這些投資，Maia 200 芯片首批封裝件到貨后數(shù)日內(nèi)，人工智能模型便已在其上運(yùn)行。從首批芯片到首個(gè)數(shù)據(jù)中心機(jī)架部署的時(shí)間縮短至同類人工智能基礎(chǔ)設(shè)施項(xiàng)目的一半以上。這種從芯片到軟件再到數(shù)據(jù)中心的端到端解決方案，直接轉(zhuǎn)化為更高的資源利用率、更快的生產(chǎn)交付速度，以及在云規(guī)模下持續(xù)提升的每美元和每瓦性能。

微軟表示：“大規(guī)模人工智能時(shí)代才剛剛開始，基礎(chǔ)設(shè)施將決定其發(fā)展的可能性。我們的 Maia AI 加速器項(xiàng)目旨在實(shí)現(xiàn)跨世代發(fā)展。隨著我們在全球基礎(chǔ)設(shè)施中部署 Maia 200，我們已經(jīng)在為未來幾代人工智能系統(tǒng)進(jìn)行設(shè)計(jì)，并期望每一代系統(tǒng)都能不斷樹立新的標(biāo)桿，為最重要的 AI 工作負(fù)載帶來更卓越的性能和效率。”

微軟面向全新的 Maia 200 軟件開發(fā)工具包 (SDK) 已經(jīng)對外開放，該 SDK 包含 Triton 編譯器、PyTorch 支持、NPL 底層編程以及 Maia 模擬器和成本計(jì)算器，可在代碼生命周期的早期階段優(yōu)化效率。

編輯：芯智訊-浪客劍