震驚！谷歌AI芯片性能暴增4倍，英偉達(dá)遭遇強(qiáng)敵！

谷歌云正在努力推出其所謂的迄今為止最強(qiáng)大的人工智能基礎(chǔ)設(shè)施。11月7日谷歌云推出了第七代張量處理單元（TPU） Ironwood和擴(kuò)展的基于Arm的計(jì)算選項(xiàng)，旨在滿足對人工智能模型部署的激增需求——該公司將其描述為從訓(xùn)練模型到為數(shù)十億用戶服務(wù)的推理服務(wù)根本性行業(yè)轉(zhuǎn)變。

谷歌最新的定制人工智能加速器芯片——TPU 芯片 Ironwood將在未來幾周內(nèi)全面上市。Claude 系列模型背后的人工智能安全公司 Anthropic 披露了獲得多達(dá) 100 萬個(gè)此類 TPU 芯片的計(jì)劃，這是對該技術(shù)的驚人驗(yàn)證，該承諾價(jià)值數(shù)百億美元，是迄今為止已知最大的人工智能基礎(chǔ)設(shè)施交易之一。

此舉凸顯了云提供商之間為控制人工智能驅(qū)動(dòng)的基礎(chǔ)設(shè)施層而進(jìn)行的競爭日益的激烈，盡管人們對該行業(yè)能否維持當(dāng)前資本支出速度的質(zhì)疑越來越大。谷歌的方法——構(gòu)建定制芯片，而不是僅僅依賴英偉達(dá)占主導(dǎo)地位的 GPU 芯片——相當(dāng)于長期押注，即從芯片設(shè)計(jì)到軟件的垂直整合將提供卓越的經(jīng)濟(jì)性和性能。

谷歌云新TPU定位于AI推理服務(wù)，而不僅僅是訓(xùn)練

谷歌新TPU定位于“推理時(shí)代”，公司將資源從訓(xùn)練前沿人工智能模型轉(zhuǎn)移到將它們部署到每天為數(shù)百萬或數(shù)十億個(gè)請求提供服務(wù)的生產(chǎn)應(yīng)用程序中。

當(dāng)今的前沿模型，包括谷歌的 Gemini、Veo 和 Imagen 以及 Anthropic 的 Claude，都在TPU張量處理單元上訓(xùn)練和服務(wù)。對于許多組織來說，重點(diǎn)正在從訓(xùn)練這些模型轉(zhuǎn)向支持與它們進(jìn)行有用的、響應(yīng)迅速的交互。

這種轉(zhuǎn)變對基礎(chǔ)設(shè)施的要求具有深遠(yuǎn)的影響。訓(xùn)練工作負(fù)載通常可以容忍批處理和較長的完成時(shí)間，而推理（實(shí)際運(yùn)行經(jīng)過訓(xùn)練的模型以生成響應(yīng)的過程）需要始終如一的低延遲、高吞吐量和堅(jiān)定不移的可靠性。需要 30 秒才能響應(yīng)的聊天機(jī)器人或經(jīng)常超時(shí)的編碼助手，無論底層模型的功能如何，都變得無法使用。

代理工作流程（人工智能系統(tǒng)采取自主行動(dòng)而不是簡單地響應(yīng)提示）帶來了特別復(fù)雜的基礎(chǔ)設(shè)施挑戰(zhàn)，需要專門的人工智能加速器和通用計(jì)算之間的緊密協(xié)調(diào)。

Ironwood 的架構(gòu)內(nèi)部：9,216 個(gè)芯片作為一臺超級計(jì)算機(jī)工作

Ironwood 不僅僅是對谷歌第六代 TPU 的漸進(jìn)式改進(jìn)。根據(jù)該公司共享的技術(shù)規(guī)范，與前代產(chǎn)品相比，它在訓(xùn)練和推理工作負(fù)載方面提供了4倍多的性能——谷歌將這一優(yōu)勢歸因于系統(tǒng)級協(xié)同設(shè)計(jì)方法，而不是簡單地增加晶體管數(shù)量。

該架構(gòu)最顯著的特點(diǎn)是其規(guī)模。單個(gè) Ironwood“吊艙”——一個(gè)緊密集成的 TPU 芯片單元，充當(dāng)一臺超級計(jì)算機(jī)——可以通過谷歌專有的芯片間互連網(wǎng)絡(luò)連接多達(dá) 9,216 個(gè)單獨(dú)的芯片，運(yùn)行速度為每秒 9.6 太比特。從這個(gè)帶寬的角度來看，它大致相當(dāng)于在不到兩秒鐘的時(shí)間內(nèi)下載整個(gè)美國國會(huì)圖書館。

這種巨大的互連結(jié)構(gòu)允許 9,216 個(gè)芯片共享對 1.77 PB 高帶寬內(nèi)存的訪問——內(nèi)存足夠快，可以跟上芯片的處理速度。這大約相當(dāng)于 40,000 部高清藍(lán)光電影的工作內(nèi)存，可由數(shù)千個(gè)處理器同時(shí)訪問。“就上下文而言，這意味著 Ironwood Pods 可以提供比下一個(gè)最接近的競爭對手多 118 倍的 FP8 ExaFLOPS，”谷歌在技術(shù)文檔中表示。

該系統(tǒng)采用光電路交換技術(shù)，充當(dāng)“動(dòng)態(tài)、可重構(gòu)結(jié)構(gòu)”。當(dāng)單個(gè)組件出現(xiàn)故障或需要維護(hù)時(shí)（在這種規(guī)模下是不可避免的），OCS 技術(shù)會(huì)在幾毫秒內(nèi)自動(dòng)圍繞中斷重新路由數(shù)據(jù)流量，從而使工作負(fù)載能夠繼續(xù)運(yùn)行，而不會(huì)造成用戶可見的中斷。

這種可靠性重點(diǎn)反映了部署前五代 TPU 的經(jīng)驗(yàn)教訓(xùn)。谷歌報(bào)告稱，自 2020 年以來，其液冷系統(tǒng)全機(jī)隊(duì)正常運(yùn)行時(shí)間保持了約 99.999% 的可用性，相當(dāng)于每年的停機(jī)時(shí)間不到六分鐘。

Anthropic 的 10 億美元賭注驗(yàn)證了谷歌的定制芯片戰(zhàn)略

也許對 Ironwood 能力最重要的外部驗(yàn)證來自于 Anthropic 對獲取多達(dá) 100 萬個(gè) TPU 芯片的承諾——在一個(gè)即使是 10,000 到 50,000 個(gè)加速器集群也被認(rèn)為是巨大的行業(yè)中，這是一個(gè)驚人的數(shù)字。

Anthropic表示：“Anthropic 和谷歌有著長期的合作伙伴關(guān)系，這一最新的擴(kuò)張將幫助我們繼續(xù)發(fā)展定義人工智能前沿所需的計(jì)算能力。我們的客戶——從財(cái)富 500 強(qiáng)公司到人工智能原生初創(chuàng)公司——依靠 Claude 來完成他們最重要的工作，這種擴(kuò)展的產(chǎn)能確保我們能夠滿足呈指數(shù)級增長的需求。”

根據(jù)另一份聲明，Anthropic 將獲得“到 2026 年上線的容量遠(yuǎn)遠(yuǎn)超過千兆瓦”——足以為一個(gè)小城市供電。該公司特別將 TPU 的“性價(jià)比和效率”列為做出決定的關(guān)鍵因素，以及“使用 TPU 訓(xùn)練和服務(wù)其模型的現(xiàn)有經(jīng)驗(yàn)”。

行業(yè)分析師估計(jì)，承諾訪問 100 萬個(gè) TPU 芯片以及相關(guān)的基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、電源和冷卻，可能代表一份價(jià)值數(shù)百億美元的多年合同——這是歷史上已知最大的云基礎(chǔ)設(shè)施承諾之一。

Anthropic認(rèn)為：“Ironwood 在推理性能和訓(xùn)練可擴(kuò)展性方面的改進(jìn)將幫助我們高效擴(kuò)展，同時(shí)保持客戶期望的速度和可靠性。”

隱藏的挑戰(zhàn)：為 1 兆瓦服務(wù)器機(jī)架供電和冷卻

這些發(fā)布的背后是谷歌在最近的開放計(jì)算項(xiàng)目歐洲、中東和非洲峰會(huì)上解決的巨大物理基礎(chǔ)設(shè)施挑戰(zhàn)。該公司透露，它正在實(shí)施 +/-400 伏直流電力傳輸，能夠支持每個(gè)機(jī)架高達(dá) 1 兆瓦的電力，比典型部署增加了十倍。

人工智能時(shí)代需要更強(qiáng)大的電力傳輸能力，到 2030 年，ML 將需要每個(gè) IT 機(jī)架超過 500 kW。

谷歌正在與 Meta 和 Microsoft 合作，標(biāo)準(zhǔn)化高壓直流配電的電氣和機(jī)械接口。該公司選擇 400 VDC 專門用于利用電動(dòng)汽車建立的供應(yīng)鏈，“實(shí)現(xiàn)更大的規(guī)模經(jīng)濟(jì)、更高效的制造以及更高的質(zhì)量和規(guī)模”。

在冷卻方面，谷歌透露將把第五代冷卻分配單元設(shè)計(jì)貢獻(xiàn)給開放計(jì)算項(xiàng)目。該公司“在過去7年中在 2,000 多個(gè) TPU Pod 上部署了千兆瓦規(guī)模的液體冷卻”，整個(gè)機(jī)隊(duì)的可用性約為 99.999%。

在給定的溫度變化下，水每單位體積輸送的熱量大約是空氣的 4,000 倍——這在單個(gè) AI 加速器芯片的耗散功率越來越大 1,000 瓦或更多時(shí)至關(guān)重要。

TPU挑戰(zhàn)英偉達(dá)的 AI 加速器主導(dǎo)地位

谷歌發(fā)布公告之際，人工智能基礎(chǔ)設(shè)施市場正處于拐點(diǎn)。雖然 Nvidia 在 AI 加速器領(lǐng)域保持著壓倒性的主導(dǎo)地位——估計(jì)占據(jù) 80-95% 的市場份額——但云提供商越來越多地投資定制芯片，以區(qū)分其產(chǎn)品并提高單位經(jīng)濟(jì)效益。

亞馬遜云科技通過基于 Graviton Arm 的 CPU 和 Inferentia / Trainium AI 芯片率先采用了這種方法。Microsoft 已經(jīng)開發(fā)了 Cobalt 處理器，據(jù)報(bào)道正在開發(fā) AI 加速器。谷歌現(xiàn)在提供主要云提供商中最全面的定制芯片產(chǎn)品組合。

該戰(zhàn)略面臨固有挑戰(zhàn)。定制芯片開發(fā)需要巨大的前期投資——通常數(shù)十億美元。專業(yè)加速器的軟件生態(tài)系統(tǒng)落后于 Nvidia 的 CUDA 平臺，后者受益于 15+ 年的開發(fā)人員工具。人工智能模型架構(gòu)的快速發(fā)展帶來了風(fēng)險(xiǎn)，即隨著新技術(shù)的出現(xiàn)，針對當(dāng)今模型優(yōu)化的定制芯片變得不那么重要。

然而，谷歌認(rèn)為其方法具有獨(dú)特的優(yōu)勢。“這就是我們十年前構(gòu)建第一個(gè) TPU 的方式，這反過來又解鎖了八年前 Transformer 的發(fā)明——正是為大多數(shù)現(xiàn)代人工智能提供動(dòng)力的架構(gòu)，”該公司指出，他指的是谷歌研究人員在 2017 年發(fā)表的開創(chuàng)性論文“注意力就是你所需要的”。

論點(diǎn)是，緊密集成——“模型研究、軟件和硬件開發(fā)在一個(gè)屋檐下”——使得使用現(xiàn)成組件無法實(shí)現(xiàn)的優(yōu)化成為可能。

除了 Anthropic 之外，其他幾位客戶也提供了早期反饋。開發(fā)創(chuàng)意人工智能工具的 Lightricks 報(bào)告稱，早期的 Ironwood 測試“讓我們非常熱衷于”為我們的數(shù)百萬全球客戶創(chuàng)建“更細(xì)致、更精確、更高保真度的圖像和視頻生成”，該公司研究總監(jiān) Yoav HaCohen 說。

谷歌的公告提出了將在未來幾個(gè)季度出現(xiàn)的問題。該行業(yè)能否維持當(dāng)前的基礎(chǔ)設(shè)施支出，主要人工智能公司集體投入數(shù)千億美元？定制芯片在經(jīng)濟(jì)上會(huì)優(yōu)于 Nvidia GPU 嗎？模型架構(gòu)將如何發(fā)展？

目前，谷歌似乎致力于幾十年來定義該公司的戰(zhàn)略：構(gòu)建自定義基礎(chǔ)設(shè)施以實(shí)現(xiàn)在商用硬件上不可能實(shí)現(xiàn)的應(yīng)用程序，然后將該基礎(chǔ)設(shè)施提供給希望在沒有資本投資的情況下具有類似功能的客戶。

隨著人工智能行業(yè)從研究實(shí)驗(yàn)室過渡到為數(shù)十億用戶提供服務(wù)的生產(chǎn)部署，基礎(chǔ)設(shè)施層——使這一切運(yùn)行的芯片、軟件、網(wǎng)絡(luò)、電源和冷卻——可能與模型本身一樣重要。

如果 Anthropic 愿意承諾獲得多達(dá) 100 萬個(gè)芯片有任何跡象的話，那么谷歌對專為推理時(shí)代設(shè)計(jì)的定制芯片的押注可能會(huì)在需求達(dá)到拐點(diǎn)時(shí)得到回報(bào)。