北京
站在機房門口，就能聽到老顧的咆哮——
老顧，某能源集團新成立的三產(chǎn)數(shù)科公司技術(shù)負責人。
集團做數(shù)智化轉(zhuǎn)型，借大模型東風，年初拉起一支隊伍，搞行業(yè)專屬大模型，不僅服務內(nèi)部，也要服務行業(yè)。
剛開始，老顧還志得意滿，可最近幾個月，火太大了。
因為他手下的團隊在干兩件事↓
①模型訓練
基于開源模型，基于集團的行業(yè)數(shù)據(jù)，作后訓練和全參微調(diào)，以便開發(fā)自家的能源行業(yè)專屬模型。
②推理服務
搭建本地化推理服務，滿足集團和兄弟業(yè)務部門的AI需求。
這兩件事干得都非常不順利。
眼看Q4就要結(jié)束了，模型還沒訓練出一個像樣的，推理服務也天天被人投訴。
老顧自己也被集團分管領(lǐng)導天天點名。
老顧急眼了，拉團隊骨干開會。
最終，大家一致的結(jié)論是：這屆存儲不行！
老顧聽完，麻了。
一拍桌子：好，那就解散吧！
啊？聽到解散，大家懵了。
團隊才成立，怎么能說解散就解散？！
此時，老顧神秘一笑——
“我說的解散，不是團隊解散，是把現(xiàn)在的存儲架構(gòu)「解散」，從存算緊耦合，變成存算解耦。”
老顧打開準備了很久的PPT，開始給大家“上課”↓
以前我們走的彎路就是注意力都在算力上，現(xiàn)在看，存儲同樣重要。
GPU決定了模型能多聰明，但存儲系統(tǒng)決定了它能否吃飽，真正讓AI跑起來，離不開底層數(shù)據(jù)高速公路。
大模型訓練對存儲系統(tǒng)的挑戰(zhàn)不止是快，而是要在【高吞吐+高可靠+可擴展+高能效】四個維度同時達標。
同樣的，大模型推理不只是單純的算力游戲，更是數(shù)據(jù)效率的較量，它要求存儲系統(tǒng)既快、又穩(wěn)、又省、還能靈活擴展。
這時，存儲team的負責人開腔了：“那我們的存儲怎么改造呢？”
老顧胸有成竹：“我最近看到一套方案，非常不錯?！?/strong>
老顧繼續(xù)“口若懸河”——
這是一種分離式的架構(gòu)：在不改變邏輯連接的情況下，將存儲和計算資源從服務器中解耦。
能做到這點，離不開一個支撐技術(shù)：NVMe-oF?。
通過它，服務器能像訪問本地NVMe SSD一樣訪問遠程存儲陣列，并且吞吐更高、延遲更低、成本更可控、運維更簡單。
這才是大模型這種數(shù)據(jù)密集型場景，最需要的架構(gòu)。
在這場存儲革命中，西部數(shù)據(jù)走在了行業(yè)前列。
OpenFlex? Data24系列NVMe-oF? 存儲平臺， 正是適用于大模型應用場景的「新一代智能存儲底座」。
說著，老顧招呼大家來看硬件規(guī)格↓
首先，OpenFlex Data24系列為2U 24盤位，支持24塊U.2接口的NVMe SSD，容量密度相當高，單節(jié)點可達驚人的1474TB。
同時，提供12個100GbE網(wǎng)口，支持RoCE和NVMe over TCP融合以太網(wǎng)，網(wǎng)絡帶寬能力拉滿。
下面這顆芯片是精華，由西部數(shù)據(jù)自研專用于NVMe-oF?硬件加速的ASIC芯片，負責把NVMe SSD的PCIe協(xié)議與以太網(wǎng)協(xié)議“橋接”起來，不需CPU參與。
這樣，服務器就可以通過網(wǎng)絡直接高速讀寫NVMe，不再需要傳統(tǒng)的存儲控制器，延遲接近本地NVMe的水準（幾十微秒級）。
OpenFlex Data24系列目前具體包括兩款產(chǎn)品，4100和4200，核心區(qū)別在SSD端口上。
4100采用單端口SSD設計，適用于以吞吐量優(yōu)先的云環(huán)境，而4200采用雙端口SSD，具備原生的高可用能力。
這兩款產(chǎn)品，不光規(guī)格勁爆，實戰(zhàn)也很能打。
在MLPerf Storage V2 基準測試中，OpenFlex Data24展現(xiàn)出作為AI存儲優(yōu)秀的性能。
3D-UNet工作負載擁有龐大的三維輸入數(shù)據(jù)集和密集流式讀取模式，對存儲系統(tǒng)的持續(xù)高帶寬和低延遲能力構(gòu)成了挑戰(zhàn)。
測試中，OpenFlex Data24實現(xiàn)了高達 106.5 GB/s的持續(xù)讀取吞吐量，足以“喂飽”三臺GPU服務器共計36張H100顯卡，輕松應對帶寬密集型、高并行度的訓練任務。
ResNet50工作負載包含大量小文件、混合I/O、頻繁迭代，是驗證存儲系統(tǒng)能否為GPU提供高吞吐數(shù)據(jù)的黃金基準。
這項測試中，OpenFlex Data24表現(xiàn)更為出色，扛住了橫跨3個服務器節(jié)點、186個模擬H100 GPU的數(shù)據(jù)需求。
接下來，大家開始討論如何用OpenFlex Data24來解決大模型訓推實戰(zhàn)項目中的坑——
大模型訓練場景，對存儲的要求是這樣的：高吞吐量、大規(guī)模并行、高可用性，還要求優(yōu)秀的擴展性和更好的性價比。
而大模型推理場景，對存儲的要求是這樣的：高并發(fā)低延遲、高頻隨機訪問、模型權(quán)重快速加載，以及低成本高能效。
我們綜合一下兩種場景，看看西部數(shù)據(jù)OpenFlex Data24怎么搞定這些難題。
首先，針對高吞吐與并行訪問的需求，NVMe-oF?讓GPU節(jié)點可以遠程直接訪問NVMe SSD，網(wǎng)絡帶寬匹配PCIe Gen4的帶寬，大幅減少全鏈路的性能瓶頸。
通過高帶寬順序讀取，縮短模型初始化與數(shù)據(jù)加載時間，減少GPU的空轉(zhuǎn)時間，個個滿負荷扛活提升訓練效率。
同時，有西部數(shù)據(jù)自研的NVMe-oF?加速芯片加持，AI節(jié)點訪問遠端NVMe SSD的讀寫延遲與本地幾乎一致。
高帶寬順序讀+穩(wěn)定低延遲，可以保證推理服務時，AI節(jié)點迅速從存儲加載數(shù)百GB甚至TB級的模型權(quán)重，縮短推理服務的“冷啟動”時間。
在超低延遲的前提下，OpenFlex Data24單節(jié)點24塊SSD組成強大的隨機讀寫存儲池，且企業(yè)級NVMe SSD原生支持多隊列高IOPS。
這樣，面對大模型推理多用戶場景下的高頻隨機訪問和高并發(fā)需求，存儲無壓力。
針對訓推穩(wěn)定性和高可用的需求，OpenFlex Data24可提供雙端口SSD與主動故障切換設計，確保訪問持續(xù)可用、不中斷。
大帶寬高速讀寫能力，也可以保證模型訓練Checkpoint的快速保存和恢復。
再加上N+2風扇冗余、硬件容錯等設計，可進一步提升訓練期間系統(tǒng)穩(wěn)定性。
當然，降本增效的大背景下，OpenFlex Data24也為客戶算好了經(jīng)濟賬。
對企業(yè)來講，模型規(guī)模和數(shù)據(jù)集都會動態(tài)增長，OpenFlex Data24存算解耦，讓存儲可以獨立擴展，并通過智能緩存和分層存儲，進一步平衡成本和效率。
另外，西部數(shù)據(jù)通過垂直整合設計，提供高速NIC、存儲平臺一站式方案。
降低復雜度，幫用戶省心省錢、少踩坑，TCO更優(yōu)。
最后，OpenFlex Data24提供了相當優(yōu)秀的能效指標：每瓦IOPS↑、每瓦吞吐量↑、每TB能耗↓，堪稱行業(yè)領(lǐng)先水平。
這種典型的「高性能密度+優(yōu)化能效比」，為AI智算項目帶來更優(yōu)的TCO。
就這樣，這場「團隊解散」的會議，在大家齊聲點贊的氣氛中，愉快地結(jié)束了
把存儲和計算“解散”，就這么辦！
* 以上故事情節(jié)為虛構(gòu)，僅用于技術(shù)科普與場景舉例，不代表任何真實客戶情況。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
