WADP：讓存儲架構變成AI時代的“流水線”

工業革命初期的英國，盡管有蒸汽機提供強大的動力，但紡織廠卻并沒有突破生產效率的瓶頸。因為工人們需要在不同車間之間來回奔波，紡紗車間將紗錠送到織布車間，織布車間再將半成品送到印染車間。每個車間都有自己的倉庫和運輸方式，整個生產過程被割裂成孤立的環節。

直到“流水線”模式的出現，將紡紗、織布、印染整合在一條流水線上，才真正釋放了工業革命的全部潛力。

今天，在AI數據中心當中，我們看到了相似的一幕：數據就像紡織廠的原材料，被分散存放在不同的存儲系統中。算力好比強大的蒸汽機，卻因為數據供給的不暢而無法全力運轉……

傳統存儲架構就如工業革命初期的紡織廠，每個存儲系統都是獨立的生產車間，協同效率低下。高效的AI訓練需要像生產線一樣連續不斷的數據流，但現實是數據要在SAN、NAS、對象存儲等不同系統間反復搬運和轉換。

有一家2016年成立的創業公司VAST Data，用統一的數據平臺打通所有數據環節，讓數據能夠像流水線上的原料一樣連續流動，并因此收獲了高達300億美元的估值。

而在中國，有相似愿景和技術能力的華瑞指數云（ExponTech），正在用新一代統一AI數據平臺WADP（WiDE AI Data Platform）講述著相似的創新故事。

01

不要讓存儲架構

成為AI時代的效率瓶頸

我們常說，工業革命最深刻的變革不是蒸汽機本身，而是生產方式的重構。

同樣，今天AI時代面臨的挑戰不完全在于算力不足，而在于如何讓數據像流水線上的原料一樣，持續不斷地供給計算引擎。

在傳統模式下，每個AI應用都像獨立的手工作坊。比如CV模型需要專門的視覺數據存儲，NLP系統需要特定的文本數據倉庫……這種模式導致數據被反復復制、格式轉換，就像工業革命前每個作坊都要自己準備原材料一樣低效。

華瑞指數云CTO曹羽中認為，“AI大模型的發展，勢必導致存儲核心需求的變化。”總結起來就是連續性、一致性和協同性的三點變化。

首先，大模型訓練需要持續數周甚至數月不間斷的數據供給，任何存儲中斷都會造成昂貴的算力閑置，這要求存儲系統必須具備工業級可靠性來確保業務連續性；

其次，多模態學習需要同時處理文本、圖像、音頻等不同格式的數據，要求存儲系統提供統一的數據視圖，就像流水線需要標準化接口一樣。

最后，AI推理需要實時訪問最新業務數據，這要求存儲系統能夠實現訓練推理數據與業務數據的無縫協同。

“在這種局面下，打補丁式的優化已無法滿足Agent時代‘存力’的顛覆性需求，需要適配‘GPU + NVMe全閃+ RDMA網絡’新硬件環境的新技術棧。”曹羽中說。

在硅谷與一些國外大型AI客戶的面對面交流中，曹羽中得到了確定性的答案，“客戶對AI時代的存儲系統選擇，并不是因為性能、成本、可靠性等傳統因素，而是一套軟件即可解決所有存儲問題的‘頂級體驗’。”就像是工業革命當中，工廠主選擇流水線不是為了某個工序更快，而是為了整體生產效率提升。

的確，企業不需要另一個更快的存儲陣列，而是需要一套能夠統一管理所有數據的智能平臺。以一套系統替代多套系統，數據無需遷移，管理復雜度大幅降低。在AI時代，當數據成為核心生產資料時，任何形式的數據孤島都是不可接受的。

02

WADP的“流水線”

讓數據與算力無縫協同

正是沿著這樣的思路，新一代統一AI數據平臺WADP，本著“高效融合存儲與管理海量多源數據，實現AI算力與數據存力的無縫協同，讓企業真正步入‘數據隨用隨取’的AI應用新時代”的理念誕生了。

簡單的說，WADP基于全自研的分布式存儲引擎與分布式KV元數據引擎構建，運行于標準服務器硬件，也可以廣泛適配各類通用硬件。它首次將企業核心生產系統（如關鍵數據庫）與AI數據管道（訓練、推理、向量檢索等）統一承載于同一平臺，實現對傳統存儲陣列、文件系統及大數據存儲的現代化融合替代，為企業構建面向未來的AI數據基礎設施。

曹羽中說，這其實是一種“One Platform, All Workloads”的理念，既通過一個平臺，來實現AI場景全棧存儲需求。

WADP最核心的突破在于實現了“存算協同，以存代算”。與傳統存儲系統被動響應讀寫請求不同，WADP主動參與計算過程，通過智能數據調度，來釋放AI算力。

在訓練推理加速場景，WADP通過云原生CSI接口與訓推調度平臺深度對接，構建了高帶寬、低時延的數據供給通道，通過無損快照技術實現訓練數據集的版本化管理，并通過高性能共享數據卷實現AI模型的秒級加載，將傳統的數十分鐘模型分發時間壓縮至秒級，大提升推理部署效率。

特別值得一提的是Checkpoint處理能力，能夠在訓練過程中快速保存模型狀態，將原本需要數分鐘的檢查點寫入過程壓縮到秒級完成。

在KVCache場景，WADP通過WQS（WiDE Query Storage）實現分布式KV接口，無縫對接vLLM，Mooncake,等主流推理框架。其技術價值在于：構建了接近HBM性能但提供無限容量的全局共享KV緩存池，將GPU顯存中的鍵值映射卸載到大容量外置存儲中。這項突破解決了大模型推理的的上下文長度限制，能夠長期持久化保存推理過程中運算出來的KV值，這些KV值可以在整個推理集群全局復用，把大量的推理算力的重復計算轉化為存儲IO訪問。傳統方案因顯存不足必須限制上下文長度，而WQS提供的近乎無限的緩存空間使得模型處理長上下文成為可能。

RAG場景的優化，則體現了WADP的統一架構優勢。平臺同時承載結構化數據、非結構化數據和向量數據，實現了AI RAG場景需要的全部數據在一 體化的平臺底座上完成檢索。這不僅簡化了架構復雜度，更將響應速度提升數倍，讓企業知識與 AI 能力真正實現 “無縫對話”。

03

從性能領先到技術創新

以存儲重構激活 AI 生產力

也許有人會有這樣的疑問：存儲架構的統一，是否意味著會犧牲性能？答案顯然是否定的。

在性能方面，WADP同樣展現出了卓越的實力，在 SPC-1 評測中，WADP用標準服務器硬件實現了數千萬IOPS的性能和200us的平穩低時延，創造了SPC-1的新世界記錄，打破了高端存儲陣列在企業核心業務場景的壟斷地位，充分證明了其在處理企業關鍵業務數據時的高性能和穩定性。

更令人印象深刻的是在面向AI場景的MLPerf存儲測試中的表現，華瑞指數云WADP軟件搭配極其精簡的硬件配置（一個僅帶DPU和硬盤的盤框）達到了與高端存儲陣列相當的性能，以此證明其技術架構的優越性。

在卓越性能表現的背后，蘊藏著多項WADP的創新技術。

如自研高性能動態EC（Erasure Code）算法，N份數據與M份校驗數據存儲，保證任意M份數據失效數據不丟失。支持最小2+1，最大22+2不同比例EC，空間利用率最大可達91.6%。

分布式文件系統WFS，基于統一的高性能WiDE引擎構建，提供POSIX兼容的分布式文件系統，支持NFS, SMB, CSI-NFS等接口類型；文件系統元數據基于全自研分布式KV系統構建，具備萬億級文件存儲能力和高性能的元數據操作，可以完備應對海量小文件的隨機訪問。

再有前文提到的WQS，面向大模型推理的多級KVCache 與數據服務層，即插即用接入vLLM，Mooncake等主流推理框架，為長上下文與高并發推理提供L2/L3 級KVCache 能力與統一數據接口。

優秀的理念和不俗的技術創新能力，WADP似乎萬事俱備只欠東風。

而這場東風，也許正是中國信創產業進入深水區所能帶來的。企業需要的是能夠支撐數智化轉型的下一代基礎設施，而不僅僅是國產化替代。基于核心代碼全棧自研的WADP憑借其統一存儲架構，正契合這一歷史性機遇。

正如工業革命因流水線而真正釋放了蒸汽機的潛力，AI時代同樣需要一條貫通數據的“數字流水線”。華瑞指數云的WADP平臺正是這一理念的實踐者，它拆除了存儲系統的“車間隔墻”，讓數據像紡織廠的紗錠一樣，在計算引擎間無縫流動。當數據不再因搬運而停滯，算力才能像轟鳴的蒸汽機一般全速運轉。這場存儲架構的革新，或許正是AI生產力爆發的關鍵一環。