7月27日,在2025世界人工智能大會(WAIC)上,中國移動與曙光存儲聯(lián)合啟動國內(nèi)首個(gè)智能存力調(diào)度平臺 —— 算力中心全局統(tǒng)一文件存儲系統(tǒng)。
這個(gè)名稱雖然讓人感到有些陌生,但本質(zhì)上是從移動互聯(lián)網(wǎng)時(shí)代過渡到人工智能時(shí)代的大背景下,我國對基礎(chǔ)數(shù)據(jù)管理和調(diào)度能力的一次全新嘗試,也是一次世界級的先進(jìn)存力的真實(shí)場景實(shí)踐。
它更說明了,在走向人工智能時(shí)代的道路上,中國存儲企業(yè)已經(jīng)做好了準(zhǔn)備,擔(dān)當(dāng)中國在全球人工智能創(chuàng)新策源地上的堅(jiān)定基石。
——導(dǎo)語
01
第一部分 先進(jìn)存力 無問東西
據(jù)了解,作為“東數(shù)西算”戰(zhàn)略的重要承載平臺,智能存力調(diào)度平臺已率先覆蓋長三角、成渝、內(nèi)蒙古、貴州四大國家級樞紐節(jié)點(diǎn),覆蓋橫跨東西、聯(lián)動南北的七大存力資源池,全平臺自研的基礎(chǔ)上,兼容全球8種AI芯片,對保障供應(yīng)鏈安全、推動國家數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展意義重大。
要理解這個(gè)新成績的含金量,重點(diǎn)在于“智能”和“調(diào)度”兩個(gè)關(guān)鍵詞。
先說宏觀背景——“東數(shù)西算” 作為國家級算力資源優(yōu)化戰(zhàn)略,通過在京津冀、長三角等 8 地,建設(shè)國家級算力樞紐,以及10 個(gè)數(shù)據(jù)中心集群,構(gòu)建全國一體化算力網(wǎng)絡(luò),將東部數(shù)據(jù)計(jì)算需求與西部綠色能源深度耦合,實(shí)現(xiàn)算力資源全局性的優(yōu)化配置,目標(biāo)是到 2025 年形成普惠易用的綜合算力體系。
但我國東西部地理跨度大(如東部沿海到西部樞紐節(jié)點(diǎn)距離長達(dá)數(shù)千公里),這種物理距離對存儲系統(tǒng)的設(shè)計(jì)、運(yùn)行和可靠性帶來了多重挑戰(zhàn),同時(shí)也催生了針對性的技術(shù)與機(jī)制創(chuàng)新。值得一提的是,工信部于今年大力推進(jìn)相關(guān)工作,印發(fā)了《算力互聯(lián)互通行動計(jì)劃》,實(shí)現(xiàn)了“全國一體化算力網(wǎng)調(diào)度平臺(1.0 版)”的落地,旨在通過統(tǒng)籌協(xié)調(diào),降低東西部數(shù)據(jù)傳輸阻礙,推動算力網(wǎng)絡(luò)建設(shè) 。
再說的詳細(xì)一些,“東數(shù)西算”可以認(rèn)為是一個(gè)總體性的提法,實(shí)際包含了“東數(shù)西算”、“東數(shù)西存”、“東數(shù)西訓(xùn)”等多個(gè)具體場景,每個(gè)具體場景對存力調(diào)度的需求都有各自的特點(diǎn),這就更需要一個(gè)全局性、智能化的調(diào)度平臺在其中發(fā)揮作用。
“數(shù)據(jù)看不全、數(shù)據(jù)理不順、數(shù)據(jù)用不好,是目前實(shí)際應(yīng)用中的三大痛點(diǎn),又都和存力有著深入的聯(lián)系”,中國移動數(shù)智化部云計(jì)算架構(gòu)師肖愛元這樣表述:“這里面包含數(shù)據(jù)中心間存在數(shù)據(jù)孤島,跨廠商異構(gòu)存儲互不兼容;千PB級海量數(shù)據(jù),無法高效、準(zhǔn)確價(jià)值識別,難以做到數(shù)據(jù)資源統(tǒng)一調(diào)度;東部服務(wù)無法高質(zhì)量、低延遲地訪問西部‘冷數(shù)據(jù)’,數(shù)據(jù)流通利用率不足等等問題。”
![]()
而在中國移動和曙光存儲的努力下,這些問題在算力中心全局統(tǒng)一文件存儲系統(tǒng)的調(diào)度下,都得到很大程度的解決。
如果說算力中心是一個(gè)戰(zhàn)場,那不同平臺和節(jié)點(diǎn)上的異構(gòu)數(shù)據(jù),就像一群沒有參過戰(zhàn)的新兵,需要換上統(tǒng)一的軍裝、清點(diǎn)人數(shù)并建立編號,最后在統(tǒng)一的指揮下奔赴“戰(zhàn)場”。
為此,在解決“看不全”的問題上,曙光存儲實(shí)現(xiàn)了平臺級的智能文件存儲統(tǒng)一觀測,平臺可獲取不同廠商多種類型的存儲設(shè)備監(jiān)控信息,對異構(gòu)的存儲信息進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)存力及數(shù)據(jù)分布的統(tǒng)一觀測。
而在“理不順,用不好”等問題的解決上,新平臺的底層文件系統(tǒng)采用了兩級架構(gòu)的元數(shù)據(jù)管理模式,一級元數(shù)據(jù)負(fù)責(zé)對外整合能力,重在解決“理不順”;而二級元數(shù)據(jù)負(fù)責(zé)管理數(shù)據(jù)的存取能力,可根據(jù)訪問頻次信息進(jìn)行數(shù)據(jù)冷、熱、溫分級管理,進(jìn)而將所有資源池整合為一個(gè)整體,支持?jǐn)?shù)據(jù)在不同的資源池之間根據(jù)遷移策略進(jìn)行自由遷移,實(shí)現(xiàn)了主觀上“無感”的調(diào)度,進(jìn)而讓用戶“無問東西”,實(shí)現(xiàn)“用的好”。
當(dāng)然,實(shí)際上的智能調(diào)度平臺的復(fù)雜性遠(yuǎn)超于筆者的描述,這里只是約略選擇要點(diǎn),讓大家對東數(shù)西算大背景下的數(shù)據(jù)管理的智能化躍遷,有一個(gè)初步的感知。
事實(shí)上,考慮到中國移動算力中心整體的復(fù)雜性和對存力的極致考驗(yàn),這些進(jìn)展絕不如筆者描述的這般輕描淡寫,而是一項(xiàng)超級工程。
而這個(gè)工程得以順利實(shí)施,正是構(gòu)建在中國存儲產(chǎn)業(yè)20多年來的從無到有、從有到優(yōu),最終達(dá)到世界領(lǐng)先水平的堅(jiān)強(qiáng)基石之上。
02
雙雄并立的中國極簡存儲史
在我長期跟蹤存儲行業(yè)的過程中,逐漸積累了一個(gè)認(rèn)知,那就是存儲子系統(tǒng)雖然往往不像CPU、操作系統(tǒng)那樣,是公眾關(guān)注的焦點(diǎn),甚至某種程度上是一個(gè)“配角”。但其技術(shù)復(fù)雜性甚至更高。我拜訪過的清華大學(xué)高性能計(jì)算中心高級工程師張武生甚至指出,存儲系統(tǒng)是整個(gè)計(jì)算機(jī)系統(tǒng)里技術(shù)難度最高的子系統(tǒng)之一。
某種程度上,這也是為何當(dāng)今中國企業(yè)級存儲市場上,只有曙光存儲和華為兩家掌握了自主的全棧存儲底層技術(shù)的一層技術(shù)背景。
有趣的是,曙光和華為幾乎都是在20年前,也幾乎是同頻、同步的開始自主存儲技術(shù)體系的研發(fā),但其出發(fā)點(diǎn)和路徑選擇,卻大相徑庭。
曙光存儲的出發(fā)點(diǎn),一般被定位于2004年。但實(shí)際上,根據(jù)我對李國杰、孫凝暉這兩位院士的訪問,他們都提到,甚至早在1995年,中科院計(jì)算所開始曙光系列高性能計(jì)算機(jī)的研發(fā)之始,存儲子系統(tǒng)就是由研發(fā)人員自己寫的。只不過就當(dāng)時(shí)超算的整體性能而言,存儲子系統(tǒng)還稱不上性能瓶頸。
曙光總裁歷軍則明確地定義2004年為曙光存儲的元年,原因是這一年,曙光給東方地球物理公司交付的曙光超算系統(tǒng)中,存儲子系統(tǒng)已經(jīng)明顯的“拖后腿”。于是,孫凝暉院士的學(xué)生苗艷超博士,帶了幾位計(jì)算所的同事,正式進(jìn)入曙光的編制,開始了名為ParaStor的分布式存儲系統(tǒng)的研發(fā)。
簡言之,曙光存儲的出發(fā),是實(shí)際應(yīng)用場景倒逼下開始的。但當(dāng)時(shí)市面上尚有許多進(jìn)口的,或開源的存儲子系統(tǒng)可以選擇,而曙光為何卻傾公司之力投入自研?李國杰院士有一段話是歷史的很好注腳,他說:“我們曙光人背負(fù)著一個(gè)沉重的精神十字架在前行,那就是不論自研還是引進(jìn),都要把研究做深、把底層邏輯搞清楚,最好自己能夠動手做起來。”
而華為進(jìn)入存儲領(lǐng)域,則是偶然中的必然——2001年,互聯(lián)網(wǎng)科技泡沫破裂之后,幾乎波及到所有科技公司。華為當(dāng)時(shí)認(rèn)為,只做通信產(chǎn)品,未來會面臨很大的風(fēng)險(xiǎn),需要積極尋找新的產(chǎn)業(yè)機(jī)會點(diǎn)。于是,華為商業(yè)網(wǎng)絡(luò)部悄然成立,存儲恰恰是其中一個(gè)新業(yè)務(wù),“當(dāng)時(shí)有幾十個(gè)新業(yè)務(wù),存儲是到現(xiàn)在依然活著的三個(gè)業(yè)務(wù)之一”,華為存儲資深專家張國彬如是說。
但共同之處在于,無論是曙光還是華為,最早的存儲研發(fā)團(tuán)隊(duì)的規(guī)模都很小,都在10人以內(nèi),都是在探索中逐漸生根發(fā)芽的“幼苗”,也都是靠自己的力量逐步長大,所以先有“走的穩(wěn)”,才有后來的“走的快”。
雙雄成長的路徑則大有所不同。
曙光存儲帶有更多的科學(xué)院基因,非常看重“全自研”,力求以技術(shù)深度夯實(shí)自主根基。路徑選擇也從軟件入手,從分布式存儲文件系統(tǒng)的研發(fā)為起步點(diǎn),在不斷迭代中掌握分布式鎖、糾刪碼等核心算法的自主化,再進(jìn)一步躍升到集中式存儲領(lǐng)域。在這個(gè)過程中,曙光存儲與中科院、高校廣泛深度合作,主導(dǎo)了多項(xiàng)行業(yè)標(biāo)準(zhǔn)的制定。
華為的存儲從硬件入手,期間經(jīng)歷過與賽門鐵克公司合資成立華賽公司,自研+代理雙路線并舉,再歸于華為大家庭的復(fù)雜路徑。此后亦和曙光做出過共同的選擇——全自研分布式文件系統(tǒng),最終和曙光存儲一樣,都成為集中式、分布式雙修的存儲產(chǎn)業(yè)巨頭。這個(gè)過程中,華為的存儲業(yè)務(wù)則更體現(xiàn)出擅長規(guī)模化量產(chǎn)、重營銷導(dǎo)向與全球化市場推廣能力強(qiáng)的特點(diǎn)。
但不得不重點(diǎn)提及的是,雖然科學(xué)院出身的曙光,與民營商業(yè)公司出身的華為,在行事風(fēng)格和路徑選擇上有巨大的不同,但它們的相同大于不同。
它們之間最大的相同,就是最終依賴自主研發(fā)走到了各自擅長市場的頭部。
而在這十幾年里,中國市場上有許多國內(nèi)的高性能計(jì)算、服務(wù)器巨頭,有許多本有很好技術(shù)、市場基礎(chǔ)的IT公司,它們的能力、體量或許在21世紀(jì)初都遠(yuǎn)遠(yuǎn)超過當(dāng)時(shí)的曙光和華為,但它們要么選擇成為國際巨頭的代理,要么成為國際巨頭進(jìn)入中國市場的伙伴,要么選擇去優(yōu)化一些有影響力的開源存儲系統(tǒng)。
![]()
但它們都沒有毅然決然的走上全自研的路線,白白放棄了中國的信息化社會全面建設(shè)、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)大爆發(fā)乃至今日的AI崛起的重要時(shí)間窗口……綜合來看,似乎它們的選擇才是多數(shù)派,而曙光、華為的選擇和成功才是少數(shù)派,但真的是這樣嗎?
當(dāng)然不是,如果曙光和華為也選擇去做“多數(shù)派”,那我們今天就會失去企業(yè)級存儲的自主權(quán),就會任由國際巨頭繼續(xù)賺取超額利潤,就會和其它一些業(yè)務(wù)一樣在今天面臨隨時(shí)被“卡脖子”的風(fēng)險(xiǎn)。
事實(shí)上,華為和曙光之間的競爭與競合,是今天中國在世界存儲市場中也成為重要一極的關(guān)鍵要素。
在具象層面,兩者的確存在競爭。但這種競爭的結(jié)果是提升了中國存儲產(chǎn)業(yè)的整體競爭力。例如,曙光 2024 年發(fā)布全球首個(gè)億級 IOPS 的 FlashNexus ,華為則迅速跟進(jìn),推出同級別 Dorado 產(chǎn)品,形成 “你追我趕” 的技術(shù)躍遷。這種競爭推動中國全閃存性能從百萬級躍升至億級,使得中國企業(yè)在這個(gè)高端市場較國際廠商提前 1-2 年實(shí)現(xiàn)技術(shù)突破,這在中國IT史上是非常少見的。
![]()
在產(chǎn)業(yè)鏈層面,兩者則非常默契的互相補(bǔ)位,曙光存儲在高性能計(jì)算領(lǐng)域的存儲技術(shù)上有優(yōu)勢,但曙光樂意為華為提供 HPC 場景的并行文件系統(tǒng)技術(shù)授權(quán),而華為則投桃報(bào)李,將曙光存儲的技術(shù)和產(chǎn)品集成至其云服務(wù)體系,共同形成了 “曙光技術(shù) +華為市場”的良性競爭壁壘。
而在至關(guān)重要的自主可控領(lǐng)域,華為 Dorado 通過 7 個(gè) 9 可靠性認(rèn)證,替代了EMC 高端存儲;曙光 ParaStor 則通過多個(gè)百PB級項(xiàng)目支撐經(jīng)驗(yàn),實(shí)現(xiàn)在國計(jì)民生領(lǐng)域的自主可控……這樣的案例比比皆是,而且將來會越來越多。
目前,中國的高端存儲市場的頭部已經(jīng)完全由曙光、華為這樣掌握了自主技術(shù)并走向全球領(lǐng)先的企業(yè)所掌握,這不正是幾代IT人所期望的嗎?
03
AI市場,中國自信的存儲基石
近期,人工智能領(lǐng)域有一件不大也不小的事情——英偉達(dá)已經(jīng)獲得美國批準(zhǔn),將恢復(fù)H20在中國的銷售,并將推出面向中國市場的全新且完全兼容的GPU。
事實(shí)上,英偉達(dá)創(chuàng)始人黃仁勛曾多次表達(dá)一個(gè)觀點(diǎn),他認(rèn)為,斷供并不能中斷中國人工智能的發(fā)展道路;相反,中國的開源人工智能是全球進(jìn)步的催化劑,讓每個(gè)國家和行業(yè)都有機(jī)會參與人工智能革命。”
不管這是一位美籍華人背景的企業(yè)領(lǐng)袖的真心話,還是一個(gè)長袖善舞的國際企業(yè)掌門人的“高情商表達(dá)”,但他的確說明了一個(gè)事實(shí),就是任何國家的斷供,也無法改變中國成為全球人工智能重要一極的能力和事實(shí)。
當(dāng)然,對這個(gè)事實(shí),公眾比較有感知的,還是在AI算力芯片、GPU卡、基礎(chǔ)大模型這些方面,因?yàn)槠洳坏P(guān)注度高,而且中國的產(chǎn)業(yè)追趕速度也相當(dāng)?shù)目欤僖詴r(shí)日確是可以與世界領(lǐng)先體系并駕齊驅(qū)的。
但很少有人知道,中國在AI方面的底氣,算力芯片等只是冰山露出水面的部分,真正的體系化能力在于我們已經(jīng)基本掌握了發(fā)展AI的全棧技術(shù),如深度學(xué)習(xí)框架、基礎(chǔ)大模型、先進(jìn)應(yīng)用等,但起決定意義的,則必須談到我們的存儲產(chǎn)業(yè)發(fā)展水平。
AI極度依賴數(shù)據(jù),對數(shù)據(jù)的應(yīng)用貫穿在AI的各個(gè)環(huán)節(jié),AI平臺(智算中心)的瓶頸往往不是算力芯片,而是存力投資不夠,對先進(jìn)存力的應(yīng)用不到位,這已經(jīng)是一個(gè)公認(rèn)的事實(shí)。
但從國際視角來看,中國存力在全球的評價(jià)是很高的,而且完全自主可控。
而作為AI 時(shí)代的自主可控基石,曙光和華為都對中國的AI發(fā)展起到了重要作用。
曙光存儲已經(jīng)是多年的中國AI存儲市場頭名,在前述的中國移動智算中心項(xiàng)目中,曙光 ParaStor 支撐超大規(guī)模模型跨地域并行訓(xùn)練,帶寬利用率提升 30%。
華為 AI 存儲 A800則通過張量、向量等新興數(shù)據(jù)范式支持萬億參數(shù)模型訓(xùn)練,斷點(diǎn)續(xù)訓(xùn)速度是業(yè)界 4 倍。
在邊緣-中心協(xié)同架構(gòu)方面,曙光推出基于歐拉系統(tǒng)的邊緣智能終端,與華為鴻蒙實(shí)現(xiàn)無縫互聯(lián),在智能電網(wǎng)場景中完成毫秒級數(shù)據(jù)調(diào)控;華為 OceanStor Pacific 分布式存儲通過近存計(jì)算架構(gòu),將 AI 推理時(shí)延降低至微秒級。
在至關(guān)重要的數(shù)據(jù)安全領(lǐng)域,兩者則都有自研的內(nèi)置硬件級加密引擎,曙光 ParaStor 支持 SM4 國密算法,華為 Dorado 實(shí)現(xiàn) IO 級勒索檢測。在 “東數(shù)西算” 工程中,雙方聯(lián)合構(gòu)建的存儲集群通過等保 2.0 認(rèn)證,保障跨區(qū)域數(shù)據(jù)流動安全。
這種種事實(shí),至少說明了三個(gè)重要的事實(shí):
其一是堅(jiān)持走硬核自研,才是鑄就“能用、敢用、好用”的根技術(shù)的前提。
如前所述,曙光和華為正是在發(fā)展之初就擯棄了魔改開源技術(shù)等“捷徑”,堅(jiān)持從底層研發(fā),確保了其存儲技術(shù)路線的100%完全自主可控,才既沒有“斷供”風(fēng)險(xiǎn),也沒有專利糾紛,并以自主技術(shù)的創(chuàng)新競爭,互相推動了攻克高端領(lǐng)域技術(shù)等制高點(diǎn)的目標(biāo),這也將為中國在AI領(lǐng)域進(jìn)入更多的根技術(shù)體系并開展自研,樹立了榜樣、鼓足了信心。
其二是堅(jiān)持通過市場錘煉走做大做強(qiáng)之路。
中國是全球唯二擁有建立完善的數(shù)字技術(shù)體系的市場規(guī)模、市場基礎(chǔ)的國家。曙光存儲、華為存儲的發(fā)展,某種程度上與它們身在一個(gè)擁有11.23億網(wǎng)民的國度密不可分。
更重要的是,雖然信創(chuàng)是一個(gè)錘煉、考驗(yàn)技術(shù)的很好的練兵場,但曙光存儲技術(shù)的發(fā)展,更多的還是在2010年以后移動互聯(lián)網(wǎng)大爆發(fā)的背景下,在世界上用戶規(guī)模最大的市場環(huán)境下通過自由競爭、自主創(chuàng)新得來的。
存儲作為互聯(lián)網(wǎng)、AI的基石,其難度與應(yīng)用體量直接相關(guān),如沒有東數(shù)西算中龐大的數(shù)據(jù)傳輸和管理需求,也自然不會誕生世界級的存力智能調(diào)度系統(tǒng),更不會產(chǎn)生FlashNexus這樣的世界級產(chǎn)品。
其三是賦能AI時(shí)代是重要的機(jī)會。如前所言,AI的燃料是數(shù)據(jù),AI的應(yīng)用與存力密不可分,中國擁有完整的自主存儲技術(shù)體系,其實(shí)是發(fā)展AI產(chǎn)業(yè)的一個(gè)很重要的王牌。
目前,曙光在AI存儲市場的份額,華為在AI市場的影響力,都說明其對AI的前瞻投入,則是引領(lǐng)國產(chǎn)存儲產(chǎn)業(yè)體系邁向智能化、服務(wù)化未來的戰(zhàn)略升級。
但這僅僅是開始而已,如一次與李國杰院士的對談中,他就特別提出——雖然半導(dǎo)體存儲的商業(yè)壽命還有幾十年甚至更久,但其天花板已隱約可見,中國企業(yè)應(yīng)該從現(xiàn)在起就開始發(fā)展量子存儲、DNA存儲等前沿技術(shù),以期在人工智能引導(dǎo)的世界級技術(shù)大變革中,走到領(lǐng)導(dǎo)位置,這絕非單點(diǎn)突破就可以實(shí)現(xiàn),而需要體系性能力的多面開花。
AI與存儲,后者是前者體系能力的重要保障,前者是后者創(chuàng)新的突破推力,在中國走向全球AI創(chuàng)新高地的路上,一定有中國存儲產(chǎn)業(yè)的一路陪伴。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.