從云原生到 AI 原生：模型引發的新一代基礎設施構建

演講嘉賓｜余鋒（褚霸）

編輯｜Kitty

策劃｜QCon 全球軟件開發大會

在過去近二十年，從云計算和基礎設施代碼化開始，到云原生和不可變基礎設施的概念，IT 基礎設施的可維護性和資源效能都取得了巨大的飛躍，這其中的核心系統也無一不是以開源為基礎的。就在過去兩三年里，隨著大模型開始進入越來越多的生產環境，模型相關服務開始成為了新的基礎設施，擴大了基礎設施的范圍，也讓模型服務棧向著更加可靠、可維護、高效的基礎設施化方向演進，這其中同樣有大量的開源組件。

本文整理自螞蟻集團超級計算部負責人、基礎設施技術委員會主席余鋒（褚霸）在 2025 年 QCon 全球軟件開發大會（上海站）的分享 “從云原生到 AI 原生：模型引發的新一代基礎設施構建”。他在演講中回顧了基礎設施的演進歷程，介紹了當前的基礎設施開源軟件棧，并對未來的 AI-Ready 的基礎設施架構進行了展望。

預告：將于 4 月 16 - 18 召開的 QCon 北京站設計了「AI 原生基礎設施」專題，本專題重點交流探討如何構建 AI 原生基礎設施，包括業界容器 / Serverless 等云原生基礎設施如何朝 AI 演進，以及如何利用一些新興分布式技術構建 AI 原生基礎設施等等。敬請關注。

以下是演講實錄（經 InfoQ 進行不改變原意的編輯整理）。

我在螞蟻集團以及阿里巴巴集團工作了十六年，可以說完整地見證了整個基礎設施從云計算到云原生，再到如今的 AI 云原生的演變過程。最近兩年，我專注于 AI 基礎設施領域，這無疑比以往的工作強度更大。因此，我想向大家匯報一下，新的模型所引發的新一代基礎設施的變化是相當顯著的。

由于內容較多，我會盡量避免冗長的敘述，更多地從親歷者的角度出發，談談當前基礎設施發生了哪些變化，我們做出了怎樣的判斷和決策，以及我們為何如此行動。以螞蟻集團的基礎設施為例，我們可以將其視為一個觀察窗口，來了解整個行業的發展動態。

1 基礎設施技術的演進

首先，我想談談基礎設施技術的演進過程。大約十年前，也就是 2011 年或 2012 年，我開始涉足云計算領域，當時的主要任務是構建云計算設施。那時，我們的核心問題是“如何將硬件資源進行有效分配和利用”。當時，算力需求相對較小，例如支付等基礎業務的算力需求并不高。

在這種背景下，我們面臨的主要挑戰是將有限的算力進行切割和整合。因此，虛擬化技術應運而生，成為當時最核心的技術。虛擬化技術與操作系統相結合，解決了基本的運行問題。我們通過虛擬化技術將硬件資源切割成多個小部分，同時保證了資源的隔離性，確保軟件與硬件能夠解耦，從而實現獨立發展。

解決了硬件資源的切割問題后，我們面臨的新問題是“如何管理這些被切割后的資源”。由于資源被切割后規模變得非常龐大，例如我們當時管理的實例數量至少是千萬級的。因此，云計算的下一個目標是有效管理這些龐大的資源。當時，許多創業公司如 OpenStack、CloudStack、Terraform 等紛紛涌現，試圖解決資源管理的問題。

除了資源管理，云計算還需要解決如何將這些資源高效交付給客戶的問題。例如，客戶需要在全球多個區域部署資源，這就需要一個有效的部署方案。因此，云計算的核心價值在于兩方面：一是能夠將硬件資源切割成小部分且互不干擾；二是能夠在大規模環境下有效管理這些資源。

隨著技術的發展，容器技術逐漸興起。容器技術在云計算的基礎上進一步發展，解決了云計算尚未標準化的問題。容器技術的核心在于生命周期管理，包括如何管理鏡像、如何啟動容器以及如何管理容器的生命周期。雖然這些問題在云計算中已經存在，但容器技術通過標準化的方式解決了這些問題。

容器技術的興起使得開發人員能夠更高效地支持系統運行，同時也使得容器成為一種標準化的載體。容器技術的標準化推動了整個生態的繁榮。因此，可以說標準化是推動技術發展的關鍵因素。

總結基礎設施的演進方向，我認為其核心規律可以歸納為兩個主要方面。

首先，每一次基礎設施的出現和發展，首要目標都是解決性能和效率的問題。如果沒有性能優勢，比如云計算或容器服務的效率低于傳統的物理機，或者成本更高，那么這些技術就無法持續發展。云計算的出現，通過集中化和集約化的方式，對硬件資源進行專門的優化和裁剪，可使性能提高數十倍甚至上百倍。因此，與傳統的分散式處理相比，云計算的效能顯著提高，這為其進一步發展奠定了基礎。

其次，當基礎設施達到一定規模后，業務負載會變得極為復雜。此時，我們需要解決的是負載復雜性以及系統穩定性的問題。隨著業務規模的擴大，業務系統必須具備高度的穩定性，以確保在主業務路徑上不會出現故障。因此，基礎設施的發展趨勢是形成一套完整的系統，以降低運維的復雜度，甚至實現免運維。以我在阿里巴巴管理數據庫的經歷為例，最初，一個 DBA 負責管理 50 個數據庫實例。而當我們的實例數量增長到幾千萬時，我們只有兩三個 DBA，且他們的工作重點不再是日常運維，而是系統自動完成運維任務。這表明，隨著規模的擴大，基礎設施會發展出一套系統來解決因規模帶來的穩定性和復雜性問題。

2 GenAI 時代的應用：模型成為新的數據庫

在人工智能興起之前，我們的應用架構大多是基于 LAMP 架構。這種架構以數據庫或存儲為核心，再配以相應的硬件和其他輔助系統。以我過去管理 ECS 和數據庫的經驗為例，無論我如何努力優化，數據庫與 ECS 實例的配比始終是 1:7，MySQL 與 ECS 實例的配比也始終是 1:7。這一比例多年來未曾改變。

我們在構建云計算服務時，實際上是在現實地反映這種架構比例。我們的營收和實例規模也恰好反映了這一特點。多年來，我們的系統架構都是以數據庫為核心構建的。我們先設計數據庫，然后考慮數據庫的容災方案。整個架構設計過程都是以數據庫為中心展開的。當關系型數據庫無法滿足需求時，我們會引入非關系型數據庫，如 NoSQL，來解決另一部分問題。如果事務處理型（TP）數據庫無法解決所有問題，我們會引入分析處理型（AP）數據庫。但無論怎樣，核心仍然是數據庫，其架構多年來并未發生本質變化。如今的分布式技術只是讓集群更易于管理和維護，降低了復雜性，但本質上架構并未改變。

隨著人工智能的興起，尤其是大模型的出現，情況發生了變化。我們可以從下圖這個 2025 年的大模型地圖中看到，顏色較深的部分表示開源模型，而空白部分表示閉源模型。從地圖中可以看出，模型的規模越來越大，參數數量不斷增加，模型也越來越復雜。以螞蟻集團最近發布的模型為例，其參數已超過 1 萬億。未來，模型規模可能會進一步擴大。開源模型的數量也在不斷增加，不僅包括大語言模型，還包括多模態模型。隨著參數規模不斷增大，對成本的要求也越來越高。例如，代碼自動生成等能力的應用越來越多，而這些模型的興起對整個基礎設施產生了巨大的牽引作用。

在人工智能領域，各種基礎設施不斷涌現，以解決日益復雜的技術挑戰。從 AI 基礎設施的底層來看，廠商通常會做到像 PyTorch 這樣的框架層面。例如，百度有 Paddle，用于預訓練的有 Megatron，用于強化學習的有 VERL，而螞蟻集團則有 AReaL 等。這些基礎設施不斷涌現，旨在解決特定的技術問題。未來，每家廠商都會針對預訓練等問題提出自己的解決方案，這些方案雖大同小異，但會使整個技術圖譜不斷擴展，變得越來越復雜。

隨著模型規模的不斷增大，單個硬件已難以滿足需求，分布式計算成為必然選擇。分布式計算的引入又帶來了資源調度的問題，這促使了像 Ray、Spark 等調度工具的出現。而在底層，還有各種通信庫等基礎設施的支撐。整個 AI 技術領域呈現出深度與廣度兼具的特點，其規模不斷擴大，這對 AI 的基礎設施以及應用開發都帶來了巨大的壓力。

我們的觀點是，模型正在成為新的數據庫。過去，我們構建應用體系是以數據庫為中心進行設計的。如果關系型數據庫無法滿足需求，我們會引入非關系型數據庫；如果關系型數據庫的性能不夠快，我們可能會引入內存數據庫來解決。如今，情況類似。如果一個語言模型無法解決所有問題，比如需要處理音頻和視頻，我們就會引入多模態模型。在不同場景下，我們會根據需求引入不同的模型。

我們會不斷擴展模型的能力，并為其構建各種基礎設施。因為訓練一個模型需要訓練引擎，包括預訓練和后訓練等各種生命周期階段，都需要不同的系統來支持。模型訓練完成后，還需要推理引擎來支持推理過程。此外，為了提高模型效果和降低成本，我們還會探索邊訓邊推等新的模式。這些技術和工具會隨著需求的增加而不斷發展。模型正在成為新的數據庫，整個技術體系將圍繞模型展開。

3 模型為中心的基礎設施

既然模型已經成為新的核心，那么基礎設施自然也會圍繞模型來構建和表達。回顧過去，最早我們沒有虛擬化技術，采購硬件時直接購買物理機。隨著云計算和虛擬化技術的發展，我們開始采購 ECS 實例，后來又轉向采購容器。如今，我們可能正走向一個新的階段，未來在采購時，我們可能會直接問“能支持多少個模型”，這將是技術發展的新方向。

在這個過程中，我們的判斷與云原生時代有所不同，但最大的區別在于技術發展的趨勢。最初，數據庫是集中式的，比如大型機上的 Oracle。后來，我們轉向分布式架構，使用 PC 服務器和 MySQL，硬件和軟件都變得分布式。如今，我們又回到了集中式的方向。我的部門被稱為超算部門，因為我們把所有資源當作一臺超級計算機來管理。如今，一個大型模型訓練可能需要上萬張 GPU 卡協同工作，這實際上就是一臺超級計算機。整個趨勢表明，模型訓練和推理所需的資源已經遠遠超過了單個節點的規模。

如今，對于 1T 參數規模的模型，8 張卡的設備已經無法滿足需求。我們需要更大的資源，可能需要上百張卡來支持。這在過去是難以想象的。我讀書時用的 286 電腦內存只有 640K，而現在，一個超級計算節點的內存可能在明年就會超過 0.5P。過去，我們管理的是 PB 級數據的數據庫，現在一個集群的內存就接近 PB 級。這帶來了新的挑戰，比如如何快速加載 PB 級內存中的模型和鏡像，這是一項極具技術挑戰的工作。

隨著節點規模的擴大，算力的提升是顯而易見的。我們不再關注幾個數量級的提升，而是面對比以前大得多的算力需求。如今，AI 生成一句話的成本可能非常高。無論是訓練還是推理，數據規模和邊界都大幅增加。

過去，我們的系統是圍繞 CPU 構建的，無論是硬件還是軟件，都以 CPU 為中心。云原生技術的發展也是基于 CPU，將 CPU 資源切分并分布式連接。然而，到了 AI 時代，CPU 已經讓位給 GPU。現在，訪問本機的 CPU 內存可能比訪問另一個節點的 GPU 內存還要慢，因為 GPU 的帶寬足夠快，而且不斷優化。如今，一個 AI 超級計算中心的電力消耗中，交換機和網絡通信部分已經占到 26%。這在過去是不可想象的，因為這些部分的消耗曾經是可以忽略不計的。

這些變化導致了以 CPU 為中心的設計被顛覆，現在是以 GPU 為中心。過去，我們關注數據面和計算面的分離，現在又多了一個參數面，需要專門的網絡來處理參數面的問題。隨著參數規模的擴大，存儲需求也大幅增加，而傳統的存儲反而變得不那么重要。現在，我們需要將原本用于存儲和硬盤的資金投入到參數面的優化中。這些硬件的變化導致了整個體系的巨變，是顛覆性的。

下圖展示的是兩個開源引擎的圖表，其發展速度之快令人矚目。這種快速發展的趨勢，大家應該都有所體會。我更愿意通過這個圖表來呈現整個問題解決的時間——可以看到，一般的 Issue 通常在幾分鐘內就能得到解決，而稍微復雜一些的可能在兩三天內就能完成。這個社區有上千人在持續工作，而且是全球不間斷的，24 小時都在推進項目。整個基礎設施的開發模式，或者說基礎軟件的開發方式，正在發生翻天覆地的變化。

如果要將 AI 推理等技術整合成一個完整的系統，僅僅依靠引擎是不夠的。你還得有網關，這很容易理解，因為這些組件可以負責路由和容災等功能。然后是推理引擎，其中會遇到諸如 PD 分離等問題。這實際上不僅僅是 GPU 上的算力問題，還包括 CPU 內存以及存儲等資源的利用——如何將每一分錢都花在刀刃上？因此，這里會發展出一整套技術體系。以我們內部開發的一個系統為例，從第一天只有幾個組件，到如今大約七八個月的時間，組件數量已經增長了 10 倍。因為最初可能只是解決了最基本的問題，只要能進行推理就行。后來，我們開始追求更便宜、效能更高、性能更強的推理方式，所以做了大量的工作。

舉個例子，年初的時候，我們開發 DeepSeek 或千問這類模型時，開箱即用的性能大概是 1，而現在，性能已經提升到了 20。在短短七八個月的時間里，性能提高了 20 倍。預計到年底達到 25 倍的性能提升。這種性能的提升并不是從某個單一引擎中摳出來的，而是整個系統協同作用的結果。我們節省下來的不僅僅是性能，還有成本。我每天都要提醒團隊，我們花了那么多錢購買晶體管，是否充分利用了它們？從這個角度反推，我們今天需要考慮的是如何讓這些模塊和組件更好地利用這些資源。這無疑會對基礎設施帶來巨大的變化。

回顧技術發展的歷程，我們可以清晰地看到一條演進路線：從最初的以機器為中心，到后來以虛擬機為中心，再到容器為中心，如今則轉變為以模型為中心來構建整個體系。正是基于這樣的背景，有了 ModelPack 這一概念。因為當以模型為中心構建體系時，必然需要一個明確的規范來組織和指導。正如之前所說，規范至關重要，它是大家共同認可的基礎。只有圍繞這一規范去構建體系，我的系統才能與你的系統實現互通。而且，未來的演進也需要大家能夠合力推進。

我認為基礎設施的演進中，最關鍵的是能夠預判趨勢。這些趨勢并非一夜之間出現，它們可能早在三五年前甚至更早就已萌芽。能夠提前洞察趨勢，預見基礎設施將發生怎樣的變化，并且判斷何時該順勢而為，才是最具技術含量的。

4 AI 應用的基礎設施

Agent 體系的出現對基礎設施產生了很大的影響。當我們談論 AI 基礎設施時，它不僅包括底層的算力，還包括對開發友好的上層結構。因此，Agent 基礎設施的變化同樣值得關注。

再深入觀察模型層面，下一代模型的發展趨勢也十分明顯。以螞蟻集團為例，我們也在訓練自己的模型。過去，許多廠商沒有能力自行訓練模型，因為訓練模型成本過高，而不是技術能力不足。因此，他們通常會選擇使用像 DeepSeek 或千問這樣的模型。然而，這些模型存在兩個主要問題：一是模型需要不斷演進，變得更智能、效果更好；二是成本需要降低。降低成本體現在兩個方面：首先，訓練過程的效率需要提高；其次，推理時的成本也需要降低。如果在模型訓練階段能夠完成更多工作，那么推理階段的負擔就會減輕。如今，隨著幾家大廠的推理業務規模不斷擴大，這個問題變得尤為突出，大家都需要解決。因為推理成本與業務規模成正比，例如，用戶規模從 1 億增加到 10 億，成本就會線性增加 10 倍。而訓練是一次性的，只要完成訓練并支付相關成本即可。因此，未來的發展趨勢是將訓練過程中的智能化和成本降低因素納入考慮。

構建 Agent 體系時，最重要的就是 Agent 的運行。Agent 需要一個像 Sandbox 這樣的基礎設施來支持其運行。去年大家還沒有重視這個問題，但到了今天，這個問題已經不得不解決了。因為 Agent 體系的功能性非常廣泛。其次，Agent 實際上就像前面提到的容器一樣，是一個更輕量級的容器。回到容器的概念，就會再次涉及成本、規模和調度等問題。這些并不是新問題，為什么在這個時間點上才出現并需要解決問題呢？原因在于，如今模型的成本和規模已經達到一定程度，智能化水平也足夠高，需要這樣一個體系來進行標準化，以解決這些問題。

5 展望：從“通算 + 智算”向通智一體的演進

前面我大致回顧了基礎設施多年來的發展歷程，從通用計算時代，到虛擬機時代，再到微服務時代，直至如今的模型時代。對我們螞蟻集團的基礎設施而言，這是一個行業發展的縮影。那么，它未來將何去何從呢？實際上，如今一個非常重要的趨勢是通用計算與智能計算正逐漸融為一體。在過去，通用計算與智能計算的比例可能是 9:1，但未來這一比例可能會反轉，變成 2:8。盡管如此，它們始終是一體化的，因為傳統的業務架構是基于以 CPU 為中心的體系，而新的 AI 業務則是基于以 GPU 為中心的體系。因此，這兩個系統必須融合在一起，這是第一個要點。也就是說，從過去單純的通用計算與智能計算分離，通過某種體系連接，未來將演進為一體化的設計。包括如今我們所倡導的通智一體、訓推一體，都將對基礎設施帶來巨大的變革。

這些變化也帶來了諸多挑戰。首先，基礎設施強調穩定性，一旦基礎設施出現重大問題，往往意味著嚴重的后果。然而，模型的演進速度卻非常快，這二者之間存在矛盾，如何平衡這種矛盾是一個關鍵問題。而且，新的 AI 智能計算體系目前還不夠成熟，如何在這種不成熟的狀態下實現平衡，成為一個極具挑戰性的問題。其次，安全問題。AI 的倫理道德和安全問題受到高度關注，因為大家此前并未經歷過類似情況，所以對此格外謹慎。這會對系統的隔離性提出更高要求。例如，MCP 面臨的最大問題并非如何使用它，而是如何確保暴露的服務足夠安全，不會被濫用。

挑戰與機遇總是并存的。未來，隨著通用計算與智能計算一體化，甚至可能發展為以 AI 為中心的全新體驗，這將催生出一套全新的、完整的體系。這對所有人來說都是一個巨大的機會。我自己已經在云計算領域深耕了 10 年。我相信，只要不被這波浪潮甩下，未來 10 年依然大有可為。所以，對于從事整個基礎設施相關工作的人員來說，未來既充滿挑戰，也蘊含著巨大的機遇。

演講嘉賓介紹

余鋒（褚霸），螞蟻集團超級計算部負責人、螞蟻基礎設施技術委員會主席。主管螞蟻基礎軟件產品和算力基礎設施，研究領域包括云計算、數據庫和軟硬件協同設計。曾擔任螞蟻風險管理部和金融同業技術負責人、螞蟻數字金融安全負責人、螞蟻銀行（澳門、香港、新加坡）技術負責人、浙江網商銀行架構部負責人、阿里云彈性計算事業部負責人、阿里云數據庫事業部負責人。

會議推薦

OpenClaw 出圈，“養蝦”潮狂熱，開年 Agentic AI 這把火燒得不可謂不旺。在這一熱潮下，自托管 Agent 形態迅速普及：多入口對話、持久記憶、Skills 工具鏈帶來強大生產力。但這背后也暴露了工程化落地的真實難題——權限邊界與隔離運行、Skills 供應鏈安全、可觀測與可追溯、記憶分層與跨場景污染、以及如何把 Agent 納入團隊研發 / 運維流程并形成穩定收益。

針對這一系列挑戰，在 4 月 16-18 日即將舉辦的 QCon 北京站上，我們特別策劃了「OpenClaw 生態實踐」專題，將聚焦一線實踐與踩坑復盤，分享企業如何構建私有 Skills、制定安全護欄、搭建審計與回放機制、建立質量 / 效率指標體系，最終把自托管 Agent 從可用的 Demo 升級為可靠的生產系統。