和自動配線架無本質區別，揭開MEMS-OXC背后的三大技術短板

從2023年的ChatGPT，到2024年的Sora，AI大模型正以不可思議的發展速度顛覆著業界的認知，但AI大模型的火熱登場，也進一步對智算中心提出了更高的要求。

可以看到，當前訓練數據集的規模正從TB級別上升至PB乃至EB級別，AI大模型的參數量也從千億級別向萬億甚至十萬億規模邁進。以 GPT3.5 為例，其參數規模達1750億，作為訓練數據集的互聯網文本量也超過45TB，其訓練過程依賴于專門建設的AI智算中心，以及由1萬顆GPU組成的高性能網絡集群，總計算力消耗約為3640 PF-days（即每秒一千萬億次計算，運行 3640 天）。

如此龐大的訓練任務通常無法由單個服務器完成，往往需要大量服務器作為節點，并通過高效的組網方式形成大規模的AI算力集群（Scale Out），由此才能為AI大模型訓練提供強有力的支持，而這也意味著AI集群中的網絡互聯和交換必須具備高性能、低功耗、低時延以及高可靠性等能力，否則就會影響AI集群訓練的質量和速度。

在此背景下，MEMS-OXC“重出江湖”，相比傳統的電交換技術，其以高帶寬、低延遲和低能耗的優勢，一時間引發了業界的高度關注，特別是隨著谷歌引入OXC光交換機提升AI集群性能，更使得MEMS-OXC在市場中成為了廣泛討論的熱點話題。

但正所謂“透過現象看本質”，在當前的智算中心應用場景中，MEMS-OXC和自動配線架并無本質區別，在未來很長一段時間內，MEMS-OXC都很難取代傳統的電交換機，或者說難以“顛覆”傳統的組網架構和組網模式，其規模化落地仍然困難重重。

01.

MEMS-OXC爆火背后的冷思考

毫無疑問，基于電交換機的組網模式在數據中心網絡架構中扮演著至關重要的角色，其中以“Spine-Leaf”為代表的大二層組網模式，因其高效、可靠和易于擴展的特性，贏得了市場的一致的認可，這種組網模式的核心在于其無阻塞的交換架構，通過兩層設備（Spine和Leaf）提供高效、可靠的連接，不僅能夠滿足大規模組網能力下的彈性擴縮、高效轉發和高可靠性等需求，還能通過跨設備鏈路聚合技術和等價多路徑（ECMP）等方式，實現多路徑轉發和鏈路快速切換，進一步提升整體網絡的穩定性和性能。

但隨著AI技術的不斷發展，尤其是AI大模型訓練對算卡的需求也在持續增長。當這種需求攀升十萬卡乃至更大規模擴展時，傳統的兩層組網模式開始面臨挑戰，三層組網模式被廣泛引入，通過在Spine和Leaf層增加Core層，可以更好優化網絡架構，最大化提升網絡性能和擴展性。

當前，由于Spine層和Core層之間需要通過光模塊互聯，電交換機和光模塊數量的增加則會帶來整體能耗的上升，此時如果Core層部署OXC光交換機實現Spine間互聯，則能夠一定程度上降低能耗，并提升系統的可用性。

也正因此，MEMS OXC“重出江湖”，其全稱是“Optical Cross-Connect”，即指光交叉連接設備。以最典型的MEMS OXC為例：其內置兩個微鏡陣列，陣列A通過調整轉角將入射信號偏轉到陣列B對應的微鏡單元，將光從入端口映射到出端口，從而實現兩條路徑之間的光信號交換。

由于光交換機負責在光纖間建立和斷開連接，相較于傳統的電交換機，高性能的光交換機能夠實現更快的切換速度，對于滿足智算中心中的動態流量需求可以說起到了較好的作用。

不過，如果我們“追根溯源”，其實可以發現OXC技術并不是一項“橫空出世”的技術，早在2000年代初期，隨著互聯網流量的快速增長，研究人員其實就開始探索如何利用光網絡的高帶寬優勢來提升數據中心和骨干網絡的性能；2010年，SIGCOMM上刊登了《Helios：A Hybrid Electrical/Optical Switch Architecture for Modular Data Centers》的技術論文，進一步探索了光電混合架構的技術可行性；此后雖然OXC技術也不斷有新的技術研究進展，但其商用化進程始終非常緩慢。

“轉機”出現在2022年之后，隨著AI大模型的出現，當年谷歌發布了OXC在云網絡和自研TPU集群應用的技術論文，隨后其在超大規模數據中心和人工智能計算中批量部署了OXC光交換機；2023年，NVIDIA也先后在HOT Interconnects和光網絡與通信研究會及博覽會（OFC）學術會議上分享了其對光電融合組網的思考，進一步推動了MEMS OXC的發展。

但MEMS OXC真的能取代電交換機在智算中心場景中的主流地位嗎？如果我們深入分析之后，可以發現OXC技術仍然面臨諸多技術瓶頸，相比電交換技術，其在穩定性、低時延、可用度等方面依然存在諸多的挑戰，尤其是在具體的實踐中，OXC技術的主要能力主要體現在靈活配線方面，而這與當下廣泛使用的自動配線架并無本質區別，電交換技術無論是在規模、插損、功耗乃至成本方面均優于OXC技術。

02.

揭開OXC技術的“三大短板”

站在當下看未來，事實上當前光交換機或者說MEMS OXC相比傳統的電交換機，在技術上存在著明顯的“三大短板”，其要大規模在智算網絡場景中實現商用化落地，仍然面臨著重重挑戰，具體而言：

首先，從組網模式看，當下在AI集群組網方案中，通常2層組網不需要OXC技術，而三層無收斂組網，CLOS性能最佳；即使采用收斂組網，CLOS同樣是最佳選擇。

CLOS 典型物理組網

事實上，2層組網方式是應用實踐較早、較普遍的網絡架構，現如今依然是很多行業客戶的首選。在2層組網架構中，整網設備只有兩種角色，這種架構的優點是數據轉發路徑短，跨“Leaf”一跳可達，路徑和時延具有很強的一致性，加上統一的接入方式也給上線部署和水平擴展帶來了很大的便利條件。也正因此，當AI集群在4萬卡以下且采用了2層組網的模式，MEMS OXC也就沒有了“用武之地”。

而當AI集群超過4萬卡，當前業界主要有兩種組網方式，其中一種是三層無收斂組網方式，這種組網架構通常采用1:1無收斂設計，可以通過擴展網絡層次提升接入的AI集群節點數量，不僅性能好、業務適應性好，同時也可以大幅提升網絡的擴展能力。不僅如此，以Pod為單位進行業務部署，在適配多種業務需求、提供差異化服務等方面，三層無收斂組網方式也更具靈活性；另外一種是三層組網如采用收斂組網方式，此時跨Pod之間可引入OXC技術實現組網，雖然其提升了網絡的效率和可靠性，但當下MEMS OXC的投資成本也比較高昂，而電交換機仍然在成本、性能、運維等方面具有更多的優勢，因此MEMS OXC也無法顯示出更高的價值。

其次，從組網距離看，2KM組網半徑，如用MEMS OXC互連需要采用LR光模塊，極限情況還需定制LR光模塊，以滿足組網距離要求，而這就需要克服OXC中常見的高插損難題。

高插損是MEMS OXC落地中難以回避的問題。通常情況下，在萬卡集群的互聯中中，如果采用電交換機間，其互聯一般使用2km FR光模塊即可，而OXC為彌補高插損難題則需使用更長距的光模塊（LR），否則可能導致鏈路信號不穩定，引發訓練中斷。按目前業界最低1.5dB的差損計算，設備間互聯也要使用10km LR定制光模塊，由此才能夠提供相對較長的傳輸距離，適應OXC設備之間的連接需求。但由此新的難題也就產生了，定制的LR光模塊，不僅成本通常較高，交付時間也相對較長，因此MEMS OXC所帶來的新技術特性，在LR光模塊所面臨的高插損難題上，同樣并沒有明顯的優勢。

最后，從組網能力看，MEMS OXC當前不僅難以滿足AI大規模訓練對穩定性和低時延的要求，同時OXC技術也不改善網絡的可用度，即使采用“雙歸組網”方式，雖然能在一定程度上解決網絡引起的斷訓問題，但依然不能解決接入故障后的性能降級問題。

其中，在穩定性方面，AI大模型訓練環節，是整個大模型落地的重中之重，時間周期長、資源消耗大，同時“斷訓”也會直接影響模型的任務表現，因而對網絡系統的考驗也最大。但是OXC技術采用機械控制方式，同一時間只能完成一組端口間點對點轉發，無法有效支撐多組流量并行轉發的需求，形成性能瓶頸。與此同時，當MEMS OXC替換電交換機之后，原來標準的組網架構同樣也會發生變化，導致路由協議、擁塞調度、負載均衡等策略均需要重新調整，增加了AI集群系統的“不確定性”，可能導致訓練任務中斷。

在低時延方面，MEMS OXC的交換時延通常在10毫秒以上，與電交換機的百納秒時延相比，也高出了五個量級，這對于要求更低時延的AI訓練任務來說，也是一個難以接受的“短板”，再加上由于整網存在端口斷開和重新連接的情況，光模塊、電交換機側需要重新協商和路由收斂，又進一步延長了整網的切換和連接時間，同樣也使得OXC難以滿足AI大規模訓練對低時延的嚴格要求。

在可用度方面，“雙歸組網”方式能夠更好的解決由網絡節點故障引起的中斷問題。但數據也顯示，基于MEMS OXC并采用“雙歸組網”方式，其單鏈路故障仍會帶來約6%的性能損失，如果按10K/100K/512K集群光模塊雙歸測算，則整個集群分別也有5%、40%以及91%的時間存在單接入鏈路場景，因此MEMS OXC在十萬卡以上的故障中，所帶來的性能降級運行時間也不容忽視。

03.

智算場景中電交換仍“獨占鰲頭”

“第一性原理”是古希臘哲學家亞里士多德提出來的哲學術語，它的本意是：每個系統中都存在一個最基本的命題，它不能被違背。如果從企業需求的視角來看，“第一性原理”也代表著要回歸業務的本源和本質，即技術無論如何“爆火”，客戶拿到手的技術都應該是最為簡單和成熟的結果。

從這個角度來說，在AI大規模訓練場景中，AI集群規模越大，網絡的復雜度也會越高，此時選擇成熟可靠的方案且具備成本效益顯著的電交換技術，才能真正化解當下網絡面臨的難題，我們可以從下面三個維度做進一步的觀察。

一是，從市場規模看，根據LightCounting預測，2029年OXC的全球市場空間約為5億美元，其中大部分是谷歌OXC交換機所帶來的市場增量，其產業規模僅為電交換的20分之一。因此，OXC技術仍然屬于“小眾”或者說“新興”的技術，特別是在投資高昂的智算中心建設中，用戶需要謹慎評估OXC技術的適用性，以避免因缺乏深入了解而成為“小白”。

二是，從落地情況看，當下很多投產的超大規模數據中心中，依然是以電交換機以及傳統的組網方式為主。比如在國內，百度AI高性能網絡AIPod就采用了 3 層無收斂的 CLOS 組網模式，其整個AI訓練集群管理著約400臺交換機、3000張網卡、10000根線纜和20000個光模塊，而字節挑動的Megascale集群網絡則包含10KGPU，通過一個三層類CLOS網絡實現連接；在海外，Meta也基于RoCE搭建了一個由24K個GPU組成的AI集群網絡，同樣也通過一個三層CLOS網絡實現連接，據此也不難看出，當下以電交換機以及傳統的組網方式構建智算中心網絡，歷經了多年的市場實踐和考驗，證明了其依然是行業用戶主流的選擇“共識”。

三是，從技術發展看，目前25.6Tbps的電交換機芯片早已大規模部署在國內外互聯網或云計算數據中心，其能夠實現兩級CLOS架構384臺交換機即可支持32K個CPU的部署。更為關鍵的是，電交換機的技術仍在進化中，其中在硬件方面，隨著電交換機芯片的加速迭代，Tomahawk5的速率已高達51.2T，其單芯片支持64端口800G或128端口400G，能確保三層組網支撐50萬卡集群，而預計Tomahawk6發布后可支撐百萬卡集群門檻。

而在軟件方面，為了解決AI參數面網絡負載不均衡等問題，業界各個廠商也都在負載均衡算法這個方向加碼創新，方案也呈現“百花齊放”的狀態。可以預期的是，隨著電交換機的持續的技術迭代，都會有助于增強智算中心網絡的先進性和可靠性，進一步提升用戶的投資回報率。

客觀地說，用戶的眼睛始終是雪亮的，MEMS OXC雖然看起來很美好，但在智算中心場景中，實踐已證明了OXC技術并非未來的技術方向和演進趨勢，而基于電交換技術和傳統組網方案仍然在市場中占據著主導地位，且優勢盡顯。

也正因此，對于當下眾多的客戶而言，MEMS OXC越是爆火，越是需要更多的冷思考，而投資成熟且可靠的電交換技術，也必然是建設智算中心網絡更為穩妥和明智的選擇。