并行文件系統詳解：元數據、條帶化和吞吐量

并行文件系統在高性能計算（HPC）領域中扮演著至關重要的角色，它們需要為同時處理同一問題的數千甚至數萬個計算節點（或數百萬個核心）提供足夠高的聚合I/O帶寬和低延遲的共享數據訪問。這類文件系統能夠優化計算硬件的使用，使處理應用程序運行得更快。

并行文件系統能夠并行傳輸多個文件，或者并行傳輸單個文件的多個部分（條帶）。

成熟的HPC并行文件系統通過并行輸出文件條帶，并將這些條帶傳送給HPC處理器，使它們能夠并行工作并更快地完成任務，從而更快地將單個文件的多個部分從存儲傳輸到計算設備。

條帶化和非條帶化這兩種變體在實現方式上有很大不同。

非條帶化并行文件系統將傳入的文件存儲在單個節點上。沒有條帶化，因此元數據負擔較輕。客戶端前端在文件級粒度上操作，而不是條帶粒度。

條帶化并行文件系統必須接受傳入的文件，將其分割成碎片，并將這些碎片存儲在不同的存儲（數據服務器）節點上，每個節點都有自己的網絡鏈接。這意味著它必須維護文件的節點-條帶存儲映射，列出哪些條帶在哪個節點上。例如，文件A（條帶1：節點M，條帶2：節點N，條帶3：節點O等）。這意味著需要大量的文件條帶映射元數據。

為了并行傳輸條帶，請求的客戶端前端必須了解它們的存在。當它收到文件請求時，必須知道存儲后端已將文件部分或碎片條帶化到多個節點，這樣它就可以向每個節點發送讀取請求。換句話說，它必須能夠訪問文件的條帶映射。這需要客戶端前端與后端存儲系統之間的鏈接和協調。

如果要傳輸大文件，那么條帶級的并行訪問將更快地傳輸文件。如果要傳輸較小的文件，那么文件級的并行訪問效果更好。

高層次示例

作為一個簡化的高層次練習，假設要通過網絡管道從數據服務器系統向客戶端系統傳輸10TB的文件數據。我們在非條帶化并行文件系統上有10個100GB文件，在有10個節點的條帶化并行文件系統上有一個10TB文件。這10TB文件數據在任一系統中都應該在相同時間內傳輸完成。

現在讓我們給后端數據服務器配置100個節點，并有10個10TB文件，總計100TB。非條帶化并行文件系統將它們存儲在10個數據服務器節點上，這些節點可以并行操作。條帶化并行文件系統使用100GB條帶，將10個10TB文件跨越100個節點存儲，所有節點都可以并行操作。

然后客戶端從每個系統請求完整的100TB文件數據。

非條帶化并行文件系統由10個節點傳輸100TB數據，每個節點通過網絡管道傳輸其10TB文件。但條帶化并行文件系統通過管道并行傳輸100個100GB條帶，在一小部分時間內完成100TB文件數據的傳輸。

并行文件系統產品

GlusterFS、Quobyte和Qumulo在文件級并行性上運行。BeeGFS、DDN的Lustre、Spectrum Scale和DAOS是條帶化并行文件系統。WEKA和VAST Data也具有條帶化并行文件系統功能。

分析師Chris Evans告訴我們："在[pre-pNFS PowerScale/Isilon]以及當然還有NetApp傳統產品的背景下，單個節點的性能實際上就是系統的性能。Isilon和NetApp受益于傳輸可以分散到各個節點的許多小文件操作的傳統。它們在表示較少數量的大文件操作的工作負載方面一直有困難。"

"有趣的是，這就是對象存儲的優勢所在。如果你不需要文件的鎖定功能，對象存儲可以為你提供跨多個節點的大規模并行性能（如果實現正確），通常是因為數據廣泛分布在橫向擴展設計中。"在他看來："我認為pNFS的加入和新的并行架構是傳統供應商為了解決與對象存儲配合更好的新工作負載組合而采取的防御性策略。"

關于pNFS（并行NFS），它可以是使用FlexFile Layout的條帶化并行文件系統，也可以是不使用它的非條帶化系統。FlexFile Layout是一個關鍵，具有訪問文件條帶映射的前端客戶端軟件是另一個關鍵。

FlexFile布局類型

并行NFS（pNFS）在NFS v4.1中定義并在NFS v4.2中擴展。它將控制路徑（元數據）與數據路徑分離。FlexFiles布局啟用條帶級并行性。

Hammerspace pNFS技術簡報指出："要使用這種[pNFS]架構，需要訪問數據的兼容NFS客戶端首先聯系元數據服務器。元數據服務器提供布局，其中包括字節范圍和存儲位置信息。當客戶端持有布局時，它可以直接訪問相應的存儲位置。布局是一種抽象，使客戶端無需了解底層存儲的詳細信息。"

兼容的NFS客戶端是標準的v4.2客戶端。

實際上，元數據服務器（MDS）告訴客戶端："這里有一個布局，準確描述了這個文件的字節位置以及如何直接訪問它們。"然后客戶端直接向存儲節點讀寫數據，在數據流量方面繞過MDS。

pNFS標準中有四種官方布局類型，如RFC 8435中定義的，也是NFS v4.2規范的一部分。每種布局類型描述了將文件字節映射到存儲服務器的不同方式。

Project Lightning：極致并行性

戴爾的Project Lightning通過添加專為在AI工廠類型配置中同時為數千個GPU提供數據服務而優化的客戶端驅動器，進一步推進了PowerScale并行性。

正如戴爾發言人告訴我們的，Project Lightning的這一部分需要"一個專有的客戶端驅動程序，用于將整個文件系統表示為對客戶端'本地'。這需要在客戶端上消耗更多資源，以及對所述專有驅動程序的管理。好處意味著極致的直接到驅動器性能，以完全飽和網絡，即使是完全隨機的讀取。Lightning是一個全新的并行文件系統，具有針對性的應用程序，以滿足基礎設施團隊有能力優化完整堆棧的最高性能要求。"

戴爾選擇專有的客戶端驅動程序來"將整個文件系統表示為對客戶端'本地'"。這不是pNFS本身的嚴格要求（它可以使用開源的、符合NFS v4.2的Linux內核模塊），而是戴爾的故意架構選擇。

這是因為，對于在Nvidia DGX SuperPODs上訓練大型模型等AI工作負載，標準客戶端仍然有開銷。它必須解釋FlexFile布局，管理多個連接（例如通過nconnect進行多路徑），并遍歷協議層。這可能將每個客戶端的吞吐量限制在約400 Gbps，并增加隨機I/O的延遲。當你有數千個GPU時，這樣的開銷會累積。

據我們了解，戴爾即將推出的驅動程序將實現直接的客戶端到設備訪問，跳過客戶端和服務器端的傳統文件系統遍歷。它將整個分布式PowerScale集群（最多256個節點）呈現為統一的"本地"文件系統掛載點，類似于Lustre或GPFS客戶端將集群融合到單個虛擬命名空間的方式。這通過一個NFS掛載聚合來自所有集群節點的I/O，使用RDMA實現近線速效率，提供97%的網絡飽和度。

它將包括自定義的戴爾多路徑優化，基于Linux nconnect構建，以動態平衡負載，處理RDMA條帶化，并與OneFS特定功能（如分布式鎖定和后端并行性）集成。它需要作為內核模塊安裝，并需要管理來強制執行這些，消耗更多的客戶端CPU和內存用于布局緩存和故障轉移。

好處是一致的高速文件訪問，沒有中央元數據瓶頸，實現大規模I/O并發——在測試運行中每個客戶端在500到900 GB/s之間。這對戴爾基于以太網的AI工廠至關重要。

這將使戴爾能夠將PowerScale定位為AI的"世界上最快的并行文件系統"，避免全面類似Lustre客戶端的部署復雜性，同時縮小與WEKA或VAST等競爭對手的差距。

截至2025年11月，它正在為選定的客戶/合作伙伴（例如劍橋大學、WWT）進行私人預覽，預計在2025年末/2026年初在OneFS 9.5+上正式發布。

Q&A

Q1：并行文件系統中的條帶化和非條帶化有什么區別？

A：非條帶化并行文件系統將傳入的文件存儲在單個節點上，沒有條帶化，元數據負擔較輕，客戶端前端在文件級粒度上操作。條帶化并行文件系統將文件分割成碎片，存儲在不同的存儲節點上，需要維護節點-條帶存儲映射，元數據負擔更重，但能實現更高的并行性能。

Q2：戴爾Project Lightning項目的核心技術特點是什么？

A：Project Lightning使用專有的客戶端驅動程序，將整個分布式PowerScale集群（最多256個節點）呈現為統一的"本地"文件系統掛載點。它實現直接的客戶端到設備訪問，跳過傳統文件系統遍歷，使用RDMA實現97%的網絡飽和度，在測試中每個客戶端可達500-900 GB/s的吞吐量。

Q3：pNFS中的FlexFile Layout有什么作用？

A：FlexFile Layout是pNFS標準中的一種布局類型，它啟用條帶級并行性。元數據服務器向客戶端提供包含字節范圍和存儲位置信息的布局，客戶端可以根據布局直接訪問相應的存儲位置，從而實現數據流量繞過元數據服務器，提高并行訪問效率。