英偉達的Blackwell 架構相比 Hopper 的性能/能效提升有多少？

摘要（結論要點）

• 系統級增益（官方對比）：DGX B200（8×Blackwell）相對 DGX H100（8×Hopper）給出訓練≈3×、推理≈15×的性能倍數；對比條件為同類 8 GPU 節點級/集群級參考配置。

• 能效直覺：在“同工作量（同 tokens/樣本、同延遲目標）”下，時間壓縮 3×/15× 即便節點功率更高（DGX B200 最高約14.3 kW），單位工作量能耗（J/token 或 Wh/百萬 token）仍顯著下降，推理側最明顯。

• 關鍵硬件杠桿：更高代際互聯（NVLink Gen5 + NVSwitch 域）、總顯存約 1.4 TB/節點（→更大并發與更長上下文、減少重算/通信）、更高有效算力密度。

• 關鍵軟件杠桿：TensorRT-LLM 的算子融合、Paged-KV、推測解碼（Eagle-3 等）與低精度路徑（FP8/NVFP4）；官方示例在 8×Blackwell 上把 DeepSeek-R1 低延遲 TPS 從67 → 368（≈5.5×）。

• 進一步證據：Blackwell 機架/整機方案在公開基準與展示中持續刷新推理吞吐記錄（>1,000 TPS/用戶）與新一代 NVL 機架的增益（對上代 Blackwell/GB200 亦有顯著提升），顯示“硬件 + 軟件并進”的復合紅利。

算術強度與帶寬占比：大模型訓練/推理多數落在Memory/Comm 受限區間。Blackwell 的三件套同時發力——

1. 顯存與容量：DGX B200 節點總 HBM 提升至約 1.4 TB，可用更大 batch / 更長上下文，降低激活重算和跨卡/跨節點搬運的頻次與體量。

2. 互聯與拓撲：NVLink Gen5 + 新 NVSwitch降低 AllReduce/AllGather/ReduceScatter 與 MoE All-to-All 的通信占比，提升 8-way 機內與更大域擴展效率。

3. 低精度與編解碼路徑：在 Hopper 已經普及FP8的基礎上，Blackwell引入NVFP4，進一步壓縮權重/激活與KV-Cache的帶寬/容量壓力；配合 TensorRT-LLM 的Paged-KV、推測解碼等內核優化，顯著提升單位瓦特的有效吞吐。

小抄（可復算） KV 顯存：KV_RAM ≈ Batch × Seq_len × Layers × Heads × Head_dim × bytes × 2。降低 bytes（FP8/NVFP4）或提升總顯存都有直接收益。 單位工作量能耗：E/token ≈ Power_node × Latency_per_token / TPS_node；當 TPS 提升 15× 且延遲（TTL/FTL）不惡化，E/token 近似隨之下降一個數量級。

• 節點級：以DGX H100（8×H100, NVLink Gen4, 總顯存 640 GB）對比DGX B200（8×Blackwell, NVLink Gen5, 總顯存≈1.4 TB），保持同400 Gb/s IB/Ethernet外網，考察“機內互聯代際 + 顯存規?！睅淼南到y級差異。

• 集群級：參考 DGX B200 官方性能頁的 4,096 節點對比設定（同 400G 網絡）；擴展性差異反映到通信占比與有效 MFU曲線。

• 軟件棧：推理采用TensorRT-LLM + Paged-KV + Speculative（Eagle-3/Medusa 類）；訓練采用FP8 混精與通信-感知的并行（TP/PP/DP/MoE-EP）。DeepSeek-R1 案例可作為“低延遲場景”基線。

維度

DGX H100（8×H100）

DGX B200（8×Blackwell）

提升與含義

訓練性能（系統級）

1×（基線）

≈3×

相同作業完工時間約1/3，訓練能耗顯著下降。

推理性能（系統級）

1×（基線）

≈15×

相同 QoS 下E/token近似下降到~1/10 級。

總顯存（節點）

≈640 GB

≈1,440 GB

支撐長上下文/大并發，降低重算與跨卡搬運。

機內互聯

NVLinkGen4

NVLinkGen5+ 新 NVSwitch

降低 AllReduce/AllGather 占比，提升擴展性。

功率上限（節點）

~14.3 kW

（Max）

用于 TCO 上限估算與配電/散熱校核。

實證補充

• 低延遲推理樣例：8×Blackwell 上 DeepSeek-R1 由67 TPS → 368 TPS（5.5×），對應低延遲隊列下的顯著能效增益。

• 公開記錄/展示：單節點 B200 推理>1,000 TPS/用戶的展示與NVL72（GB300 Ultra）代際增益新聞，進一步說明 Blackwell 生態的“硬件 + 內核”疊加效應（雖與 H100 不是一一對比，但體現代際趨勢）。

1. 定義統一 QoS：固定FTL/TTL、上下文長度（如 8K/32K/128K）與延遲 SLO，以免把吞吐提升誤當“能效提升”。

2. 兩套基線：

• 訓練：選 70B/405B 等主力模型，FP8 混精，記錄MFU/吞吐（samples/s）/能耗（Wh/epoch）。

• 推理：TensorRT-LLM，打開Paged-KV + Speculative，記錄TPS、P99 延遲、E/token。

分解歸因：逐一開關NVFP4、Paged-KV、Speculative與并行拓撲/親和映射，做增量 A/B量化“硬件 vs 軟件”的貢獻（利于寫研報結論）。

敏感性：對序列長度、批量、并發做三維表；能效對“并發×序列”的彈性通常遠大于對“裸峰值算力”的彈性。

TCO/ROI：用TCO = CapEx/折舊 + 電費(功率×電價×時長/PUE) + 運維，在利用率 ±20%與電價 ±20%下滾動情景，報告“盈虧平衡利用率”。

e) 風險與權衡（寫研報時需提示）

• 官方倍數的“條件性”：3×/15× 來自指定配置/QoS 的系統級對比；你的實測會隨模型、序列、并發、精度與軟件版本發生顯著漂移。

• 節點功率與機房配套：DGX B200 最高~14.3 kW；需核對機柜密度、散熱與配電（影響可交付性與 PUE）。

• 軟件成熟度：NVFP4與新內核在不同模型上的精度穩定性與可復現性，需要離線精度回歸與線上 A/B 驗證。

• 對比口徑：市場上常把“NVL72/GB300”與“GB200/H100”混比；請區分同代/異代、節點/機架口徑，避免結論外推失真。

歡迎加入科技之光，一起學習進步