英偉達GPU 產品線深度解析

英偉達現在是全球市值最高的芯片企業，其產品在消費電子、數據中心、AI等領域應用很廣。其主要產品線如下：

產品線

代表系列

典型型號

核心目標

顯存范圍

接口/互聯

應用場景

消費級 GeForce

RTX 40 系列 (Ada)

RTX 4090

游戲/個人AI推理

12-24GB

PCIe 4.0 / 5.0

游戲、個人AI訓練

專業工作站 RTX

RTX 6000 Ada

RTX 6000 Ada

圖形工作站/設計

48GB

PCIe 4.0 / NVLink

CAD、渲染、設計

數據中心 H 系列

H100 (Hopper)

H100 SXM5/PCIe

AI 訓練、推理

80GB/96GB

NVLink 4 / NVSwitch

大模型訓練、推理

推理 L 系列

L40S / L20

L40S

AI 推理、視頻處理

48GB

PCIe 4.0

推理、云游戲

Grace Hopper GH

GH200

GH200

AI 超算、訓練與推理

96GB+480GB LPDDR5X

NVLink-C2C

超大模型訓練、推理

Blackwell B 系列

B100 / B200 (2025)

B200

AI 訓練、生成式AI

192GB

NVLink 5 / NVSwitch

萬億參數模型

特殊邊緣 Jetson

Jetson Orin

AGX Orin

邊緣AI/機器人

8-64GB

PCIe 4.0 / NVLink-lite

機器人、自動駕駛

核心趨勢： Hopper → Blackwell：訓練/推理算力翻倍，FP8 計算與 NVLink 5 升級 Grace Hopper 超芯片集成 CPU+GPU，減少 PCIe 通信瓶頸 數據中心以 SXM + NVLink + NVSwitch 為主流，PCIe 僅適用于邊緣或低密度場景 推理加速進入低精度 FP8/INT8 時代，TensorRT-LLM 成為標準工具鏈

NVIDIA 將 GPU 產品線分為三大主線，對應不同的計算需求：

                +--------------------+                 |   數據中心/超算 GPU |                 | (H100/B200/GH200)  |                 +--------------------+                       ↑                       │ NVLink/NVSwitch                       │ +--------------------+↓+--------------------+ | 專業工作站 GPU       |      消費級 GPU      | | (RTX 6000 Ada)     | (RTX 4090 / 4080)   | +--------------------+---------------------+                       ↑                       │ PCIe                       │                  +--------------------+                  | 邊緣/嵌入式 Jetson |                  +--------------------+

• 定位：游戲玩家、AI愛好者、個人推理或小規模模型訓練

• 架構：Ada Lovelace（RTX 40 系列）

• 特點：

• • 高 FP32/TF32 性能，但缺少 NVLink，受 PCIe 帶寬限制

  • 顯存容量有限（最大 24GB）

  • 無 ECC 保障，無法滿足企業級穩定性需求

• 應用：

• • 個人訓練/推理

  • 游戲 & 3D 渲染

  • 小型工作站

注意：單卡 RTX 4090 在 FP16 算力上接近 A100 40GB，但缺乏多卡互聯與企業特性。

• 定位：圖形渲染、工業設計、媒體生產

• 架構：Ada Lovelace

• 特點：

• • NVLink 支持，可雙卡互聯

  • 48GB GDDR6 ECC 顯存

  • 面向渲染和 CAD 優化的驅動（Quadro 驅動）

• 典型場景：

• • 影視渲染（Unreal、Maya）

  • 設計工作站（CAD、CAE）

  • 中型 AI 模型訓練（LoRA/小型 LLM）

• 主要用于大模型訓練與推理

• 顯存：80GB 或 96GB HBM3

• 互聯：NVLink 4（900GB/s GPU-GPU 直連）

• 關鍵特性：

• • FP8 計算 → 訓練吞吐相比 A100 提升 3-4 倍

  • Transformer Engine → 針對 LLM 優化

  • MIG（多實例 GPU） → 多租戶隔離

參數

A100 80GB

H100 80GB SXM

FP32

19.5 TFLOPS

60 TFLOPS

FP16

156 TFLOPS

1000 TFLOPS

NVLink BW

600GB/s

900GB/s

(2) Blackwell - B200 (2025)

• 下一代旗艦，面向萬億參數 LLM

• 顯存：192GB HBM3e

• 互聯：NVLink 5（1.8TB/s）

• 算力：FP8 性能比 H100 提升 2.5 倍

• 推理效率：TensorRT-LLM 集成優化，降低推理延遲 40%

B200 集群可構建 1e12 參數模型的單集群訓練，不需跨集群通信

• CPU + GPU 單封裝，C2C 互聯 900GB/s

• 目標：消除 PCIe CPU-GPU 瓶頸

• 適合場景：

• • 推理密集型業務（KV Cache 駐留 CPU 側內存）

  • 需要大容量主存（最高 480GB LPDDR5X）

• 定位：推理、視頻轉碼、AI 渲染

• 特點：

• • 面向云廠商的大規模推理集群

  • 高性價比，功耗相對較低（350W）

• 典型場景：

• • 多模態推理

  • AI 視頻生成

  • 云游戲

• 定位：嵌入式 AI / 機器人

• 代表產品：Jetson AGX Orin

• 特點：

• • 集成 GPU + ARM CPU

  • 低功耗（30W-60W）

• 應用場景：

• • 自動駕駛

  • 工業機器人

  • 邊緣 AI 網關

[CPU] -- PCIe4/5 -- [GPU RTX4090]                     [GPU RTX4090]

• 用于個人開發、LoRA 訓練或推理實驗

[CPU] -- PCIe -- [GPU SXM]--NVLink--[GPU SXM]                   |        NVSwitch                   +--NVLink--[GPU SXM]

• H100 DGX 節點：8x H100 通過 NVSwitch 互聯

• 優勢：GPU 之間通信延遲低，支持大規模分布式訓練

DGX Node -- IB Switch -- DGX Node -- IB Switch

• 使用 InfiniBand HDR/NDR 構建集群

• NCCL 通信庫支持 AllReduce/AllGather 等操作

• 常見拓撲：

• • Fat Tree

  • Dragonfly+

  • Hybrid IB+Ethernet

型號

FP8 性能

顯存

功耗

單卡價格

適合場景

RTX 4090

660 TFLOPS

24GB

450W

$1,800

個人訓練/推理

RTX 6000 Ada

660 TFLOPS

48GB

300W

$7,000

工作站

H100 SXM

1000 TFLOPS

80GB

700W

$30,000

大模型訓練

B200 SXM

2500 TFLOPS

192GB

800W

$40,000+

萬億模型訓練

L40S

733 TFLOPS

48GB

350W

$8,000

推理

關鍵經濟性考量 云租 vs 自建：當 GPU 集群利用率 > 65%，自建 TCO 優勢明顯 電費敏感性：PUE 每升高 0.1，年電費增加 8-12% 訓練 vs 推理：推理偏向低精度，訓練偏向高帶寬顯存

1. 基線測試

   • 基準模型：LLaMA-2-70B / GPT-3.5

   • 指標：tokens/sec、功耗、顯存利用率

   • 工具：NVIDIA Nsight、DCGM、Prometheus

2. 容量規劃

   • KV Cache 按序列長度計算

   • 混合精度（FP8/BF16）降低顯存占用 50%

3. 監控

   • GPU 溫度、ECC 錯誤

   • IB 網絡丟包率

4. 擴容策略

   • 從 8 卡到 32 卡，再到 256 卡

   • IB 拓撲提前預留

風險

描述

緩解措施

供給不足

H100/B200 全球短缺

提前鎖定供應鏈，考慮 L40S 替代

功耗超標

機房 PUE 高，散熱不足

液冷部署，GPU 節能模式

軟件兼容

CUDA/TensorRT 版本不匹配

版本管理，CI 測試

網絡瓶頸

IB 帶寬不足

分層拓撲，RDMA 優化

成本超支

ROI 低于預期

云租/自建混合策略

六、行動清單

時間節點

任務

負責人

T+0

確認模型規模與序列長度

產品經理

T+7

完成 GPU 型號選型與預算

架構師

T+14

POC 測試，基線驗證

算法/工程團隊

T+30

采購下單，部署 DGX 節點

運維

T+60

集群上線，完成初始訓練

全體

結論

• 訓練：H100 仍是 2024 年主力，B200 適合萬億參數大模型

• 推理：L40S 是高性價比之選，Grace Hopper 適合低延遲 KV Cache 推理

• 個人研發：RTX 4090 + PCIe 即可滿足小型 LoRA 訓練

• 數據中心：NVSwitch + InfiniBand 是標配，需關注散熱與電力

• 商業建議：若利用率 < 50%，優先租云 GPU；>65% 則自建集群降低 TCO。

歡迎加入老虎說芯，來信請注明行業、崗位。