全球最小的AI超級計算機：本地 大模型推理，秒殺Mac Mini

NVIDIA 首席執行官黃仁勛親手交付全球最小 AI 超級計算機 DGX Spark——一個可置于辦公桌上、性能達千萬億次計算的機箱

大家好，我是章北海

Nvidia 又出新了——全球最小 AI 超級計算機 NVIDIA DGX Spark

DGX Spark 配備 128GB 統一內存，可以在本地運行 2000 億參數規模的大模型，微調 700 億參數級別的大模型，它還支持開發者在本地創建 AI 智能體并運行先進軟件棧。

開箱即用

硬件方面： NVIDIA GB10 Grace Blackwell 超級芯片、NVIDIA ConnectX-7 200 Gb/s 網絡及 NVIDIA NVLink?-C2C 技術加速實現，其 CPU-GPU 一致性內存達 128GB，帶寬是第五代 PCIe 的 5 倍。

在 GPU 方面，GB10 可提供高達1 PFLOP 的稀疏 FP4 張量性能，其 AI 能力大致介于 RTX 5070 和 5070 Ti 之間。最突出的特點是其128 GB 一致性統一系統內存，可在 CPU 和 GPU 之間無縫共享。這種統一架構使 DGX Spark 能夠直接加載和運行大型模型，無需承擔系統內存與顯存之間數據傳輸的開銷。借助其雙 QSFP 以太網端口（總帶寬 200 Gb/s），可將兩臺 DGX Spark 設備連接組成小型集群，實現更大模型的分布式推理。據 NVIDIA 稱，兩臺互聯的 DGX Spark 可處理參數規模高達4050 億的 FP4 模型。

DGX Spark 提供了令人印象深刻的連接選項：一個電源按鈕、四個 USB-C 端口（最左側支持高達 **240 瓦功率輸出** ）、一個 HDMI 端口、一個 **10 千兆以太網 RJ-45 接口** ，以及**兩個由 NVIDIA ConnectX-7 網卡驅動的 QSFP 端口，最高支持 200 Gbps 速率** 。這些接口允許將兩臺 DGX Spark 設備互連，從而能夠運行更大型的 AI 模型。

軟件方面： DGX Spark 集成了完整的 NVIDIA AI 平臺——包括 GPU、CPU、網絡、CUDA 庫及 NVIDIA AI 軟件棧，開發者能夠調用 NVIDIA AI 生態系統工具，包括各類模型、函數庫及 NVIDIA NIM?微服務，實現本地化工作流——例如定制 Black Forest Labs 的 FLUX.1 模型以優化圖像生成，運用 NVIDIA Cosmos? Reason 視覺語言模型創建視覺搜索與摘要代理，或是基于 Qwen3 構建專為 DGX Spark 優化的 AI 聊天機器人。

全金屬機身配以優雅的香檳金涂層 測評

lmsys 做了測試，結果雖然 DGX Spark 確實能夠加載并運行超大規模模型（如GPT-OSS 120B和Llama 3.1 70B），但這些工作負載更適合用于原型設計和實驗驗證而非生產環境。DGX Spark 的真正優勢在于服務小型模型，特別是在采用批處理技術最大化吞吐量時表現尤為出色。

具體來說在Ollama中運行GPT-OSS 20B（MXFP4）時，Spark 實現了2,053 tps 預填充/49.7 tps 解碼，是RTX Pro 6000 Blackwell是它的 5 倍** ，GeForce RTX 5090是它的 4 倍。這證實了 Spark 統一的 LPDDR5x 內存帶寬是主要限制因素。在

但是 Spark 爆揍 Mac Mini M4 Pro 還是沒問題的，比如 gpt-oss-20b 和 deepseek-r1-14b 上，Spark 預填充速度都秒殺 Mac Mini

Device

Model Name

Model Size

Quantization

Batch Size

Prefill (tps)

Decode (tps)

NVIDIA DGX Spark

gpt-oss

20b

mxfp4

1

2,053.98

Mac Mini M4 Pro

gpt-oss

20b

mxfp4

1

NVIDIA DGX Spark

deepseek-r1

14b

q4_K_M

1

2,500.24

Mac Mini M4 Pro

deepseek-r1

14b

q4_K_M

1

結論

這種統一內存架構使 DGX Spark 在原型開發、模型實驗和邊緣 AI 研究場景中極具價值——這些場景中流暢的內存訪問往往比原始算力更重要。

簡而言之，DGX Spark并非設計為與完整規格的 Blackwell 或 Ada-Lovelace GPU 正面對抗，而是將 DGX 體驗濃縮至緊湊且開發者友好的形態中。

它是以下場景的理想平臺：

• 模型原型設計與實驗

• 輕量級設備端推理

• 關于內存一致性 GPU 架構的研究這是一臺設計精良、堪稱完美的迷你超級計算機，它以犧牲部分原始性能為代價，換取了更高的易用性、能效和優雅設計，在這些方面確實表現出色。

參考： https://blogs.nvidia.com/blog/live-dgx-spark-delivery/ https://nvidianews.nvidia.com/news/nvidia-dgx-spark-arrives-for-worlds-ai-developers https://lmsys.org/blog/2025-10-13-nvidia-dgx-spark/