NVIDIA DGX Spark實現本地千億級參數模型推理

前幾天，我們在開箱NVIDIA DGX Spark的文章中給出了一個論斷，在如今大模型爆發的時代，每個人都應該擁有一臺屬于自己的AI超算。

從工程實踐角度出發，云端算力雖然強大，但其短板同樣明顯。

具體而言，首先是網絡問題。由于云端高度依賴網絡傳輸，在交互過程中，如果有網絡時延，最終將影響整體效率；接下來是數據問題，無論處理的是企業數據、個人隱私，還是尚未公開的業務素材，合規性和安全成本。緊接著是經濟賬，云端算力按時計費的模式或導致用戶不斷消耗資源，尤其是用戶高頻次使用模型時，難以保持穩定。

所以，對于NVIDIA DGX Spark這類桌面級超算而言，把算力與數據都留在身邊，讓開發與驗證在本地形成閉環，往往才是效率、合規與成本三者的更優解。

硬件提供了強大的算力基礎，而系統則賦予了這臺機器真正的靈魂。

NVIDIA為NVIDIA DGX Spark定制了DGX OS，一款基于Ubuntu深度優化的系統。桌面預裝的DGX Spark Resources類似工具箱，把NVIDIA面向不同場景的能力集中提供——從大模型推理到多模態訓練，從代碼生成到數據科學，都能通過對應的NIM微服務快速啟用，真正做到了開箱即用。

對用戶來說，直接的體驗就是少走配置路，軟硬一體的交付方式，可以讓用戶把注意力放在生產力上。

我們直接在DGX Spark Resources中選擇了Isaac Sim，并在本地部署運行了這款基于NVIDIA Omniverse的機器人仿真平臺，整體部署過程非常順滑，仿真交互與場景加載展現出了極高的流暢度。Isaac Sim對硬件的要求較高且特殊。不僅需要Tensor Core支撐AI相關推理，也需要RT Core支撐光線追蹤渲染；同時，物理仿真/解算也依賴其GPU計算能力（CUDA/PhysX路徑）。

NVIDIA DGX Spark的流暢表現，驗證了其高性能推理引擎的性能，更體現了系統層對“計算-圖形-物理”混合模態負載的深度優化。這一軟硬耦合的極致調教，也正是其實現真正“開箱即用”的堅實底座。

統一內存+片上協同 將“4路32B”本地推理拉入“穩態區間”

開箱即用解決的是部署門檻，能否在日常高頻任務中提供穩定、可預測的吞吐與延遲，還需要通過實測給出答案。

為了測試NVIDIA DGX Spark在更貼近日常的常規應用場景表現，我們首先選擇了當前開源社區活躍度極高的主流中等參數模型Qwen3-32B（320億參數）。

在本地單一模型推理測試中，NVIDIA DGX Spark整次推理任務的總耗時為約60.97秒。其中，模型加載時長約3秒，這意味著在常駐模型或長時間運行場景下，啟動的開銷對整體體驗影響極小。

在生成階段，NVIDIA DGX Spark生成520token，耗時約60.69秒，對應的實際生成速率為8.57tokens/s。這一數值意味著在本地部署的中等參數規模（32B）模型下，DGX Spark的推理性能已經進入“穩態區間”，不會因短時波動而出現明顯抖動。

從體驗層面來看，8.57token/s的推理速度恰好處在“人類閱讀與交互的舒適區”。無論是代碼補全，還是實時對話式交互，這一速度都完全可用，交互延遲不會構成明顯干擾。

在評估一臺桌面級AI超算的真實能力時，單路推理的測試并不足完全說明問題，更關鍵的是其在多任務并行條件下的表現。畢竟，在實際工作中，一臺本地超算往往同時承擔多項任務。

于是，在NVIDIA DGX Spark上，我們進行了4個Qwen3-32B模型的本地并發推理測試。結果顯示：模型平均加載時長約5.7秒；提示詞階段單路平均處理時長0.2775秒，對應約60.1tokens/s的平均處理速率；在生成階段，平均生成時長約62.6秒，生成速率平均穩定在7.5tokens/s。

數據上看，在4個Qwen3-32B模型持續生成文本的條件下，各項指標沒有出現明顯波動，整體推理過程節奏平穩，這也證明了NVIDIA DGX Spark在中等模型的本地并行推理場景中，能夠提供穩定、持續且高度可預測的性能輸出。

這一結果首先得益于其128GB LPDDR5x統一內存架構。在4并發場景中，32B參數規模模型的權重、上下文緩存與中間數據均可完整“常駐”于同一物理內存池，避免了多實例運行時常見的顯存切分和數據搬運問題。配合256-bit接口與273GB/s的內存帶寬，系統能夠在多路生成同時進行時，持續向GPU提供穩定的數據吞吐，這是保障生成速率的關鍵基礎。

另一方面，GB10 Grace Blackwell Superchip（后文簡稱“GB10”）的片上協同設計放大了并發優勢。20核的Grace CPU負責提示詞預處理、請求調度與系統協同，而Blackwell架構GPU則專注于大規模矩陣計算。兩者通過NVLink-C2C建立高帶寬、低時延互連，使多路請求在進入GPU推理階段時的數據交付成本顯著降低，從而避免“CPU–GPU”數據交付在并發條件下成為瓶頸，繼而讓提示詞響應能夠維持穩定而高效的處理節奏。

生成階段的穩定表現，也體現出第五代Tensor Core在并發推理中的多流、多批次計算中保持的高效算子執行密度。GPU能在同時處理多路推理負載時，算子執行與內存訪問保持良好平衡，使性能曲線呈現出平滑的線性分布。

原生推理加速 讓NVIDIA DGX Spark跑起千億參數模型

32B的模型并不是“終點”。在真實應用中，隨著模型逐步向更長上下文、更強推理能力演進，開發者同樣關心的，是一臺桌面級AI超算在更大參數規模下是否依然具備可用性與工程價值。

所以，我們加測了一個項目，將測試負載提升到了千億參數級別，利用120B（1200億）參數的Gpt-oss進一步檢驗DGX Spark在大模型本地化推理場景中的能力邊界。

從整體測試結果上看，模型加載時長為12秒，即便面對千億級以上參數規模，啟動開銷依舊維持在極低水平，這使得大模型以常駐方式運行成為現實可行的選擇。提示詞輸入74token，處理耗時32.06毫秒，這一階段幾乎不構成可感知的延遲。

真正拉開差距的，是生成階段。本次測試共生成165token，耗時約4.66秒，對應的實際生成速率達到35.41tokens/s。對于一款在本地運行的120B級模型而言，這已經不只是“可用”，而是足以支撐連續對話、復雜推理乃至交互式應用的實時響應。

整體來看，測試的結果不僅意味著DGX Spark能“裝下”千億級的模型，更能夠在實際推理過程中提供高頻、低延遲的輸出能力。如果放在傳統工作站上，這樣的效果幾乎難以實現。

傳統工作站往往依賴系統內存進行“顯存交換”，模型參數部分駐留在GPU顯存，另一部分滯留在CPU內存中，推理過程中通過PCIe總線不斷搬運數據。這種模式下，加載時間與推理延遲都會被顯著放大。

而DGX Spark得益于其128GB的統一內存，可以將整個模型一次性完整加載進同一可尋址的內存空間，不需要任何形式的顯存交換。這一點在兩個關鍵指標上被明顯放大——加載時間和推理速度。

值得注意的是，在不同參數規模的測試中，出現了頗具“反直覺”意味的現象。120B參數gpt-oss的推理速度為35tokens/s，顯著快于32B參數Qwen3的8.57tokens/s。

一般而言，模型參數規模越大，推理速度理應越慢。但這一結果，恰恰體現出Blackwell架構與GB10芯片的優勢所在。

一方面，是對FP4（4-bit Floating Point）的原生支持與加速gpt-oss-120b使用MXFP4量化（主要針對MoE權重），而Blackwell架構的Tensor Core原生支持FP4數據格式的計算指令與執行路徑，使該精度推理在硬件層面可獲得更高的執行吞吐，從而帶來顯著的推理加速效果。

另一方面，是MoE（混合專家）架構帶來的潛在加成。在單次推理過程中，真正被激活并參與計算的參數量，事實上低于理論參數。當FP4精度下的高吞吐計算路徑與MoE的“按需激活”機制疊加時，參數規模與實際計算負載之間的解耦則被進一步放大。

這一原因，或許也預示著，硬件的迭代升級，需要與模型和推理范式同步演進，才能真正轉化為可感知的性能躍遷。

而事實上，DGX Spark的意義之一，也正在于此。其實質性地打破了兩個長期存在的經驗桎梏。——一是“千億參數模型必須上云”；二是“本地運行大規模參數模型須依賴多卡集群”。

跨越“基礎生圖”到“8K負載” NVIDIA DGX Spark“零降頻”

當AI創作走向真實的生產應用場景，核心問題就已經不再是模型能否跑起來，而是不同模態的模型，能否被連續、穩定地串聯進同一條“生產管線”。

文本、圖像、視頻、3D，跨越每個模態，算力形態、顯存占用與帶寬壓力都會發生質變。所以，我們在NVIDIA DGX Spark上搭建并運行完整的多模態創作藍圖（BluePrint）——以FLUX.1為起點完成文本到1080p圖像生成，經由超分模型將分辨率暴力拉升至8K，隨后接入阿里通義Wan 2.1實現圖生視頻，再利用騰訊混元3D模型完成二維到三維的維度升級，最終落地Blender進行工業級精修。

從FLUX文生圖開始，我們選擇在ComfyUI中直接加載標準的FLUX工作流，通過模型加載、提示詞輸入、分辨率設定、采樣器選擇、解碼與輸出的步驟，完整復現普通創作者最常見的生圖路徑。

運行工作流，生成在1080P分辨率圖片時，從設備內存占用看，NVIDIA DGX Spark的顯存占用大約維持在一半左右，負載曲線平穩，沒有明顯的峰值抖動。單張圖片生成時間為1分27秒。在FLUX當前的模型體量和計算復雜度下，這已經是相當“順滑”的體驗，更重要的是，全程沒有出現任何需要人為干預的異常狀態。

真正的考驗來自8K分辨率。

8K（7680×4320）并不是簡單的分辨率翻倍，其像素規模會直接躍升至4K分辨率的四倍，對顯存能力、帶寬，以及硬件能力提出了同步、全面的壓力。

在不改變工作流結構的前提下，直接切換至8K超分工作流后，NVIDIA DGX Spark在1分30秒就完成了8K圖像的生成。在放大查看細節時可以清晰看到，無論是人物皮膚紋理，還是復雜材質的層次過渡，都沒有出現糊邊、斷層或噪點堆積。

從架構層面回看，NVIDIA DGX Spark在8K生圖上取得優質表現的原因，在于其大容量、高帶寬的LPDDR5X統一內存，使得Diffusion在超大分辨率下產生的中間特征圖得以完整駐留。

同時，其GB10芯片的Blackwell架構針對Diffusion與Transformer路徑有深度優化的Transformer Engine，通過混合精度與算子級調度優化，使Attention在超大分辨率場景下的實際性能曲線顯著趨于平滑，避免了傳統架構中隨分辨率提升而出現的非線性性能坍塌。

時空“雙重奏” NVIDIA DGX Spark讓視頻不崩、3D不破

完成圖片生成后，下一步就是讓畫面動起來。

在這一階段，利用阿里通義萬相Wan2.2圖生視頻模型，直接將前一階段生成的8K靜態圖作為輸入，驗證其在高信息密度素材下的時序生成穩定性。整體工作流依然保持常規配置，并將輸出分辨率設定為1280×720，以模擬現實創作中較為常見的視頻生成需求。

與靜態圖像不同，這一階段的計算模式已經從單幀擴散，轉變為多幀時序Transformer與Diffusion疊加的混合負載。在實測過程中可以看到，NVIDIA DGX Spark的顯存占用始終維持在高度可控的區間內，沒有出現視頻生成模型中常見的“前期平穩、后期突刺”的負載特征。最終完整生成耗時8分40秒。

從結果來看，生成視頻的動作銜接自然，鏡頭運動連續平滑，沒有明顯的幀間結構性失真。這種穩定性，取決于NVIDIA DGX Spark在長時間連續推理過程中的帶寬一致性與算子調度能力。

從架構視角看，由于Wan2.2作為引入了復雜時空注意力機制（Spatio-Temporal Attention）的混合負載，本質上是對顯存熱穩定性與持續帶寬輸出能力要求較高。在接近9分鐘的持續高負載運行中，始終保持“零降頻”的狀態，同時顯存占用曲線平滑。這也意味著NVIDIA DGX Spark在處理長序列KV Cache時具備充足的熱設計功耗（TDP）冗余度。

這一結果也進一步印證，NVIDIA DGX Spark能夠成功將算力轉化為生產環境下可持續輸出的有效算力，從而避免因硬件熱節流（Thermal Throttling）導致的幀間時序一致性崩塌——這正是多模態任務中容易被忽視但卻“致命”的穩定性底線。

如果說圖生視頻是負載升級，那2D圖像3D化則是維度躍遷。

這一階段，利用NVIDIA DGX Spark運行騰訊混元3D 2.1模型，直接將已有圖片3D化。實測結果顯示，NVIDIA DGX Spark用時53秒完成完整的圖片3D化生成流程。

對生成的3D化模型進行預覽時，從結構完整性來看，3D模型沒有出現大面積破面或明顯的比例失衡，整體幾何關系保持穩定。

從推理特性上看，這類圖像3D化呈現出不同的負載形態。計算密度較高，但持續時間相對較短，這對GPU的瞬時吞吐能力、內存訪問效率，以及算子調度響應速度都非常敏感。

從工程角度看，3D建模本質上是圍繞瞬時算力釋放能力與內存系統協同效率展開的“閃電戰”。模型需要在多視角Diffusion推理與稀疏幾何重建（Sparse Geometry Reconstruction）等不同計算階段之間頻繁切換。而NVIDIA DGX Spark能在53秒內完成該過程，則在于其本身高帶寬內存支持下，對算子調度、緩存命中與計算并行性的整體優化，有效降低了階段切換帶來的隱性開銷。

這種“干脆”的體驗，意味著NVIDIA DGX Spark不僅擅長承載長序列、高吞吐的持續負載，在面對計算密度極高、對調度與內存系統高度敏感的“脈沖式推理任務”時，其執行效率同樣能夠保持在高度可預測的工業級水準。

在本地推理測試中，NVIDIADGX Spark的128GB統一內存與Blackwell架構FP4加速的“組合技”之下，讓開發者可以在桌面尺度上，以35tokens/s的速度流暢運行千億級別的開源模型。這種體驗，曾經只存在于數據中心環境。

這背后，或許也是NVIDIA在Post-Training時代將數據中心級推理能力，系統性地延伸到個人計算平臺之上的深刻布局。

從多模態創作藍圖（BluePrint）結果上看，NVIDIA DGX Spark的核心優勢，在于多分級的BluePrint能夠在一臺桌面級設備上穩定運行。其GB10的Blackwell架構針對Diffusion與Transformer的硬件級加速，也使顯存容量、算力密度與調度效率達成了良好平衡。這對于AI藝術家、游戲開發者、視頻創作者、3D設計師等從業者而言，意味著他們可以在不同模態間頻繁切換，無需分心管理算力。

NVIDIA DGX Spark的發售也預示著“云端算力本地化”的最后一塊拼圖基本落定。通過高能效比與統一內存體系，有效打破了以往傳統工作站顯存碎片化導致的“算力孤島”，將分散在集群中的異構計算負載無縫折疊到一臺桌面設備中，實現了全鏈路推理對云端I/O延遲的獨立性。這一優勢，也為創作者帶來了真正的“計算主權”。

從生產力視角審視，NVIDIA DGX Spark的推出，也意味著AI生產力從“租賃制”向“內生化”遷移的拐點。

一方面，其徹底消弭了云端不可避免的網絡抖動與TTFT（首字延遲），讓交互進入了真正的“零感”時代。NVIDIA DGX Spark毫秒級的響應，決定了AI還能是與用戶思維同頻、甚至預判意圖的實時Copilot。

更關鍵的變革在于“Agent經濟學”的邏輯重構。?Agentic AI的演進之下，由無數Agent組成的自主循環（Loop），需要在智能系統內部進行“推理-反思-搜索-修正”的上百次迭代。在云端上，這是價格昂貴的Token；而在DGX Spark上，這是固定成本下的強大算力。128GB的統一內存為超長Context Window（上下文窗口）和龐大的本地知識庫（RAG）提供了物理載體，讓開發者可以零邊際成本地跑通復雜的思維鏈（CoT），在本地建立起自動化的生產閉環。

另外，真正的專業壁壘往往隱藏在私密數據中，云端模型永遠通用，而個人超算允許用戶在本地利用LoRA等技術對千億級參數模型進行深度微調。用戶可以讓模型完全適應自有的代碼規范、畫風、文法，打造真正懂人、且完全忠誠于個人的電子替身。

或許，NVIDIA DGX Spark的推出，也是一種新的生產資料形態的轉化，其讓個人用戶首次在本地掌握接近數據中心級別的AI能力，能把“想法”穩定、高效地轉化為“可交付成果”。

而在這個能夠本地掌握AI生產力的拐點之上，每個人，都應該擁有一臺屬于自己的AI超算。