不上云、不租卡，如何優雅地在本地微調Qwen-VL-30B？

編輯｜Panda

假如你是一個致力于將 AI 引入傳統行業的工程團隊。現在，你有一個問題：訓練一個能看懂復雜機械圖紙、設備維護手冊或金融研報圖表的多模態助手。這個助手不僅要能專業陪聊，更要能精準地識別圖紙上的零件標注，或者從密密麻麻的財報截圖中提取關鍵數據。

首先，你需要選擇一個合適的模型。

7B 參數的小模型雖然跑得快，但「腦容量」太小，面對復雜的圖文邏輯經常一本正經地胡說八道；而 70B 甚至更大的模型雖然聰明，但部署和推理成本直接勸退了客戶。最后，你可能發現 30B 參數級的開源多模態模型（例如 Qwen-VL-30B）是個不錯的選擇。

30B 被稱為大模型的黃金尺寸：它在理解能力上遠超小模型，又比巨型模型輕量，是企業私有化部署的完美平衡點。

不過呢，你可能也會發現，「30B 參數」也是一個極具欺騙性的數字。

在純文本時代，一張前沿的消費級顯卡或許還能勉強塞下 30B 的推理。但在多模態（Vision-Language）場景下，事情完全變了。當模型需要處理高分辨率圖像時，視覺編碼器會產生大量的視覺 Token；而為了讓模型真正懂行業 Know-how，必須用數千張有標注圖像進行 LoRA 微調。

這就意味著，除了模型本身的權重，我們還需要在顯存里塞進梯度、優化器狀態以及訓練過程中的激活值。

原本以為只是「稍微大一點」的任務，瞬間撞上了物理學的墻。

這些方案不太行

如果你的開發環境是頂級消費級旗艦，擁有 24 GB 的超大顯存，但在這次的任務面前，它顯得如此無力。

當你嘗試啟動微調腳本時，終端里那行熟悉的紅色報錯如期而至：

RuntimeError: CUDA out of memory.

對于 30B 多模態模型的微調來說，24 GB 的顯存就是不夠。為了讓程序跑起來，你可能會選擇犧牲性能，比如：

• Batch Size 降到 1： 哪怕訓練速度慢到像蝸牛爬。
• 開啟梯度檢查點： 這是一個典型的「時間換空間」策略，通過不緩存中間激活值而是在反向傳播時重算，來節省顯存。但這讓訓練時間直接翻倍。
• 極限量化： 將模型量化到 4-bit 甚至更低。但這也會帶來新的問題：對于精密圖紙的識別，量化后的模型精度下降明顯，連零件號都經常認錯。

即使做了所有這些妥協，只要稍微喂進去一張分辨率高一點的圖表，顯存還是瞬間溢出，程序直接崩潰。那種「只差一點點就能跑通」的挫敗感，最是折磨人。

「要不試試隔壁美術組那臺 Mac Studio？」你可能會這樣想。那臺機器擁有 128 GB 統一內存（Unified Memory）。從硬件上看，這簡直是完美的救星 —— 別說 30B，就是 70B 也能塞得下。

但當你興沖沖地把代碼拷過去，才發現這是另一個深坑。

首先是環境配置的噩夢。開源社區的主流多模態模型（尤其是涉及底層 CUDA 優化的視覺算子）在蘋果芯片上的適配往往慢半拍。你可能會花不少時間解決各種編譯報錯，好不容易跑通了推理，卻發現訓練速度受限于優化，效率遠不及預期。

更致命的是「生態隔離」。在 Mac 上微調出的模型檢查點，想要部署回公司的 Linux 服務器（基于 NVIDIA GPU）上，需要進行繁瑣的格式轉換和精度對齊。這種開發環境與生產環境的割裂，對于追求快速迭代的工程團隊來說，是不可接受的風險。

那么，你到底需要什么？

難道為了跑通這個 30B 模型，你真的要走漫長的合規流程去申請昂貴的 A100 云實例，時刻防范私密數據出域的風險？又或者，僅僅為了這一個開發項目，就專門配置一個高成本的工作站，甚至去采購一臺必須安置在專業機房、且維護成本高昂的機架式服務器？

你需要這樣一臺機器：它要有 Mac Studio 那樣海量的統一內存，讓你不再為顯存精打細算；它同時又必須流淌著純正的 NVIDIA 血液，擁有原生的 CUDA 生態，讓代碼無縫遷移。

這個「既要又要」的幻想，直到一臺 1 升體積的小盒子的出現，才變成了現實。

桌面上的一升解決方案

這個盒子就是聯想 ThinkStation PGX

如果你關注過英偉達之前的動作，可能會覺得眼熟。沒錯，聯想 ThinkStation PGX 在核心配置上與 NVIDIA DGX Spark 完全一致。

準確地說，ThinkStation PGX 正是英偉達 DGX Spark 的 OEM 量產版本。英偉達已將這一參考設計授權給了聯想等廠商，由它們負責具體的工程化制造與差異化定制。

這臺機器最直觀的沖擊力來自于它的尺寸：僅有 1 升（1L）。它小到可以輕松塞進通勤背包，放在辦公桌的一角幾乎沒有存在感。但就在這方寸之間，聯想塞進了一顆基于 NVIDIA Grace Blackwell 架構的 GB10 超級芯片。

而對于被顯存折磨得死去活來的開發者來說，它最性感參數是：128 GB 統一內存（Unified Memory）

這不僅僅是數字的勝利，更是架構的勝利。ThinkStation PGX 的統一內存架構允許 CPU 和 GPU 共享這 128 GB 的海量空間，且可通過 NVLink-C2C 技術實現高速互聯。這意味著，開發者終于可以在桌面上擁有接近甚至超越專業級計算卡（如 H100 80GB）的顯存容量。

除了核心算力，在數據存儲方面，聯想貼心地提供了 1TB 和 4TB 兩個存儲版本。對于大部分只是想快速驗證模型原型的開發者，1TB 版本足矣；而對于需要本地存放海量訓練數據（如醫療影像、自動駕駛點云或數萬張高清圖紙）的團隊來說，4TB 版本顯然是更具安全感的選擇。

更關鍵的是，它是一臺「原生」的 AI 機器。預裝了NVIDIA AI軟件棧，底層運行的是開發者熟悉的 Linux 系統，跑的是最純正的 CUDA 環境。

接下來，就讓我們親手試一試這樣顯存巨大的性能小猛獸吧。

首先，掂一掂重量，著實非常小巧，甚至比 Mac mini M1 還小一些。同時，它的設計也非常精致，采用了標志性的蜂窩狀散熱設計，不僅看起來科技感十足，更是為了保證進風效率。

接下來，把 ThinkStation PGX 連上顯示器，通電開機，先來看看基本信息。

在終端輸入 nvidia-smi，可以看到顯卡型號是 NVIDIA GB10，CUDA 版本為 13.0。但這里有一個有趣的細節：在 Memory-Usage 一欄，它顯示的是 Not Supported。

為什么不支持？其實，這反而是最大的利好。

在傳統的獨立顯卡（如 RTX 4090）上，顯存是獨立的，所以會顯示具體 MiB 數值。這里的「Not Supported」以及下面進程列表里能顯示顯存占用（如 Firefox 用了 230MiB），直接證明了它是統一內存（Unified Memory）架構。

是的，PGX 的 GPU 沒有自己封閉的小顯存墻，而是直接訪問系統的大內存池。

接下來我們將通過一個真實的微調場景來檢驗這臺機器的能力。

首先，我們選擇的模型是完整版的 Qwen3-VL-30B-A3B-Instruct。

糟糕的網速下等待 1 個多小時，下載完成。而為了微調模型，我們還需要一個數據集，這里我們選擇是的 lyan62 發布的 FoodieQA 數據集。據介紹，FoodieQA 是一個用于細粒度理解中國飲食文化的多模態數據集，其中包含多圖像、單圖像視覺問答（VQA）以及關于中國地方美食的文本問答問題。該數據集基于 350 種獨特美食條目對應的 389 張獨特美食圖像構建而成。它要求模型不僅能看圖，還要懂中國味。

接下來，我們先是自己嘗試了編寫微調腳本，但效果并不佳。于是我們決定直接讓 AI 全程接管，來一次 vibe fine-tuning（氛圍微調）！

給 PGX 裝上 Claude Code，并配置好 MiniMax-M2.1。然后下達一小段指令：

你是一位出色的 AI 模型微調專家，你現在需要在一臺擁有 128GB 統一內存的聯想 ThinkStation PGX 上微調一個 30B 大小的 MoE 模型。在這里，models/Qwen3-VL-30B 文件夾中是已下載的 Qwen3-VL-30B-A3B-Instruct 模型，FoodieQA 文件夾中是 lyan62/FoodieQA 數據集。請使用 FoodieQA 數據集完成對 Qwen3-VL-30B-A3B-Instruct 模型的進一步微調。

接下來就是等待。兩三個小時后，訓練方案終于確定下來。以下是訓練穩定后 nvtop 監視畫面。

可以看到，對于該任務，GPU 使用率大體在 23% 左右，顯存（統一內存）的占用接近 60GB。

要知道，這 60GB 的顯存占用，如果是消費級顯卡早就炸了三次了，但在 ThinkStation PGX 上，顯存條只吃了一半，它甚至游刃有余。更令人印象深刻的是溫控。得益于出色的散熱設計，在開了暖氣的房間里，ThinkStation PGX 的 GPU 最高溫度也僅達到了 40℃。

一夜之后，微調完成。在驗證集上的損失從 4.03 成功降到了 1.06，下降了 74%。

來一張我們自己拍攝的食物照片來簡單試試。

結果大體正確，這個微調過的 Qwen3-VL-30B-A3B-Instruct 正確識別了中間的陽春面，并正確地指出了其屬于淮揚菜，不過它也忽略了旁邊的蟹黃（確實有點難以辨認）。

整體體驗下來，聯想 ThinkStation PGX 展現出了幾個讓開發者無法拒絕的優勢：

• 從容加載：128GB 內存意味著我們可以不需要任何量化，甚至可以直接加載 FP16/BF16 精度的原始模型。
• 大膽訓練：可以直接開啟較大的 Batch Size，不用擔心 OOM，訓練效率成倍提升。
• 英偉達原生體驗：基于 Linux+CUDA，可以直接 clone 官方的微調代碼庫，配置好環境，一行命令 bash finetune.sh 直接開跑，沒有適配的痛苦。

結論很明顯：聯想 ThinkStation PGX 是目前桌面上唯一能讓 30B 多模態模型「跑得舒服」的設備

事實上，微調模型絕非 PGX 的唯一用途。打開想象力，我們能發現很多適合它的大顯存 AI 場景，比如：

• 算法工程師的本地沙盒：用于金融或醫療等數據敏感行業。工程師可以在本地完整加載 70B+ 模型驗證想法，無需申請云端資源，數據絕不出域。
• 野外科研的離線算力站：對于珍稀動物監測或地質勘探，野外往往沒有高速網絡。PGX 可塞進背包，離線處理海量紅外監控影像。
• 長視頻生成的無限畫布：視頻生成模型對顯存需求隨時間線性增長。PGX 的大內存能支持生成更長時間的連貫視頻素材。
• 具身智能的數字孿生：在桌面運行高保真的 Isaac Sim 仿真環境，訓練完成后直接部署到架構同源的 Jetson 模塊，零遷移成本。
• 數字藝術家的私有風格庫：長期累積創作者自己的 Style Checkpoint，本地運行風格遷移，不用擔心獨家畫風泄露。

為什么選擇聯想 ThinkStation PGX？

既然核心芯片和架構與英偉達的參考設計（DGX Spark）一致，為什么我們更推薦聯想的 PGX？

答案在于兩個詞：工程服務

馴服 240W 功耗的蜂窩美學

GB10 是一顆性能強悍的超級芯片，但其滿載功耗高達 170W，整機功耗更達到 240W。在一個 1 升的極小空間內壓制這種熱量，如果設計不當，很容易導致積熱降頻，甚至變成桌面燙手寶。

聯想沒有簡單照搬公版設計，而是沿用了 ThinkStation 家族標志性的「蜂窩狀」散熱設計。這種源自空氣動力學的設計理念（靈感源于阿斯頓?馬丁的進氣格柵），最大化了機箱前后的進出風效率。

實測表明，相比于初期公版參考設計可能存在的積熱問題，PGX 表現得更加「冷靜」。對于需要連續跑幾天幾夜微調任務的開發者來說，這種基于 Top 1 工作站大廠的工程穩定性，意味著你不用半夜起來擔心訓練因過熱而中斷。

數據保險

對于購買 PGX 的企業和科研用戶來說，最值錢的往往不是機器本身，而是硬盤里的數據：那些私有的行業數據集、微調后的模型權重、以及核心算法代碼。

作為中國市場份額第一的專業工作站品牌，聯想給 PGX 配備了中國區獨享的頂格服務：

• 3 年上門保修：相比于海淘水貨或部分競品可能僅提供的 1 年質保，這是面向生產力用戶更合理、也更負責任的保障方案。
• 硬盤數據恢復服務：這是最打動企業用戶的痛點。萬一硬盤發生物理損壞，聯想提供專業的數據恢復服務。對于科研實驗室等數據至關重要的機構來說，這項服務的價值遠超機器價格本身。
• 售后技術支持：聯想工作站在全國擁有超過 1 萬名認證工程師，2300 多個專業服務站，100% 覆蓋 1-6 線城市，能保證 7x24 小時在線支持。

升級空間：雙機 NVLink

如果你覺得 128 GB 依然不夠用，PGX 還預留了升級空間。

借助內置的 NVIDIA ConnectX-7 網絡技術，你可以將兩臺 ThinkStation PGX 通過高速互聯。在 NVLink 的加持下，兩臺機器瞬間化身為一個擁有256 GB 統一內存的超級怪獸。

這時，你的桌面算力上限將被進一步打破：你甚至可以嘗試挑戰上千億參數量級別的超大模型推理。從 1 升小盒子到雙機并行，這給了開發者極大的靈活性。

算力普及的「最后一公里」

回顧這幾天的體驗，聯想 ThinkStation PGX 給我們留下的最深印象，并不是某個具體的跑分數字，而是它帶來的「確定性」。

在過去，想要在本地搞定 30B 級別以上的多模態模型微調，總是充滿了不確定性：顯存會不會爆？量化會不會掉點？算子能不能跑通？

而 ThinkStation PGX 用 128 GB 的海量內存和原生的 CUDA 生態，把這些不確定性變成了一條平滑的直線。它填補了消費級顯卡（顯存太小）和工業級服務器（動靜太大）之間那個巨大的真空地帶。

至于大家都關心的價格，在擁有 128GB 統一內存和原生 CUDA 生態的前提下，ThinkStation PGX 1TB 版本售價為 31999 元，4TB 版本售價為 36999 元。這僅僅相當于一塊高端專業顯卡的價格，卻可以換來一臺完整的、開箱即用的桌面 AI 超算。

如果要我以編輯的身份給一個購買建議，我的答案是：對于深陷顯存焦慮的專業開發者而言，聯想 ThinkStation PGX 不僅值得買，甚至可能是目前 4 萬元以內唯一的最優解

不妨算一筆賬：在市面上，要獲得同等規模（128GB）的顯存容量，你通常需要購買昂貴的專業級計算卡，或者租用按小時計費且數據需上傳云端的 A100 實例。而 ThinkStation PGX 以不到 3.7 萬元的頂配價格，提供了一個擁有海量統一內存、原生 CUDA 生態且數據完全私有的桌面級方案。

如果你只是偶爾跑跑 7B 小模型，它或許略顯奢侈；但對于那些受夠了環境配置錯誤的算法工程師、對數據安全有極高要求的科研團隊，以及希望快速驗證 idea 的初創公司來說，PGX 買到的不僅僅是硬件，更是「不折騰」的權利：讓你不必再為顯存溢出修改代碼，也不必再為跨平臺移植浪費時間。這種讓開發者回歸創造力本身的價值，遠超機器售價本身。

這或許才是 AI 基礎設施普及過程中，最動人的「最后一公里」。

如果你也受夠了在 OOM 的邊緣試探，ThinkStation PGX 值得成為你桌面上的下一臺設備。