不上云、不租卡，如何優(yōu)雅地在本地微調(diào)Qwen-VL-30B？

編輯｜Panda

假如你是一個致力于將 AI 引入傳統(tǒng)行業(yè)的工程團(tuán)隊(duì)。現(xiàn)在，你有一個問題：訓(xùn)練一個能看懂復(fù)雜機(jī)械圖紙、設(shè)備維護(hù)手冊或金融研報(bào)圖表的多模態(tài)助手。這個助手不僅要能專業(yè)陪聊，更要能精準(zhǔn)地識別圖紙上的零件標(biāo)注，或者從密密麻麻的財(cái)報(bào)截圖中提取關(guān)鍵數(shù)據(jù)。

首先，你需要選擇一個合適的模型。

7B 參數(shù)的小模型雖然跑得快，但「腦容量」太小，面對復(fù)雜的圖文邏輯經(jīng)常一本正經(jīng)地胡說八道；而 70B 甚至更大的模型雖然聰明，但部署和推理成本直接勸退了客戶。最后，你可能發(fā)現(xiàn) 30B 參數(shù)級的開源多模態(tài)模型（例如 Qwen-VL-30B）是個不錯的選擇。

30B 被稱為大模型的黃金尺寸：它在理解能力上遠(yuǎn)超小模型，又比巨型模型輕量，是企業(yè)私有化部署的完美平衡點(diǎn)。

不過呢，你可能也會發(fā)現(xiàn)，「30B 參數(shù)」也是一個極具欺騙性的數(shù)字。

在純文本時代，一張前沿的消費(fèi)級顯卡或許還能勉強(qiáng)塞下 30B 的推理。但在多模態(tài)（Vision-Language）場景下，事情完全變了。當(dāng)模型需要處理高分辨率圖像時，視覺編碼器會產(chǎn)生大量的視覺 Token；而為了讓模型真正懂行業(yè) Know-how，必須用數(shù)千張有標(biāo)注圖像進(jìn)行 LoRA 微調(diào)。

這就意味著，除了模型本身的權(quán)重，我們還需要在顯存里塞進(jìn)梯度、優(yōu)化器狀態(tài)以及訓(xùn)練過程中的激活值。

原本以為只是「稍微大一點(diǎn)」的任務(wù)，瞬間撞上了物理學(xué)的墻。

這些方案不太行

如果你的開發(fā)環(huán)境是頂級消費(fèi)級旗艦，擁有 24 GB 的超大顯存，但在這次的任務(wù)面前，它顯得如此無力。

當(dāng)你嘗試啟動微調(diào)腳本時，終端里那行熟悉的紅色報(bào)錯如期而至：

RuntimeError: CUDA out of memory.

對于 30B 多模態(tài)模型的微調(diào)來說，24 GB 的顯存就是不夠。為了讓程序跑起來，你可能會選擇犧牲性能，比如：

• Batch Size 降到 1： 哪怕訓(xùn)練速度慢到像蝸牛爬。
• 開啟梯度檢查點(diǎn)： 這是一個典型的「時間換空間」策略，通過不緩存中間激活值而是在反向傳播時重算，來節(jié)省顯存。但這讓訓(xùn)練時間直接翻倍。
• 極限量化： 將模型量化到 4-bit 甚至更低。但這也會帶來新的問題：對于精密圖紙的識別，量化后的模型精度下降明顯，連零件號都經(jīng)常認(rèn)錯。

即使做了所有這些妥協(xié)，只要稍微喂進(jìn)去一張分辨率高一點(diǎn)的圖表，顯存還是瞬間溢出，程序直接崩潰。那種「只差一點(diǎn)點(diǎn)就能跑通」的挫敗感，最是折磨人。

「要不試試隔壁美術(shù)組那臺 Mac Studio？」你可能會這樣想。那臺機(jī)器擁有 128 GB 統(tǒng)一內(nèi)存（Unified Memory）。從硬件上看，這簡直是完美的救星 —— 別說 30B，就是 70B 也能塞得下。

但當(dāng)你興沖沖地把代碼拷過去，才發(fā)現(xiàn)這是另一個深坑。

首先是環(huán)境配置的噩夢。開源社區(qū)的主流多模態(tài)模型（尤其是涉及底層 CUDA 優(yōu)化的視覺算子）在蘋果芯片上的適配往往慢半拍。你可能會花不少時間解決各種編譯報(bào)錯，好不容易跑通了推理，卻發(fā)現(xiàn)訓(xùn)練速度受限于優(yōu)化，效率遠(yuǎn)不及預(yù)期。

更致命的是「生態(tài)隔離」。在 Mac 上微調(diào)出的模型檢查點(diǎn)，想要部署回公司的 Linux 服務(wù)器（基于 NVIDIA GPU）上，需要進(jìn)行繁瑣的格式轉(zhuǎn)換和精度對齊。這種開發(fā)環(huán)境與生產(chǎn)環(huán)境的割裂，對于追求快速迭代的工程團(tuán)隊(duì)來說，是不可接受的風(fēng)險(xiǎn)。

那么，你到底需要什么？

難道為了跑通這個 30B 模型，你真的要走漫長的合規(guī)流程去申請昂貴的 A100 云實(shí)例，時刻防范私密數(shù)據(jù)出域的風(fēng)險(xiǎn)？又或者，僅僅為了這一個開發(fā)項(xiàng)目，就專門配置一個高成本的工作站，甚至去采購一臺必須安置在專業(yè)機(jī)房、且維護(hù)成本高昂的機(jī)架式服務(wù)器？

你需要這樣一臺機(jī)器：它要有 Mac Studio 那樣海量的統(tǒng)一內(nèi)存，讓你不再為顯存精打細(xì)算；它同時又必須流淌著純正的 NVIDIA 血液，擁有原生的 CUDA 生態(tài)，讓代碼無縫遷移。

這個「既要又要」的幻想，直到一臺 1 升體積的小盒子的出現(xiàn)，才變成了現(xiàn)實(shí)。

桌面上的一升解決方案

這個盒子就是聯(lián)想 ThinkStation PGX

如果你關(guān)注過英偉達(dá)之前的動作，可能會覺得眼熟。沒錯，聯(lián)想 ThinkStation PGX 在核心配置上與 NVIDIA DGX Spark 完全一致。

準(zhǔn)確地說，ThinkStation PGX 正是英偉達(dá) DGX Spark 的 OEM 量產(chǎn)版本。英偉達(dá)已將這一參考設(shè)計(jì)授權(quán)給了聯(lián)想等廠商，由它們負(fù)責(zé)具體的工程化制造與差異化定制。

這臺機(jī)器最直觀的沖擊力來自于它的尺寸：僅有 1 升（1L）。它小到可以輕松塞進(jìn)通勤背包，放在辦公桌的一角幾乎沒有存在感。但就在這方寸之間，聯(lián)想塞進(jìn)了一顆基于 NVIDIA Grace Blackwell 架構(gòu)的 GB10 超級芯片。

而對于被顯存折磨得死去活來的開發(fā)者來說，它最性感參數(shù)是：128 GB 統(tǒng)一內(nèi)存（Unified Memory）

這不僅僅是數(shù)字的勝利，更是架構(gòu)的勝利。ThinkStation PGX 的統(tǒng)一內(nèi)存架構(gòu)允許 CPU 和 GPU 共享這 128 GB 的海量空間，且可通過 NVLink-C2C 技術(shù)實(shí)現(xiàn)高速互聯(lián)。這意味著，開發(fā)者終于可以在桌面上擁有接近甚至超越專業(yè)級計(jì)算卡（如 H100 80GB）的顯存容量。

除了核心算力，在數(shù)據(jù)存儲方面，聯(lián)想貼心地提供了 1TB 和 4TB 兩個存儲版本。對于大部分只是想快速驗(yàn)證模型原型的開發(fā)者，1TB 版本足矣；而對于需要本地存放海量訓(xùn)練數(shù)據(jù)（如醫(yī)療影像、自動駕駛點(diǎn)云或數(shù)萬張高清圖紙）的團(tuán)隊(duì)來說，4TB 版本顯然是更具安全感的選擇。

更關(guān)鍵的是，它是一臺「原生」的 AI 機(jī)器。預(yù)裝了NVIDIA AI軟件棧，底層運(yùn)行的是開發(fā)者熟悉的 Linux 系統(tǒng)，跑的是最純正的 CUDA 環(huán)境。

接下來，就讓我們親手試一試這樣顯存巨大的性能小猛獸吧。

首先，掂一掂重量，著實(shí)非常小巧，甚至比 Mac mini M1 還小一些。同時，它的設(shè)計(jì)也非常精致，采用了標(biāo)志性的蜂窩狀散熱設(shè)計(jì)，不僅看起來科技感十足，更是為了保證進(jìn)風(fēng)效率。

接下來，把 ThinkStation PGX 連上顯示器，通電開機(jī)，先來看看基本信息。

在終端輸入 nvidia-smi，可以看到顯卡型號是 NVIDIA GB10，CUDA 版本為 13.0。但這里有一個有趣的細(xì)節(jié)：在 Memory-Usage 一欄，它顯示的是 Not Supported。

為什么不支持？其實(shí)，這反而是最大的利好。

在傳統(tǒng)的獨(dú)立顯卡（如 RTX 4090）上，顯存是獨(dú)立的，所以會顯示具體 MiB 數(shù)值。這里的「Not Supported」以及下面進(jìn)程列表里能顯示顯存占用（如 Firefox 用了 230MiB），直接證明了它是統(tǒng)一內(nèi)存（Unified Memory）架構(gòu)。

是的，PGX 的 GPU 沒有自己封閉的小顯存墻，而是直接訪問系統(tǒng)的大內(nèi)存池。

接下來我們將通過一個真實(shí)的微調(diào)場景來檢驗(yàn)這臺機(jī)器的能力。

首先，我們選擇的模型是完整版的 Qwen3-VL-30B-A3B-Instruct。

糟糕的網(wǎng)速下等待 1 個多小時，下載完成。而為了微調(diào)模型，我們還需要一個數(shù)據(jù)集，這里我們選擇是的 lyan62 發(fā)布的 FoodieQA 數(shù)據(jù)集。據(jù)介紹，F(xiàn)oodieQA 是一個用于細(xì)粒度理解中國飲食文化的多模態(tài)數(shù)據(jù)集，其中包含多圖像、單圖像視覺問答（VQA）以及關(guān)于中國地方美食的文本問答問題。該數(shù)據(jù)集基于 350 種獨(dú)特美食條目對應(yīng)的 389 張獨(dú)特美食圖像構(gòu)建而成。它要求模型不僅能看圖，還要懂中國味。

接下來，我們先是自己嘗試了編寫微調(diào)腳本，但效果并不佳。于是我們決定直接讓 AI 全程接管，來一次 vibe fine-tuning（氛圍微調(diào)）！

給 PGX 裝上 Claude Code，并配置好 MiniMax-M2.1。然后下達(dá)一小段指令：

你是一位出色的 AI 模型微調(diào)專家，你現(xiàn)在需要在一臺擁有 128GB 統(tǒng)一內(nèi)存的聯(lián)想 ThinkStation PGX 上微調(diào)一個 30B 大小的 MoE 模型。在這里，models/Qwen3-VL-30B 文件夾中是已下載的 Qwen3-VL-30B-A3B-Instruct 模型，F(xiàn)oodieQA 文件夾中是 lyan62/FoodieQA 數(shù)據(jù)集。請使用 FoodieQA 數(shù)據(jù)集完成對 Qwen3-VL-30B-A3B-Instruct 模型的進(jìn)一步微調(diào)。

接下來就是等待。兩三個小時后，訓(xùn)練方案終于確定下來。以下是訓(xùn)練穩(wěn)定后 nvtop 監(jiān)視畫面。

可以看到，對于該任務(wù)，GPU 使用率大體在 23% 左右，顯存（統(tǒng)一內(nèi)存）的占用接近 60GB。

要知道，這 60GB 的顯存占用，如果是消費(fèi)級顯卡早就炸了三次了，但在 ThinkStation PGX 上，顯存條只吃了一半，它甚至游刃有余。更令人印象深刻的是溫控。得益于出色的散熱設(shè)計(jì)，在開了暖氣的房間里，ThinkStation PGX 的 GPU 最高溫度也僅達(dá)到了 40℃。

一夜之后，微調(diào)完成。在驗(yàn)證集上的損失從 4.03 成功降到了 1.06，下降了 74%。

來一張我們自己拍攝的食物照片來簡單試試。

結(jié)果大體正確，這個微調(diào)過的 Qwen3-VL-30B-A3B-Instruct 正確識別了中間的陽春面，并正確地指出了其屬于淮揚(yáng)菜，不過它也忽略了旁邊的蟹黃（確實(shí)有點(diǎn)難以辨認(rèn)）。

整體體驗(yàn)下來，聯(lián)想 ThinkStation PGX 展現(xiàn)出了幾個讓開發(fā)者無法拒絕的優(yōu)勢：

• 從容加載：128GB 內(nèi)存意味著我們可以不需要任何量化，甚至可以直接加載 FP16/BF16 精度的原始模型。
• 大膽訓(xùn)練：可以直接開啟較大的 Batch Size，不用擔(dān)心 OOM，訓(xùn)練效率成倍提升。
• 英偉達(dá)原生體驗(yàn)：基于 Linux+CUDA，可以直接 clone 官方的微調(diào)代碼庫，配置好環(huán)境，一行命令 bash finetune.sh 直接開跑，沒有適配的痛苦。

結(jié)論很明顯：聯(lián)想 ThinkStation PGX 是目前桌面上唯一能讓 30B 多模態(tài)模型「跑得舒服」的設(shè)備

事實(shí)上，微調(diào)模型絕非 PGX 的唯一用途。打開想象力，我們能發(fā)現(xiàn)很多適合它的大顯存 AI 場景，比如：

• 算法工程師的本地沙盒：用于金融或醫(yī)療等數(shù)據(jù)敏感行業(yè)。工程師可以在本地完整加載 70B+ 模型驗(yàn)證想法，無需申請?jiān)贫速Y源，數(shù)據(jù)絕不出域。
• 野外科研的離線算力站：對于珍稀動物監(jiān)測或地質(zhì)勘探，野外往往沒有高速網(wǎng)絡(luò)。PGX 可塞進(jìn)背包，離線處理海量紅外監(jiān)控影像。
• 長視頻生成的無限畫布：視頻生成模型對顯存需求隨時間線性增長。PGX 的大內(nèi)存能支持生成更長時間的連貫視頻素材。
• 具身智能的數(shù)字孿生：在桌面運(yùn)行高保真的 Isaac Sim 仿真環(huán)境，訓(xùn)練完成后直接部署到架構(gòu)同源的 Jetson 模塊，零遷移成本。
• 數(shù)字藝術(shù)家的私有風(fēng)格庫：長期累積創(chuàng)作者自己的 Style Checkpoint，本地運(yùn)行風(fēng)格遷移，不用擔(dān)心獨(dú)家畫風(fēng)泄露。

為什么選擇聯(lián)想 ThinkStation PGX？

既然核心芯片和架構(gòu)與英偉達(dá)的參考設(shè)計(jì)（DGX Spark）一致，為什么我們更推薦聯(lián)想的 PGX？

答案在于兩個詞：工程服務(wù)

馴服 240W 功耗的蜂窩美學(xué)

GB10 是一顆性能強(qiáng)悍的超級芯片，但其滿載功耗高達(dá) 170W，整機(jī)功耗更達(dá)到 240W。在一個 1 升的極小空間內(nèi)壓制這種熱量，如果設(shè)計(jì)不當(dāng)，很容易導(dǎo)致積熱降頻，甚至變成桌面燙手寶。

聯(lián)想沒有簡單照搬公版設(shè)計(jì)，而是沿用了 ThinkStation 家族標(biāo)志性的「蜂窩狀」散熱設(shè)計(jì)。這種源自空氣動力學(xué)的設(shè)計(jì)理念（靈感源于阿斯頓?馬丁的進(jìn)氣格柵），最大化了機(jī)箱前后的進(jìn)出風(fēng)效率。

實(shí)測表明，相比于初期公版參考設(shè)計(jì)可能存在的積熱問題，PGX 表現(xiàn)得更加「冷靜」。對于需要連續(xù)跑幾天幾夜微調(diào)任務(wù)的開發(fā)者來說，這種基于 Top 1 工作站大廠的工程穩(wěn)定性，意味著你不用半夜起來擔(dān)心訓(xùn)練因過熱而中斷。

數(shù)據(jù)保險(xiǎn)

對于購買 PGX 的企業(yè)和科研用戶來說，最值錢的往往不是機(jī)器本身，而是硬盤里的數(shù)據(jù)：那些私有的行業(yè)數(shù)據(jù)集、微調(diào)后的模型權(quán)重、以及核心算法代碼。

作為中國市場份額第一的專業(yè)工作站品牌，聯(lián)想給 PGX 配備了中國區(qū)獨(dú)享的頂格服務(wù)：

• 3 年上門保修：相比于海淘水貨或部分競品可能僅提供的 1 年質(zhì)保，這是面向生產(chǎn)力用戶更合理、也更負(fù)責(zé)任的保障方案。
• 硬盤數(shù)據(jù)恢復(fù)服務(wù)：這是最打動企業(yè)用戶的痛點(diǎn)。萬一硬盤發(fā)生物理損壞，聯(lián)想提供專業(yè)的數(shù)據(jù)恢復(fù)服務(wù)。對于科研實(shí)驗(yàn)室等數(shù)據(jù)至關(guān)重要的機(jī)構(gòu)來說，這項(xiàng)服務(wù)的價(jià)值遠(yuǎn)超機(jī)器價(jià)格本身。
• 售后技術(shù)支持：聯(lián)想工作站在全國擁有超過 1 萬名認(rèn)證工程師，2300 多個專業(yè)服務(wù)站，100% 覆蓋 1-6 線城市，能保證 7x24 小時在線支持。

升級空間：雙機(jī) NVLink

如果你覺得 128 GB 依然不夠用，PGX 還預(yù)留了升級空間。

借助內(nèi)置的 NVIDIA ConnectX-7 網(wǎng)絡(luò)技術(shù)，你可以將兩臺 ThinkStation PGX 通過高速互聯(lián)。在 NVLink 的加持下，兩臺機(jī)器瞬間化身為一個擁有256 GB 統(tǒng)一內(nèi)存的超級怪獸。

這時，你的桌面算力上限將被進(jìn)一步打破：你甚至可以嘗試挑戰(zhàn)上千億參數(shù)量級別的超大模型推理。從 1 升小盒子到雙機(jī)并行，這給了開發(fā)者極大的靈活性。

算力普及的「最后一公里」

回顧這幾天的體驗(yàn)，聯(lián)想 ThinkStation PGX 給我們留下的最深印象，并不是某個具體的跑分?jǐn)?shù)字，而是它帶來的「確定性」。

在過去，想要在本地搞定 30B 級別以上的多模態(tài)模型微調(diào)，總是充滿了不確定性：顯存會不會爆？量化會不會掉點(diǎn)？算子能不能跑通？

而 ThinkStation PGX 用 128 GB 的海量內(nèi)存和原生的 CUDA 生態(tài)，把這些不確定性變成了一條平滑的直線。它填補(bǔ)了消費(fèi)級顯卡（顯存太小）和工業(yè)級服務(wù)器（動靜太大）之間那個巨大的真空地帶。

至于大家都關(guān)心的價(jià)格，在擁有 128GB 統(tǒng)一內(nèi)存和原生 CUDA 生態(tài)的前提下，ThinkStation PGX 1TB 版本售價(jià)為 31999 元，4TB 版本售價(jià)為 36999 元。這僅僅相當(dāng)于一塊高端專業(yè)顯卡的價(jià)格，卻可以換來一臺完整的、開箱即用的桌面 AI 超算。

如果要我以編輯的身份給一個購買建議，我的答案是：對于深陷顯存焦慮的專業(yè)開發(fā)者而言，聯(lián)想 ThinkStation PGX 不僅值得買，甚至可能是目前 4 萬元以內(nèi)唯一的最優(yōu)解

不妨算一筆賬：在市面上，要獲得同等規(guī)模（128GB）的顯存容量，你通常需要購買昂貴的專業(yè)級計(jì)算卡，或者租用按小時計(jì)費(fèi)且數(shù)據(jù)需上傳云端的 A100 實(shí)例。而 ThinkStation PGX 以不到 3.7 萬元的頂配價(jià)格，提供了一個擁有海量統(tǒng)一內(nèi)存、原生 CUDA 生態(tài)且數(shù)據(jù)完全私有的桌面級方案。

如果你只是偶爾跑跑 7B 小模型，它或許略顯奢侈；但對于那些受夠了環(huán)境配置錯誤的算法工程師、對數(shù)據(jù)安全有極高要求的科研團(tuán)隊(duì)，以及希望快速驗(yàn)證 idea 的初創(chuàng)公司來說，PGX 買到的不僅僅是硬件，更是「不折騰」的權(quán)利：讓你不必再為顯存溢出修改代碼，也不必再為跨平臺移植浪費(fèi)時間。這種讓開發(fā)者回歸創(chuàng)造力本身的價(jià)值，遠(yuǎn)超機(jī)器售價(jià)本身。

這或許才是 AI 基礎(chǔ)設(shè)施普及過程中，最動人的「最后一公里」。

如果你也受夠了在 OOM 的邊緣試探，ThinkStation PGX 值得成為你桌面上的下一臺設(shè)備。