DeepSeek-V3.2 量化版來了

大家好，我是 Ai 學(xué)習(xí)的老章

DeepSeek-V3.2 雖好，無奈太龐大了，完整模型文件 690 GB

https://huggingface.co/unsloth/DeepSeek-V3.2

DeepSeek-V3.2 原版 國內(nèi)鏡像： https://modelscope.cn/models/unsloth/DeepSeek-V3.2
https://modelscope.cn/models/deepseek-ai/DeepSeek-V3.2-Speciale

時(shí)隔多天，各種量化版本的 DeepSeek-V3.2 陸續(xù)來了

有點(diǎn)奇怪，這次 [[2025-04-01-大模型量化界翹楚：unsloth]] 有點(diǎn)遲到

unsloth 出手，我估計(jì) 1bit 版模型能干到 100GB，

先推薦幾個(gè)靠譜的 DeepSeek-V3.2 吧

1, DeepSeek-V3.2-AWQ

優(yōu)點(diǎn)是 Safetensors 格式，vLLM 可以直接啟動模型

AWQ 4bit 量化，模型文件 362GB

https://huggingface.co/QuantTrio/DeepSeek-V3.2-AWQ

國內(nèi)鏡像：https://modelscope.cn/models/QuantTrio/DeepSeek-V3.2-AWQ/files 當(dāng)然也有 Speciale 的鏡像：https://modelscope.cn/models/QuantTrio/DeepSeek-V3.2-Speciale-AWQ

安裝及啟動腳本

export VLLM_USE_DEEP_GEMM=0  # ATM, this line is a "must" for Hopper devices
export TORCH_ALLOW_TF32_CUBLAS_OVERRIDE=1
export VLLM_USE_FLASHINFER_MOE_FP16=1
export VLLM_USE_FLASHINFER_SAMPLER=0
export OMP_NUM_THREADS=4


llm serve \
    __YOUR_PATH__/QuantTrio/DeepSeek-V3.2-Speciale-AWQ \
    --served-model-name MY_MODEL_NAME \
    --enable-auto-tool-choice \
    --tool-call-parser deepseek_v31 \
    --reasoning-parser deepseek_v3 \
    --swap-space 16 \
    --max-num-seqs 32 \
    --max-model-len $CONTEXT_LENGTH \
    --gpu-memory-utilization 0.9 \
    --tensor-parallel-size 8 \
    --enable-expert-parallel \  # optional
    --speculative-config '{"model": "__YOUR_PATH__/QuantTrio/DeepSeek-V3.2-Speciale-AWQ", "num_speculative_tokens": 1}' \  # optional, 50%+- throughput increase is observed
    --trust-remote-code \
    --host 0.0.0.0 \
    --port 8000

這是一個(gè)奇妙的組合，用 Qwen3-8B 蒸餾的 DeepSeek-v3.2-Speciale

看到這組合，讓我想起之前非常喜愛，，與它大小差不多，都是 16GB 左右，默認(rèn)參數(shù) 2 張 4090 極其順暢，如果這個(gè)可以正常關(guān)閉思考，那就太好了。

https://huggingface.co/TeichAI/Qwen3-8B-DeepSeek-v3.2-Speciale-Distill/tree/main 3, mlx-community/DeepSeek-V3.2-4bit

土豪專享

蘋果 M 系列用戶可以試試，4bit 量化，模型文件 378GB，非土豪直接繞行

https://huggingface.co/mlx-community/DeepSeek-V3.2-4bit/tree/main

國內(nèi)鏡像：https://modelscope.cn/models/mlx-community/DeepSeek-V3.2-Speciale-4bit/