英偉達和阿里千問要搞個大事情？

看到英偉達新開源了全新的代碼推理模型——OpenCodeReasoning，包括7B、14B、32B三種規(guī)格，性能比肩o3-mini和o1。

但這次英偉達模型選擇的底座，卻讓我看到了一個熟悉的名字：Qwen。

并且不是單一模型，是全系選用了阿里通義千問大模型作為基礎底座。

更早之前，DeepSeek、李飛飛都也已經(jīng)接入千問，Manus中文版也是依靠千問模型。

現(xiàn)在又多出了英偉達這樣一個國際頂級科技公司，將千問大模型作為基模的例子。

千問模型的在國內(nèi)的聲量，和它在國際開源生態(tài)里的影響，一直不太匹配。但確定的是，更多最前沿的公司，已經(jīng)看到了其價值。

目前，通義千問Qwen衍生模型數(shù)量已突破10萬，超越美國Llama模型，通義成為全球第一AI開源模型。

通義千問Qwen在全球下載量超過3億，在HuggingFace社區(qū)2024年全球模型下載量中千問Qwen占比超30%，穩(wěn)居第一。

在2025年2月的Huggingface全球開源大模型榜單（Open LLM Leaderboard）中，排名前十的開源模型全部都是基于千問Qwen二次開發(fā)的衍生模型。

Huggingface Open LLM Leaderboard

在李飛飛領銜的斯坦福HAI研究所發(fā)布的《2025年人工智能指數(shù)報告》顯示，2024年重要大模型（Notable Models）中，阿里入選6個，按照模型貢獻度排名，阿里AI貢獻位列全球第三。

在我看來，這還只是開始……

一、中國模型出海，海外怎么看千問？

已經(jīng)成功出海的中國AI產(chǎn)品有很多，但作為“AI基建”，能被國際上科學家和巨頭企業(yè)認同的，非常稀少。

最近時常刷到一些AI研究者、科技企業(yè)負責人對千問的評價，特別有意思。

Trust Insights 聯(lián)合創(chuàng)始人兼首席數(shù)據(jù)科學家 Christopher，對為什么 Qwen3 效果極佳感到好奇，還自己嘗試實驗室復刻相關研究。

蘋果公司 MLX 推理框架負責人 Hannun，則是對 Qwen3 的運行速度表示驚嘆。

AK更是對 Qwen3 的綜合能力，無論編碼、數(shù)據(jù)還是文本等，給出了高度認可。

要知道，好奇一個模型的實力究竟強不強，最好的方式就是看從業(yè)者的選擇。一個高質(zhì)量基座，決定了后續(xù)強化學習的上限。

李飛飛也特別愛 cue 千問。

可能大家還有印象，李飛飛團隊50美元復刻類 DeepSeek R1 推理模型，用的就是千問。

以千問作為基座模型打樣，僅使用16塊H100 GPU，通過26分鐘的監(jiān)督微調(diào)，便打造出了性能卓越比肩OpenAI的O1和DeepSeek的R1等尖端推理模型的s1-32B模型。

DeepSeek官方也曾透露過，DeepSeek-R1 蒸餾了6個模型，其中4個來自Qwen。

媒體也報道稱，蘋果與通義千問達成了合作，并且是蘋果AI的主要合作方。

Manus聯(lián)合創(chuàng)始人張濤，也曾在一次直播里直言：對于不少公司而言，千問因其性能強、尺寸全、開源等諸多優(yōu)勢，實際上是唯一的選擇。

從業(yè)者的選擇，最關乎個人利益，用腳投票才是對模型能力最強的信任。

二、Qwen性能究竟強在哪？

千問系列，從Qwen到Qwen1.5，再到Qwen2、Qwen2.5，直至今日的Qwen3，已經(jīng)完成了五代進化。

并且開源了超過200個模型，覆蓋大語言、多模態(tài)、數(shù)學、代碼等多個領域。

每一次迭代，都是一次性能的躍遷和生態(tài)的拓展。

最新的Qwen3，更是將這種“硬核性能”展現(xiàn)得更加充分。

5月9日最新公布的Artificial Analysis新一期大模型榜單中，千問3智能水平更是比肩部分國外頂級閉源模型（比如o3、Grok3-mini-Reasoning(high)。

也超過了 DeepSeek-R1、DeepSeek-V3-0324 等開源模型，又一次將全球開源模型冠軍的頭銜收入囊中。

在代碼能力這個衡量大模型智能水平的關鍵指標上，Qwen3再次展現(xiàn)了其王者風范。

繼Qwen2.5-Coder橫掃LiveCodeBench等六大國際權(quán)威榜單后，Qwen3在Aider、LiveCodeBench等coding能力評測榜單中同樣摘得全球開源模型的桂冠。

在綜合能力方面，Artificial Analysis的榜單顯示，Qwen3的能力已經(jīng)超越了DeepSeek R1、DeepSeek V3-0324等一眾強勁對手，表現(xiàn)接近閉源模型Grok3-mini-Reasoning（high）。

這不僅僅是數(shù)字的勝利，更是中國開源模型在全球舞臺上與國際頂級模型正面抗衡的有力證明。

還發(fā)現(xiàn)一個好玩的點。

千問3還可API設置“思考預算”（即預期最大thinking tokens數(shù)量），進行不同程度的思考，讓模型在性能和成本間取得更好的平衡，以滿足開發(fā)者和機構(gòu)的多樣需求。

不僅科技圈、開發(fā)者，來自學術(shù)界的認可也非常多：滑鐵盧大學的陳文虎教授、清華大學的孫茂松教授等知名學者，都曾公開表示Qwen的性能優(yōu)異，在某些方面甚至優(yōu)于LLaMA。

這種來自一線科研人員的觀點，在我眼里越來越更具說服力了。

從2022年到2025年，從模型到產(chǎn)品，不管是開發(fā)者還是用戶，都在持續(xù)見證著通義千問的變化。

三、模型即生態(tài)：開源的勝利，更是開放的勝利

如果說 AI 是新時代的“電力”，那么 Qwen3 便是那臺讓電流更高效的變壓器。

英偉達等巨頭選擇Qwen，除了其卓越的性能，更深層次的原因在于Qwen對開源的堅定擁抱，和對「開發(fā)者生態(tài)」的積極構(gòu)建。

Qwen3堅持使用 Apache 2.0 開源協(xié)議，這意味著開發(fā)者可以放心地將其用于商業(yè)用途和深度集成，極大地激發(fā)了社區(qū)的創(chuàng)新活力。

價格也是硬道理。

千問3模型，部署成本只有性能相近模型的1/3，而推理成本按照吳恩達的Artifical Analysis 最新報告看，不到DeepSeek-R1的三成，是Claude3.7的二十分之一。

性能最強，成本更低，免費商用，真的解決了開發(fā)者的后顧之憂。

更具突破性的是，Qwen3是全球首個原生支持MCP（Model Control Protocol，模型控制協(xié)議）的開源模型。

Qwen3+MCP的玩法，在GitHub和Huggingface上異常火爆

在BFCL（一個評估模型遵循指令和調(diào)用工具能力的基準）評測中，Qwen3取得了70.8分的新高。

這意味著開發(fā)者調(diào)用模型內(nèi)置工具和外部API的門檻被大幅降低，構(gòu)建復雜Agent應用變得更加得心應手。

“模型即生態(tài)”，Qwen正在將這句話變?yōu)楝F(xiàn)實。

全球已有超過10萬個基于Qwen的衍生模型，累計下載量突破3億次。

SGLang、vLLM、MXL等主流推理框架和平臺已全面接入Qwen。同時，阿里云的百煉（Bailian）平臺和魔搭（ModelScope）社區(qū)也配套發(fā)布了MCP服務，進一步釋放了開發(fā)者的創(chuàng)造力。

魔搭（ModelScope）社區(qū) https://modelscope.cn/organization/qwen

截至今天，通過阿里云百煉平臺調(diào)用通義大模型API的企業(yè)和開發(fā)者已超過30萬，用AI重構(gòu)代碼開發(fā)、硬件制造、智能座艙、金融服務、藥物研發(fā)、太空探索等場景。

這不再僅僅是模型的開源，而是圍繞模型構(gòu)建起了一個生機勃勃、持續(xù)進化的技術(shù)生態(tài)系統(tǒng)。

四、看看英偉達專家怎么用 Qwen3

下面帶大家看看英偉達的自身總監(jiān)、架構(gòu)師們都是怎么用千問的。

這是一個看到英偉達官方發(fā)布的案例，以使用 Qwen3-4B 模型配置 PyTorch backend為例，描述如何快捷進行基準測試以及服務化的工作。

采用類似的步驟，也可以實現(xiàn) Qwen3 其他 Dense 和 MoE 模型的推理部署優(yōu)化。

1. 首先準備 benchmark 測試數(shù)據(jù)集合和 extra-llm-api-config.yml

配置文件：

python3 /path/to/TensorRT-LLM/benchmarks/cpp/prepare_dataset.py \
    --tokenizer=/path/to/Qwen3-4B \
    --stdout token-norm-dist --num-requests=32768 \
    --input-mean=1024 --output-mean=1024 \
    --input-stdev=0 --output-stdev=0 > /path/to/dataset.txt

cat >/path/to/extra-llm-api-config.yml <

2. 通過 trtllm-bench 運行 benchmark 指令：

trtllm-bench \
      --model Qwen/Qwen3-4B \
      --model_path /path/to/Qwen3-4B \
      throughput \
      --backend pytorch \
      --max_batch_size 128 \
      --max_num_tokens 16384 \
      --dataset /path/to/dataset.txt \
      --kv_cache_free_gpu_mem_fraction 0.9 \
      --extra_llm_api_options /path/to/extra-llm-api-config.yml \
      --concurrency 128 \
      --num_requests 32768 \
      --streaming

相同 GPU 環(huán)境配置下，基于 ISL = 1K，OSL = 1K，相較 BF16 基準，Qwen3-4B 稠密模型使用 TensorRT-LLM 在 BF16 的推理吞吐（每秒生成的 token 數(shù)）加速比最高可達 16.04 倍。

圖 1：Qwen3-4B 稠密模型在 TensorRT-LLM BF16 與 BF16 基準的推理吞吐性能比較

3. 通過 trtllm-serve 運行 serve 指令：

trtllm-serve \
  /path/to/Qwen3-4B \
  --host localhost \
  --port 8000 \
  --backend pytorch \
  --max_batch_size 128 \
  --max_num_tokens 16384 \
  --kv_cache_free_gpu_memory_fraction 0.95 \
  --extra_llm_api_options /path/to/extra-llm-api-config.yml

4. 模型啟動成功后，便可通過標準 OpenAI API 進行模型推理調(diào)用。

curl -X POST "http://localhost:8000/v1/chat/completions" \
  -H "Content-Type: application/json" \
  --data '{
    "model": "Qwen/Qwen3-4B",
           "Max_tokens": 1024,
           "Temperature": 0,
    "messages": [
      {
        "role": "user",
        "content": "What is the capital of France?"
      }
    ]
  }'

僅通過幾行代碼，開發(fā)者即可通過包括 TensorRT-LLM 在內(nèi)的流行推理框架來使用最新的 Qwen 系列模型。

尤其是在把 AI 模型部署到生產(chǎn)環(huán)境中時，透過 Qwen3 能更好實現(xiàn)對性能、資源和成本的平衡。

難怪越是專業(yè)的開發(fā)者、從業(yè)者，越愛用千問！

五、撬動未來：千問3，為全棧式AI時代注入中國動力

如果說卓越的性能和繁榮的生態(tài)是Qwen的現(xiàn)在，那么它對未來的企圖心則更加遠大。

Qwen3，正以其“為Agent和AI應用而生”的設計理念，積極擁抱即將到來的全棧式AI時代。

原生支持MCP協(xié)議，加上百煉、魔搭等平臺的服務支撐，使得開發(fā)者能夠基于Qwen3快速構(gòu)建起強大的Agent能力。

在阿里內(nèi)部，夸克搜索、通義APP等面向億萬用戶的前臺AI產(chǎn)品，其背后都離不開Qwen的強力支撐。一整套圍繞Qwen構(gòu)建的工具鏈，正在成為阿里AI戰(zhàn)略的堅實底座。

更廣泛地看，從上游的芯片廠商（如英偉達、英特爾、高通），到中游的云平臺，再到下游的終端應用和開源社區(qū)，整個AI產(chǎn)業(yè)鏈都對Qwen3的發(fā)布和迭代展現(xiàn)出積極的響應。

這預示著，AI的下半場，將是技術(shù)棧深度整合、產(chǎn)業(yè)鏈全面協(xié)同的競爭。而Qwen，憑借其開源基座的定位和全棧打通的潛力，正在成為這個新時代不可或缺的中國力量。

千問生態(tài)產(chǎn)品宇宙

千問（Qwen），這個名字正從一個優(yōu)秀模型的代稱，演變?yōu)橐粋€強大生態(tài)的象征，一個“開源中的王者，基座中的首選”。

它不僅是阿里在AI領域深厚技術(shù)積累的體現(xiàn)，更是中國AI力量在全球舞臺上冉冉升起的一面旗幟。

越來越多的頂級從業(yè)者用實際行動為Qwen投票。

我們有理由相信，阿里，這家持續(xù)投入AI基礎研究和開源生態(tài)建設的公司，正穩(wěn)步走向中國最重要的AI公司的行列，并為全球AI的普惠化貢獻著獨特的中國智慧。