西風 發自 凹非寺
量子位 | 公眾號 QbitAI
哦豁,馬斯克一個“不小心”,把Claude參數抖出來了???
長話短說:Sonnet 1T、Opus 5T。
![]()
起因是老馬發帖表示,xAI的Colossus 2超算正在訓練7個模型,其中最大的一款,參數量直接沖到了10萬億。
完整清單:
Imagine V2
2個1萬億(1T)參數的變體模型
2個1.5 萬億(1.5T)參數的變體模型
6萬億(6T)參數模型
10萬億(10T)參數模型
P.S. Colossus 2,就是老馬巨硬計劃(Macrohard)的一部分。據2025年8月披露的信息,Colossus 2已經安裝了119臺風冷式冷水機組,提供約200MW的冷卻能力,足以支持約11萬個GB200 NVL72 GPU。
按照當時規劃,Colossus 2第一階段部署11萬個英偉達GB200 GPU,最終目標是超過55萬個GPU,峰值功率需求預計超過1.1GW。
這次發推文,也是馬斯克為數不多地對外公開Colossus超算的具體訓練計劃。
![]()
消息一出,網友開啟好奇寶寶模式,馬斯克也是心情不錯的樣子,看到提問也回復了不少。
比如有人問“訓練一個10T模型,大概要花多久?”,馬斯克說預訓練階段大約需要2個月。
![]()
哎,就有這么一段對話出現了。
Grok 4.2的參數量,僅為xAI目前在訓最大模型的5%。也就是5000億(500B)對比10萬億(10T),后者是前者20倍。
Grok 4.2真的是總參數量500B嗎?還是說只是在一個更大的MoE里,激活的參數量是500B億?
面對疑問,老馬又親自回應了:
總參數量就是0.5T(5000億)。現在的Grok,參數量是Sonnet的一半、Opus的十分之一。以它的規模來說,是非常強的模型。
![]()
網友一眼瞄到顯眼信息,這不就是說Sonnet是1T,Opus是5T。
于是有人追問:
純好奇,你(馬斯克)怎么知道Sonnet、Opus大小?
![]()
對此老馬閉麥了,網友提出的點倒不無道理,“頂尖人才在這么幾家公司間流動,似乎也沒什么秘密能藏太久”。
![]()
Claude各版本參數,來自網友推測
自打Claude系列模型問世,Anthropic就一直嚴格保密參數規模,不管是Opus還是Sonnet,愣是一點沒披露。
越不說,網友討論得越起勁。
我們用AI總結了一下網友們分析討論的不同版本的Claude參數規模。
你還別說,你還真別說。最新模型Claude 4.6 Sonnet ~1-2T、Claude 4.6 Opus ~1.5-2.5T/2-5T,還真和老馬手滑泄露的“Sonnet1T、Opus5T”對上了。
![]()
具體來看網友都討論出來了啥。
目前主流推測方法有四類:
- 推理成本與吞吐量反推法:模型推理成本與激活參數量呈近似線性關系,而總參數量則可通過架構類型和行業經驗系數推算。
- 性能基準對標法:通過與已知參數的開源模型在標準化基準上的表現對比,推斷閉源模型的參數規模。
- 內部文件泄露與傳聞分析法:官方意外暴露的信息&一些小道消息。
- 架構特性分析法:通過對模型行為特性的觀察,推斷其采用的架構類型,進而縮小參數估計范圍。
首先來看Claude 3系列,2024年3月發布,這是首個形成清晰產品矩陣的Claude系列,包含三個定位不同的版本。
![]()
小杯Haiku、中杯Sonnet以及大杯Opus,成本和性能依次遞增。
![]()
對于它們的參數規模,LifeArchitect.ai創始人Alan D. Thompson曾給出估算:
Claude 3 Haiku (~20B)、Claude 3 Sonnet (~70B)、Claude 3 Opus (~2T)。
![]()
對于Claude 3 Sonnet,Reddit社區后續也展開了持續討論,也有網友基于性能等推測Claude 3 Sonnet參數量在150-250B之間。
![]()
再來看Claude 3.5,這是Claude的一次重大升級,多個關鍵指標吊打GPT-4o。
不過,Anthropic最初只發布了獨苗Claude 3.5 Sonnet。
![]()
其速度是Claude 3 Opus的兩倍,成本卻僅為后者的1/5。
![]()
關于模型參數量,微軟等曾發布了一篇論文。
![]()
其中指出據行業估算,Claude 3.5 Sonnet參數約175B。
順帶附上其它模型估算參數:ChatGPT約175B、GPT-4約1.76T、GPT-4o約200B、o1-mini約100B、o1-preview約300B。
![]()
之后,Anthropic跳過了3.5命名,未發布3.5 Opus,在Claude Sonnet 3.7后直接進入4系列,發布了兩個模型:
Claude Opus 4和Claude Sonnet 4。
![]()
圈內對于Claude 4的參數估計,存在較大分歧。
行業估算Claude Opus 4參數約在300–500B之間,Claude Sonnet 4約在50B-100B之間。
接下來Claude Opus 4.1發布。
其編程性能再次突破,超越Claude Opus 4,在Agent任務和推理方面也進一步升級。
![]()
不過發布時,官方表示計劃在未來幾周對模型進行更大規模升級與改進,看來4.1真就只是一次小更新,替代Opus 4。
甚至網友討論,Anthropic可能本來不想發模型,但是奈何GPT-5/Gemini-3的消息太多,為了保持市場競爭力所以先更新一波。
這可能也是關于其參數討論并不多的原因之一。
Hacker News有網友認為,其可能是Anthropic嘗試超大參數規模的實驗性產品,后續4.5版本反而縮小了參數規模以優化效率。
Anthropic對Opus 4/4.1進行了蒸餾,得到了Opus 4.5。這也是該模型的運行速度比Opus 4快約3倍,同時API調用成本僅為后者的三分之一的核心原因。
整個AI行業的發展方向,正在摒棄萬億參數規模的超大模型。當下的核心命題是提升現有參數規模的利用效率。
Opus 4.5參數量撐死也就在2T左右。Opus 4/4.1的參數量或許能達到約6T(MoE架構)。
![]()
再往下就是4.5系列了。
Claude Sonnet 4.5先發布,計算機操作方面,在OSWorld測試中取得了60.2分的SOTA成績,比Sonnet 4提升了近一半。
Claude Opus 4.5后腳跟上,前端開發、視覺能力顯著提升,更擅長使用電腦;在深度研究、PPT制作與電子表格處理等日常任務方面的表現也全面升級。
![]()
今年2月剛發布的最新4.6系列,各項能力再上一個臺階。
Anthropic表示,對填寫復雜Excel、網頁清單等計算機操作任務,Sonnet 4.6已經接近人類水平。
![]()
而Opus 4.6,在GDPval-AA(一項評估金融、法律和其他領域經濟價值知識工作任務的性能指標)上,比GPT-5.2高出144Elo;編程依舊獨領風騷,在Agent編程評估Terminal-Bench 2.0中取得了最高分,并在“人類最后考試”中領先所有其它前沿模型。
越往后,技術迭代步入深水區,底層技術和模型架構還一個勁地搞創新,想估算模型參數量,越來越難了。
最近,一篇發表在Substack的技術逆向工程分析,通過OpenRouter在Google Vertex和Amazon Bedrock上的Token吞吐數據,估算了Claude Opus 4.5和4.6的激活參數量。
![]()
作者署名unexcitedneurons,他以3個開源MoE模型為校準基準,推算出Vertex平臺的有效內存帶寬約為4.0–4.5TB/s,進而得出:
Opus 4.6在FP8精度下的激活參數量為93–105B。
若假設模型采用FP8精度稠密層+FP4精度混合專家層的配置,Opus 4.6的激活參數量約為127–154B。
結合不同專家稀疏度方案,最終他認為,Opus 4.5絕非網傳的10T+規模,它是一款體量小得多的模型,由Claude Opus 4/4.1蒸餾而來,參數量規模應落在1.5T-2T之間。
這一點也能從API定價中得到印證,Claude Opus 4.1的輸入/輸出定價為每百萬Token 15美元/75美元,而Claude Opus 4.5/4.6目前的定價僅為每百萬Token 5美元/25美元,價格直接降至原先的三分之一。
作者也提到,Claude Opus 4/4.1參數量大概率在5T-6T左右。
除了已發布模型的模型外,前幾天Anthropic團隊因權限配置失誤,把自家未發布模型泄露了。
模型Claude Mythos(內部代號Capybara)。
泄露文件中,曾多次使用質的飛躍這種說法來形容Mythos,在具體能力上,相較于Claude Opus 4.6,Mythos在軟件編碼、學術推理和網絡安全等測試中的得分顯著更高。
Claude Mythos,被稱為是迄今為止公司開發過的最強大的AI模型。
![]()
傳言稱模型參數達10T。
參考鏈接:
[1]https://x.com/lifetimization/status/2042285703162397167
[2]https://www.reddit.com/r/ClaudeAI/comments/1ixuxln/estimate_of_model_size_for_claude_37/
[3]https://lifearchitect.substack.com/p/the-memo-special-edition-claude-3
[4]https://arxiv.org/pdf/2412.19260v1
[5]https://medium.com/@bob.mashouf/claude-4-vs-llama-4-benchmarking-55b99c17d3f7
[6]https://news.ycombinator.com/item?id=47319205
[7]https://unexcitedneurons.substack.com/p/estimating-the-size-of-claude-opus
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.