DeepSeek模型免費，底座也免費嗎？

圖文原創(chuàng)：親愛的數(shù)據(jù)

開源好，真是好，

DeepSeek現(xiàn)在在各個行業(yè)落地（做推理），

我們直奔重點，

推理（Inference）的時候，

下面的底座重要嗎？

底座是一整套系統(tǒng)軟件，是幕后英雄，

我們距離這個底座最近的那次是，

DeepSeek開源七天大放送。

開源出來一堆英文名，

好多人一看不知道具體干啥，

這些，都是“底座”的核心組件。

DeepEP、3FS、DualPipe……

這不是炫技，是一個現(xiàn)代AI云，

所需的基礎設施能力棧。

大模型要跑得好，

光有算力（私有化部署，公有云）還不夠，

要能“跑得快，還“吞吐量大”，

這就靠“底座”了。

這玩意有多重要呢？

如果不開源，

所有的云廠商都關(guān)起門，自己建設自己的。

為啥呀？核心競爭力。

反正云廠商就兩條路：

套著自己馬車（模型）賺錢，

套著別人馬車（開源模型）賺錢，

無論哪條路，都要推理（inference）系統(tǒng)好。

說到DeepSeek開源，還有個“內(nèi)部笑話”

一開始，沒說會把底座里的哪幾個重要組件開源，

于是，有實力的云廠商，

注意，還得是有實力，

立馬埋頭苦干。

那些沒實力的廠商，只能干瞪眼。

結(jié)果，抓馬了，那些有實力的團隊一頓忙活，

白受累了，DeepSeek開源了。

這次輪到?jīng)]實力的廠商笑彎腰了，

直接撿便宜了。

所有人全部回到起點。

其實勤奮的研發(fā)同學不白做，

在認知上肯定有提高，

說到這，無論誰想把DeepSeek玩好，

底座就非常重要了，

說俗一點，只要這種底層軟件厲害，

云計算的服務就可以賣上價了。

因為這個軟件可以和模型，

和算力一起賣，利潤高，很賺錢。

這種軟件是推理（Inference）的基礎軟件。

DeepSeek之后，

大廠把重點工作進一步向模型的推理能力傾斜，

如何支持推理那就太重要了。

這種系統(tǒng)軟件主要有兩個重點，

穩(wěn)定和容錯。

談到賺錢，這部分服務成本有兩部分構(gòu)成：

第一基礎軟件人力成本，

沒錯，就是一幫技術(shù)扎實，頭腦聰明的人，

沒日沒夜加班干出來的，

于是，阿里字節(jié)百度的辦公大樓里，

凌晨的燈光，

少不了是基礎軟件團隊在熬夜加班。

第二，英偉達芯片的使用成本，

也粗說就是機器成本。

這是成本是固定的，

沒有什么讓利和打折的空間。

當然，我們拋開政府部門補貼，

別人家老舊機型而省下來的錢。

如果你是國產(chǎn)芯片，那就另說。

有位大神舉了個例子。

如果有個電廠燒錢免費讓你用他家的電，

為了價格優(yōu)惠，電廠必然虧本，客戶來了不少。

過一段時間，你就對這家電廠有忠誠度了么？

不，因為電是標品。

AI基礎軟件也是標品，

A云廠商有，B云廠商有，C云廠商也有。

所以，第一步，先成為標品，

不要虧本的標品，

在標品的市場上，因為技術(shù)差，

成本就會高，利潤就少了。

下一步，拉著模型賺錢。

閉源模型厲害，開源就是落后生產(chǎn)力，

開源模型厲害，閉源就是落后生產(chǎn)力，

落不落后，不看性格，不看基因，

只看生產(chǎn)力先進與否。

閉源的出發(fā)點就是想把底層算力，

中層模型綁在一起賣。

出發(fā)點沒錯，任何一個理性經(jīng)濟主體都這么思考，

難點在于競爭太激烈，俗稱，太卷了。

開源項目（如Llama，DeepSeek），

不斷挑戰(zhàn)閉源商業(yè)模型。

一旦開源社區(qū)拿下了性能和成本的制高點，

閉源廠商壓力巨大。

都這樣了，就積極擁抱吧。

那如何賺錢呢？

這是云廠商要思考的問題，

我的觀察是，

云廠商想通過通用模型本身筑就壁壘幾乎不可能。

但是，當下，

可以筑就“模型+底座軟件”的壁壘。

這也是DeepSeek的打法，

模型本身開源了，不是壁壘，

加上底座就有壁壘了。

因為底座是為模型設計的。

如果模型自己的，底座軟件自己的，

連芯片也是自己的，

那真的就是太好了，

譚老師我已經(jīng)在你辦公室門口了，開門啊。

這類廠商想把DeepSeek推理的吞吐做大，好難。

模型即服務明顯利潤更高，

即便是這個模型不是你的。

這件事的早期，考驗云廠商什么呢？

考驗造出一套適配DeepSeek的底座軟件的能力。

我都不說這套系統(tǒng)有多好，

你得先有。

后面，大家就都有了，而且誰也不會差。

還有一個問題，以前的底座不能繼續(xù)用嗎？

DeepSeek和之前以Llama系列，

通義千問72B為代表的模型架構(gòu)不同，

怎么不同呢？打個并不貼切的比喻，

一個是直升飛機，一個是固定翼飛機。

你之前不是有停機坪能支持直升飛機起降嗎？

能支持固定翼飛機起降嗎？

輕輕柔柔一句話，

能支持，就是要再鋪一條跑道。

只有真正干“底座”的人，

才知道這句話的份量有多重。

那些跑在英偉達GPU上的云廠商基礎軟件團隊，

無奈背過臉輕輕擦去臉上的淚水，

那些非英偉達AI芯片吞吐量想做大就更累了。

因為DeepSeek是在英偉達上訓練出來的模型，

如果你也把模型部署在英偉達GPU上，

大可以抄作業(yè)，

相反，就沒有作業(yè)可抄。

不過，好消息是，非英偉達AI芯片才有壁壘。

大家都知道，

固定翼飛機要一定長度的跑道起降。

那些之前都是玩直升機的云廠商，

相當于只有停機坪，沒有跑道，

需要提供DeepSeek的API接口給客戶用，

就得從頭開始鋪跑道。

那么啥也憋說了，趕緊造吧。

在這個值得紀念的，2025年的蛇年春節(jié)，

所有的云廠商AI基礎軟件團隊都在瘋狂加班，

原因就是這個。

而且，這個破班到現(xiàn)在，

到4月第一周了，都沒有加完。

一位在百度干這個活的小哥哥發(fā)的朋友圈說，

史上最夸張的加班。

為什么呢？因為難，因為還在猛干提高。

頭部云廠商的AI基礎設施團隊，都是一流團隊。

弄了這么久只有一個原因，就是難。

美國硅谷AI芯片創(chuàng)業(yè)團隊的核心研發(fā)給我說，

他要做一個輕版本，盡快給客戶用，

還要再做一套重版本，把每一個細節(jié)都設計好。

為什么要這樣呢？

他告訴我的原話是：

“難度陡然提升的原因是，

DeepSeek模型的思路和其它開源模型不一樣。

需要打破以前的慣例，

為他量身定制一套部署。

若還是Llama老路倒簡單了。”

要知道，推理速度快和打滿是兩個技術(shù)路線，

勛章屬于“能在吞吐量上打敗所有人的英雄”。

云廠商的基礎軟件團隊不是吃白飯的，

這個時期，要有一套基礎軟件，能夠媲美，

甚至超過DeepSeek原裝那套。

只有這樣才能賺錢。

如果價格比DeepSeek低，

你的成本還比它高，那就慘了。

這個時候的性價比，就和技術(shù)大大的相關(guān)了，

這里是云廠商AI的正面戰(zhàn)場，

請享受這無可回避的痛苦。

說個有意思的，

老讀者都知道譚老師很喜歡和CTO對暗號。

如果你想顯示你很懂DeepSeek，

那有一個數(shù)據(jù)必須脫口而出，

說實話，譚老師我見到大神CTO的時候，

報出的暗號就是14.8K。

只要能報出這個數(shù)字，那就是自己人了。

要不知道這個數(shù)字，

那咱們就不再是朋友了。

技術(shù)濃度最高的部分就要來了。

14.8K是什么呢？是一個標桿速度，

輸出吞吐約14.8ktokens/s，

也就是大模型一秒鐘吐出大約吐出15萬個詞元。

為什么DeepSeek做到了？

這就說明它在基礎軟件（PD分離調(diào)度、批量吞吐調(diào)優(yōu)、算力利用率、KV Cache管理等）多個方面都非常頂，非常頂。

只追趕14.8K這一個指標就夠了嗎？當然不夠。

因為不同客戶，不同場景的要求不同，

要做定制化調(diào)整，

比如，對話客服機器人，

用戶只說了幾句話，

然后模型要連續(xù)生成很多回答的內(nèi)容，

生成工作量大，速度不能慢；

而搜索增強生成（RAG）或如法律合同分析則不然，常常是輸入量大。

技術(shù)語是Prefill和Decode分離，俗稱PD分離，

速度是分開優(yōu)化的，

當然，錢也得分開算的。

Prefill的成本是多少，Decode的成本又是多少。

換句話說，只要做到這個數(shù)，

利潤率基本接近DeepSeek原廠的了。

那天去海淀區(qū)上地奎科大廈喝奶茶，

百度智能云的技術(shù)小哥哥和我說，

他們已經(jīng)很接近這個數(shù)了，

為了證明這件事的真實性，

我和他繼續(xù)聊細節(jié)，我們討論了賺錢的套路：

DeepSeek R1標價是每一百萬個詞元：

輸入4塊，輸出16塊；

他認為DeepSeek R1成本是輸入三毛，

輸出1塊7毛。

很顯然，DeepSeek R1很賺錢。

假設每個廠商都有數(shù)量和型號相同的芯片，

誰的系統(tǒng)的總吞吐量最高，誰就最賺錢。

前段時間，

美國硅谷那邊的技術(shù)小哥哥和我聊了聊。

技術(shù)方面，對比DeepSeek和一眾友商的吞吐，DeepSeek高了10倍。

怎么做到的？

第一，改動自注意力和FFN計算順序，

內(nèi)存瓶頸轉(zhuǎn)為通信瓶頸，節(jié)省時間2倍。

第二，KVCache 占比30%，batchsize可以變大，提升2倍，

第三，TP轉(zhuǎn)EP，提升2.5倍。“

這就是10倍的由來。

當使用DeepSeek的需求激增，

好的AI全鏈路軟件是云廠商AI業(yè)務的生命線。

另外，吞吐量是各家都一直在努力提高的，

屬于動態(tài)數(shù)據(jù)，

咱們誰也別刻舟求劍。

云廠商如果徹底跟不上DeepSeek，

自家的AI全鏈路軟件就等著落后，

開源大模型默認不適配任何一家云廠商的底層軟硬件或優(yōu)化路徑，苦干是唯一的選擇。

這也是為什么你會看到，

阿里、騰訊、字節(jié)、百度，

都在投入專屬系統(tǒng)，

做的其實和 DeepSeek 非常類似。

推理基礎設施必須自建嗎？或者能“白嫖”嗎？

可以這樣說：

如果你是云廠商，不搭一套推理基礎設施，

就像搞電商不建物流系統(tǒng)。

模型可以不是自己原創(chuàng)的，

只要別人好就上別人的。

云廠商本質(zhì)是水電煤氣基礎設施提供商，

只是模型如果是自己的，整套賣那就更賺錢，

而且模型是打磨底座的利器，

沒有好模型，云廠商出去賣底座，

都會被人質(zhì)疑“零經(jīng)驗”。

但要想用開源模型“量大，穩(wěn)定且掙錢”，

這套底座，少得了嗎？

（完）