深度求索第一性原理：從DeepSeek中激活的4個(gè)深度反思

用第一性原理，而不是類比思維去思考問題

——埃隆·馬斯克

大家春節(jié)好！初五迎財(cái)神，拜個(gè)晚年，祝朋友們都能財(cái)源廣進(jìn)~

也順便借這個(gè)好日子，重啟本年度公眾號首文。

假期這幾天，我朋友圈就2件事：過年和DeepSeek。潑天的流量，把“深度求索”這家公司推到了風(fēng)口浪尖。

關(guān)于DeepSeek的文章，網(wǎng)上已數(shù)不勝數(shù)，歸了一下類，大概分這么幾種：

• 技術(shù)流：講模型原理、算法創(chuàng)新、性能突破的。

• 商業(yè)分析流：講創(chuàng)始人背景、企業(yè)成長史、行業(yè)影響力的。

• 應(yīng)用探索流：講提示詞寫法、本地部署方法，以及怎么用DeepSeek搞錢的。

• 國際格局流：講國內(nèi)外反應(yīng)、講對抗霸權(quán)的。

當(dāng)然，還有很多聲音在質(zhì)疑、唱衰和傳播假消息，面對這些海量信息的轟炸，要說不FOMO肯定是假的。

因此在這篇文章中，我希望嘗試用第一性原理，回答兩個(gè)問題：

這次破圈，DeepSeek做對了什么？

他們的經(jīng)驗(yàn)，對我們有什么啟發(fā)？

我會(huì)從多個(gè)角度嘗試拆分這兩個(gè)問題，希望借助一些觀察和思考，幫助大家跳出焦慮、抓住本質(zhì)。

引言

馬斯克認(rèn)為，第一性原理的思考方式，是用物理學(xué)角度看世界。也就是說，要回歸事物最基本的條件，再層層撥開表象，解構(gòu)成各種要素分析，從而找到實(shí)現(xiàn)最優(yōu)路徑的方法。

• 交通的第一性原理是速度與安全，不是四個(gè)輪子加兩張沙發(fā)；

• 供應(yīng)鏈的第一性原理是效率，不是倉儲(chǔ)和物流；

• 互聯(lián)網(wǎng)的第一性原理是流量，不是網(wǎng)站或App；

• 網(wǎng)紅的第一性原理是影響力，不是粉絲數(shù)和閱讀量；

那么，對深度求索而言，他們所遵循的，對大模型的第一性原理是什么？

答案很明顯，不是參數(shù)量，不是評估分?jǐn)?shù)，也不是用戶數(shù)，是成本，是用極致的計(jì)算成本逼近通用問題解決能力的邊界！

馬斯克曾說過，他的成功得益于自己養(yǎng)成了一種很絕的心態(tài)，叫做10%目標(biāo)定律。也就是無論你在生活中想要什么，都要做10次嘗試。

但實(shí)際上，大多數(shù)人都不會(huì)嘗試10次，甚至連一次都不想嘗試。

從2023年發(fā)布首個(gè)開源模型DeepSeek Coder，到后來的DeepSeek LLM、DeepSeek-V2，再到如今的V3、R1，每一步DeepSeek都走的很扎實(shí)，但這并不代表中間不會(huì)出錯(cuò)，就算這家公司的員工都是萬里挑一的天才，他們在模型訓(xùn)練上的嘗試，肯定不止十次、百次。

那什么樣的事，會(huì)讓他們失敗9次，還愿意做第10次呢？一定不是風(fēng)口上的熱鬧事。力出一孔，把所有資源都投入在一件事上，是保持專注、緩解FOMO的不二法門。

那么，在DeepSeek對成本的極致追求下，哪些過程會(huì)對我們有啟發(fā)呢？

DeepSeek與創(chuàng)新思維

想探求一款大模型產(chǎn)品的本質(zhì)，最直接的方法是看論文。

于是春節(jié)這兩天除了陪家人，就是研究《DeepSeek-V3 Technical Report》和《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》

具體這2篇論文講了什么，很多文章都有解析，這里不再贅述，我也不是算法研究員，不敢瞎講。

但我仍舊想從第一性原理的角度來和你分享，從論文中，我看到的DeepSeek做工程創(chuàng)新的基本原則。

舉2個(gè)例子吧，第一個(gè)是MTP架構(gòu)的創(chuàng)新。

MTP（Multi-Token Prediction），也叫多token預(yù)測技術(shù)，這是一種并行優(yōu)化機(jī)制，可以讓模型在訓(xùn)練時(shí)同時(shí)預(yù)測多個(gè)連續(xù)位置的token。從而提升整體性能和推理速度。

有人說這項(xiàng)技術(shù)Meta早在24年4月就提出來了，DeepSeek就是直接拿過來用而已。但仔細(xì)讀過論文后，你會(huì)發(fā)現(xiàn)它們長得并不一樣：

因?yàn)槌薓eta，MTP的背后還有《EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty》和《Fast Inference from Transformers via Speculative Decoding》這2篇論文在起作用。

Meta提出的MTP，對每個(gè)輸入的token，會(huì)同時(shí)并行輸出4個(gè)targets token，但實(shí)際上大模型的內(nèi)容輸出是遵循自回歸方式一個(gè)個(gè)輸出，是有前后關(guān)系的，這種用并行heads去預(yù)測token的方式會(huì)和自回歸邏輯沖突。

而解決思路，就來自另一篇叫《EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty》的論文，它在Medusa算法的基礎(chǔ)上，提出用自回歸heads取代并行heads的策略。

這里有個(gè)很有趣的細(xì)節(jié)，《EAGLE》這篇論文，其實(shí)要解決的是大模型推理耗時(shí)問題，其參考了Google的論文《Fast Inference from Transformers via Speculative Decoding》，在該論文“先起草、后驗(yàn)證”方法的基礎(chǔ)上，讓模型“打草稿”的結(jié)果更準(zhǔn)。其方法之一，就是將前一步的token序列（包含采樣結(jié)果）作為輸入的一部分來進(jìn)行預(yù)測。

看到這張圖，你有沒有似曾相識的感覺？

是的，和DeepSeek的MTP架構(gòu)非常相似。盡管EAGLE的初衷是提升大模型推理效率，但抽象出來看，其本質(zhì)上也是在預(yù)測token，既然這如此，這種思路同樣可以用來做模型訓(xùn)練。這就是MTP方法的創(chuàng)新邏輯之一：廣泛參考，抽象本質(zhì)，相互借鑒。

第二個(gè)例子，來自DeepSeekMoE架構(gòu)。

要了解清楚DeepSeekMoE，只看V3論文是不夠的，要上到源頭《DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models》，這篇論文中，DeepSeek對傳統(tǒng)MoE架構(gòu)做出了三項(xiàng)改進(jìn)：拆分、共享和平衡。

• 拆分，是把專家變得更小、數(shù)量變得更多，從而實(shí)現(xiàn)“三個(gè)臭皮匠頂個(gè)諸葛亮”的效果；

• 共享，即設(shè)立一個(gè)能力一般的“通才”，所有回答先經(jīng)過通才，再選擇3個(gè)專才回復(fù)，最后加權(quán)平均。通才可能有小錯(cuò)誤，但專才可以進(jìn)行改正。

• 平衡，即平衡各個(gè)專家被訓(xùn)練的次數(shù)。

抽象出來看，這種“從量變到質(zhì)變”的思想，本質(zhì)上是一種資源最優(yōu)分配的策略，即：如何在有限資源下，在時(shí)間、空間、數(shù)量、質(zhì)量之間做權(quán)衡和互換，從而以提高系統(tǒng)整體性能和效率，而這個(gè)策略延展到極致，本質(zhì)上這就是“Scaling Law”。

類似的原理，可以在城市規(guī)劃中看到：將綜合商場拆分為店鋪集群（如電子產(chǎn)品一條街），提升交易效率；也可以在社會(huì)組織中看到：設(shè)立公共行政部門（如稅務(wù)局）處理通用事務(wù)，讓企業(yè)專注專業(yè)領(lǐng)域；同樣可以在項(xiàng)目管理中看到：通過合理分配開發(fā)資源，優(yōu)化產(chǎn)品開發(fā)的流程和質(zhì)量。

綜合上面2個(gè)例子可以看出，支撐DeepSeek做創(chuàng)新的關(guān)鍵，正是對事物極強(qiáng)的抽象和整合能力。

延展思考一下，這項(xiàng)能力，對我們做產(chǎn)品會(huì)有什么啟發(fā)呢？

• 對需求的極致抽象，可以更合理地分配實(shí)現(xiàn)資源；

• 對功能的極致抽象，可以更合理地設(shè)計(jì)產(chǎn)品模塊；

• 對市場變化的極致抽象，可以更及時(shí)地調(diào)整產(chǎn)品策略；

舉個(gè)例子，小貓補(bǔ)光燈，就是對“補(bǔ)光”這一核心需求的抽象；之前在360做的小爆款“時(shí)光日記”，是對“情緒表達(dá)”的抽象。我覺得從DeepSeek模型訓(xùn)練經(jīng)驗(yàn)中學(xué)到的這種解題思路，尤其適合資源和時(shí)間有限的獨(dú)立開發(fā)者，幫助他們拓寬視野、探尋本質(zhì)，以更高效的分配方式滿足用戶需求。

DeepSeek與提示詞使用

這是對R1論文研讀后的思考。DeepSeek火爆后，最讓人樂此不疲的，是它的深度思考模式。

很快，網(wǎng)上就流傳開一個(gè)共識：和DeepSeek對話，不能用傳統(tǒng)的“角色-指令”提示詞框架，而要采用“場景-需求”的表達(dá)方式。典型格式就是：我要xx，要給xx用，希望達(dá)到xx效果，但擔(dān)心xx問題……

另一個(gè)現(xiàn)象是，很多時(shí)候DeepSeek的輸出過于“抽象”，充斥著大量難以理解的高大上名詞，什么“參數(shù)正交、生命系統(tǒng)、元認(rèn)知、數(shù)據(jù)混沌”，但加上一句“說人話”，表達(dá)就會(huì)“接地氣兒”的多。

另一個(gè)DeepSeek的神奇之處，是它模仿名人風(fēng)格寫出的作品，和原作者文筆的相似度極高，效果遠(yuǎn)超其他模型。

這又引起了我的好奇。

• 為什么要有這種提示詞寫法的轉(zhuǎn)變？

• 為什么有時(shí)候DeepSeek的輸出太“學(xué)術(shù)”，要讓它“說人話”？

• 為什么讓DeepSeek模仿一個(gè)人的風(fēng)格，能模仿的這么像？

• 為什么在數(shù)學(xué)推理、編程運(yùn)算上表現(xiàn)出色的DeepSeek，在創(chuàng)意寫作上也令人驚艷？

從R1的論文中也許能窺探一二.

首先，DeepSeek-R1-Zero的訓(xùn)練過程中，使用了格式獎(jiǎng)勵(lì)模型，要求模型將思考過程放在‘ ’和‘ ’標(biāo)簽之間。

這種做法強(qiáng)化了模型的指令遵循能力，而這項(xiàng)能力，很可能泛化到其他格式敏感的任務(wù)中。當(dāng)用戶提出“用某個(gè)名人的風(fēng)格寫文章”時(shí)，模型會(huì)把風(fēng)格指令看做類似 的格式約束，從而做到精準(zhǔn)響應(yīng)。

第二，在強(qiáng)化學(xué)習(xí)的過程中，模型被要求學(xué)會(huì)“驗(yàn)證步驟合理性”，而這種能力不僅被用來驗(yàn)證解數(shù)學(xué)和編程問題，遷移到寫作中，也能讓寫作的每一步更有條理。

此外，猜測在多階段訓(xùn)練的冷啟動(dòng)階段，DeepSeek的研究員也為模型注入了大量長鏈思維數(shù)據(jù)，其中就包含著高質(zhì)量的寫作樣本。

第三，為了訓(xùn)練出一個(gè)用戶友好的模型，除了格式獎(jiǎng)勵(lì)，DeepSeek-R1的訓(xùn)練過程中還引入了語言一致性獎(jiǎng)勵(lì)（Language Consistency Reward），這使模型更擅長理解“任務(wù)目標(biāo)+約束條件”，而不是抽象角色定義。

舉個(gè)例子，如果輸入這樣的提示詞：

我要向?qū)W生解釋微積分概念，希望步驟清晰但避免術(shù)語堆砌，擔(dān)心他們難理解

其中的“希望xxx”部分，會(huì)觸發(fā)格式獎(jiǎng)勵(lì)，因?yàn)槠潆[含了讓模型分步解釋的要求，類似加上了 的限制條件。而“避免xxx，擔(dān)心xxx”部分，則激活了語言一致性獎(jiǎng)勵(lì)，對應(yīng)著模型訓(xùn)練中可讀性優(yōu)化的目標(biāo)。

也就是說，在DeepSeek的強(qiáng)化學(xué)習(xí)過程中，訓(xùn)練數(shù)據(jù)通常會(huì)遵循“問題描述→約束條件→輸出結(jié)構(gòu)”的分布，而如果我們在提示詞中也遵循這樣的寫法，就會(huì)觸發(fā)模型自動(dòng)生成帶 風(fēng)格的分步解答。

從另一個(gè)角度理解，讓模型扮演一個(gè)角色，本質(zhì)上是給模型設(shè)定一個(gè)System Prompt（系統(tǒng)提示詞），讓它具備某項(xiàng)能力。而DeepSeek-R1的訓(xùn)練過程中，并沒有顯式使用System Prompt（系統(tǒng)提示詞），而是完全依賴User Prompt（用戶提問）和結(jié)構(gòu)化響應(yīng)模板（如 和 標(biāo)簽）來引導(dǎo)模型行為。即：

User: [問題描述]

Assistant: [推理過程] [最終答案]

在論文第5章（Limitations）中也提到，建議用戶在使用時(shí)直接描述問題，并使用零樣本設(shè)置指定輸出格式以獲得最佳結(jié)果。如果強(qiáng)制添加角色指令，模型很可能因?yàn)橛?xùn)練數(shù)據(jù)缺乏此類模型而表現(xiàn)不穩(wěn)定。

如果你對產(chǎn)品思維足夠敏感，會(huì)發(fā)現(xiàn)一件事：

DeepSeek-R1所推薦的提示詞寫法，和描述需求的方式是一樣的，即：

不要講用戶需要什么，而是還原場景，站在用戶視角，強(qiáng)調(diào)：我希望達(dá)成一個(gè)什么目標(biāo)，但在達(dá)成過程中遇到了什么問題，我希望解決它，但面臨著一些困難，不知道該怎么做才好。

而DeepSeek做深度思考的過程，就可以看做產(chǎn)品經(jīng)理思考產(chǎn)品解決方案的過程。

這也是為什么我之前在「AI見識群」里和大家建議，相比輸出結(jié)果，更應(yīng)該學(xué)習(xí)R1的思考過程：

再延展思考一下，除了直接描述目標(biāo)、場景和要解決的問題外，從論文中還可以衍生出哪些提示詞優(yōu)化技巧？核心思路就是想辦法激活模型在RL訓(xùn)練中學(xué)習(xí)到的獎(jiǎng)勵(lì)機(jī)制和鏈?zhǔn)酵评砟芰?/strong>。比如說：

1、分步式結(jié)構(gòu)：任務(wù)分解+邏輯鏈路

舉例：

需求：我需要寫一篇關(guān)于氣候變化對農(nóng)業(yè)影響的科普文章。
步驟：
先解釋氣候變化的基本原理（控制在200字內(nèi)）；
再按“問題→技術(shù)解決方案→案例”結(jié)構(gòu)展開（需包含數(shù)據(jù)支撐）；
最后進(jìn)行總結(jié)（避免專業(yè)術(shù)語）。
注意：每一步的結(jié)論要自然銜接，讀者是高中生。

目標(biāo)：生成一段吸引Z世代用戶的短視頻文案。
優(yōu)秀案例特點(diǎn)：
1.多用梗圖和網(wǎng)絡(luò)熱詞
2.節(jié)奏快，每句話不超過10個(gè)字
3.高頻使用表情符號（每句1個(gè)）
需避免的問題：
1.說教式口吻
2.復(fù)雜長句
3.與當(dāng)前流行文化脫節(jié)

觀點(diǎn)：新能源車補(bǔ)貼退下降會(huì)導(dǎo)致銷量下滑
1.請列舉支持該觀點(diǎn)的3個(gè)經(jīng)濟(jì)學(xué)理論
2.請找出3個(gè)可能推翻該觀點(diǎn)的因素
3.請同時(shí)對你的支持和反對回答復(fù)盤10次
4.綜合判斷觀點(diǎn)成立的概率和理由