AI大?？ㄅ廖靼l(fā)布2025年度總結(jié)：LLM潛力僅挖掘不到10%！

過(guò)去一年，LLM 發(fā)展迅速，能力和應(yīng)用場(chǎng)景都在不斷擴(kuò)展。從基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)，到本地運(yùn)行的智能代理，再到“Vibe 編程”和圖形化界面，AI 正以前所未有的方式進(jìn)入我們的工作和生活。

在這樣的背景下，AI 大牛 Andrej Karpathy 在個(gè)人博客上分享了自己對(duì) 2025 年 LLM 發(fā)展的獨(dú)特觀察，既揭示了技術(shù)趨勢(shì)，也提供了對(duì)未來(lái)智能形態(tài)的思考，非常值得一讀。

https://karpathy.bearblog.dev/year-in-review-2025/

作者 | Andrej Karpathy

編譯 | ChatGPT、蘇宓

出品 | CSDN（ID：CSDNnews）

2025 年是大語(yǔ)言模型（LLM）快速推進(jìn)、變化密集的一年。下面列出的是一些在我看來(lái)尤為重要、且多少有些出乎意料的“范式轉(zhuǎn)變”——它們?cè)诟拍顚用嫔细淖兞苏w格局。

基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）

在 2025 年初，幾乎所有實(shí)驗(yàn)室中 LLM 的標(biāo)準(zhǔn)生產(chǎn)訓(xùn)練流程大致如下：

• 預(yù)訓(xùn)練（Pretraining，約 2020 年的 GPT-2/3）

• 監(jiān)督微調(diào)（Supervised Finetuning，SFT，約 2022 年的 InstructGPT）

• 基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF，約 2022 年）

這一組合在相當(dāng)長(zhǎng)一段時(shí)間內(nèi)都是訓(xùn)練生產(chǎn)級(jí) LLM 的成熟且行之有效的方法。

進(jìn)入 2025 年后，基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR）逐漸成為事實(shí)上的新增關(guān)鍵階段，并被納入這一訓(xùn)練體系。

RLVR 的核心做法是：在多個(gè)可自動(dòng)驗(yàn)證獎(jiǎng)勵(lì)的環(huán)境中（例如數(shù)學(xué)或代碼類任務(wù)），對(duì) LLM 進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練。在這一過(guò)程中，模型會(huì)自發(fā)地發(fā)展出在人的視角下類似“推理”的策略——它們學(xué)會(huì)將問(wèn)題拆解為一系列中間計(jì)算步驟，并掌握多種反復(fù)試探、回溯求解的策略（可參考 DeepSeek R1 論文中的示例）。在此前的訓(xùn)練范式下，這類能力很難通過(guò)直接設(shè)計(jì)獲得，因?yàn)槲覀儾⒉磺宄?duì) LLM 而言，最優(yōu)的推理軌跡和糾錯(cuò)路徑究竟應(yīng)當(dāng)是什么樣子；模型必須通過(guò)圍繞獎(jiǎng)勵(lì)函數(shù)的優(yōu)化，自行找到對(duì)自己有效的方式。

與 SFT 和 RLHF 這兩個(gè)相對(duì)“輕量、短周期”的階段不同，RLVR 依賴的是客觀、不可被投機(jī)利用的獎(jiǎng)勵(lì)函數(shù)，因此允許進(jìn)行更長(zhǎng)時(shí)間、更充分的優(yōu)化。

實(shí)踐表明，RLVR 在“能力提升 / 成本”這一比值上表現(xiàn)極高，甚至消耗了原本計(jì)劃用于預(yù)訓(xùn)練的大量算力。結(jié)果是，2025 年 LLM 能力的主要進(jìn)展，很大程度上來(lái)自各大實(shí)驗(yàn)室對(duì)這一新階段算力“積壓”的集中釋放：模型規(guī)模大致相近，但強(qiáng)化學(xué)習(xí)的運(yùn)行時(shí)間顯著拉長(zhǎng)。

此外，這一新階段還引入了一個(gè)此前不存在的重要調(diào)節(jié)維度（以及與之對(duì)應(yīng)的尺度定律）：可以通過(guò)在測(cè)試階段生成更長(zhǎng)的推理軌跡、增加“思考時(shí)間”，來(lái)控制模型能力。OpenAI 的 o1（2024 年末）是 RLVR 模型的首次公開(kāi)展示，而在 2025 年初發(fā)布的 o3，則成為明顯的拐點(diǎn)——人們已經(jīng)可以直觀地感受到這種差異。

幽靈 vs. 動(dòng)物 / 鋸齒狀智能（Jagged Intelligence）

2025 年，是我（我想整個(gè)行業(yè)也是如此）第一次開(kāi)始以更直觀的方式真正理解 LLM 智能“形態(tài)”的一年。我們并不是在“進(jìn)化或培育動(dòng)物”，而更像是在“召喚幽靈”。

LLM 技術(shù)棧的各個(gè)層面都與生物智能截然不同——無(wú)論是神經(jīng)架構(gòu)、訓(xùn)練數(shù)據(jù)、訓(xùn)練算法，還是尤其關(guān)鍵的優(yōu)化壓力。因此，我們?cè)谥悄芸臻g中得到的必然是完全不同類型的存在，用“動(dòng)物”的視角去理解它們，本身就并不合適。

從監(jiān)督信號(hào)的角度看，人類的神經(jīng)網(wǎng)絡(luò)是為了在原始環(huán)境中保障群體生存而被優(yōu)化的；而 LLM 的神經(jīng)網(wǎng)絡(luò)，則是為了模仿人類文本、在數(shù)學(xué)與代碼等任務(wù)中獲取獎(jiǎng)勵(lì)，以及在 LM Arena 上贏得人類的點(diǎn)贊而被優(yōu)化的。

隨著可驗(yàn)證任務(wù)領(lǐng)域逐步引入 RLVR，LLM 在這些領(lǐng)域附近的能力會(huì)出現(xiàn)“尖峰式”提升，而在整體表現(xiàn)上則呈現(xiàn)出一種頗為有趣的鋸齒狀特征：它們一方面像是博學(xué)多才的天才通才，另一方面又像是困惑且認(rèn)知能力受限的小學(xué)生，隨時(shí)可能被一次越獄誘騙，從而泄露你的數(shù)據(jù)。

（人類智能：藍(lán)色；AI 智能：紅色。因?yàn)樗赋隽艘粋€(gè)常被忽略的事實(shí)：人類智能本身也是“鋸齒狀的”，只是鋸齒的形態(tài)與 AI 不同。）

與上述討論密切相關(guān)的，是我在 2025 年對(duì)各類基準(zhǔn)測(cè)試逐漸產(chǎn)生的冷淡態(tài)度，甚至可以說(shuō)是信任的流失。核心原因在于：基準(zhǔn)測(cè)試在結(jié)構(gòu)上幾乎天然就是“可驗(yàn)證環(huán)境”，因此會(huì)立刻暴露在 RLVR 及其更弱形式（例如通過(guò)合成數(shù)據(jù)生成實(shí)現(xiàn)的變體）之下。

在典型的“刷榜”過(guò)程中，LLM 實(shí)驗(yàn)室的團(tuán)隊(duì)往往不可避免地會(huì)圍繞基準(zhǔn)測(cè)試，在嵌入空間中構(gòu)造出一些相鄰的小環(huán)境區(qū)域，并刻意“長(zhǎng)出”足以覆蓋這些區(qū)域的能力鋸齒。在測(cè)試集上訓(xùn)練，正在成為一門(mén)新的藝術(shù)。

這也引出了一個(gè)耐人尋味的問(wèn)題：

如果一個(gè)模型可以碾壓所有基準(zhǔn)測(cè)試，但仍然沒(méi)有實(shí)現(xiàn) AGI，那它究竟缺了什么？

關(guān)于本節(jié)所討論的主題，我在下面這些文章中有更為深入的闡述：

• Animals vs. Ghosts：https://karpathy.bearblog.dev/animals-vs-ghosts/

• Verifiability：https://karpathy.bearblog.dev/verifiability/

• The Space of Minds：https://karpathy.bearblog.dev/the-space-of-minds/

Cursor / LLM 應(yīng)用的新一層

在我看來(lái)，Cursor 最值得關(guān)注的地方（除了它今年的爆發(fā)式增長(zhǎng)之外）在于：它令人信服地揭示了 “LLM 應(yīng)用”這一全新層級(jí)的存在——人們開(kāi)始頻繁討論“某某領(lǐng)域的 Cursor（Cursor for X）”。

正如我今年在 Y Combinator 演講中所強(qiáng)調(diào)的那樣（https://www.donnamagi.com/articles/karpathy-yc-talk），像 Cursor 這樣的 LLM 應(yīng)用，本質(zhì)上是在特定垂直領(lǐng)域內(nèi)，對(duì) LLM 調(diào)用進(jìn)行打包與編排：

• 它們負(fù)責(zé)完成“上下文工程”

• 在后臺(tái)編排多次 LLM 調(diào)用，將其串聯(lián)成結(jié)構(gòu)日益復(fù)雜的 DAG（有向無(wú)環(huán)圖），并在性能與成本之間進(jìn)行精細(xì)權(quán)衡
  

• 為“人機(jī)交互”提供面向具體應(yīng)用場(chǎng)景的 GUI

• 提供一個(gè)“自治程度滑桿”

在 2025 年，很多人圍繞這一新應(yīng)用層“到底有多厚”展開(kāi)了大量討論：

所有應(yīng)用最終都會(huì)被 LLM 實(shí)驗(yàn)室直接吞并，還是 LLM 應(yīng)用本身依然存在廣闊的機(jī)會(huì)空間？

我個(gè)人的判斷是：LLM 實(shí)驗(yàn)室可能會(huì)培養(yǎng)出“能力一般的大學(xué)生水平”的模型，但 LLM 應(yīng)用則會(huì)通過(guò)提供私有數(shù)據(jù)、傳感器、執(zhí)行器和反饋回路，對(duì)這些模型進(jìn)行組織、微調(diào)，并真正將它們激活，組建成能夠在特定垂直領(lǐng)域落地的專業(yè)團(tuán)隊(duì)。

Claude Code / 在你電腦上運(yùn)行的 AI

Claude Code（簡(jiǎn)稱 CC）是第一個(gè)讓人直觀感受到 LLM Agent 形態(tài)的產(chǎn)品——它能夠以循環(huán)的方式，將工具使用與推理串聯(lián)起來(lái)，用于解決更復(fù)雜、長(zhǎng)期的問(wèn)題。

對(duì)我來(lái)說(shuō)，CC 另一大亮點(diǎn)在于：它能夠直接運(yùn)行在你的電腦上，并且使用你的私有環(huán)境、數(shù)據(jù)和上下文。相比之下，我認(rèn)為 OpenAI 在這方面走偏了，他們?cè)缙诘?Codex/Agent 研究主要聚焦于云端部署，通過(guò) ChatGPT 容器進(jìn)行編排，而沒(méi)有充分考慮在本地運(yùn)行的可能性。

雖然在云端運(yùn)行的 Agent Swarms 看起來(lái)像是“AGI 的終極目標(biāo)”，但現(xiàn)實(shí)世界中，我們處在一個(gè)能力增長(zhǎng)鋸齒狀、起飛較慢的中間階段，因此直接在開(kāi)發(fā)者的電腦上運(yùn)行 Agent 更為合理。

需要注意的是，這里真正關(guān)鍵的區(qū)別并不是 AI 操作究竟運(yùn)行在云端還是本地，而在于其他所有因素：已經(jīng)啟動(dòng)并運(yùn)行的電腦、安裝環(huán)境、上下文、數(shù)據(jù)、機(jī)密信息、配置，以及低延遲的交互體驗(yàn)。

Anthropic 在這一點(diǎn)上抓住了正確的優(yōu)先順序，并將 CC 打包成一個(gè)簡(jiǎn)潔且極具魅力的 CLI 形式，這改變了人們對(duì) AI 的感知——它不再只是一個(gè)像 Google 一樣需要訪問(wèn)的網(wǎng)站，而是一種“小精靈/幽靈”，真正“居住”在你的電腦上。這標(biāo)志著與 AI 互動(dòng)的一種全新、獨(dú)立的范式。

Vibe 編程

2025 年是 AI 實(shí)現(xiàn)突破的一年——它可以只用英文指令就生成各種令人印象深刻的程序，幾乎不用理會(huì)代碼本身。有趣的是，我第一次提出“vibe 編程”這個(gè)術(shù)語(yǔ)，是在一條隨手靈感發(fā)的推文里，當(dāng)時(shí)完全沒(méi)想到它會(huì)發(fā)展得這么遠(yuǎn)。

通過(guò) Vibe 編程，編程不再嚴(yán)格局限于專業(yè)編碼人員，任何人都可以參與。從這個(gè)角度來(lái)看，它正是我在《賦能大眾》（Power to the People）中提到的例子之一：LLM 徹底顛覆了技術(shù)擴(kuò)散的方式——與以往所有技術(shù)相比，普通人從 LLM 中獲得的收益遠(yuǎn)超專業(yè)人士、企業(yè)甚至政府。

Vibe 編程不僅讓普通人能夠接觸編程，還讓訓(xùn)練有素的專業(yè)人士能夠撰寫(xiě)大量原本可能永遠(yuǎn)不會(huì)出現(xiàn)的軟件。在 NanoChat 中，我通過(guò) Vibe 編程，用 Rust 實(shí)現(xiàn)了自己定制的高效 BPE 分詞器，而無(wú)需采用現(xiàn)成庫(kù)，也不需要在 Rust 上達(dá)到多深的水平。

今年我用 Vibe 編程實(shí)現(xiàn)了很多項(xiàng)目，作為快速應(yīng)用演示，來(lái)驗(yàn)證我想要存在的功能（例如 menugen、llm-council、reader3、HN 時(shí)間膠囊）。我甚至用 Vibe 編程快速生成了整個(gè)短生命周期應(yīng)用，只為了找出一個(gè) bug——為什么不呢？代碼突然變得自由、短暫、可塑、一次性可丟棄。

Vibe 編程將重塑軟件生態(tài)，并改變工作崗位的定義。

Nano Banana / LLM GUI

Google Gemini 的 Nano Banana 是 2025 年最令人驚嘆、具有范式顛覆性的模型之一。在我的世界觀里，LLM 是下一代重要的計(jì)算范式，類似于 20 世紀(jì) 70、80 年代的計(jì)算機(jī)。

因此，我們將看到類似的創(chuàng)新，原因與當(dāng)年計(jì)算機(jī)時(shí)代類似：會(huì)出現(xiàn)個(gè)人計(jì)算機(jī)的對(duì)應(yīng)形態(tài)、微控制器（認(rèn)知核心）的對(duì)應(yīng)形態(tài)，甚至是由 Agent 構(gòu)成的「互聯(lián)網(wǎng)」式系統(tǒng)，諸如此類。

特別是在 UI/UX 方面，與 LLM 進(jìn)行“聊天”有點(diǎn)像在 1980 年代向計(jì)算機(jī)控制臺(tái)發(fā)出命令。文本是計(jì)算機(jī)（以及 LLM）最原生、首選的數(shù)據(jù)表示形式，但對(duì)人類來(lái)說(shuō)，文本并不是最理想的輸入形式——人類其實(shí)不喜歡閱讀文本，它既慢又費(fèi)力。人們更喜歡以視覺(jué)化和空間化的方式獲取信息，這也是傳統(tǒng)計(jì)算機(jī)中 GUI（圖形用戶界面）被發(fā)明的原因。同理，LLM 也應(yīng)該以我們偏好的形式與我們交流——通過(guò)圖像、信息圖、幻燈片、白板、動(dòng)畫(huà)/視頻、Web 應(yīng)用等。

目前早期的嘗試形式當(dāng)然包括 emoji 和 Markdown，它們通過(guò)視覺(jué)化方式“裝飾”和布局文本，使信息更易于理解，如標(biāo)題、加粗、斜體、列表、表格等。但誰(shuí)來(lái)真正構(gòu)建 LLM GUI 呢？在這個(gè)視角下，Nano Banana 提供了一個(gè)早期的線索，展示了未來(lái) LLM GUI 的可能形態(tài)。

值得注意的是，它不僅僅是圖像生成本身，更重要的是文本生成、圖像生成與世界知識(shí)的聯(lián)合能力，這些能力都在模型權(quán)重中緊密交織。

總結(jié)

2025 年是 LLM 發(fā)展令人興奮且略有驚訝的一年。LLM 正在顯現(xiàn)為一種全新的智能形態(tài)——它們?cè)谀承┓矫姹任翌A(yù)期的更聰明，在某些方面又比我預(yù)期的更笨。無(wú)論如何，它們極具實(shí)用價(jià)值，而整個(gè)行業(yè)目前對(duì)它們的潛力認(rèn)知，甚至還不到 10%。

同時(shí)，有太多新想法值得嘗試，從概念上來(lái)看，這個(gè)領(lǐng)域仍然廣闊開(kāi)放。正如我今年早些時(shí)候提到的，我雖然表面上說(shuō)法似乎矛盾，但實(shí)際上相信：一方面我們會(huì)看到快速且持續(xù)的進(jìn)展，另一方面仍有大量工作需要完成。請(qǐng)系好安全帶。