Ilya警告、LeCun冷嘲、奧特曼沉默：Scaling Law時代還能走多遠？

新智元報道

編輯：定慧

【新智元導讀】過去10年，AI大模型的技術本質，是把電力能源通過計算過程轉化為可復用的智能。2026年，我們需要讓AI模型在單位時間內「吃下」更多能源，并真正將其轉化為智能。

2026年的AI圈子，最怕什么？

從2022年底ChatGPT橫空出世以來，AI圈子里一直潛藏著一個「幽靈」。

從ChatGPT到驚艷世界的DeepSeek，再到2025年底的Gemini 3、GPT-5.2等，所有這些頂級模型背后都是這個幽靈。

他就是Scaling Law，但是令所有人焦慮的是：這個幽靈是否將要，還是已經「撞墻」了？！

Scaling Law是否已經失效？

大佬們的看法出現了前所未有的分歧。

Ilya Sutskever公開表示，單純堆砌預訓練算力的時代正在進入平臺期，智能的增長需要轉向新的「研究時代」。

Yann LeCun則一如既往地毒舌，認為當前的大語言模型無論怎么Scaling都無法觸達真正的AGI。

即便是Sam Altman，也在公開場合含蓄地承認過，僅僅靠更多的GPU已經無法換回同比例的智能躍遷。

當全行業都在為「數據枯竭」和「算力報酬遞減」頭疼時，大家都在問：

算力還在漲，為什么智能的躍遷似乎變慢了？

最近在刷知乎時，讀到了新加坡國立大學校長青年教授、潞晨科技創始人尤洋（Yang You）的一篇深度長文：《智能增長的瓶頸》。（文末附有原文）

這篇文章的角度非常獨到，尤洋站在基礎設施與計算范式的底層，探討了一個更本質和底層的問題：

算力是如何被轉化為智能的，以及這種轉化機制是否正在失效。

尤洋教授在文中給出了一個引人深思的觀點：

過去10年，AI大模型的技術本質，是把電力能源通過計算過程轉化為可復用的智能。

文章系統性地梳理了過去十年大模型成功背后的「隱含假設」，并指出這些假設正在接近邊界。

一、智能從哪里來？

尤洋對「智能」的定義相當通俗易懂，也就是模型的預測與創作能力。

在此基礎上，他進一步提出：

「過去10年，AI大模型的技術本質，是把電力能源通過計算過程轉化為可復用的智能?！?br/>

這與強化學習教父Richard S. Sutton分享的觀點類似。

在尤洋的敘述中，有三個關鍵共識被明確強調：

1. 預訓練是智能的主要來源

   微調、強化學習等階段貢獻有限，根本原因并非算法無效，而是能源（算力）投入規模不在一個數量級。

1. Next-Token Prediction是一個極其成功的Loss設計

   它最大化減少了人為干預，給AI大模型提供了近乎無限的訓練數據。

1. Transformer的勝出，是因為Transformer也是一臺并行計算機。

   Transformer并非「更像人腦」，而是更像GPU——高度并行、計算密集、通信可控。

正是這三點共同作用，使得從GPT-1、BERT、GPT-2、GPT-3，到ChatGPT與Gemini，大模型得以在十余年間持續放大算力投入，并將其穩定轉化為可感知的智能提升。

尤洋也因此指出了真正的瓶頸所在。

二、真正的「瓶頸」在哪里？

在《智能增長的瓶頸》中，尤洋重新界定了「瓶頸」的涵義，并明確區分了兩類經常被混淆的進展：

• 效率提升

  用更少參數、更低算力，達到相同效果（如剪枝、蒸餾、低精度、Mamba等）。這類進展對于工程落地和規模化部署至關重要，但并不直接決定智能的上限。

• 智能上限提升

  在相同的浮點計算總量約束下，訓練出能力更強、泛化性更好的模型。這才是決定智能是否能夠持續躍遷的關鍵指標。

在尤洋看來，當前遇到的并不是「算力不夠」，而是：

「我們現在的范式無法充分利用持續增長的算力。」

換句話說，問題不在于GPU增長放緩，而在于模型、Loss、優化算法對算力的「消化能力」正在下降。

我們需要讓AI模型在單位時間內「吃下」更多能源，并真正將其轉化為智能。這么來看：

大模型智能可能還有很大的發展空間，預訓練才剛剛開始。

三、未來方向

不是「省算力」，而是「吃下更多算力」

文章對未來路徑的判斷，整體偏向高投入、強基礎設施導向。

簡單地說，也就是如果不考慮成本，問題不是「如何更省」，而是「如何更有效地消耗更多算力」。

尤洋提出了幾個值得關注的方向：

1. 更高數值精度

   當前從FP16→FP32→FP64并未帶來明顯智能躍遷，但這可能是「未被充分探索」的方向，而非被證偽。

2. 更高階優化器

   從一階梯度方法轉向更高階優化器，理論上可以提供更「聰明」的參數更新路徑，但高階優化器的全面替代可能需要很長的時間。

3. 更具擴展性的模型架構或Loss函數

   不以吞吐或效率為目標，而以「在極限算力下能否訓出更強模型」為標準。

4. 更充分的訓練和搜索

   包括Epoch、超參數、數據與參數匹配關系，而非簡單「再多跑幾輪」。

值得注意的是，文章明確將推理優化、低精度、蒸餾等技術劃歸為「落地層面」，并強調它們與「智能上限」是兩條不同的技術曲線。

結語

如果說過去十年AI的核心問題是「如何獲得更多算力」，那么接下來一個階段，問題可能變成：

我們是否真的知道，如何把這些算力變成智能。

《智能增長的瓶頸》像是一份寫給從業者的技術備忘錄：當算力仍在增長，但智能不再「自動升級」時，我們需要重新審視哪些變量才是真正決定上限的因素。

以下為《智能增長的瓶頸》原文。

智能增長的瓶頸

作者：尤洋，新加坡國立大學校長青年教授，潞晨科技創始人。

2026年已至。

在ChatGPT誕生三年多后的今天，關于我們的智能水平是否令人滿意，以及未來是否還能強勁增長，筆者想分享一些個人的看法。如有謬誤，懇請大家指正。

為了能深入探討智能的本質，本文將不涉及產品易用性、成本等商業化或落地問題，因為這些本質上與智能突破本身無關。

智能的現狀

什么是智能？

其實目前并沒有一個明確的定義。

從最近圖靈獎得主Yann LeCun和諾貝爾獎得主Demis Hassabis關于AGI的爭論中，我感受到即便是世界上最頂尖的專家也無法準確定義智能。

個人感覺，AGI很難定義，其標準也會隨著時代的變化而變化。

我依然記得十幾年前，普通人對人臉識別技術感到不可思議。

如果把今天的ChatGPT拿到2006年，相信那時候的很多人會毫不懷疑地認為我們已經實現了AGI。

我覺得智能的核心是預測和創作。

我認為如果達到以下這種狀態，那么就離AGI不遠了：

• 如果你選擇接受哪個工作Offer，完全聽從AI的意見。

• 如果你買足球彩票預測世界杯冠軍，完全聽從AI的意見。

• 如果你有健康問題，會完全采用AI制定的方案去治療。

• 你分辨不清楚一部奧斯卡最佳電影是否是由AI生成的。

• 石油公司的勘探團隊用AI替代了所有數值算法。

• AI能指導初級高鐵工程師在5分鐘內排除高鐵的疑難故障。

• AI能研制出一款專殺癌細胞且不破壞好細胞的藥物。

• AI能通過某區域的地下結構數據，精準預測地震的時間。

• 等等……

今天，我們顯然還沒實現這些。未來能否實現，取決于我們能否克服智能發展的瓶頸。

智能發展的瓶頸

今天，我們經常聽到一些關于智能發展遇到瓶頸，或者預訓練紅利已盡的觀點。

何為瓶頸？我們先探討一下智能從何而來。

過去10年，AI大模型的技術本質，是把電力能源通過計算過程轉化為可復用的智能。

技術的好壞取決于這個轉化效率的高低。類似的表述，我也聽月之暗面的朋友提及過。

今天模型的智能本身，最主要還是來自預訓練（往往是自監督方法），僅有少量來自微調或強化學習。

為什么？先算一筆淺顯的經濟賬：因為預訓練消耗的算力最多，消耗的能源也最多。

當然，預訓練、微調、強化學習本質上都是在計算梯度以更新參數。

如果有合適的海量數據和Loss函數，未來在預訓練階段采用SFT（監督微調）或特殊的強化學習方法也有可能。

從智能增長的角度，我們甚至不用刻意區分預訓練、SFT和強化學習。

它們的區別主要在于更新參數的次數與規模。從計算本質上看：預訓練、微調、強化學習（比如GRPO）都是在計算梯度的類似物，并用它來更新參數。

那么，能源從何而來呢？

這就是GPU或算力。英偉達在這點上做了最大的貢獻。

雖然英偉達有很多先進的技術，比如更強的Tensor Cores、Transformer Engine、互聯技術（NVLink/網絡化NVLink）、軟件棧等，但我先試圖用一句話說清楚英偉達過去幾年在技術上做的最重要的事情，即其GPU設計的核心思路。

簡而言之，英偉達過去幾年最重要的路線是：在同樣的物理空間里堆更多HBM（高帶寬內存）。

HBM雖然帶寬很高，但依然是計算核心之外的內存（Off-chip from logic die），與計算核心存在不可忽略的物理距離。

為了掩蓋內存訪問延遲，GPU只能依賴超大的Batch Size（批處理量）和大規模并行來處理數據。

英偉達GPU本質上就是一臺并行計算機。

因此，英偉達對算法層和軟件層的要求非常明確：必須提供足夠大的Batch Size或并行度。

面對英偉達的要求，很多研究團隊都提出了自己的方案。比如RNN、Transformer、卷積序列模型（CNN for Sequence）等等。甚至有人嘗試用SVM來處理大規模序列數據。

那為什么Transformer率先脫穎而出？

因為Transformer也是一臺并行計算機。這里我引用一下Ilya Sutskever的一句話：

Transformers：parallel computers in disguise.

直白的意思是：Transformer本質上是一個被神經網絡外殼包裹起來的并行計算機。

這也是Transformer最先能夠顯現智能的核心原因，因為它的并行計算特性完美匹配了GPU的并行計算單元。

同時，OpenAI完美地實現了Next-Token Prediction這個Loss函數，它給了AI大模型近乎無限的訓練數據。

理論上BERT的Loss函數（完形填空和Next Sentence Prediction）也可以提供近乎無限的數據，但在實踐中，Next-Token Prediction的效果明顯更好。

我推測，這個Loss函數最小化了人類的干預——它不是人為設計的，而是大自然在進化過程中賦予人腦的邏輯。

并且，Next-Token Prediction其實是預測未來，而BERT的完形填空其實是把過去的信息和現在的信息串聯起來。

這就好比讓一個足球專家根據歷史數據和當天的比賽結果去解釋合理性，幾乎所有專家都能做到；但是，如果讓專家去預測每一場比賽的精準比分，他們會經常出錯。

這再次說明了，預測(Prediction)是智能的核心能力體現，難度遠高于解釋(Explanation)。

其實我挺佩服OpenAI團隊能夠堅持下來的勇氣。

2018年時，BERT在媒體上的影響力幾乎完全碾壓了GPT，且當時OpenAI的AI研發團隊體量跟Google比起來微不足道。

很佩服他們沒有放棄Next-Token Prediction，也沒有轉向類BERT的訓練方式。真理往往需要時間去檢驗。

同時，以Transformer為核心的方案收獲了「一箭雙雕」的雙重優勢：

1. 模型的每層參數量越多，并行度就越高(Tensor Parallelism)。

   所以，只要通信代價不顯著增加，能同時利用的算力就越多。這點需要點贊行業領導者的先見之明。幾年前，我看到CNN時代有研究人員試圖把模型往深度發展，比如設想1000層的神經網絡。其實非常深（層數非常多）的神經網絡是不利于有效利用算力的，因為流水線并行提供的并行度上限不高。

2. Transformer的不同Token可以同時計算。

   序列長度越長，并行度就越高，只要通訊代價不顯著增加，能同時利用的算力就越多。Sequence Parallelism與Data Parallelism互補，進一步提供了更多的并行度。

就這樣，我們見證了GPT-1、BERT、GPT-2、GPT-3、ChatGPT、Gemini一步一步把智能提升到了今天的高度。

到這里，大家大概也清楚為什么AI模型的智能增長會遇到瓶頸了——因為我們現在的范式無法充分消化持續增長的算力。

假定一次模型訓練和微調消耗的浮點數計算次數（即程序員面試中的計算復雜度的具體值）從10^n變成10^{n+3}時，我們是否獲得了一個顯著更好的模型？

其實，很多時候我們把「效率優化技術」和「智能提升技術」混淆了。

比如，明天我提出一個新的架構，實驗發現達到跟GPT-5類似的效果，只需要20%的參數量或計算量。

這其實更多是落地或商業化問題；智能的終極問題是：使用同樣的浮點數計算次數（而非Token量），能否獲得一個更好的模型。浮點數計算次數，才是算力最基本、最本質的計量單位。

未來的方法探討

首先從硬件層來看，我們需要持續產生更大的絕對算力，這不一定局限于單位芯片上的算力提升。

即便單位芯片上的算力沒有大幅度提升，我們通過集群的方式也能構建更大的絕對算力。這里需要平衡的是：聚集芯片帶來的性能增長，要高于「芯片或服務器之間通信增長帶來的負擔」。

所以，具體的硬指標就是：增長或至少維持住「計算開銷/通信開銷」這個比值。這是整個AI基礎設施層最核心的技術目標。要想實現這個目標，我們需要擴展性更好的并行計算技術，無論是軟件還是硬件。

在更上層的探索中，我們需要讓AI模型在單位時間內「吃下」更多能源，并真正將其轉化為智能。

個人感覺大概有以下幾點方向：

1. 更高精度的計算能力。

   今天，從FP16到FP32，甚至FP64，模型智能并未出現明顯躍升。這本身就是一個瓶頸。理論上，更高精度應當帶來更可靠的計算結果，這一點在傳統科學計算中早已得到驗證。這個觀點可能與主流機器學習共識并不一致，而且真正發生可能需要很長時間，但從本質上看，智能仍然需要更精準的計算。這與過擬合并無直接關系，過擬合的根源在于數據規模不足或參數與數據不匹配。

2. 更高階的優化器。

   Google的朋友告訴我，他們有時候已經不用類Adam優化器，而是用更高階的優化器在訓練模型。高階優化器理論上能在學習過程中給模型更好的指導，算出更好的梯度，這是模型智能提升的本質。當然，高階優化器的全面替代可能需要很長的時間。

3. 擴展性更好的模型架構或Loss函數。

   我們仍然需要一種擴展性更好的整合和利用算力的方式。這點我們需要注意：優化效率不一定能提升智能。比如Mamba出來的時候，宣傳重點是吞吐量的提升，用更小的模型獲得同水平的智能。但是，本文關注的是：在最健全的AI基礎設施上，用最大的可接受成本，能否訓出更好的模型，獲得更高的智能。比如，今天Google告訴你：預算300億美元，半年內給我訓出一個更好的模型，不考慮省錢問題，花10億和花100億沒區別。在這個場景下，你最終是否會用Mamba這樣的架構？你是否需要設計更好的Loss函數？

4. 更多的Epoch和更好的超參數

   迫于成本壓力，我們今天其實并沒有對AI模型進行深度優化，甚至沒有深度搜索超參數。這其實也是我之所以對AI模型的智能繼續增長有信心的原因。我這里的意思不是直接訓練更多的Epoch。明知無效卻生硬地跑更多Epoch其實是方法不對（比如參數量和數據量不匹配）。但是，根本上，更多的Epoch代表更多的浮點數、更多的能源。我們需要找到方法去「吃下」更多能源，并轉化出更高智能。

有些技術對大規模落地AI非常重要，比如低精度訓練、剪枝、量化、蒸餾、PD分離等推理優化技術。

但是，在一個「算力轉智能」極端有效的情況下，這些技術跟提升智能上限無關。

筆者對這些技術的貢獻者非常尊重，它們在實際落地中至關重要，只是與本文探討的主題無關。

智能增長歸根到底還是算力利用問題。假定算力無限大，比如一個集群的算力達到今天的萬億倍，可能我們會發現更簡單的模型結構比Transformer和Next-Token Prediction的擴展性更好。

從SVM到CNN、LSTM、BERT、GPT、MoE：我們始終在尋找能更高效利用算力且具備更好擴展性的方法。

這個過程中，核心原因是問題的規模在不斷擴大。

我們在AI時代到來之前便已實現天氣預報，然而至今仍未能攻克地震預報，盡管兩者本質上都是針對地球數據的研究。

究其原因，地下結構涉及比大氣更加錯綜復雜、且變量規模呈指數級龐大的動態多模態數據。

這種傳統計算模式難以駕馭的高維復雜性，恰恰是未來AI技術大有可為的機遇所在。

所以，我有信心我們未來會不斷找到更高效的算力使用方式。

雖然過程中可能會有很多困難和低潮，但大趨勢不可阻擋。

最后，借用Richard Sutton教授的一句話收尾：

人工智能70年的研究留給我們最大的經驗教訓是，依托計算能力的通用方法才是最終的贏家，且具備壓倒性的優勢。

https://zhuanlan.zhihu.com/p/1989100535295538013

秒追ASI

?點贊、轉發、在看一鍵三連?

點亮星標，鎖定新智元極速推送！