Transformer作者爆料GPT-5.1內幕！OpenAI內部命名規則變亂了

鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI

“我們正在經歷一次靜悄悄、但本質性的AI范式轉換。它的意義不亞于Transformer本身。”

過去一年里，關于AI發展，出現了兩種觀點的分化：

• 一邊是“AI增長放緩、模型到頂、預訓練無用論”
• 另一邊則是隔三差五就來一次“AI大周”：GPT-5.1Gemini 3Grok 4.1

而Transformer作者之一、現任OpenAI研究科學家的?ukasz Kaiser最近接受采訪，給出了第一視角的解答。

信息量極大，包括AI的底層范式轉變、GPT-5.1的命名規則、未來AI的發展趨勢……以及Transformer誕生背后的二三事。

• AI不是變慢了，而是換代了。
• GPT-5.1不是簡單的小版本迭代，OpenAI內部版本命名規則有所變化。
• 多模態推理將會成為下一個突破點。
• AI不會讓人類完全失去工作。
• 家用機器人是繼ChatGPT后最可見的AI革命。

下面一起來康康詳細內容：

AI發展沒有放緩，而是平穩增長

過去一年里，有關“模型進展變緩”的聲音層出不窮，但?ukasz認為這種看法是錯誤的。

他給出的解釋也很直白：

• 從內部視角看，AI的能力增長是一條非常平滑的指數曲線。

這類似于摩爾定律，幾十年來摩爾定律始終有效，甚至在GPU的推動下還在加速，歸根結底也是因為它歷經了數代技術的迭代。

因此，AI從外部看，趨勢是平穩的；而從內部看，其進步也離不開新技術、計算機能力的提升和工程優化的共同作用。

至于為什么會有人覺得“變慢了”，原因無它：AI的底層范式，已經悄悄從預訓練轉向推理模型。

這也是繼Transformer誕生后的又一次關鍵轉折。

如果把技術發展的過程描述為一條S型曲線（起步→快速增長→平穩期），那么預訓練就處于S曲線的上升后期，而推理模型仍處于初期。

不過這并不意味著預訓練的Scaling Laws就失效了，它仍在發揮作用，只是和新的推理范式相比，需要投入更多的資金。

所以出于經濟上的考量，業內人士開始普遍將工作重心轉向更小也更便宜，但質量相同的模型，所以這也是導致外界認為預訓練已經停止的原因之一。

那么回到推理模型上，由于該范式還處于新興階段，進步速度會相當之快。

以ChatGPT為例，GPT-3.5會直接基于訓練數據記憶給出答案，而不會借助任何外部工具和推理，反觀現在最新的ChatGPT會主動瀏覽網站、進行推理分析，再給出準確答案。

對于普通用戶來說，如果不仔細對比，可能會覺得二者差異不大，但實際上這背后是性能質的飛躍。

又比如說Codex，程序員的工作方式已經在近幾個月里轉變為“Codex先處理，然后人工微調”的模式，這種變化其實相當之徹底，但如果不是專業從事編程工作，自然不會留意到這種根本性變革。

所以總的來說，這一切的變化都發生得太快，以至于讓人們還未曾察覺到其中的變化。

而推理模型的本質其實也與基礎大模型類似，只是在給出最終答案前，會優先進行思考，也就是所謂的思維鏈。

在思考過程中，模型被允許使用工具，例如瀏覽網頁，以給出更準確的答案。其推理過程也會被視為模型的一部分并接受訓練。

相比于傳統的深度神經網絡梯度下降訓練，推理模型則更多使用的是強化學習。

具體來說，強化學習會通過獎勵機制推動模型獲取更好的答案，也需要研究人員提供更細致的數據準備，以完成強化學習的參數調整。

然后通過強化學習，模型就能學會對自身錯誤的糾正。

后續行業也會繼續轉向更復雜的強化學習，例如借助一個大模型來判斷答案的正確性或偏好度，或者融入更多的人類偏好。

總之，未來強化學習的應用范圍會更加廣泛，不僅僅適用于特定領域，還能處理更多通用數據，比如說多模態推理，雖然最近Gemini已經能夠在推理過程中生成圖像，但整體來說還處于剛剛起步的階段，相信在強化學習的幫助下會有進一步的提升。

GPT-5.1絕非表面上的小版本更新

關于最近發布的GPT-5.1，?ukasz也釋出了更多細節。

• GPT-5.1看起來只是小版本更迭，實際從內部來講，是一個巨大的穩定性迭代。

首先回到最初的GPT-4到GPT-5，簡單來說，得益于強化學習和合成數據的應用，GPT-5的推理能力明顯提升了。

而到GPT-5.1的改進，則更多集中在后訓練階段，比如增加安全性、減少幻覺，以及添加了如書呆子、專業等多種風格選擇。

版本的命名方式也不再與技術細節掛鉤，轉而以用戶體驗為導向，比如GPT-5是基礎能力較強的模型，GPT-5.1是能力更優的版本，Mini是更小、更快、更廉價但性能稍弱的模型，推理模型則專注于復雜任務。

這種命名方式的轉變也為OpenAI內部帶來了更多靈活性，現在強化學習、預訓練、幻燈片優化等多個項目并行工作，然后通過蒸餾技術就能將多項目成果整合到一個模型中。

這大大縮短了模型迭代時間，可以更好地滿足用戶體驗需求，所以GPT-5.1看似是小版本更新，實則背后是OpenAI基于用戶對其能力和目標預期做出的策略調整。

不過坦白地講，GPT-5.1在部分能力上仍然存在短板。

比如?ukasz用自己5歲的女兒舉了個例子——

GPT-5.1能夠游刃有余地解決奧林匹克競賽題，但在面對小學一年級的數奇偶數題目上卻錯誤百出。

該題目內容是，圖中有兩組點，中間有一個共享點，問總點數是奇數還是偶數。

5歲的孩子能夠在10秒內就算出答案（因為共享點的存在導致總點數為奇數），但無論GPT-5.1還是Gemini 3都會自動忽略這個共享點，誤判為偶數。

這主要還是因為模型缺乏足夠的多模態能力，也未能將一個問題的推理經驗遷移到相似場景中，所以后續他們將會在訓練中進一步強化多模態推理和上下文推理遷移能力。

從谷歌Transformer走向OpenAI

而作為Transformer的作者之一，?ukasz也在訪談中補充了很多誕生細節。

?ukasz自己原先是一名專注于理論計算機科學的學者，高中時就對數學和計算機充滿興趣，并在德國獲得了理論計算機科學與數學博士學位。

他一直對“思維是如何運作的”、“智能的本質是什么”諸如此類的問題充滿好奇，也曾在法國獲得終身教職，從事邏輯和編程研究。

直到深度學習興起，他加入了谷歌。

先是成為了Ray Kurzweil團隊的一員，后轉至Google Brain，開始與Ilya Sutskever等人合作。

在開發Transformer的過程中，?ukasz主要負責編碼和系統工作，參與TensorFlow框架的開發。

不過有趣的是，據他回憶，Transformer論文的八位共同作者從未在同一個物理房間中共同出現過。

而雖然他們彼此之間素未謀面，但他們通過不同角度共同構建了這個模型：

有人專注于注意力機制本身，有人研究如何通過前饋網絡存儲知識，還有人復雜解決工程實現問題，比如他自己。

從現在的角度看，Transformer毫無疑問是當今AI架構的里程碑，但在當時，很多人對用同一個模型處理多個任務的想法并不理解，他們普遍認為不同任務就應該分別訓練不同的專有模型。

而他們八個人堅信自己的選擇，后來的事實也證實了他們的想法是正確的。

關于之所以離開谷歌，轉投OpenAI，其中一個原因還是因為llya。

llya在谷歌時期就是?ukasz的直系領導，在創辦OpenAI后也屢次邀請他加入。剛好這時，?ukasz也無法適應Google Brain的團隊規模擴大以及遠程工作氛圍，于是一拍即合，來到了OpenAI。

OpenAI也沒有讓他失望，這里沒有嚴格的組織架構，都是根據項目自發組隊，也會根據項目進展靈活調整，直到項目成熟才會逐步擴大團隊。

當然不同項目之間也會存在資源競爭，畢竟OpenAI內部GPU資源有限。

從技術層面看，預訓練目前消耗的GPU資源最多，其次是強化學習和視頻模型，資源分配在很大程度上還是由技術需求決定。

所以競爭不可避免，?ukasz本人也不例外。

下一次突破來自多模態推理+具身智能

最后，?ukasz聊了聊他眼中的AI未來。

• AI會改變工作，但不會讓工作消失。

因為從產品層面上看，即使AI自動化了絕大部分任務，但人類專家的需求仍然存在。

以翻譯行業為例，其實Transformer論文最初的應用場景就是翻譯，現在的模型也能準確翻譯西班牙語、法語等語言，但對于報紙廣告乃至ChatGPT UI界面，仍然需要人類譯者進行二次審核。

這本質上是信任問題，即使模型能力再強，對于一些高風險、高關注度的場景，還是會傾向于依賴人類專家經驗。

只是說，對于另外一些基礎工作，可替代性會變高，后續也會出現相應的工作內容變化，但歸根結底不會讓人類無事可做。

?ukasz還預計，家用機器人可能會成為“下一次更為直觀的AI革命”。

機器人技術的進展，取決于多模態能力和通用強化學習、通用推理的進步。一旦這些領域取得突破，機器人技術必將迎來爆發式增長。

目前已經有很多硅谷公司在相繼推出智能手遙操作等硬件產品，硬件基礎也將迅速成熟，屆時將協同多模態和物理世界推理能力，實現家用機器人的能力躍遷。

這將會比ChatGPT更直觀、更易感知。

參考鏈接：
[1]https://www.youtube.com/watch?v=3K-R4yVjJfU&t=2637s