OpenAI聯合創始人Greg Brockman：對話黃仁勛、預言GPT-6、我們正處在一個算法瓶頸回歸的時代

責編 | 王啟隆

出品 | CSDN（ID：CSDNnews）

投稿或尋求報道 | zhanghy@csdn.net

所有人都仰望星空、談論著通用人工智能（AGI）何時降臨的時代里，我們或許更應關注那些低頭鑄造火箭的人。

OpenAI 的聯合創始人兼前總裁Greg Brockman近日在 AI.Enigineer 上進行了一場對話分享，期間還邀請到英偉達 CEO黃仁勛和他進行了一段連線問答。

對話的主線，并非一個英雄的成長史，亦遠不止是 ChatGPT 或 GPT-5 發布瞬間的狂熱與混亂，而是一條貫穿 70 年計算機歷史的、從個人魔法到工業革命的演進脈絡：一個因點擊排序按鈕感受到“魔法”而投身編程的少年黑客，如何成長為駕馭十萬 GPU 集群、與黃仁勛商討下一代 AI 基礎設施的工業巨擘？

這并非一個簡單的線性成長故事。在 Greg Brockman 對自己過往經歷的敘述中，我們能看到兩個世界的重疊與碰撞：

• 一個是“游牧民族”的世界：信奉第一性原理，蔑視陳規。為了一個客戶，可以在 24 小時內攻克銀行需要 9 個月的技術對接。這是 Stripe 崛起的秘密，也是硅谷精神的原始圖騰——相信憑借超凡的意志和智力，個體的創造力可以戰勝任何系統性的僵化。

• 另一個是“農耕文明”的世界：在這里，你需要耕耘十萬塊 GPU 的龐大集群，需要建立“檢查點”與“可靠性”的秩序，需要調和“研究”與“工程”兩種截然不同的文化。最大的敵人不再是外部規則，而是系統自身的復雜性。任何一個環節的崩潰，都足以讓整個帝國停擺。

Greg Brockman 的故事始于一個少年因實現表格排序而感受到的純粹“魔法”，終于駕馭人類有史以來最復雜的計算系統。在這場對話中，幾個看似尋常卻極具分量的座右銘也浮出水面：

• 關于動機：“忘掉那一百年的宏大愿景吧，我只想創造。” 驅動他的并非遙遠的理論，而是將腦中想法變為現實世界可用之物的即時反饋，這或許是所有偉大工程師的共同原點。

• 關于合作：“技術上的謙遜至關重要。” 當工程師闖入研究員的領地，傳統的邊界和接口不再可靠。你必須假設自己遺漏了某些信息，在徹底理解“為什么”之前，不要輕易動手。

• 關于未來：“我們正處在一個基礎研究回歸的時代。” 當所有人都以為通往 AGI 的道路只剩下“造更大的計算機”，他卻指出，在規模的極限處，算法瓶頸重回舞臺中央。這意味著，人類的巧思再次變得比算力本身更關鍵。

• 關于編碼：“模型會比你更在乎測試。” AI 正以一種奇特的方式，倒逼人類重拾那些因圖省事而丟掉的、最優秀的軟件工程實踐。為了讓 AI 更好地工作，我們必須構建更清晰、更模塊化的代碼，諷刺的是，這本就是我們該為自己做的事。

這些迷思，標示出一個行業幾乎必然會遇到的沖突、困惑與機會。它關乎我們所有人：當創造的工具變得如此強大，我們該如何重新思考“創造”本身？

以下為對話全文，由 CSDN 精編整理。

從數學夢到編程魔法

主持人：我們今天打算按時間順序聊一聊。很多人都提交了問題，我已經幫你整理歸類好了，所以我們就直接開始吧。

我對你做了一番深入研究，我管這叫“人物深度挖掘”，因為我們研究的是一個活生生的人。你從小就接觸戲劇，還學了化學和數學，后來因為寫了一個日程安排應用而踏入了編程的大門。但究竟是什么真正點燃了你對編程的熱愛？你為什么會成為大家眼中的那個“編程狂人”？

Greg Brockman（以下簡稱 Greg）：有意思的是，我小時候一直以為自己長大會成為一名數學家。我讀過很多數學家的故事，比如伽羅瓦和高斯，他們思考的都是能影響未來一百年、兩百年甚至三百年的問題。我當時覺得，這正是我想要做的。如果我提出的任何理論在我有生之年就被應用了，那說明它還不夠長遠，不夠抽象。

高中畢業后，我寫了一本化學教科書，寄給我一個在數學領域做過類似事情的朋友看。

他說：“這書不可能有出版社要的。你要么自費出版——” 我一想，天啊，那得花多少功夫和本錢啊，“ —— 要么，你就建個網站。”

我心想：“行吧，看來我得學學怎么做網站了。”

于是，我真的就跑去 W3Schools 網站，從頭學完了他們的 PHP 教程。

我還記得我做的第一個東西，是一個給表格排序的小插件。我腦子里已經有了清晰的畫面，想著它該是什么樣。我還記得，當我點擊表頭，整個表格真的就按照那一列排序了，跟我預想的完全一樣。那一刻，我感覺就像見證了魔法。我心想：“這東西也太酷了。”

因為數學這東西，是你絞盡腦汁想通一個問題，理解了它，然后用一種晦澀難懂的方式記錄下來，稱之為“證明”。之后，可能全世界只有三個人會關心它。

但在編程世界里，你也是用一種晦澀難懂的方式把它寫下來，我們稱之為“程序”。然后，可能也只有三個人會去讀你的代碼、關心你的程序，但所有人都能享受到它帶來的好處。沒有人需要理解其中的細節。你腦海中的想法，就這么變成了現實世界里真實存在的東西。那一刻我就認定，這才是我真正想做的事。忘掉那一百年的宏大愿景吧，我只想創造。

結緣 Stripe：輟學背后的故事與第一性原理

主持人：而你的確只想創造。你在這方面是如此出色，以至于還在上大學的時候，不知怎么地，Stripe（人稱“美國支付寶”的軟件）就給你發了一封“陌生人”郵件。這背后有什么故事嗎？他們是怎么找到你的？又是什么說服了你輟學加入他們？

Greg：我和 Stripe 的創始人有一些共同的朋友——當時那還是個只有三個人的“大公司”。他們按照慣例，去問哈佛的朋友，校園里有誰值得聊聊，可能可以招募。我的名字就被人提起了。然后他們又去問了麻省理工的朋友，因為我當時已經從哈佛輟學，轉去了麻省理工。所以，我占了個便宜，在兩邊都拿到了“推薦票”。

我還記得見到 Patrick（Stripe 的聯合創始人）的那天，我剛下飛機，天色已晚，外面還下著暴雨。我一到，我們就開始聊代碼。就在那一刻，我心里想：“這正是我一直以來想找的、想與之共事的人。” 于是，我最終從麻省理工輟學，飛了過去，從此就一直待在了這里。

主持人：如你所知，我們在訪談中穿插了一些嘉賓提問。這里有一位名叫 Matthew Brockman 的嘉賓提問。

Greg：我好像聽過這個名字（這里是開玩笑，Matthew 其實就是 Greg 的親兄弟，在 2023 年 OpenAI 宮斗的時候，Matt 在推特上聲援了 Greg 并亮相）。

Shawn：他是 Julius AI 的首席執行官。他問：“你覺得我們的父母什么時候才會放棄讓你完成學位的夢想？或許哈佛或者北達科他大學會愿意讓你回去念完？”

Greg：唉，他們永遠不會放棄的。

當時確實很難。不管你要去哪，當你告訴父母你要離開哈佛時，這坎都不好過。當你告訴他們你要徹底輟學時，那更是難上加難。但值得稱贊的是，盡管他們覺得很難接受，但還是對我說：“我們相信你。你所處的位置，一定讓你看到了、理解了一些我們隔著大半個國家難以看到的東西。”

但后來，我在 Stripe 做得不錯，也確實學到了東西——而且事實證明這是一家真正的公司，不是我為了無所事事而輟學——我想他們也就慢慢接受了這個現實。

主持人：我想他們一定為你感到非常驕傲。所以，你見證了 Stripe 從 4 名員工發展到 250 人，并最終成為公司的第一位首席技術官。我最近發現一件事，可能 Hacker News 上的網友們都不知道，那就是傳說中的“科里森安裝法”（Collison installation）其實只發生過屈指可數的幾次，它在 Stripe 內部并不是一個常規操作。

Greg：我覺得確實如此。但這個故事卻在各種傳說中流傳了下來……

主持人：這成了一個都市傳奇，因為它實在太酷了。那種為了客戶可以做到極致的感覺。那么，關于早期的 Stripe，大家還有哪些誤解？我們借這個機會澄清一下？

Greg：我覺得大家并不了解當初有多艱難。

首先，我們把所有客戶都加了 Gchat 好友，隨時和他們保持著聯系。所以，即便你不是真的坐在他們身邊看著他們操作，也做到了僅次于此的程度。

我記得有一次，我們意識到當時使用的支付后端根本無法支撐業務的擴張。我們必須接入富國銀行（Wells Fargo）的系統。我們談妥了合作，但接下來需要進行技術對接。對方告訴我們：“嗯，這個技術對接需要九個月，因為我們一向都是這個流程。” 我們當時就想：“這太瘋狂了。我們是創業公司，怎么可能干等九個月。”

于是，我們在 24 小時內，就把這事兒搞定了，基本上是把它當作大學里的一項課題作業來攻克的。我負責實現所有功能，John 從測試腳本的頂端開始，一項項地測試，然后告訴我“這個壞了”，Darragh 則從底端開始往上推進。到了第二天早上，我們和對方的認證人員連線，發了幾個測試請求，結果報錯了。那個人說：“好的，那我們下周再約吧。” 因為他們所有的客戶都是這么辦事的：出了錯，你顯然得把它交給你的開發團隊去處理。

但我們說：“別，別，別，肯定是系統里有什么小毛病。” Patrick 就在那兒跟她東拉西扯，拖延時間，而我在這邊拼命地修改代碼。我們來回試了大概五次，還是失敗了。但幸運的是，她人很好，愿意把時間改到兩小時后，那一次我們終于通過了。回過頭看，你才意識到，那一瞬間你完成的，是正常情況下六周的開發工作量，就是因為你沒有接受其他組織習以為常的那套武斷的限制。

主持人：你覺得在大多數工作中，都存在很多類似的機會嗎？你如何建議其他人也能做到那么快，或者說砍掉那么多不必要的流程？

Greg：我的想法是，如果你能從第一性原理出發去思考，你就能找到哪些環節是必須放慢速度、必須按部就班的。這樣的環節是存在的。“別管那些限制，只管去做”這個原則并非百分之百正確。關鍵在于，你要識別出那些不必要的開銷，它們的存在可能是為了應對一些早已過時、或者根本不適用于你具體情況的限制。這一點在今天這個 AI 極大提升生產力的世界里，尤其適用。

主持人：是啊，不行就直接讓 Codex 來一段代碼，何樂而不為呢？

獨立研究、從自學到頓悟

主持人：關于你加入 OpenAI 之前的生活，還有最后一件事，那就是“獨立研究”。我發現這是你從高中起就反復出現的一個主題。你參加過 Recurse Center（一個編程靜修中心）嗎？

Greg：是的，我去過。

主持人：還有你的學術休假，你反復地進行獨立研究。你認為是什么讓獨立研究如此高效？我覺得很多人在這方面做得并不好，甚至會浪費掉一整年。你有什么秘訣嗎？

Greg：這是我成長過程中的一個關鍵部分。六年級時，我爸教了我代數。七年級我到中學報到，那是第一次分快慢班學數學——當時是初級代數。我們找到老師問：“他能不能跳過這門課，直接去上八年級的課程？”

那位老師用一種居高臨下的眼神看著我和我媽說：“每個家長都覺得自己的孩子是天才。” 結果在她班上待了一個月后——我上課根本不聽講，就在后面玩計算器游戲——她想通過叫我上黑板答題來難住我，但我每次都全答對了。她只好說：“好吧，算我輸了。你的孩子確實應該去上高年級的課。”

但到了八年級，我們中學已經沒有更高級的數學課了。我當時又沒有車，所以只能上網絡課程。就在那一年里，我學完了高中三年的數學內容。

所以對我來說，很重要的一點是，當你對自己想做的事情有發自內心的熱情時，你同樣可以打破常規的限制。你可以在一年內學完三年的數學，而且這種優勢是會復利的。第二年，我進了高中，很快就學完了高中的數學。所以在高二、高三那兩年，我已經沒有數學課可上了。那時我有了車，就可以去北達科他大學，隨便選我想上的課。

這種經歷不斷累積，也影響了我學習編程的方式，基本上就是靠自學——不斷地創造，不斷地在真實世界里體驗。所以我的建議是，如果你有機會去探索，并且你真的享受你所熱衷的事情，那就深入地鉆研下去。順便說一句，這個過程并不總是充滿樂趣，你很容易會感到無聊。但只要你堅持挺過那些坎，回報絕對是值得的。

主持人：你也是通過自學進入機器學習領域的，那也是你人生中的一個重要階段。那段時間有什么特別的亮點嗎？好像你還和杰弗里·辛頓（Geoffrey Hinton）聊過。

Greg：是的，我和他聊過。

主持人：那次交流對你有什么幫助？或者說，在你成為一名機器學習從業者的道路上，什么對你幫助最大？

Greg：我剛開始接觸時，還在 Stripe 工作。當時我經常在 Hacker News 上看關于深度學習的文章，感覺每天都有一個“深度學習賦能某某領域”的帖子。那是 2013、2014 年的時候，我很好奇：“深度學習到底是什么？” 我認識這個領域里的一個人，就去找他聊。他又把我介紹給更多的人，那些人又把我介紹給更多的人。讓我驚訝的是，我發現自己不斷被介紹給我大學里那些最聰明的朋友們。

我當時就想：“有意思，這些頂尖的人才最終都匯集到了這個領域。這背后到底發生了什么？” 我開始意識到，一股真正的力量正在形成。人們真的在讓這些系統做一些計算機以前完全做不到的、實質性的新事情。我心想：“就是這個了。”

離開 Stripe 后，我知道自己想在 AI 領域做點什么，比如創辦一家 AI 公司，但我不太清楚自己該如何貢獻，或者我的技能在哪些方面能派上用場。當時我人在紐約，就想：“要不我組裝一臺 GPU 工作站，去參加一些 Kaggle 競賽試試看。” 于是我上 Newegg 網站，買了幾塊 Titan X 顯卡。親手組裝那臺機器的感覺真的太酷了。你們還能找到我 2015 年發的一條推文，當我按下開機鍵，看到滿眼的綠光和所有風扇飛轉起來的時候，我心想：“這才是計算機該有的樣子。”

主持人：那么，是什么讓你確信通用人工智能（AGI）是可能實現的呢？你曾一度對此感到幻滅，你試著寫過一個聊天機器人，但失敗了。是什么讓你最終決定全身心投入其中？

Greg：對我而言，這段心路歷程的一部分，源于閱讀艾倫·圖靈 1950 年發表的論文《計算機器與智能》。也就是提出圖靈測試的那篇。

最讓我著迷的是，在論文開頭，他提出了圖靈測試——關于“機器能否思考？”“它是否智能？”的核心思想。如果你無法分辨你是在和一臺機器對話，還是在和另一個人對話，那你就可以說它是智能的。這很好理解。

但論文中有一個觀點，雖然沒有在流行文化中廣為流傳，但對我來說卻極其震撼。他說：“那么，你該如何編程來實現這個目標呢？你永遠不可能寫下所有的規則。但是，如果你能制造一個 ‘兒童機器’，讓它像人類小孩一樣學習呢？然后你只需施加獎勵和懲罰，砰的一聲，它就能通過測試了。”

我當時想：“這才是我們必須去創造的那種技術。”作為程序員，你必須理解一切，必須洞悉解決問題的全部規則。但如果機器能夠理解并解決連你自己都無法解決的問題呢？這感覺才是最根本的，這感覺才是解決人類重大問題的真正途徑。

我大概是在 2008 年左右讀到這篇文章的，然后我去找我的教授，一位自然語言處理（NLP）領域的教授，問他我能不能跟他做點研究。他說：“可以啊，這些是語法分析樹，你拿去看看。”

我心想：“好吧，這可不是圖靈說的那回事。”

主持人：這就像 WordNet 詞典之類的……

Greg：完全就是那一套。沒錯。所以，那段時間確實是我的“失意低谷”。

但深度學習的神奇之處在于，它在 2012 年的 AlexNet 上真正展現出了喜人的成果，在 ImageNet 競賽中一舉擊敗了所有對手。突然之間，你有了一臺通用的學習機器。雖然它在設計上帶有一點卷積網絡的先驗知識，但它勝過了計算機視覺領域過去四十年的研究積累，勝過了那些試圖盡可能寫下所有規則的人。

接著，人們說：“好吧，它在視覺領域行得通，但在我的領域絕對不行。它在機器翻譯、在自然語言處理、在這樣那樣的領域，永遠都不可能成功。” 但緊接著，它在所有這些領域都開始做到最好。一夜之間，不同學科部門之間的壁壘被推倒了。我當時就想：“這才是圖靈所說的那種東西。”

所以對我來說，光是看到這項技術的“類型簽名”（type signature）……順便說一句，這項技術并不新。神經網絡……如果你去讀麥卡洛克-皮茨在 1943 年左右發表的關于神經元的論文……

主持人：我剛才還讓他給大家留點作業呢。

Greg：好的，作業來了，同學們記一下。你會發現，那篇論文里的插圖，和你現在看到的那些描繪神經元層級的圖片，看起來幾乎一模一樣。你就會意識到，我們現在做的事情，背后有著非常深刻的根基。你還能找到一篇 90 年代的論文，探討是什么導致了深度學習的寒冬。文章說，那些搞神經網絡的人根本沒什么新點子，“他們唯一的想法就是造更大的計算機。” 我當時想：“沒錯！這正是我們該做的。”

所以，所有這些因素加在一起，讓我感覺我們某種程度上是在延續一段長達七十年的歷史浪潮。從很多方面來說，整個計算機行業的發展，都是在為這一刻做準備：創造出能夠執行我們現在才剛剛觸及皮毛的那些任務的機器；能夠解決人類無法解決的新問題；能夠在日常生活中輔助我們；讓我們不再需要用這兩根“肉條”（手指）打字，而是能擁有一個像人一樣交互的對象，讓機器更貼近你，而不是你必須去學習匯編語言之類的東西來遷就它。所以對我來說，感覺所有的條件都已成熟，現在我們只需要去創造。

主持人：我很喜歡你一直回歸的這個主題：我們只需要去創造。

研究與工程：OpenAI 的雙引擎，當工程師遇上研究員

主持人：2022 年，你寫了一篇文章說“是時候成為一名機器學習工程師了”。我有一個朋友，就是讀了那篇文章后，給你發了郵件，然后加入了 OpenAI。你說過，偉大的工程師能夠和偉大的研究員一樣，為未來的進步做出同等級別的貢獻。這個觀點今天還成立嗎？我覺得很多工程師看著那些拿著數百萬美元薪水的研究員，會想：我怎么才能做出和他們一樣大的貢獻？

Greg：我認為這個觀點絕對成立，甚至比以往任何時候都更加正確。如果你回顧一下 2012 年以來深度學習研究的各個階段，你會發現，最開始確實是那些擁有博士學位的科研人員提出想法并進行驗證。當然，其中也有工程工作。如果你仔細看 AlexNet 本身，它的核心就是一項工程成就：在 GPU 上實現了高效的卷積核運算。

有個趣聞，當時和 Alex Krizhevsky 在同一個實驗室的人其實都替他感到惋惜，他們覺得：“他搞出了一些快速卷積核，但只是用在一個無關緊要的圖像數據集上。” 但事實證明，你只需要把這個技術應用到 ImageNet 上，它就會大放異彩。所以，是卓越的工程能力與“用它做什么”的洞見相結合，才創造了奇跡。

我認為，今天依然如此、甚至愈發如此的是，現在所需的工程能力，早已不只是編寫幾個計算核心那么簡單了。它關乎構建一個龐大的系統，關乎擴展到十萬塊 GPU 的規模，關乎搭建一個能以各種方式調度資源的、極其復雜的強化學習系統。如果你沒有好的想法，那你就像是擱淺的船，寸步難行。但如果你沒有強大的工程能力，那再好的想法也無法誕生于世，無法看到天日。你必須讓這兩者和諧地結合在一起。

主持人：我覺得 Ilya Sutskever 和 Alex Krizhevsky 的合作關系，正是這種“研究-工程”伙伴關系的縮影，而這也成為了后來 OpenAI 的理念。

Greg：完全正確。如果你觀察 OpenAI 的運作方式，就會發現從一開始，我們就秉持著一種精神：工程和研究同等重要，并且要像伙伴一樣并肩協作。這是我們每天都在努力實踐的事情。

主持人：在訪談里出其不意地提問是我的明確目標。所以，關于工程和研究的關系，OpenAI 在早期有哪些做得不好的地方，而現在又改進了呢？

Greg：嗯，關于工程和研究的關系，我的看法是，你永遠無法一勞永逸地解決它。你只是解決了當前層面的問題，然后又會進入下一個更復雜的層面。我注意到，我們遇到的問題，基本上和所有其他實驗室遇到過的一樣；只是我們可能走得更遠一些，或者問題的變體略有不同。所以，我覺得這里面有某種非常根本性的規律。

在最早期，我能清楚地看到，來自工程界的人和來自研究界的人，對系統約束的思考方式完全不同。

作為工程師，你會想：“嘿，既然我們約定好了接口，你就不該關心接口背后是什么。這是我們說好的，我可以用任何我喜歡的方式去實現它。”

而作為研究員，你會想：“如果系統里任何一個地方有bug，我得到的只會是性能的輕微下降，而不會收到一個異常，也不會有任何線索告訴我問題出在哪。所以，我有責任去理解所有的一切。接口根本不重要，除非它堅如磐石，我永遠不需要去思考它——而這是一個非常高的標準——否則，我就必須對這段代碼負責。”

這就會導致摩擦，因為這樣一來，你們到底要怎么合作呢？我很早就看到過一個項目，工程背景的人寫了代碼，然后研究背景的人會對每一行代碼展開激烈的辯論。我當時就想，這項目永遠也推進不下去了，速度會慢得要死。

后來，我們采取的方式是……我當時直接參與了那個項目，我會一次性提出五個想法。研究那邊的人會說：“這四個不行。” 我就說：“太好了，我就是想知道這個。” 我們真正意識到，并且我也會告訴那些從工程界加入OpenAI的人，最關鍵的一點是“技術上的謙遜”。你之所以被招進來，是因為你擁有重要的技能，但這和傳統的互聯網創業公司是完全不同的環境。弄清楚你的直覺何時適用，何時應該拋諸腦后，是極其困難的。

所以，最重要的事情就是，進來之后，要真正地、真正地去傾聽，并且假設在你徹底理解“為什么”之前，你一定遺漏了某些信息。到了那個時候，好的，你再去做出改變，去修改架構，去重構抽象。但那種帶著謙遜，去真正閱讀、傾聽和理解的態度，是一個至關重要的決定因素。

研究與工程：OpenAI 的雙引擎，當工程師遇上研究員

主持人：接下來，我們來聊聊 OpenAI 近期幾次重磅發布的幕后故事。 有一件很有意思的事，就是規模擴張（Scaling）。在不同的數量級上，所有東西都會出問題。ChatGPT 發布時，你們在 5 天內獲得了一百萬用戶。而今年，GPT-4o 的圖像生成功能發布時，你們在 5 天內獲得了一億用戶。這兩個時期相比，感覺有什么不同？

Greg：從很多方面來看，這兩個時刻都驚人地相似。ChatGPT 當時本來只是一個低調的研究預覽版。我們很平靜地把它發布了出去，然后突然之間，所有系統都宕機了。我們某種程度上預料到 ChatGPT 會非常受歡迎，但我們以為需要等到 GPT-4 發布才能達到那個熱度。

主持人：你們內部當時已經用上 GPT-4 了，所以對 3.5 沒那么驚艷了。

Greg：完全正確。這也是這個領域的另一個特點：你的認知更新得太快了。你剛看到一個魔法般的奇跡，心想：“天啊，這是我見過最厲害的東西了。” 緊接著你就會抱怨：“嗯，它怎么還不能幫我合并 10 個代碼合并請求（PR）？”

圖像生成功能發布的那一刻也非常相似，它同樣備受喜愛，廣受歡迎，病毒式傳播的方式讓各項數據都突破了天際。在這兩次發布中，我們內部其實都做了一件我們極力避免的事情，那就是從研究項目中調撥了大量的計算資源，因為這相當于抵押未來來保證當下的系統運轉。但如果你真的能滿足并跟上用戶的需求，那么當然，人們就能體驗到那種魔力，我認為在那種時刻，最大化這種體驗是非常值得和重要的事情。

所以我想，我們始終秉持著同樣的精神：真正服務用戶，真正推動技術，去做那些前所未見的、實質性的新東西。然后，無論需要付出什么代價，我們都會把它們推向世界，讓它們取得成功。

主持人：難以置信，太了不起了。關于 GPT-4 發布會。我聽說那個玩笑網站是你太太畫的？

Greg：是真的。算是個有趣的小彩蛋。我的字寫得太爛了，連我們自己的 AI 都識別不出來該拿它怎么辦。

主持人：你當時有一些即興發揮嗎？我聽說有。

Greg：那條波浪線嗎？是的。通常，我做這類演示時，都會提前測試好大概的流程。但我一直很討厭那種只要你打錯一個字符，整個演示就進行不下去的設計。我不喜歡做那樣的演示。我希望它有一定的容錯性。所以，最終實際展示的內容總會有些變化。

主持人：對我來說，那是我覺得全世界第一次見識到所謂的“氛圍編程”（vibe coding）。現在這已經成了一個流行詞了。你對“氛圍編程”有什么看法？

Greg：“氛圍編程”作為一種賦能的機制，非常了不起，它在某種程度上也代表了未來的趨勢。至于“氛圍編程”具體是什么，我認為它會隨著時間而改變。

我覺得，即便你看看像 Codex 這樣的工具，在某種程度上，我們的愿景是，當你開始擁有真正能工作的智能體時，你擁有的將不只是一個副本，不是十個，而是一百、一千、一萬甚至十萬個這樣的東西在運行。你會更希望像對待同事一樣對待它們。你希望它們在云端，處理各種事務，能夠接入各種各樣的東西。即便你睡著了，筆記本合上了，它依然在工作。

我對未來的預測是，當前這種在交互循環中進行的“氛圍編程”會越來越多，但智能體（agentic）的應用也會真正地介入并超越它。所有這一切，最終都將促成更多系統的誕生。

我認為另一個非常有趣的點是，很多“氛圍編程”的演示和那些酷炫的東西，比如制作一個玩笑網站，都是從零開始創建一個應用。但我認為，真正具有革新性和顛覆性的，并且已經開始發生的，是能夠改造現有應用并深入其中的能力。太多公司都坐擁龐大的遺留代碼庫，而進行遷移、更新庫、把你那古老的 COBOL 語言換成別的，是如此的困難。而且說實話，這對人類來說一點也不好玩。我想，我們正開始擁有能夠真正解決這些問題的 AI 了。

我喜歡“氛圍感編程”的起點——那種“隨手創造酷炫應用”的感覺——但它正開始變得更像是嚴肅的軟件工程。并且會更進一步，讓一個公司能夠以快得多的速度前進，這正是我認為我們前進的方向。

主持人：提到 Codex，我聽說它在某種程度上像是你的“親兒子”。在直播中，你也談了很多關于讓代碼模塊化、文檔清晰等等好的實踐。你認為 Codex 會如何改變我們編碼的方式？

Greg：說它是我的“親兒子”絕對是夸張了。我們有一個非常了不起的團隊，我只是在盡力支持他們和他們的愿景，但這個方向對我來說，是如此引人入勝和不可思議。

主持人：那么，Codex 會如何改變我們編碼的方式？

Greg：我觀察到的最有趣的一點是，當你意識到代碼庫的組織方式決定了你能從 Codex 中獲得多少助益時。我們現有的所有代碼庫，在某種程度上都是為了匹配人類的長處而構建的。但如果你反過來，讓它們去匹配模型的長處——模型的特點非常偏科，它們能處理的多樣性遠超人類，但目前在連接深層思想方面還不如人類——你就能從它們身上獲得更多。

你可能想要做的，是創建更小、經過充分測試的模塊，這些模塊的測試可以非常快速地運行。然后，填充細節的工作，模型會自己完成，它還會自己運行測試。而這些不同組件之間的連接，也就是架構圖的設計，其實是相當容易的。真正困難的，往往是填充所有細節。

如果你這么做，我所描述的聽起來也很像優秀的軟件工程實踐。但有時候，因為人類能夠在腦海中容納更復雜的概念抽象，我們就不這么做了。編寫和完善這些測試需要大量工作。但模型運行這些測試的次數，會比你多一百倍、一千倍，所以它會比你更在意這些。

所以，在某些方面，我們想要前進的方向是，為更初級的開發者構建我們的代碼庫，以便真正地從這些模型中獲得最大收益。當然，隨著模型能力的提升，這種組織代碼庫的方式是否會保持不變，這將是一個非常有趣的看點。我個人傾向于認為，這是個很好的思路，因為它再次與那些為了人類可維護性而應該做的事情不謀而合。但對我來說，對于軟件工程的未來，最令人興奮的思考是：我們過去為了圖省事而“偷工減料”的那些實踐，有哪些是現在為了最大化系統效能而必須重新拾起的？

主持人：你能大致估計一下，你們內部使用 Codex 帶來的生產力提升有多少嗎？

Greg：我不清楚最新的數據。但我們肯定有百分之十幾的代碼合并請求（PR）是完全由 Codex 編寫的，這看起來非常酷。但它也不是我們內部使用的唯一系統，而且對我來說，它仍處于非常、非常早期的階段。看到一些外部的指標也很令人興奮。我記得在過去一天里，公共的 GitHub 倉庫里有 24000 個由它完成的合并請求被接受了。所以，這一切都才剛剛開始。

主持人：隨著我們執行的任務越來越耗時、占用GPU越來越多，這些硬件本身也變得不可靠。它們經常出故障，這是眾所周知的。這也導致了訓練失敗。你提到過，有時候可以簡單地重啟一次訓練，這沒問題。但當你需要訓練長周期的智能體時，你該如何處理這個問題？你不可能把一個已經進行到一半、而且可能是非確定性的任務軌跡直接重啟。

Greg：這里有一系列問題，你解決了當前層面的，然后把模型變得更強大，接著你又得重新解決它們。是的，當任務執行時間很短，比如 30 秒，你基本不用擔心這個問題。但如果任務要持續數天，那這個問題就變得至關重要了，你必須開始思考如何給狀態做快照以及諸如此類的一系列事情。

簡而言之，這些訓練系統就像一個不斷攀登的復雜性階梯。幾年前，我們關心的只是做好傳統的預訓練，而那是非常容易做檢查點（checkpoint）的。即便如此，這事也不簡單。如果你從偶爾做一次檢查點，變成想在每一步都做檢查點，那你就要非常深入地思考如何避免數據復制、阻塞等各種問題。

然后，對于像這些更復雜的強化學習（RL）系統，檢查點的概念依然存在，比如，你可能需要為緩存做檢查點，這樣就不用重新計算所有東西。我們系統的一個好處是，語言模型的狀態是高度明確的，它是可以被存儲和處理的。但如果你接入的工具有其自身的狀態，那些可能就無法重啟和恢復了。所以，如果你把整個系統端到端地來看，就必須思考檢查點的設計。

另外還有一個問題是，也許這根本不重要。也許重啟系統，你的圖表上出現一點小小的波動，也完全沒關系，因為這些模型很聰明，它們能處理好這種情況。

黃仁勛一問：未來 AI 基礎設施的藍圖

主持人：接下來，我想我們有一位來自巴黎的特邀嘉賓打來的電話提問。

黃仁勛：你好，Greg，我是黃仁勛。我真希望我能親自到場向你提問。我的一個問題是，在這個新世界里，數據中心和 AI 基礎設施的工作負載將變得極其多樣化。一方面，智能體在進行深度研究——它們在思考、推理、規劃，并與其他智能體協作，它們需要處理大量內存和長上下文。而另一方面，你又希望其中一些智能體能以盡可能快的速度思考。

所以，你該如何創建一個 AI 基礎設施，既能針對那些需要大量預填充（pre-fill）和大量解碼（decode）、或者介于兩者之間的工作負載進行優化？又能同時支持我個人非常興奮的另一類工作負載：那些多模態的、能看能聽的 AI，它們就像你的 R2-D2 機器人，你的私人伴侶，永遠在線，隨時待命。所以這兩類工作負載——一類是計算量極大、可能耗時很長，另一類又要求極低的延遲。一個既要盡可能靈活、性能強大，又要兼顧低延遲和高吞吐的未來 AI 基礎設施，會是什么樣子？所有這些都極其復雜。你是如何思考這個問題的？你認為理想的未來 AI 基礎設施應該是什么樣的？

Greg：當然是需要大量、大量的 GPU。

主持人：如果我總結一下，就是黃仁勛想讓你告訴他該造什么樣的芯片。你的夢想是什么？但同時，這里確實有兩個核心需求：長時間的重度計算，和“馬上、立刻、現在就要”的實時響應。

Greg：是的，這非常難，因為這種軟硬件協同設計的問題簡直讓人頭腦發脹。我本身是軟件背景出身，我們以為自己只是在這里寫 AGI 的軟件，但后來你發現，你還必須去做這些巨大的基礎設施項目。這并非我們最初的設想，但最終看來，這其實也合乎情理。如果我們打算建造一個能改變世界的東西，那么是的，它很可能需要人類有史以來創造過的最大規模的物理機器。這在邏輯上是說得通的。

所以，答案有兩種。最直接的答案是，好吧，你需要兩種類型的加速器。一種是為計算優化的，另一種是為延遲優化的。給其中一種堆上海量的高帶寬內存（HBM），給另一種堆上超強的計算單元，問題就解決了。但這里面一個真正的難點是預測兩者之間的比例。現在你又有了一個新問題要考慮，如果這個平衡搞錯了，你突然就會發現自己的一大批設備變得毫無用處。這聽起來非常可怕。

但實際情況是，這個領域里沒有所謂的硬性需求，也沒有絕對的約束，大家只是在優化一個巨大的線性規劃問題。所以，是的，如果你給我們的工程師一些資源配比不均衡的硬件，我們總會想辦法利用起來，也許過程會非常痛苦。一個例子就是，你已經看到整個領域都在轉向“混合專家模型”（MoE）。在某種程度上，“混合專家模型”所做的就是說：“好吧，我們有很多 DRAM 內存閑置著沒用，因為資源配比不對。那行，我們就用參數把它們填滿，這幾乎不消耗額外的計算資源，反而能讓我們獲得額外的機器學習計算效率。” 砰，問題解決了。

所以我認為，一定程度上，即使你搞錯了平衡，也不是世界末日。加速器的同質化是一個非常好的默認起點。但最終走向專用加速器也并非天方夜譚。而且，當我們這個領域的基礎設施資本支出變得越來越驚人時，開始針對某些工作負載進行超優化就變得相當合理了。但我認為，現在下定論還有點為時過早，因為研究進展得太快了，在某種程度上，研究的突破會主導其他一切。

通往 GPT-6 之路：算法瓶頸的回歸

主持人：我本來沒打算問這個，但你剛提到了研究。你能給當前 GPT-6 研發的瓶頸排個序嗎？計算資源、數據、算法、電力、資金。你覺得你們在哪方面最受限制？

Greg：我覺得，我們正處在一個基礎研究回歸的時代。這一點真的非常了不起，是真正的基礎研究。

曾有一段時間，感覺就像是：“好了，我們有了 Transformer，接下來只管擴大規模就行了。” 我覺得這類問題非常激動人心，你有一個定義非常清晰的難題，你只想把那個數字往右上角推。但從某種智識層面來說，這又有點不盡如人意。感覺人生不止于原汁原味的《Attention Is All You Need》那篇論文。

我們開始看到的是，我們現在運作的規模，已經把計算和數據都推到了極限，以至于算法重新成為了一個重要的、甚至是決定未來進展的關鍵瓶頸。所有這些因素都是支撐帳篷的重要支柱，在任何一天，它都可能看起來朝某個方向有點傾斜。但從根本上說，你希望讓它們都保持平衡。

看到像強化學習（RL）這樣的范式崛起，真的非常令人興奮。這是我們多年來刻意投入的領域。當我們訓練 GPT-4 時，一件非常有趣的事是，當我們第一次和 GPT-4 對話時，我們心想：“這是 AGI 嗎？”它顯然不是 AGI，但又很難說清楚為什么。它身上有一種說不出的感覺，它如此流暢自如，但不知怎么地就會偏離軌道。

我們就覺得：“好吧，我們必須解決這個可靠性的問題。”

它從未真正地體驗過這個世界。它就像一個讀完了所有書、或者觀察了整個世界，但從未親身經歷過的人，只是隔著一塊玻璃在看。對我來說，那一刻我們就像是頓悟了：“很明顯，我們需要一種不同的范式。” 然后我們就持續不斷地在這個方向上努力，直到我們真正讓它奏效。我認為今天依然如此，還有其他一些非常明顯的能力缺失，我們只需要持續地去攻克，我們終將到達那里。

主持人：接下來讓我們繼續。我們本來只向黃仁勛要了一個問題，但他是個“優等生”，所以他發來了兩個。讓我們播放第二段視頻。

黃仁勛：我的第二個問題是，未來幾年，OpenAI 將擁有 AGI，而他們將在 OpenAI 的 AGI之上，構建特定領域的智能體。我腦海中會浮現出一些問題，比如，隨著 OpenAI 的 AGI能 力越來越強，他們的開發工作流會如何改變？與此同時，他們仍然需要為自己特定領域的智能體創建底層的技術管道、工作流和增長飛輪。這些智能體當然將能夠推理、規劃、使用工具，并擁有短期和長期的記憶。但在未來幾年，這個開發過程會如何演變？

Greg：我認為這是一個非常引人入勝的問題，你能找到各種各樣觀點鮮明但又相互矛盾的看法。我的觀點是，首先，一切皆有可能。也許我們會進入一個 AI 能力超強，以至于我們都讓它們來寫所有代碼的世界。也許世界會是只有天上一個 AI 的形態，又或者，是你實際上擁有一大群特定領域的智能體，而這些智能體需要大量專門的工作才能實現。

各種證據已經開始明顯地傾向于一個由不同模型組成的“百花齊放”的生態。我認為這實際上非常令人興奮。僅僅從系統角度來看，就有不同的推理成本，有不同的權衡取舍。模型蒸餾的效果非常好。所以，能夠利用其他模型的模型，本身就蘊含著巨大的能量。

我認為這將開啟海量的機會，因為我們正在走向一個經濟由 AI 根本性驅動的世界。我們還沒到那一步，但你已經能看到它就在地平線上了。

正是如此。我的意思是，這正是這個房間里的人們正在構建的，這正是你們在做的事情。而經濟是一個非常龐大的東西，它內部有極大的多樣性，而且它也不是靜止的。當人們思考 AI 能為我們做什么時，很容易只著眼于我們現在正在做的事情，以及 AI 如何嵌入其中，還有人類與 AI 勞動的比例。但那不是重點。重點是，我們如何獲得 10 倍的活動，10 倍的經濟產出，10 倍于所有人的福祉？

我認為我們前進的方向是，模型將變得更加強大，基礎技術將變得更好，而我們將有更多的事情想用它來做，同時，進入的門檻將比以往任何時候都低。像醫療保健這樣的領域，需要有責任心的人去深入思考如何把它做好。像教育這樣的領域，涉及多個利益相關方——家長、老師、學生——每一個都需要領域專業知識，需要仔細的思考，需要大量的工作。

所以，我認為未來將會有數不盡的機會讓人們去創造。看到這個房間里的每一個人，我感到無比興奮，因為這正是我們需要的那種能量。

本文編譯 自 AI Engineer

原文 | youtube.com/watch?v=avWhreBUYF0

當創造的工具變得如此強大，我們該如何重新思考“創造”本身？

Brokman 給出了他的答案。而這個問題，對于一線的產品經理來說，已經不是哲學思辨，而是懸在頭頂的達摩克利斯之劍。如果說 OpenAI 的這些人負責建成引擎，那么如何將這澎湃的動力轉化為用戶真正需要的產品，則是在另一片更泥濘的戰場上展開的“壕溝戰”。

因此，。與一線公司的 AI 產品負責人直接對話，深入探討如何跨越“模型”與“產品”之間的鴻溝，分享他們在 AI 產品化道路上踩過的坑和總結的實戰方法。這不僅是觀點的碰撞，更是一份為你準備的、來自探路者前線的 AI 產品地圖，歡迎掃碼預約：