Google AI編年史：從搜索巨頭到創(chuàng)新者困境的25年

今天聽完了Acquired.fm播客發(fā)布的《Google: The AI Company》完整音頻，整整四個(gè)小時(shí)，信息密度極高，非常震撼。這期節(jié)目用25年的時(shí)間跨度，完整還原了Google如何匯聚全球最頂尖的AI人才、發(fā)明了Transformer這個(gè)改變世界的技術(shù)，卻眼看著自己培養(yǎng)的人才創(chuàng)建OpenAI和Anthropic，最終陷入史上最經(jīng)典的創(chuàng)新者困境。

聽完后我整理了這份詳細(xì)的編譯，希望能幫你理解這個(gè)科技史上最引人入勝的案例。

史上最經(jīng)典的創(chuàng)新者困境

想象這樣一個(gè)場(chǎng)景：

你擁有一家極其賺錢的公司，在全球最大的市場(chǎng)之一中占據(jù)90%的份額，被美國(guó)政府認(rèn)定為壟斷企業(yè)。然后，你的研究實(shí)驗(yàn)室發(fā)明了一項(xiàng)革命性技術(shù)——這項(xiàng)技術(shù)比你現(xiàn)有的產(chǎn)品在大多數(shù)應(yīng)用場(chǎng)景中都要好得多。

出于"純粹的善意"，你的科學(xué)家們將研究成果發(fā)表了出來(lái)。很快，創(chuàng)業(yè)公司們開始基于這項(xiàng)技術(shù)構(gòu)建產(chǎn)品。

你會(huì)怎么做？當(dāng)然是全力轉(zhuǎn)向新技術(shù),對(duì)吧?

但問(wèn)題是：你還沒(méi)有找到讓這項(xiàng)新技術(shù)像舊業(yè)務(wù)那樣賺錢的方法。

這就是今天的Google。

2017年，Google Brain團(tuán)隊(duì)發(fā)表了Transformer論文——這篇論文催生了OpenAI的ChatGPT、Anthropic、以及NVIDIA市值的暴漲。整個(gè)AI革命都建立在Google的這一項(xiàng)發(fā)明之上。

更令人驚訝的是：10年前，幾乎所有AI領(lǐng)域的頂尖人才都在Google工作——Ilya Sutskever（OpenAI首席科學(xué)家）、Dario Amodei（Anthropic創(chuàng)始人）、Andrej Karpathy（前Tesla AI負(fù)責(zé)人）、Andrew Ng、所有DeepMind創(chuàng)始人...

這就像在計(jì)算機(jī)時(shí)代的黎明，IBM雇傭了全世界每一個(gè)會(huì)編程的人。

今天,Google依然擁有最好的AI資產(chǎn)組合：頂級(jí)模型Gemini、年收入500億美元的云服務(wù)、唯一可與NVIDIA GPU抗衡的TPU芯片、以及全球最大的搜索流量入口。

但問(wèn)題依然存在：Google應(yīng)該如何抉擇？是冒險(xiǎn)全力投入AI，還是保護(hù)搜索廣告這棵搖錢樹？

讓我們回到故事的起點(diǎn)，看看Google如何走到今天這一步。

關(guān)鍵時(shí)間線第一章：起源（2000-2007）

微廚房里的對(duì)話改變了一切

故事要從2000年或2001年的某一天說(shuō)起。

在Google的某個(gè)微廚房（micro kitchen）里，三個(gè)工程師正在吃午餐：Google最早的10名員工之一George Herrick、著名工程師Ben Gomes，以及新入職的Noam Shazeer。

George隨口說(shuō)了一句改變歷史的話：

"我有個(gè)理論——壓縮數(shù)據(jù)在技術(shù)上等同于理解數(shù)據(jù)。"

他的邏輯是：如果你能把一段信息壓縮成更小的形式存儲(chǔ)，然后再還原成原始形態(tài),那么執(zhí)行這個(gè)過(guò)程的系統(tǒng)一定"理解"了這些信息。就像學(xué)生學(xué)習(xí)教科書，在大腦中存儲(chǔ)知識(shí)，然后通過(guò)考試證明理解了內(nèi)容。

年輕的Noam Shazeer停下了手中的動(dòng)作："哇，如果這是真的，那太深刻了。"

這個(gè)想法預(yù)示了今天的大型語(yǔ)言模型——將全世界的知識(shí)壓縮到幾TB的參數(shù)中，然后"解壓"還原出知識(shí)。

PHIL的誕生：第一個(gè)語(yǔ)言模型

接下來(lái)的幾個(gè)月里,Noam和George做了一件最"Google"的事情：他們停下了所有其他工作，全身心投入研究這個(gè)想法。

這恰好是2001年Larry Page解雇了所有工程經(jīng)理的時(shí)期——每個(gè)人都在做自己想做的事。

很多人覺得他們?cè)诶速M(fèi)時(shí)間。但Sanjay Ghemawat（Jeff Dean的傳奇搭檔）說(shuō)："我覺得這很酷。"

George的回應(yīng)令人印象深刻："Sanjay認(rèn)為這是好主意，而世界上沒(méi)人比Sanjay更聰明，所以為什么要接受你認(rèn)為這是壞主意的觀點(diǎn)？"

他們深入研究自然語(yǔ)言的概率模型——對(duì)于互聯(lián)網(wǎng)上出現(xiàn)的任何詞序列，下一個(gè)詞序列出現(xiàn)的概率是多少？（聽起來(lái)是不是很熟悉？這就是今天LLM的基本原理。）

他們的第一個(gè)成果是Google搜索的"你是不是要找"拼寫糾正功能”。

然后他們創(chuàng)建了一個(gè)相對(duì)"大型"（在當(dāng)時(shí)）的語(yǔ)言模型，親切地稱之為PHIL（Probabilistic Hierarchical Inferential Learner，概率層次推理學(xué)習(xí)器）。

Jeff Dean的周末項(xiàng)目

2003年，Susan Wojcicki和Jeff Dean準(zhǔn)備推出AdSense。他們需要理解第三方網(wǎng)頁(yè)的內(nèi)容，以便投放相關(guān)廣告。

Jeff Dean借用了PHIL，用一周時(shí)間寫出了AdSense的實(shí)現(xiàn)（因?yàn)樗荍eff Dean）。

Boom，AdSense誕生了。這為Google一夜之間帶來(lái)了數(shù)十億美元的新收入——因?yàn)樗麄儼言械腁dWords廣告投放到了第三方網(wǎng)頁(yè)上，瞬間擴(kuò)大了庫(kù)存。

Jeff Dean傳奇時(shí)刻

在那個(gè)"Chuck Norris Facts"流行的年代，Google內(nèi)部流行起了"Jeff Dean Facts"：

• 真空中的光速曾經(jīng)是每小時(shí)35英里，直到Jeff Dean花了一個(gè)周末優(yōu)化了物理學(xué)。

• Jeff Dean的PIN碼是圓周率的最后四位數(shù)字。

• 對(duì)Jeff Dean來(lái)說(shuō)，NP問(wèn)題意味著"No Problemo"（沒(méi)問(wèn)題）。

到2000年代中期，PHIL已經(jīng)占用了Google數(shù)據(jù)中心15%的基礎(chǔ)設(shè)施——用于AdSense廣告投放、拼寫糾正等各種應(yīng)用。

第二章：黃金十年（2007-2012）

從12小時(shí)到100毫秒的奇跡

2007年，Google推出了翻譯產(chǎn)品。首席架構(gòu)師Franz Och參加了DARPA（美國(guó)國(guó)防高級(jí)研究計(jì)劃局）的機(jī)器翻譯挑戰(zhàn)賽。

Franz構(gòu)建了一個(gè)更大的語(yǔ)言模型，在兩萬(wàn)億詞的Google搜索索引上訓(xùn)練，取得了天文數(shù)字般的高分。

Jeff Dean聽說(shuō)后問(wèn)："太棒了！你們什么時(shí)候上線？"

Franz回答："Jeff，你不明白。這是研究項(xiàng)目，不是產(chǎn)品。這個(gè)模型翻譯一個(gè)句子需要12小時(shí)。"

DARPA挑戰(zhàn)賽的規(guī)則是：周一給你一組句子，周五提交翻譯結(jié)果。所以他們有足夠時(shí)間讓服務(wù)器運(yùn)行。

Jeff Dean的回應(yīng)是："讓我看看你的代碼。"

幾個(gè)月后，Jeff重新架構(gòu)了算法，讓它可以并行處理句子和單詞。因?yàn)榉g時(shí)不一定需要按順序處理——可以把問(wèn)題分解成獨(dú)立的部分。

而Google的基礎(chǔ)設(shè)施（Jeff和Sanjay基本上參與構(gòu)建了）極其擅長(zhǎng)并行化——可以把工作負(fù)載分解成小塊，發(fā)送到各個(gè)數(shù)據(jù)中心，然后重新組裝返回給用戶。

結(jié)果：平均翻譯時(shí)間從12小時(shí)降到了100毫秒。

然后他們?cè)贕oogle翻譯中上線了這個(gè)模型，效果驚人。

這是Google在產(chǎn)品中使用的 第一個(gè)"大型"語(yǔ)言模型 。

斯坦福AI實(shí)驗(yàn)室的秘密

2007年4月，Larry Page從斯坦福挖來(lái)了Sebastian Thrun——斯坦福人工智能實(shí)驗(yàn)室（SAIL）的負(fù)責(zé)人。

有趣的是，Sebastian幾乎是被"收購(gòu)"進(jìn)來(lái)的——他和幾個(gè)研究生正在創(chuàng)業(yè)，已經(jīng)拿到了Benchmark和Sequoia的term sheet。Larry直接說(shuō)："不如我們用簽字費(fèi)的形式收購(gòu)你們還未成立的公司？"

SAIL不僅匯聚了世界上最優(yōu)秀的AI教授，還有一批斯坦福本科生在那里做研究助理。

其中一位是Meta的首席產(chǎn)品官 Chris Cox 。

另一位大一大二學(xué)生后來(lái)輟學(xué)了，參加了YC 2005年夏季第一批，創(chuàng)辦了一個(gè)失敗的本地移動(dòng)社交網(wǎng)絡(luò)...

那就是Sam Altman，公司叫Loopt。

是的，Sam Altman曾在SAIL做研究，還在WWDC上和喬布斯同臺(tái)展示，穿著雙層翻領(lǐng)襯衫——那是不同的科技時(shí)代。

Google X與Google Brain的誕生

Sebastian加入Google后，首個(gè)項(xiàng)目是 Ground Truth ——重新創(chuàng)建所有地圖數(shù)據(jù)，擺脫對(duì)Tele Atlas和Navtech的依賴。

這個(gè)項(xiàng)目非常成功。Sebastian開始游說(shuō)Larry和Sergey：

"我們應(yīng)該大規(guī)模做這件事——把AI教授們引入Google做兼職。他們可以保留學(xué)術(shù)職位，來(lái)這里參與項(xiàng)目。他們會(huì)喜歡的——看到自己的工作被數(shù)百萬(wàn)人使用，賺錢，拿股票，還能繼續(xù)當(dāng)教授。"

Win-win-win。

2007年12月，Sebastian邀請(qǐng)多倫多大學(xué)一位相對(duì)不知名的機(jī)器學(xué)習(xí)教授Geoff Hinton來(lái)Google做技術(shù)演講——談?wù)勊蛯W(xué)生們?cè)谏窠?jīng)網(wǎng)絡(luò)方面的新工作。

Geoff Hinton，現(xiàn)在被稱為"神經(jīng)網(wǎng)絡(luò)教父"，在當(dāng)時(shí)是邊緣學(xué)者。 神經(jīng)網(wǎng)絡(luò)不受尊重——30-40年前的炒作已經(jīng)破滅。

有趣的冷知識(shí)：Geoff Hinton是 George Boole的曾曾孫 ——布爾代數(shù)和布爾邏輯的發(fā)明者。諷刺的是，布爾邏輯是符號(hào)化、確定性的計(jì)算機(jī)科學(xué)基礎(chǔ)，而神經(jīng)網(wǎng)絡(luò)恰恰相反——是非確定性的。

Geoff和前博士后Yann LeCun一直在傳播：如果我們能實(shí)現(xiàn)多層深度神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)），就能實(shí)現(xiàn)這個(gè)領(lǐng)域的承諾。

到2007年，摩爾定律的發(fā)展讓測(cè)試這些理論成為可能。

Geoff的演講在Google引發(fā)轟動(dòng)——這可以讓他們的語(yǔ)言模型工作得更好。Sebastian把Geoff引入Google，先是顧問(wèn)，后來(lái)Geoff在2011-2012年左右成為Google的 暑期實(shí)習(xí)生 ——當(dāng)時(shí)他已經(jīng)60歲了。

到2009年末，Sebastian、Larry和Sergey決定成立一個(gè)新部門：Google X，登月工廠。

第一個(gè)項(xiàng)目Sebastian自己領(lǐng)導(dǎo)（我們稍后再說(shuō)）。

第二個(gè)項(xiàng)目將改變整個(gè)世界——Google Brain。

Google Brain：Distbelief與貓論文

Andrew Ng接任SAIL負(fù)責(zé)人后，也被Sebastian招募來(lái)兼職。

2010-2011年間的某天，Andrew在Google園區(qū)碰到了Jeff Dean。他們討論了語(yǔ)言模型和Geoff Hinton的深度學(xué)習(xí)工作。

他們決定：是時(shí)候在Google高度并行化的基礎(chǔ)設(shè)施上，嘗試構(gòu)建一個(gè)真正大型的深度學(xué)習(xí)模型了。

2011年，Andrew Ng、Jeff Dean和神經(jīng)科學(xué)博士Greg Corrado三人啟動(dòng)了Google X的第二個(gè)官方項(xiàng)目： Google Brain 。

Jeff為此構(gòu)建了一個(gè)系統(tǒng)，命名為 Distbelief ——既是雙關(guān)"分布式"（distributed），也是"難以置信"（disbelief），因?yàn)榇蠖鄶?shù)人認(rèn)為這不會(huì)成功。

技術(shù)突破：異步分布式學(xué)習(xí)

當(dāng)時(shí)所有研究都認(rèn)為需要 同步 訓(xùn)練——所有計(jì)算需要密集地在單機(jī)上進(jìn)行，就像GPU那樣。

但Jeff Dean反其道而行之：Distbelief在大量CPU核心上分布式運(yùn)行，可能跨越整個(gè)數(shù)據(jù)中心，甚至不同數(shù)據(jù)中心。

理論上這很糟糕——每臺(tái)機(jī)器都需要等待其他機(jī)器同步參數(shù)。

但Distbelief采用 異步更新 ——不等待最新參數(shù)，基于過(guò)時(shí)數(shù)據(jù)更新。

理論上不應(yīng)該有效。但它成功了。

改變世界的貓論文

2011年底，他們提交了一篇論文：《使用大規(guī)模無(wú)監(jiān)督學(xué)習(xí)構(gòu)建高級(jí)特征》——但所有人都叫它 "貓論文"（Cat Paper） 。

他們訓(xùn)練了一個(gè)九層神經(jīng)網(wǎng)絡(luò)，使用16,000個(gè)CPU核心（跨1000臺(tái)機(jī)器），從YouTube視頻的未標(biāo)注幀中識(shí)別貓。

Sundar Pichai后來(lái)回憶說(shuō)，看到貓論文是他在Google歷史上最關(guān)鍵的時(shí)刻之一。

后來(lái)的TGIF（全員大會(huì)）上展示這個(gè)結(jié)果時(shí)，所有Google員工都意識(shí)到："天啊，一切都變了。"

貓論文的商業(yè)影響

Jeff Dean的描述：

"我們構(gòu)建的系統(tǒng)在1000萬(wàn)個(gè)隨機(jī)YouTube幀上進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。經(jīng)過(guò)一段時(shí)間訓(xùn)練后，模型在最高層構(gòu)建了一個(gè)表示—— 有一個(gè)神經(jīng)元會(huì)對(duì)貓的圖像興奮。它從未被告知什么是貓，但它見過(guò)足夠多的貓正面照片，那個(gè)神經(jīng)元就會(huì)為貓點(diǎn)亮，基本不為其他東西點(diǎn)亮。 "

這證明了：大型神經(jīng)網(wǎng)絡(luò)可以在沒(méi)有監(jiān)督、沒(méi)有標(biāo)注數(shù)據(jù)的情況下學(xué)習(xí)有意義的模式。

而且可以在Google自己構(gòu)建的分布式系統(tǒng)上運(yùn)行。

YouTube的問(wèn)題是： 人們上傳視頻，但不擅長(zhǎng)描述視頻內(nèi)容。推薦系統(tǒng)只能基于標(biāo)題和描述。

貓論文證明，可以用深度神經(jīng)網(wǎng)絡(luò)"看懂"視頻內(nèi)部的內(nèi)容，然后用這些數(shù)據(jù)決定推薦什么視頻。

這導(dǎo)致了YouTube的一切。 讓YouTube走上了成為全球最大互聯(lián)網(wǎng)資產(chǎn)和最大媒體公司的道路。

從2012年到2022年ChatGPT發(fā)布，AI已經(jīng)在塑造我們所有人的存在，驅(qū)動(dòng)著數(shù)千億美元的收入。

它在YouTube feed中，然后Facebook借鑒了（他們雇傭Yann LeCun成立Facebook AI Research），然后到Instagram，然后TikTok和字節(jié)跳動(dòng)采用，然后回到Facebook和YouTube的Reels和Shorts。

這是接下來(lái)10年人類在地球上度過(guò)閑暇時(shí)間的主要方式。

重要觀點(diǎn)：AI時(shí)代始于2012年

所有人都說(shuō)2022年后是AI時(shí)代。但對(duì)于任何能充分利用推薦系統(tǒng)和分類系統(tǒng)的公司來(lái)說(shuō)，AI時(shí)代始于2012年。

第三章：大爆炸時(shí)刻（2012-2017）

AlexNet：深度學(xué)習(xí)的"宇宙大爆炸"

2012年，除了貓論文，還有Jensen（NVIDIA CEO）所說(shuō)的"AI大爆炸時(shí)刻"： AlexNet 。

回到多倫多大學(xué)，Geoff Hinton有兩個(gè)研究生：Alex Krizhevsky和 Ilya Sutskever （未來(lái)OpenAI的聯(lián)合創(chuàng)始人和首席科學(xué)家）。

三人用Geoff的深度神經(jīng)網(wǎng)絡(luò)算法參加著名的 ImageNet競(jìng)賽 ——斯坦福李飛飛組織的年度機(jī)器視覺算法競(jìng)賽。

李飛飛組建了1400萬(wàn)張手工標(biāo)注圖像的數(shù)據(jù)庫(kù)（用Amazon Mechanical Turk標(biāo)注）。

競(jìng)賽內(nèi)容是：哪個(gè)團(tuán)隊(duì)能寫出算法，在不看標(biāo)簽的情況下——僅看圖像——最準(zhǔn)確地預(yù)測(cè)標(biāo)簽？

GPU的關(guān)鍵作用

多倫多團(tuán)隊(duì)去本地百思買（Best Buy）買了兩塊 NVIDIA GeForce GTX 580顯卡 ——當(dāng)時(shí)NVIDIA的頂級(jí)游戲卡。

他們用NVIDIA的編程語(yǔ)言CUDA重寫神經(jīng)網(wǎng)絡(luò)算法，在這兩塊現(xiàn)成的GTX 580上訓(xùn)練。

結(jié)果：他們比任何其他參賽者好40%。

這就是AlexNet——引發(fā)深度學(xué)習(xí)革命的時(shí)刻。

第一次AI拍賣

三人做了很自然的事：成立公司 DNN Research（Deep Neural Network Research） 。

這家公司沒(méi)有產(chǎn)品。只有AI研究人員。

可以預(yù)見的是，它幾乎立即被收購(gòu)了——但有個(gè)有趣的故事：

第一個(gè)出價(jià)的實(shí)際上是 百度 。Geoff Hinton做了任何學(xué)者都會(huì)做的事來(lái)確定公司的市場(chǎng)價(jià)值：

"非常感謝。我現(xiàn)在要舉辦一場(chǎng)拍賣。"

他聯(lián)系了百度、Google、微軟和DeepMind。拍賣以 4400萬(wàn)美元 結(jié)束， Google贏得 。團(tuán)隊(duì)直接加入Google Brain。

幾年后，負(fù)責(zé)Google X的Astro Teller在《紐約時(shí)報(bào)》上被引用說(shuō)：

"Google Brain為Google核心業(yè)務(wù)（搜索、廣告、YouTube）帶來(lái)的收益，已經(jīng)遠(yuǎn)超Google X和整個(gè)公司多年來(lái)所有其他投資的總和。"

DeepMind：AI界的YouTube收購(gòu)

但Google的AI故事還有另一個(gè)重要部分——一次外部收購(gòu)，相當(dāng)于Google AI領(lǐng)域的YouTube收購(gòu)： DeepMind 。

2014年1月，Google花5.5億美元收購(gòu)了一家倫敦的不知名AI公司。人們困惑：Google在倫敦買了個(gè)我從未聽說(shuō)過(guò)的做AI的東西？

事實(shí)證明，這次收購(gòu)是蝴蝶煽動(dòng)翅膀的時(shí)刻，直接導(dǎo)致了OpenAI、ChatGPT、Anthropic，基本上導(dǎo)致了一切。

DeepMind的起源

DeepMind成立于2010年，由神經(jīng)科學(xué)博士 Demis Hassabis （之前創(chuàng)辦過(guò)視頻游戲公司）、倫敦大學(xué)學(xué)院的 Shane Legg ，以及第三位聯(lián)合創(chuàng)始人 Mustafa Suleyman 共同創(chuàng)立。

公司標(biāo)語(yǔ)："解決智能，然后用它解決一切。"

Founders Fund領(lǐng)投了約200萬(wàn)美元的種子輪。后來(lái)Elon Musk也成為投資人（經(jīng)過(guò)一次關(guān)于AI風(fēng)險(xiǎn)和火星的對(duì)話）。

收購(gòu)大戰(zhàn)

2013年底，Mark Zuckerberg打電話來(lái)要收購(gòu)。但Demis堅(jiān)持要獨(dú)立性和特定的治理結(jié)構(gòu)，F(xiàn)acebook不同意。

Elon Musk提出用特斯拉股票收購(gòu)，但希望他們?yōu)樘厮估ぷ鳎@不符合DeepMind的愿景。

Larry Page（據(jù)說(shuō)在和Elon的飛機(jī)上）得知此事，與Demis建立了聯(lián)系。Demis感覺Larry理解使命。

經(jīng)過(guò)談判，Google提供 5.5億美元 ，交易達(dá)成，建立了獨(dú)立的倫理委員會(huì)（包括PayPal黑幫的Reid Hoffman）。DeepMind團(tuán)隊(duì)保持獨(dú)立，專注于AGI研究。

收購(gòu)后進(jìn)展順利，包括大幅節(jié)省運(yùn)營(yíng)成本（數(shù)據(jù)中心冷卻降低40%能耗），后來(lái)的AlphaGo震驚世界。

第四章：Transformer革命（2017）

改變一切的八人團(tuán)隊(duì)

2017年，Google Brain團(tuán)隊(duì)的八名研究人員發(fā)表了一篇論文。

Google本身的反應(yīng)是："酷。這是我們語(yǔ)言模型工作的下一次迭代。很好。"

但這篇論文和它的發(fā)表，實(shí)際上給了OpenAI機(jī)會(huì)——接過(guò)球并奔跑，構(gòu)建下一個(gè)Google。

因?yàn)檫@是Transformer論文。

從RNN到Transformer的演進(jìn)

在Transformer論文之前，Google已經(jīng)用神經(jīng)網(wǎng)絡(luò)重寫了翻譯系統(tǒng)，基于 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 和 LSTM ——當(dāng)時(shí)的最先進(jìn)技術(shù)，是巨大進(jìn)步。

但持續(xù)研究發(fā)現(xiàn)了局限性——特別是一個(gè)大問(wèn)題：它們太快"遺忘"上下文。

Google Brain內(nèi)部團(tuán)隊(duì)開始尋找更好的架構(gòu)，既能像LSTM那樣不會(huì)太快忘記上下文，又能更好地并行化和擴(kuò)展。

研究員 Jakob Uszkoreit 一直在探索拓寬語(yǔ)言處理中"注意力"（attention）范圍的想法。

如果不只關(guān)注緊鄰的詞，而是告訴模型：注意整個(gè)文本語(yǔ)料庫(kù)會(huì)怎樣？

Jakob開始合作，他們決定把這個(gè)新技術(shù)稱為 Transformer 。

Noam Shazeer的魔法

還記得Noam Shazeer嗎？早期語(yǔ)言模型PHIL的創(chuàng)造者，AdSense的關(guān)鍵人物。

Noam聽說(shuō)這個(gè)項(xiàng)目后說(shuō)："嘿，我在這方面有經(jīng)驗(yàn)。聽起來(lái)很酷。LSTM確實(shí)有問(wèn)題。這可能有前途。我要加入。"

在Noam加入之前，他們有Transformer的工作實(shí)現(xiàn)，但實(shí)際上沒(méi)有比LSTM產(chǎn)生更好的結(jié)果。

Noam加入團(tuán)隊(duì)，基本上"pull了一個(gè)Jeff Dean"—— 從頭重寫了整個(gè)代碼庫(kù) 。

完成后，Transformer現(xiàn)在 碾壓 了基于LSTM的Google翻譯解決方案。

而且他們發(fā)現(xiàn)：模型越大，結(jié)果越好。

他們發(fā)表了論文： 《Attention Is All You Need》 （注意力就是你所需要的一切）——明顯呼應(yīng)披頭士經(jīng)典歌曲。

Transformer產(chǎn)生最先進(jìn)的結(jié)果，極其高效，成為GPT等的基礎(chǔ)。

截至2025年，這篇論文被引用超過(guò)173,000次，是21世紀(jì)被引用第7多的論文。

人才流失的開始

當(dāng)然，在幾年內(nèi)，Transformer論文的全部八位作者都離開了Google，要么創(chuàng)辦要么加入AI創(chuàng)業(yè)公司，包括OpenAI。

殘酷。

第五章：OpenAI的崛起（2018-2022）

GPT系列的誕生

2018年6月，OpenAI發(fā)表了一篇論文，描述他們?nèi)绾尾捎肨ransformer，開發(fā)了一種新方法：

在互聯(lián)網(wǎng)大量通用文本上預(yù)訓(xùn)練

然后將這種通用預(yù)訓(xùn)練 微調(diào) 到特定用例

他們還宣布訓(xùn)練并運(yùn)行了這種方法的第一個(gè)概念驗(yàn)證模型： GPT-1（Generatively Pre-trained Transformer version 1） 。

2019年，在第一次微軟合作和10億美元投資后，OpenAI發(fā)布 GPT-2 ——仍然早期但非常有前途。

2020年6月， GPT-3 問(wèn)世。仍然沒(méi)有面向用戶的前端界面，但已經(jīng)非常好。開始出現(xiàn)大量炒作。

之后，微軟再投資 20億美元 。

2021年夏天，微軟使用GPT-3發(fā)布 GitHub Copilot ——這是第一個(gè)，不僅是微軟產(chǎn)品，而是任何地方第一個(gè)將GPT融入的產(chǎn)品。

ChatGPT：改變游戲規(guī)則的時(shí)刻

到2022年底，OpenAI有了GPT-3.5。但仍有個(gè)問(wèn)題：我該如何實(shí)際使用它？

Sam Altman說(shuō)：我們應(yīng)該做一個(gè)聊天機(jī)器人。這似乎是自然的界面。

一周內(nèi)，內(nèi)部就做出來(lái)了。他們只是把對(duì)ChatGPT 3.5 API的調(diào)用變成一個(gè)產(chǎn)品——你和它聊天，每次發(fā)送消息就調(diào)用GPT-3.5 API。

結(jié)果證明這是神奇的產(chǎn)品。

2022年11月30日，OpenAI推出GPT-3.5新界面的研究預(yù)覽版： ChatGPT 。

那天早上，Sam Altman發(fā)推："今天我們推出了ChatGPT。試試和它聊天：chat.openai.com"

• 不到一周：100萬(wàn)用戶

• 一個(gè)月后（12月31日）：3000萬(wàn)用戶

• 兩個(gè)月后（1月底）：1億注冊(cè)用戶——史上達(dá)到這一里程碑最快的產(chǎn)品

完全瘋狂。

第六章：Google的Code Red（2023-2025）

錯(cuò)失的機(jī)會(huì)

諷刺的是，在ChatGPT之前，Google就有聊天機(jī)器人。

Noam Shazeer——那個(gè)不可思議的工程師，重新架構(gòu)了Transformer，Transformer論文的主要作者之一，在Google擁有傳奇職業(yè)生涯——在Transformer論文發(fā)表后立即開始向Google領(lǐng)導(dǎo)層倡議：

"我認(rèn)為Transformer將如此重大，我們應(yīng)該考慮拋棄搜索索引和10個(gè)藍(lán)色鏈接模型，全力將整個(gè)Google轉(zhuǎn)變?yōu)橐粋€(gè)巨大的Transformer模型。"

Noam實(shí)際上構(gòu)建了一個(gè)大型Transformer模型的聊天機(jī)器人界面。

Google繼續(xù)研究Mina項(xiàng)目，發(fā)展成 Lambda ——也是聊天機(jī)器人，也是內(nèi)部的。

2022年5月，他們發(fā)布了向公眾開放的 AI Test Kitchen ——一個(gè)AI產(chǎn)品測(cè)試區(qū)，人們可以試用Google的內(nèi)部AI產(chǎn)品，包括Lambda聊天界面。

但有個(gè)限制：Google將Lambda Chat的對(duì)話限制在五輪。 五輪后，就結(jié)束了。謝謝。再見。

原因是：安全考慮。

存在威脅時(shí)刻

ChatGPT問(wèn)世，成為史上最快達(dá)到1億用戶的產(chǎn)品。

對(duì)Sundar、Larry、Sergey、所有Google領(lǐng)導(dǎo)層來(lái)說(shuō)，立即顯而易見：這是對(duì)Google的存在威脅。

ChatGPT是做Google搜索同樣工作的更好用戶體驗(yàn)。

2022年12月，甚至在大規(guī)模推出之前但在ChatGPT時(shí)刻之后，Sundar在公司內(nèi)部發(fā)布了Code Red（紅色警報(bào)）。

Bard的災(zāi)難性發(fā)布

第一件事：他們把Lambda模型和聊天機(jī)器人界面拿出來(lái)，重新品牌為 Bard 。

2023年2月，立即發(fā)布，向所有人開放。

也許這是正確的舉動(dòng)，但天啊，這是個(gè)糟糕的產(chǎn)品。

很明顯它缺少ChatGPT擁有的某種魔力——用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)（RLHF）來(lái)真正調(diào)整響應(yīng)的適當(dāng)性、語(yǔ)氣、聲音、正確性。

更糟糕的是：在Bard的發(fā)布視頻中——一個(gè)精心編排的預(yù)錄視頻——Bard對(duì)其中一個(gè)查詢給出了不準(zhǔn)確的事實(shí)回應(yīng)。

Google股價(jià)單日暴跌8%，市值蒸發(fā)1000億美元。

5月，他們用Brain團(tuán)隊(duì)的新模型 PaLM 替換Lambda。稍好一點(diǎn)，但仍然明顯落后于GPT-3.5。

而且2023年3月，OpenAI推出了 GPT-4 ——更好。

第七章：Gemini時(shí)代（2023至今）

Sundar的兩個(gè)重大決策

此時(shí)，Sundar做出了兩個(gè)非常非常重大的決定：

決策一：統(tǒng)一AI團(tuán)隊(duì)

"我們不能再在Google內(nèi)部有兩個(gè)AI團(tuán)隊(duì)。我們要把Brain和DeepMind合并為一個(gè)實(shí)體：Google DeepMind。"

Demis Hassabis擔(dān)任CEO，Jeff Dean繼續(xù)擔(dān)任首席科學(xué)家。

決策二：一個(gè)模型統(tǒng)治一切

"我要你們?nèi)プ鲆粋€(gè)新模型，我們只有一個(gè)模型。這將是Google所有內(nèi)部使用、所有外部AI產(chǎn)品的模型。它將被稱為Gemini。不再有不同的模型，不再有不同的團(tuán)隊(duì)。只有一個(gè)模型用于一切。"

這也是巨大的決定。

Gemini的快速發(fā)展

Jeff Dean和Brain的Oriol Vinyals與DeepMind團(tuán)隊(duì)合作，開始研究Gemini。

后來(lái)當(dāng)他們通過(guò)Character AI交易把Noam帶回來(lái)時(shí)，Noam加入Gemini團(tuán)隊(duì)。現(xiàn)在Jeff和Noam是Gemini的兩位聯(lián)合技術(shù)負(fù)責(zé)人。

關(guān)鍵特性：Gemini將是多模態(tài)的——文本、圖像、視頻、音頻，一個(gè)模型。

時(shí)間線：

• 2023年5月：在Google I/O主題演講中宣布Gemini計(jì)劃
• 2023年12月：早期公開訪問(wèn)
• 2024年2月：推出Gemini 1.5，具有100萬(wàn)token上下文窗口
• 2025年2月：發(fā)布Gemini 2.0
• 2025年3月：一個(gè)月后推出Gemini 2.5 Pro實(shí)驗(yàn)?zāi)Ｊ?/b>
• 2025年6月：GA（全面可用）

六個(gè)月構(gòu)建、訓(xùn)練、發(fā)布。瘋狂。

他們宣布Gemini現(xiàn)在有 4.5億月活躍用戶 。

AI全面整合

• AI Overviews（搜索AI概覽）：首先作為L(zhǎng)abs產(chǎn)品推出，后來(lái)成為所有使用Google搜索的人的標(biāo)準(zhǔn)
• AI Mode：深度AI搜索模式
• 多模態(tài)生成工具：Veo（視頻）、Genie（游戲）等
• 企業(yè)應(yīng)用：Google Workspace全面AI化