谷歌創(chuàng)始人布林：當年發(fā)完Transformer論文，我們太不當回事了

來源：機器之心報道

現(xiàn)在的大學生該選什么專業(yè)？未來一百年的大學會是什么樣子？業(yè)界 AI 如此強勢，學界還能做什么？谷歌在過去二十多年里做對了什么，又有哪些遺憾？

在斯坦福大學工程學院百年慶典的收官活動上，谷歌聯(lián)合創(chuàng)始人謝爾蓋?布林重返母校，與校長 Jonathan Levin 以及工程學院院長 Jennifer Widom 展開了一場對談。

布林于 1993 年進入斯坦福工程學院，攻讀計算機科學研究生。讀研期間，他結(jié)識了拉里?佩奇。兩人共同開發(fā)了一種搜索算法，并于 1998 年創(chuàng)辦了谷歌。

回顧谷歌的來時路，布林坦言 8 年前提出 Transformer 時，他們沒有予以足夠的重視，而且因為擔心聊天機器人說蠢話而害怕將其展示給世人。但他同時認為，他們這些年也做了很多正確的事情，比如投資研發(fā) TPU 并建立規(guī)模龐大的數(shù)據(jù)中心。

對于未來，布林也表達了一些自己的看法，比如認為大學未來可能不應該再限制于某個地理位置，學界未來應該投身更具探索性質(zhì)的研究，材料等科研方向可能被低估了……

以下是這場對話內(nèi)容的摘錄。

Google 早期做對了什么？

學術(shù)基因、敢碰難題

校長：Google 已經(jīng)是一家市值 4 萬億美元的公司，業(yè)務范圍極其廣泛。你們這些年肯定做了很多正確的決定。有沒有什么是你們在創(chuàng)建 Google 初期就做對的事情？

布林：我覺得早期的話，Larry 一直非常有雄心。他現(xiàn)在也是。對你提出的每個計劃，他幾乎都會說「這不夠有野心」。我們確實很早就有了非常宏大的使命宣言 —— 整合全球信息。我認為這是創(chuàng)辦公司的一個很好的理念基礎。

另外，我們創(chuàng)建了一家相當學術(shù)化的公司。我和 Larry 都是從博士項目出來的，當時很多創(chuàng)業(yè)公司是大學生創(chuàng)辦的。我確實認為這會稍微改變你思考問題的方式。我們從早期就非常重視基礎研發(fā)投入。

校長：我覺得有充分的理由說 Google 是過去 25 年全球最具創(chuàng)新力的公司。無論是產(chǎn)品創(chuàng)新，還是很多重大決策，比如收購 YouTube 發(fā)展視頻業(yè)務、收購 DoubleClick 做廣告、還有 Waymo。技術(shù)創(chuàng)新從一開始就很突出，現(xiàn)在做芯片也是。大公司保持高度創(chuàng)新是很難的，每個人都在這方面掙扎，但你們做到了。很多人認為你個人在這方面有很大影響。你是怎么思考培育創(chuàng)新文化的？

布林：部分原因就是敢于嘗試。因為我們有學術(shù)根基，可能更傾向于嘗試困難的事情。

進入過去十年左右，困難的事情變得越來越有價值。以 AI 為例，它所需的計算量、所需的高深數(shù)學，這些都是技術(shù)上深奧且具有挑戰(zhàn)性的問題。命運的安排使得這些在當今世界變得重要。

曾經(jīng)有一段時間，你可以做 pets.com，任何東西都可以加個.com。技術(shù)深度要求不高，懂點網(wǎng)絡就行?，F(xiàn)在我們招的人比我當時要合格得多。我當時算是偏數(shù)學的計算機專業(yè)，因為本科同時學了數(shù)學和計算機，這在我那屆比較少見。但現(xiàn)在我們從斯坦福和其他頂級項目招的人，數(shù)學和計算機都很強，還有很多物理學家，因為物理學家必須做高深數(shù)學，而且他們的很多工作受限于計算能力，所以他們也需要計算技能。我覺得我們只是運氣好，在那個方向上稍微早一點就確定了方向。

Transformer 論文發(fā)了

我們卻沒當回事

校長： 談談 AI 吧。每個人都在關(guān)注它。你回到 Google 從事這方面的工作。你們在很多方面都處于前沿，競爭非常激烈。投入 AI 基礎設施的資本達到數(shù)千億美元，單個公司層面都是這樣。你怎么看當前 AI 領(lǐng)域的格局？

布林：我們確實在某些方面搞砸了 —— 我們投資不足，大約八年前發(fā)布 Transformer 論文時沒有足夠重視。我們沒有太當回事，沒有投資擴展計算規(guī)模。而且我們太害怕把它展示給用戶，因為聊天機器人會說蠢話。OpenAI 抓住了機會，他們做得很好。這是非常聰明的洞察，而且是我們的人比如 Ilya 去那里做的這些事。

但我確實認為我們?nèi)匀皇芤嬗谀嵌温L的歷史。我們在神經(jīng)網(wǎng)絡的研發(fā)上有很長的積累，可以追溯到 Google Brain。這也有點運氣成分。雇到 Jeff Dean 不是運氣 —— 能得到他我們很幸運 —— 但我們當時就有「深度技術(shù)很重要」的心態(tài)，所以我們雇了他。我們從 DEC（迪吉多）挖了很多人，因為他們當時有頂級研究實驗室。Jeff 對神經(jīng)網(wǎng)絡很有熱情，源于他大學時的實驗。他 16 歲時就在做治療第三世界疾病和研究神經(jīng)網(wǎng)絡之類的瘋狂事情。他建立了整個團隊。

當時在我負責的 Google X 部門，我讓他做他想做的。他說「我們能區(qū)分貓和狗了」，我說「好吧，酷」。但你要信任你的技術(shù)人員。很快他們就開發(fā)出各種算法和神經(jīng)網(wǎng)絡，用于我們的一些搜索功能。然后有人提出了 Transformer，我們能做的事情越來越多。

所以我們有基礎，有研發(fā)積累。確實有幾年投資不足，沒有足夠重視。但我們當時也開發(fā)了芯片，TPU 大概有 12 年歷史了。最初我們用 GPU，可能是最早使用 GPU 的公司之一，然后用 FPGA，然后開發(fā)自己的芯片，現(xiàn)在已經(jīng)迭代了無數(shù)代。對深度技術(shù)的信任、獲取更多計算能力、開發(fā)算法 —— 同時我們長期以來一直是計算的大投資者，數(shù)據(jù)中心規(guī)模很大。除了亞馬遜 AWS，很少有公司有那種規(guī)模的數(shù)據(jù)中心、自己的半導體、深度學習算法等所有這些堆棧組件，能夠在現(xiàn)代 AI 前沿競爭。

AI 會寫代碼了

還要學計算機嗎？

校長：我們這里大約有 250 名學生，很多是本科生，相當多的人還沒選專業(yè)，因為斯坦福給本科生很大的靈活性。幾年前我們可以預測大量學生會選計算機科學作為專業(yè)。你是否建議他們繼續(xù)選計算機科學？

布林：我選計算機科學是因為我對它有熱情，所以對我來說是很自然的選擇。你可以說我也很幸運，因為我正好在一個如此具有變革性的領(lǐng)域。我不會因為 AI 現(xiàn)在編程能力還不錯就不選計算機科學。AI 在很多事情上都相當不錯。編程之所以受關(guān)注是因為它有很大的市場價值，所以很多人追求它。而且更好的編程能帶來更好的 AI，所以像我們這樣的公司非常重視它。我們大量使用它來編程，甚至用于算法創(chuàng)意。

所以我不會因為 AI 擅長編程就轉(zhuǎn)去學比較文學。說實話，AI 在比較文學方面可能更強。我無意冒犯比較文學專業(yè)的學生，但當 AI 寫代碼時，有時候會犯相當嚴重的錯誤。而在比較文學論文里寫錯一句話不會有那么嚴重的后果。所以 AI 做一些創(chuàng)意性的事情其實更容易。

未來一百年

大學還會是現(xiàn)在這個樣子嗎？

校長：今年是工程學院的百年紀念。如果你是院長，要啟動學院的第二個百年，你會怎么思考？

布林：我想我會重新思考大學意味著什么。我知道這聽起來有點煩人 —— 這是 Larry 會說的那種話，我會對他很惱火。但我們有這個地理上集中的東西，有建筑，有豪華的報告廳。但現(xiàn)實是，現(xiàn)在信息傳播非?？臁：芏啻髮W已經(jīng)上線了開放課程，任何人都可以上網(wǎng)學習，可以和 AI 聊天。

那么擁有一所大學意味著什么？如果你想最大化影響力，限制在地理位置可能不會那么有效。當然，灣區(qū)是個特殊的地方。但我不知道在未來一個世紀，工程學院和大學的概念是否還會和以前一樣。人們到處移動，遠程工作，跨地域協(xié)作。這有點矛盾，因為我們正試圖讓人們回到辦公室，我確實認為他們在一起工作效果更好，但那是在特定規(guī)模下。如果你有一百人在那邊，他們不一定要和另外一百人在同一個地方。

我越來越看到一些個人創(chuàng)造新事物，不管有沒有學位。雖然我們雇了很多學術(shù)明星，但我們也雇了大量沒有學士學位的人，他們就是在某個奇怪的角落自己摸索出來的。我不認為我能神奇地給你新配方，但我覺得這種形式不太可能是未來一百年的模式。

大公司基礎研究這么強

學術(shù)界還能做什么？

學生提問 1：Google 很大程度上源自您在學術(shù)界完成的 PageRank 研究。而在今天，越來越多的創(chuàng)新由工業(yè)界主導，您是否仍然認為「從學術(shù)到產(chǎn)業(yè)」的這條路徑依然重要？如果重要，又該如何去強化它？

布林：說實話，我可能只能回答一句：我也不太確定。

我讀研究生的時候，一個新想法從被提出，到真正具有商業(yè)價值，往往要經(jīng)歷幾十年的時間。在這樣的時間尺度下，學術(shù)研究是非常合理的：你有足夠的自由，可以慢慢思考、申請經(jīng)費、反復試驗，一個問題可以研究二三十年，最后才慢慢「滲透」到產(chǎn)業(yè)里，可能是被大公司吸收，也可能變成一家創(chuàng)業(yè)公司。

但如果這個時間被大幅壓縮呢？如果一個想法從出現(xiàn)到落地只需要幾年，甚至更短，那這條路徑是否還同樣成立？我覺得這是一個值得重新思考的問題。

當然，有些事情仍然是有意義的。即便是在 AI 領(lǐng)域，我們也會持續(xù)關(guān)注斯坦福等高校的研究，偶爾招聘一些研究人員，或者展開合作。但很多情況下，你很難說這些工作一定 “必須” 在學術(shù)界先醞釀很長時間 —— 比如某種新的 attention 機制，可能在大學里實驗兩年，隨后就被帶進了工業(yè)界。但問題是，工業(yè)界本身也在做同樣的事情。所以在這些方面，學術(shù)界的 “先行期” 未必有特別不可替代的優(yōu)勢。

也許在更激進、更底層的創(chuàng)新上，情況會不一樣。比如全新的模型架構(gòu)、全新的計算范式。這類方向，工業(yè)界雖然一旦決定投入就能擴展得非?？?，但最初的探索，可能仍然更適合在學術(shù)環(huán)境中進行。

量子計算就是一個例子。這個想法在上世紀八十年代左右被提出，之后很長時間都停留在理論和實驗室階段?，F(xiàn)在，一方面有很多公司在推進量子計算的工程化，另一方面，大學實驗室仍在嘗試各種完全不同的實現(xiàn)路徑。這類方向正好處在學術(shù)和產(chǎn)業(yè)的邊界上。

如果你提出了一種完全不同于主流路線的新方法 —— 比如既不是我們在做的超導量子比特，也不是很多初創(chuàng)公司在嘗試的離子阱方案 —— 那它可能確實需要在大學里慢慢發(fā)酵幾年。這類問題非常困難，也很冒險，放在學術(shù)環(huán)境中是合理的。但一旦你真的確信它是可行且有前景的，最終你大概率還是會把它推進到商業(yè)化階段，以某種形式進入產(chǎn)業(yè)。所以，我很難給你一個明確、非黑即白的答案。

因為現(xiàn)在的頭部科技公司，確實也在做大量基礎研究，而且在 AI 領(lǐng)域，我們已經(jīng)開始看到這些長期投入的回報。這意味著，學術(shù)與產(chǎn)業(yè)之間的分工比例正在發(fā)生變化。

但我仍然相信，有些研究 —— 那種需要十年甚至更久、以純探索為主的研究 —— 產(chǎn)業(yè)界往往是不愿意承擔的，因為它們的時間跨度實在太長，不符合「上市時間」的邏輯。而這些，可能仍然是學術(shù)界不可替代的價值所在。

Google Glass 的教訓

別以為自己是下一個喬布斯

學生提問 2： 隨著 AI 以前所未有的速度加速，像我這樣年輕有抱負的創(chuàng)業(yè)者應該采取什么心態(tài)來避免重蹈覆轍？

布林：避免重蹈覆轍的心態(tài)？當你有很酷的新穿戴設備想法時，在做涉及跳傘和飛艇的炫酷特技之前，一定要把它完全打磨好。這是一個建議。

其實我喜歡我們當年在 Google Glass 上做的事情，但那是一個以前犯錯的例子。我試圖在它足夠成熟之前過快商業(yè)化，在成本效益和消費者體驗方面都沒準備好。我有點操之過急，以為自己是下一個喬布斯，可以搞定這個東西。

我想說的是，每個人都以為自己是下一個喬布斯，我肯定犯過這個錯誤。但他是一個非常獨特的人。所以我建議確保你的想法在足夠長的時間里得到充分發(fā)展，然后才進入那個必須不斷奔跑的階段 —— 外部期望增加，開支增加，你必須在某個時間交付。你可能沒有足夠的時間做完所有需要做的事情。你會陷入一種期望滾雪球的狀態(tài)，沒有給自己足夠的時間來處理。這是我會盡量避免的錯誤。

AI 的下一個前沿方向是什么？

學生提問 3：我們看到很多 AI 公司通過擴展數(shù)據(jù)和計算來改進大語言模型。一旦數(shù)據(jù)和計算都用盡了，你認為下一個方向是什么？會是新的架構(gòu)，transformer 的替代品？還是更好的學習方法，比監(jiān)督學習或強化學習更好的東西？

布林：你提到的這些方向 —— 新架構(gòu)、新訓練方法 —— 在我看來，其實早就已經(jīng)比單純擴算力、擴數(shù)據(jù)更重要了。

只是因為擴算力太顯眼了：建數(shù)據(jù)中心、買芯片，再加上 OpenAI、Anthropic 關(guān)于 scaling law 的那些論文，很容易讓人覺得一切進步都來自 scaling。但如果你仔細對比，會發(fā)現(xiàn)過去十年里，算法層面的進步，其實跑得比算力提升還快。

我讀研時見過一張關(guān)于 N-body 問題的圖 —— 就是引力系統(tǒng)里大量粒子相互作用的計算。從上世紀五十年代到九十年代，算力遵循摩爾定律暴漲，但真正讓問題可解的，是算法改進，而且算法的進步幅度遠遠超過了算力增長。所以我認為，像我們這樣的公司當然不會放棄站在算力前沿，但那更像是甜點。真正的主菜，還是算法上的突破。

院長：我也補充一句。對算力不夠這件事，我們在大學里其實早就非常熟悉了。高校根本不可能擁有和工業(yè)界同量級的算力，差距非常明顯。但這反而逼著我們?nèi)プ隽硪活悇?chuàng)新：在算力受限的情況下，如何把事情做好，如何用更少的資源做更多的事。這些研究我們已經(jīng)做了很久，而且會持續(xù)做下去。

什么技術(shù)被嚴重低估了？

學生提問 4：你們認為哪種新興技術(shù)的長期影響被嚴重低估了？

布林：顯然我不能回答 AI—— 很難說它被低估，即便從某種意義上講它可能仍然被低估，但它已經(jīng)不算是「新興」了。

很多人會提到量子計算，討論它最終能帶來什么。我個人也很支持量子計算相關(guān)的研究，但要說這是我最有把握的答案，其實也不是。這里面的不確定性太多了。

從計算理論上說，我們甚至都還不知道 P 是否不等于 NP。整個計算領(lǐng)域里，還有大量最基礎的問題沒有答案。而且量子算法通常只對非常特定、結(jié)構(gòu)性很強的問題有效。所以這一方向我很看好，但要精準回答被低估，其實不太容易。

如果一定要說的話，我可能會把目光投向材料科學 —— 無論是 AI 還是量子計算，在材料領(lǐng)域的應用潛力都巨大。

如果我們能創(chuàng)造出性能全面提升的新材料，可能帶來的變化幾乎是無限的。

校長：我其實也在想材料科學這個方向，而且正因為你提到了被低估這個詞?，F(xiàn)在關(guān)于技術(shù)創(chuàng)新機會的討論非常熱烈，像聚變能源、量子計算這些方向，其實已經(jīng)得到了相當多的關(guān)注，很難說它們被忽視了。AI 更不用說。但材料科學在我看來，確實是一個被低估的方向。此外，還有生物與健康領(lǐng)域 —— 尤其是分子科學層面的機會非常多，正在發(fā)生一場不小的革命，只是它們目前得到的關(guān)注度，明顯不如 AI。

院長：我正好想說同樣的事情。我能明顯感覺到「聚光燈」在不同領(lǐng)域之間移動，而現(xiàn)在，聚光燈幾乎全部打在了 AI 上。但在此之前，它曾經(jīng)照在生物領(lǐng)域，而這束光不應該熄滅。合成生物學里正在發(fā)生很多非常令人興奮的事情。所以我覺得，我們需要把這束聚光燈稍微拉寬一點。

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領(lǐng)域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。