![]()
文章轉載于字母AI
縮放定律(Scaling law)可能是AI時代最重要的“金科玉律”之一。
縮放定律的原出處,是OpenAI的一篇叫做《神經語言模型的縮放定律》(Scaling Laws for Neural Language Models)的論文。
而這篇論文的通訊作者,就是達里奧·阿莫迪,他的另一個廣為人知的身份,則是Anthropic的聯合創始人。
Anthropic在AI編程領域優勢明顯,地位隱隱然與OpenAI和Google鼎足而三,剛傳出將以3500億美元估值融資200億美元的消息。作為聯創,阿莫迪當然功不可沒。
但很少有人注意到,阿莫迪還有另一個身份——百度前員工。
按照百度內部通訊軟件“如流”的分級來看,阿莫迪應該叫“紅度阿莫迪同學”。
更有意思的是,在2024年底Amodei在一次播客采訪中,阿莫迪透露2014年與吳恩達在百度研究AI的時候,他就已經發現了模型發展的規律縮放定律。
此話一出,掀起了一陣“百度是否比OpenAI更早發現縮放定律”的爭論。
Amodei不是個例,在硅谷,“百度”頻繁出現在大佬的履歷里。
最為人所熟知的是AI學術大牛、斯坦福大學教授、谷歌大腦聯合創始人吳恩達,他曾是百度硅谷實驗室的“靈魂”。
離職時,他不吝對李彥宏的贊美,稱他是“第一個清晰看到深度學習價值的大型公司CEO,也是全球最好的AI CEO之一。他的熱情和百度的決心讓我覺得這是一個難得的機會”。
在Meta,沙蘭·納朗(Sharan Narang)組建并擴展了Llama預訓練團隊,交付了Llama 2、3和4的預訓練模型,奠定了Meta在生成式人工智能領域的領先地位。
而他曾是百度硅谷實驗室的高級研究員,離開后先在谷歌當技術主管,后跳槽到Meta。
在蘋果,曾擔任AI/機器學習相關方向總監的亞當·考特斯(Adam Coates),曾是百度硅谷實驗室的早期核心成員之一,跟隨師父吳恩達加入,并在后者離開之后接棒。
在英偉達,應用深度學習副總裁布萊恩·卡坦扎羅(Bryan Catanzaro),曾是百度硅谷實驗室的高級研究員,專門研究GPU優化。
他們的共同經歷,是在十年前的“百度硅谷實驗室”效力過。那代表著百度的一次硅谷野心。
1
硅谷野心
百度請來了“谷歌大腦(Google Brain)之父”,要在硅谷搞一個“百度大腦”,這在當時是爆炸性新聞。
2014年,百度硅谷實驗室成立,專注于人工智能與深度學習技術研究,與北京深度學習實驗室、大數據實驗室共同構成百度研究院核心科研體系,并任命斯坦福大學教授、Coursera聯合創始人吳恩達出任首席科學家,負責統籌百度在北京與硅谷兩地的人工智能研究工作。
![]()
吳恩達是谷歌大腦的早期核心成員之一,也是深度學習從學術走向工業化過程中最具標志性的人物之一。
對一家中國互聯網公司而言,在這一時間點、以研究負責人而非顧問的形式,將這樣一位學者級人物納入體系,在硅谷并不多見。
媒體在報道中強調,這是百度在硅谷長期布局人工智能研究的重要一步,并披露百度計劃在未來五年內為這一國際研究項目投入約3億美元,目標是將硅谷團隊擴展至約200人規模。
![]()
那一年,Transformer架構尚未出現,“大模型”仍是一個不存在的概念。但深度學習的拐點已經到來。
2012年,AlexNet在ImageNet競賽中取得壓倒性優勢,卷積神經網絡開始從學術論文走向產業實踐。
2013年,Facebook請來楊立昆(Yann LeCun),成立Facebook AI Research。
2014年初,谷歌以數億美元級別的價格收購英國AI公司DeepMind。
人工智能已經不再僅僅是研究熱點。
但在當時,這仍然是一條高投入、長周期、結局不明的路線。少數巨頭已經開始下注,大多數公司仍在觀望。
百度正是在這一階段選擇大膽押注的一方。
彼時,移動端搜索使用量開始超過PC。但移動廣告的變現效率明顯低于PC,成本結構也更為復雜,這使得公司整體盈利能力承壓。
在多次公開場合,李彥宏將這種變化描述為一次結構性的轉折。他強調,從PC向移動的遷移并非終點,更大的技術浪潮正在醞釀,而人工智能將深刻改變信息獲取與分發的方式。
正是在這樣的判斷下,百度決定不再只在國內推進應用層改進,而是直接進入全球AI研究最密集的現場——硅谷。
其實早在2011年,百度硅谷研究院就成立了,但主要是將硅谷的中國工程師招募回國。
而吳恩達的加入才是百度卷入硅谷人才爭奪核心圈的標志,在那之后,百度的AI研究形成三大實驗室——硅谷人工智能實驗室(SVAIL)、深度學習實驗室(IDL)、大數據實驗室(BDL),一個在硅谷,兩個在北京,形成了中美兩地聯動的格局。
推動這次合作的關鍵人物是吳恩達的老朋友、百度當時負責深度學習研究的高管余凱(Kai Yu)。兩人多次在帕洛阿爾托一家喜來登酒店會面,從早餐談到晚餐,隨后余凱又引見了百度的其他研究負責人。
![]()
之后,吳恩達飛往北京,與李彥宏進行了一次長達數小時的會談,討論百度研究體系未來應當如何搭建。
這并不是一次傳統意義上的跳槽談判。對吳恩達而言,吸引力不在于頭銜,而在于空間。
百度為他提供的,是從零設計研究方向、在硅谷搭建國際化團隊、并在相對獨立的環境中推進長期研究的空間。吳恩達在接受采訪時直言,他對“從零開始構建一個國際研究組織”感到興奮。
對許多研究者而言,這意味著一家中國公司正在以接近Google、Facebook的方式,系統性地參與人工智能基礎研究競爭。
1
人來了
吳恩達的存在本身,就形成了一種吸引力。他在斯坦福和谷歌大腦的背景,讓不少研究者愿意過來試一試。
實驗室早期最重要的工作之一,是語音識別系統Deep Speech。模型要足夠大,數據要足夠多,訓練要持續足夠久,人才極其重要。
一批后來在AI世界反復出現的名字聚到了一起。
亞當·考特斯(Adam Coates)是其中的核心人物之一。他本身是斯坦福出身,師從吳恩達,研究背景扎實。他跟隨吳恩達加入百度,在實驗室里承擔的角色,更多是把“研究”變成“能持續推進的工程”。
![]()
在工程層面,布萊恩·卡坦扎羅(Bryan Catanzaro)的作用逐漸顯現。他從英偉達跳槽過來,關注點在于如何讓這些越來越大的模型,真正高效地跑在GPU上。很多時候,瓶頸并不來自算法,而來自系統效率。
![]()
格雷戈里·迪亞莫斯(Gregory Diamos)來百度之前,是英偉達CUDA架構師。他在百度對DeepSpeech和DeepVoice系統有貢獻,他關注的則是更底層的系統問題:訓練過程如何被拆解、調度和優化,如何把高性能計算的思路真正嫁接到深度學習訓練中。
在這些人之間,后來創辦Anthropic的阿莫迪當時并不顯眼。
他在團隊里的身份,只是一名研究科學家,參與模型和系統的實際打磨。但正是在這段經歷中,一種后來被反復提及的直覺,逐漸成形。
![]()
多年之后,阿莫迪在回顧自己職業路徑時提到,他對“規模”的認識,并不是來自某一次靈光乍現,而是來自反復的工程實踐。在Deep Speech的實驗中,當模型規模、數據量和計算資源被同步放大時,系統性能并不是隨機起伏,而是呈現出一種平滑而穩定的提升趨勢。
那時,“縮放定律”還沒有成為一個被命名的概念,多年后,2024年底,已經是Anthropic創始人的阿莫迪透露此事,引發了“百度是不是先于OpenAI發現縮放定律”的爭議。
當年在百度觀察到類似“縮放定律”的科學家,迪亞莫斯也是其中之一。
到現在他的領英界面上百度那段工作經歷里還寫著頭銜是“大語言模型縮放定律研究員(LLM Scaling Law Researcher)”。
![]()
隨著項目推進,實驗室本身也在變化。
最初,它更像一個相對獨立的研究飛地;但到2016年前后,語音、視覺、自然語言處理、自動駕駛等方向同時展開,團隊迅速膨脹,研究開始不可避免地與公司整體戰略發生更緊密的咬合。
實驗室不再只是“做研究”,而逐漸承擔起連接前沿探索與內部工程體系的角色。
正是在這種張力之下,百度在2017年做出了一個新的組織性選擇。第二個大型研發中心在硅谷設立,這一次,重心不再是基礎研究,而是更明確地服務于自動駕駛等方向的工程落地。
![]()
新的中心配備了車輛實驗室,主要支持Apollo自動駕駛平臺的開發與測試,同時也容納了部分安全相關團隊。它與最初的硅谷AI實驗室形成了分工:一個更偏前沿研究,一個更偏系統工程和實際應用。
那場以研究為核心的實驗階段,正在走向尾聲。
接下來不可回避的問題是:從2014年到2017年,百度這套“在硅谷重金押注AI”的策略,究竟有沒有起到效果?
如果從最直觀的財務結果來看,答案并不簡單。至少在這三年里,人工智能并沒有立刻成為百度新的現金引擎。2016年,百度營收增速明顯放緩,四季度甚至出現同比下滑,公司在財報溝通中反復強調“轉型期投入”的必要性。這意味著,AI更像是一項面向未來的長期基礎設施投資,而不是可以迅速反映在利潤表上的業務。
但如果把標準切換為“是否改變了公司在技術與人才層面的地位”,結論就要復雜得多。
在技術層面,百度在這一階段確實獲得了前所未有的國際能見度。
Deep Speech 2的論文被大量引用,作者名單中同時出現北京與硅谷研究者。百度的語音識別成果開始頻繁被拿來與谷歌、微軟對比,進入全球技術敘事。
1
散是滿天星
吳恩達在2017年3月宣布離開百度。在他的公開信中,幾乎看不到任何沖突描述,他強調的是團隊已經成型、接班安排已經就緒,以及公司在AI上的長期投入。文字克制而體面。
就在吳恩達離開前后,百度內部確實發生了一輪明確、可見,而且影響深遠的管理層與組織結構調整。
最關鍵的變化發生在2017年1月。百度宣布引入陸奇,擔任集團總裁兼首席運營官(President&COO)。在此之前,陸奇長期任職于微軟,以執行力強、組織管理風格明確著稱;再往前,他也是Yahoo搜索與廣告體系的重要負責人。這是一個典型的、以業務整合、流程效率和結果導向聞名的管理者。
![]()
在陸奇加入之前,百度的AI體系——尤其是硅谷實驗室——更接近一種明星科學家牽引的研究“飛地”模式。
吳恩達直接向李彥宏匯報,百度硅谷實驗室在組織上相對獨立,研究方向、用人節奏、項目推進,很大程度上圍繞吳恩達本人展開。這種模式的優點很明顯:
決策快、學術自由度高、對頂級研究者極具吸引力。
它的隱含前提是:研究本身被視為階段性優先級最高的事情。
但到了2016年末,這個前提正在發生變化。
一方面,在當年9月召開的百度世界大會上,李彥宏首次提出“人工智能是百度核心中的核心”,并將吳恩達安排為僅次于自己的第二位演講嘉賓,AI被明確推到公司級戰略的最前臺。
另一方面,Apollo自動駕駛、對話式系統、智能硬件等方向開始被提升到公司級戰略高度,AI不再只是研究部門的事情,而是需要與搜索、地圖、云、汽車產業鏈發生深度耦合。
這正是陸奇被引入的背景。
在這樣的結構變化下,吳恩達時代那種“由一位世界級學者牽引、跨中美兩端、以研究為核心”的模式,開始顯得不再匹配新的組織邏輯。
隨著百度進入一個更強調執行、協同和業務結果的階段,個人影響力必然要讓位于組織機制。
吳恩達所代表的那種高度依賴個人號召力、研究優先級極高的模式,完成了它的歷史使命。
2017年還有一個重大的變化,那就是特朗普就任美國總統,中美科技摩擦陡然加劇,百度硅谷實驗室的長期可行性必然會受到審視。
彼時特朗普推出強硬的移民政策,持有H1-B簽證的科技從業者人心惶惶,李彥宏公開鼓勵人才回國發展。
從吸納以余凱為代表的歸國人才,到直插美國腹地在硅谷搶奪人才并在當地直接開展工作,再到鼓勵人才回國,李彥宏微妙的心態轉變已見端倪。
除了AI在短期內難以對財務形成貢獻以及外部環境的變化,更深層的張力來自組織內部:研究導向的AI探索,始終需要嵌入以搜索為核心、節奏高度成熟的業務體系,而這種協同,從未真正順暢。
一條財經曾經在2017年的一篇報道中援引知情人士的話:“別看百度人工智能那么風光,實際上搜索的數據根本不向研究院開放。做人工智能的這撥人都是海歸、精英,跟搜索那邊完全是兩種風格,兩邊互相看不上。”
這也解釋了為什么2017年前后,不只是吳恩達,一批早期在硅谷實驗室集結的研究者,在隨后一兩年內陸續離開。
回頭看,百度硅谷人工智能實驗室是以一種更安靜,也更復雜的方式退場的。
它沒有等來一紙“關閉公告”,卻在2017年之后逐漸失去了作為獨立研究中樞的意義。核心人物離開,研究重心回撤,組織結構被拆解和吸收。
這與當年的雄心形成了鮮明對比。
百度曾在公開場合多次描繪一個極具野心的未來——人工智能將成為公司最重要的增長引擎,甚至承載著國際化的想象,彼時流行的說法是“到2020年,AI將深度重塑百度的業務結構”。
現實卻是,到了那個時間節點,百度真正押注的重心已經明顯轉向了更可控,也更貼近現實的方向:自動駕駛、云服務、產業智能化。AI不再是一個獨立的信仰中心,而是被重新嵌入業務體系,成為工具和能力的一部分。
那個曾被寄予厚望、試圖在硅谷復刻一次技術奇跡的實驗室,最終完成了它的歷史使命。
硅谷實驗室所代表的,是一種以研究優先、以個人號召力和前沿探索為核心的模式。而百度最終選擇的,是更強調組織效率、工程落地和業務協同的路徑。
那些從硅谷實驗室離開的人,則沿著各自的方向四散開花。
考特斯先是接棒了老師吳恩達,成為百度硅谷實驗室的負責人,然后他也離開了,之后進入Apple,繼續在更封閉,也更工程化的體系中推進機器學習實踐;
卡坦扎羅從英偉達來,揮別百度之后,又回到英偉達,現在已經是英偉達副總裁、深度學習應用研究部分負責人。他最為人所知的形象標志,是一頭長發和茂密的胡須;
![]()
“大語言模型縮放定律研究員”迪亞莫斯繼續深耕系統與算力方向,創辦了AI公司Lamini。
而阿莫迪,把在Deep Speech工程實踐中形成的“規模直覺”帶去了新的地方,最終創辦了Anthropic,站在了后來大模型浪潮的最前沿。
至于吳恩達,當年余凱勸說他加入百度的時候,曾說他“在在線教育領域做得太出色了,但那不是AI”。
吳恩達離開百度之后,再次把重心放回“教育”。
他通過Courser把深度學習課程推給成千上萬的學生;隨后又創辦DeepLearning.AI,把多年積累下來的方法論、經驗和判斷,整理成課程、項目和創業資源。
當時間來到今天,回頭翻看這些人的履歷,你會發現一個反復出現的注腳——百度。
它不指向某一項具體成果,而更像是一段共同經歷。
在那幾年里,這些人曾同時站在野心交匯的地方,看清了什么是可行的,什么是不可持續的,然后各自走向不同的方向。
從這個意義上說,百度硅谷實驗室并沒有成為全球AI敘事的最終中心。它更像是一處早期的中轉站——在浪潮真正成形之前,率先聚攏了一批人,讓他們完成一次密集的試探與碰撞。
當方向切換、舞臺轉移,這些人離開,故事也隨之散開。硅谷實驗室并未被正式關閉,但它所代表的那種時代,已經停留在了那里。
參考資料:
1. 首席人物觀:《被百度“耽誤”的三年如何影響了吳恩達的今天?》
2. 一條財經:《吳恩達也走了!李彥宏的百度大腦還能走多遠?》
3. 網易新聞:《百度或比OpenAI更早發現Scaling Law》
4. Z Finance:《深度|Anthropic CEO萬字長文:DeepSeek不是我們的對手,鎖死芯片出口才能保證美國領導下的單極世界》
5. 澎湃新聞:《吳恩達的3年百度歲月和百度人工智能的“無”恩達時代》
點個“愛心”,再走 吧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.