學(xué)術(shù)界被硅谷巨頭無(wú)情碾壓！“AI女王”李飛飛提出史詩(shī)級(jí)支持計(jì)劃

“人工智能女王”李飛飛，又忍不住發(fā)聲了——這次是為幫高校研究員爭(zhēng)取算力和數(shù)據(jù)資源。

“這個(gè)計(jì)劃的重要性可以類比‘登月投資’。”3月7日，這位人工智能科學(xué)家在演講中提到「建立國(guó)家級(jí)算力與數(shù)據(jù)集倉(cāng)庫(kù)」計(jì)劃。

圖源：維基百科

從資料看，這個(gè)堪比登月的計(jì)劃，旨在幫助人工智能研究者獲得充足的資源，讓美國(guó)的頂尖人工智能研究人員與科技巨頭保持競(jìng)爭(zhēng)力。

外媒介紹，李飛飛等學(xué)者認(rèn)為，開(kāi)展人工智能項(xiàng)目的高昂成本，加大了研究人員從事該領(lǐng)域的難度，損害了這一新興技術(shù)的獨(dú)立研究性。

一個(gè)例證是，Meta可以為模型訓(xùn)練采購(gòu)高達(dá)35萬(wàn)個(gè)GPU，而斯坦福大學(xué)的自然語(yǔ)言處理小組，總共卻只擁有68個(gè)GPU。

在李飛飛看來(lái)，這種巨大的差距已經(jīng)讓學(xué)術(shù)界和產(chǎn)業(yè)界漸行漸遠(yuǎn)。

來(lái)自斯坦福大學(xué)的報(bào)告顯示，2022年行業(yè)里出現(xiàn)了32個(gè)重要的機(jī)器學(xué)習(xí)模型，來(lái)自頂尖高校的學(xué)者們卻只貢獻(xiàn)了其中的三個(gè)。這與2014年的情況發(fā)生了顯著逆轉(zhuǎn)——當(dāng)時(shí)，大多數(shù)人工智能突破源自大學(xué)。

中美AI研究人員現(xiàn)狀：缺錢(qián)缺卡

資金短缺是制約高校AI研究人員做出成績(jī)的原因之一。

GPT-3的單次訓(xùn)練成本約為460萬(wàn)美元。而在算力方面，微軟為 OpenAI 訓(xùn)練 GPT-3 模型提供了1024張英偉達(dá)A100 GPU，單張卡的市場(chǎng)價(jià)約為9,900美元，總計(jì)成本超過(guò)1,000萬(wàn)美元。

在推理環(huán)節(jié)，根據(jù)2023年4月的數(shù)據(jù)，OpenAI 維持ChatGPT單日運(yùn)轉(zhuǎn)的成本約在70萬(wàn)美元左右。

從算力到訓(xùn)練再到推理，動(dòng)輒數(shù)千萬(wàn)美元的成本，讓AI研究機(jī)構(gòu)只能向公有云廠商尋求支持與贊助，換取免費(fèi)的算力額度以支撐 AI 模型訓(xùn)練。

有研究機(jī)構(gòu)甚至將研究方向從技術(shù)創(chuàng)新，轉(zhuǎn)為探討如何用更低的成本訓(xùn)練模型。

斯坦福大學(xué)就是一個(gè)鮮明的例證。

作為世界QS排名第五的學(xué)校，斯坦福大學(xué)在AI領(lǐng)域有著包括李飛飛、吳恩達(dá)、黃仁勛在內(nèi)的知名校友。ChatGPT項(xiàng)目中，也有多達(dá)16名開(kāi)發(fā)人員來(lái)自于斯坦福。

但即使是這樣的一所大學(xué)， AI預(yù)算相比產(chǎn)業(yè)也“捉襟見(jiàn)肘”。

這從HAI （斯坦福旗下的一個(gè)人工智能機(jī)構(gòu)）的報(bào)道可見(jiàn)一斑。報(bào)道顯示，在2023-2024學(xué)年，HAI 將投入220萬(wàn)美元用于資助校內(nèi)35個(gè)人工智能項(xiàng)目的早期研究，平均每個(gè)優(yōu)秀項(xiàng)目能獲得6.29萬(wàn)美元的贊助。

而在 HAI 官網(wǎng)中檢索關(guān)鍵字“預(yù)算”，就能看到 HAI 關(guān)于幫助優(yōu)質(zhì)研究項(xiàng)目尋求大企業(yè)算力資助的提案—— 向AWS、Google Cloud 和 Azure 等公司尋求免費(fèi)算力支持。

大洋彼岸另一端的頂級(jí)學(xué)府，倫敦帝國(guó)理工學(xué)院也面臨相似問(wèn)題。

公開(kāi)資料顯示，2023年8月，帝國(guó)理工學(xué)院3個(gè)研究人工智能與健康領(lǐng)域的創(chuàng)新項(xiàng)目，獲得英國(guó)國(guó)家研究與創(chuàng)新基金會(huì)約180萬(wàn)英鎊資助，平均每個(gè)項(xiàng)目60萬(wàn)英鎊。這個(gè)數(shù)額，僅是GPT-3一次訓(xùn)練所花成本的16%。

另一項(xiàng)2023年帝國(guó)理工與麻省理工聯(lián)合成立的旨在幫助早期優(yōu)秀研究項(xiàng)目啟動(dòng)的種子基金，僅能為每個(gè)申請(qǐng)項(xiàng)目提供不超過(guò)5萬(wàn)美元的資助。

在中國(guó)，高校做研究時(shí)缺卡也非常常見(jiàn)。

據(jù)「四木相對(duì)論」觀察，國(guó)內(nèi)的TOP級(jí)院校也不一定有充足的備卡。

相關(guān)專業(yè)學(xué)生表示，一個(gè)頂尖的實(shí)驗(yàn)室里，大模型團(tuán)隊(duì)每十人可以擁有十塊A800，非大模型團(tuán)隊(duì)則6個(gè)人只有4塊3090（3090是英偉達(dá)的游戲顯卡）。甚至有一些學(xué)校實(shí)驗(yàn)室只能用V100卡，而這種卡基本跑不起來(lái)大模型。

當(dāng)然，現(xiàn)在有很多開(kāi)源大模型。但即便在開(kāi)源模型上只做fine-tune（微調(diào)）或者inference（推理），百億參數(shù)規(guī)模的大模型也需要用到大顯存、高配置的GPU，這是很多高校研究組無(wú)力承擔(dān)的。

有學(xué)生在知乎上無(wú)奈發(fā)問(wèn)：“實(shí)驗(yàn)室一塊GPU都沒(méi)有怎么做研究？”、“一個(gè)985的深度學(xué)習(xí)實(shí)驗(yàn)室只有兩塊顯卡，這像話嗎？”

圖源：知乎

評(píng)論區(qū)也是大型獻(xiàn)智獻(xiàn)策現(xiàn)場(chǎng)，為提問(wèn)的學(xué)生想了各種“薅羊毛”（如使用Google colab）的辦法，更多人只能勸說(shuō)提問(wèn)者勒緊褲腰帶自掏腰包攢一塊能湊合用的顯卡，否則實(shí)驗(yàn)難有結(jié)果，找工作也技能受限。

高校人才難以為繼：硅谷高薪搶人，博士退學(xué)成常態(tài)

除去難以逾越的算力門(mén)檻，大量人才外流也讓各大高校、研究機(jī)構(gòu)痛苦不堪。

2018年《衛(wèi)報(bào)》就報(bào)道過(guò)硅谷科技巨頭不斷挖走英國(guó)頂尖高校里的優(yōu)秀研究人才。

“為了蘋(píng)果公司的6位數(shù)薪水，我的學(xué)生離開(kāi)了學(xué)校。這個(gè)價(jià)格比我能提供的高了5倍。”帝國(guó)理工學(xué)院一位教授在采訪中表示，她的一名博士生甚至選擇在學(xué)業(yè)最后一年提前離校，立刻開(kāi)始公司工作。

另外2023年也有一份報(bào)告顯示，北美各大高校的計(jì)算機(jī)與人工智能博士中有超過(guò)70%選擇加入私營(yíng)企業(yè)工作，而非繼續(xù)從事科學(xué)研究。

即便是羽翼未豐的學(xué)生，在整個(gè)求學(xué)生涯中也需不斷抵御企業(yè)的“金錢(qián)誘惑”。

AI領(lǐng)域的博士生是業(yè)界的“香餑餑”，往往從第一學(xué)年開(kāi)始，就會(huì)不斷收到獵頭和企業(yè)HR發(fā)來(lái)的邀請(qǐng)，勸其退學(xué)并加入公司。

在博士生被篩選完畢后，大公司的金錢(qián)力量甚至?xí)^續(xù)席卷流向研究生與本科生。

為了盡早與學(xué)生建立聯(lián)系，科技公司會(huì)為還沒(méi)有畢業(yè)的學(xué)生提供兼職工作的機(jī)會(huì)，甚至還有公司會(huì)在高中物色最好的“苗子”。

卡內(nèi)基梅隆大學(xué)人工智能與創(chuàng)新碩士項(xiàng)目的主任表示，此類兼職工作的年薪大都超過(guò)了35萬(wàn)美元。這些學(xué)生畢業(yè)后拿到的全職崗位年薪會(huì)更高，可能接近50萬(wàn)美元。

“研究生與博士生越來(lái)越少，學(xué)生群體正在逐漸消失。”康奈爾大學(xué)計(jì)算與信息科學(xué)系主任卡維塔·巴拉（Kavita Bala）感慨。

不僅是學(xué)生，科技公司還在堅(jiān)持不懈地挖高校計(jì)算機(jī)領(lǐng)域研究機(jī)構(gòu)的成員，“科技巨頭企業(yè)們正在吸干高校的血”，英國(guó)華威大學(xué)倫敦學(xué)院院長(zhǎng)阿卜比尼·默圖（Abhinay Muthoo）表示。

在大公司的花式攻勢(shì)下，越來(lái)越多的人不愿投身學(xué)術(shù)界。如果能加入大公司，既不會(huì)再為資源和錢(qián)發(fā)愁，又有做出更具影響力項(xiàng)目的可能，何樂(lè)而不為？

為了留住學(xué)生干活，一些企業(yè)甚至?xí)氤觥昂谡小薄！杆哪鞠鄬?duì)論」此前就曾聽(tīng)聞，國(guó)內(nèi)某背靠高校的大模型明星創(chuàng)企，早前甚至以“不給畢業(yè)”等理由“強(qiáng)迫”學(xué)生留在實(shí)驗(yàn)室為項(xiàng)目打工。

擁有產(chǎn)業(yè)和科研雙重背景的李飛飛，自然了解雙方的利益與矛盾。如果再不能拿到足夠的資源和資金，即便人工智能再火熱，學(xué)術(shù)界也只會(huì)更加邊緣。

對(duì)全球來(lái)說(shuō)，都是如此。

參考鏈接：
[1]:https://www.washingtonpost.com/technology/2024/03/10/big-tech-companies-ai-research/

[2]:https://www.theguardian.com/science/2017/nov/01/cant-compete-universities-losing-best-ai-scientists

[3]https://lambdalabs.com/blog/demystifying-gpt-3

[4]https://www.theguardian.com/science/2017/nov/01/cant-compete-universities-losing-best-ai-scientists

[5]https://www.businessinsider.com/tech-companies-raid-top-university-campuses-rare-artificial-intelligence-talent-2023-4