歐洲人工智能，尷尬與焦慮籠罩

歐洲人工智能產(chǎn)業(yè)在全球分工里找到了自己的定位：開會(huì)。

ChatGPT橫空出世的2023年，歐洲能喊得上名號(hào)的全球性AI峰會(huì)有近20個(gè)，大約是美國(guó)的3倍、中國(guó)的5倍[1]。在人工智能權(quán)威雜志（AI Magazine）年末總結(jié)的“2023 Top10 AI Events”中，歐洲承辦的會(huì)議占比高達(dá)70%[2]。

如此高密度的文山會(huì)海，顯性成果只有一個(gè)——推出了以《人工智能法案》為代表的一系列管理辦法。

一系列監(jiān)管舉措逗樂(lè)了大洋對(duì)岸的美國(guó)人，紐約研究機(jī)構(gòu)CB Insights的首席執(zhí)行官表示，歐洲現(xiàn)在擁有的AI法規(guī)比像樣的AI公司還要多：“衷心祝賀歐盟制定了具有里程碑意義的AI立法，繼續(xù)努力做一個(gè)技術(shù)創(chuàng)新的空心市場(chǎng)吧[3]”。

拋開諷刺挖苦的成分，歐洲在人工智能領(lǐng)域的建樹的確遜色，獨(dú)角獸公司的稀有程度也堪比野生雪豹。

去年召開的VivaTech峰會(huì)上，法國(guó)總統(tǒng)馬克龍就點(diǎn)名表?yè)P(yáng)了一家來(lái)自革命老區(qū)巴黎的AI公司Mistral，稱其為“法國(guó)的OpenAI”。

Mistral的知名度不如OpenAI，但包括英偉達(dá)、Salesforce和谷歌前任董事長(zhǎng)施密特在內(nèi)的這些投資者，暗示了它的份量。去年底，Mistral在推特上低調(diào)發(fā)布了其開源模型Mixtral 8x7B，迅速引爆了各大開發(fā)者社群。

但這樣一家被馬克龍稱為“歐洲的希望”的公司，它的每一個(gè)橫截面都折射著歐洲人工智能產(chǎn)業(yè)的尷尬。

大學(xué)生支援家鄉(xiāng)建設(shè)

去年12月，Mistral在A輪融資中斬獲20億美元估值，震驚歐洲投資圈。

這家公司2023年5月才宣告成立，初創(chuàng)團(tuán)隊(duì)只有六個(gè)人，靠著7頁(yè)P(yáng)PT拿下了1.13億美元的種子輪投資。有位早期投資人將Mistral視為“歐洲的尤里卡時(shí)刻”，意思是歐洲人非常善于搞科研，但商業(yè)化水平差勁，而Mistral將改變這一切。

Mistral之所以備受矚目，核心在于其大模型的“混合專家模式”的MoE（Mixture of Experts）架構(gòu)。

MoE架構(gòu)主要由兩個(gè)關(guān)鍵部分組成：專家網(wǎng)絡(luò)和門控機(jī)制。

（1）專家網(wǎng)絡(luò)：傳統(tǒng)Tranformer架構(gòu)的FFN（前饋網(wǎng)絡(luò)）層是一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)，MoE架構(gòu)的FFN層則劃分成稀疏性的神經(jīng)網(wǎng)絡(luò)，這些被稱之為“專家”的小FFN，每個(gè)都有自己的權(quán)重和激活函數(shù)，它們并行工作、專注于處理特定類型的信息。

（2）門控機(jī)制：用來(lái)決定每個(gè)token被發(fā)送到哪個(gè)專家網(wǎng)絡(luò)的調(diào)配器，比如下圖中“More”這個(gè)token在輸入概率（p)為0.65時(shí)被分配到FFN2，而“Parameters”則在輸入概率（p）為0.8時(shí)被分配到了FFN1。

通俗一些說(shuō)，經(jīng)典的Tranformer架構(gòu)在運(yùn)行時(shí)，無(wú)論下達(dá)的推理指令是什么，都會(huì)把系統(tǒng)中所有的員工全部調(diào)動(dòng)起來(lái)問(wèn)個(gè)遍，頗有些勞民傷財(cái)；MoE架構(gòu)則是“術(shù)業(yè)有專攻”，把不同的問(wèn)題交給相應(yīng)領(lǐng)域的專家來(lái)解決。

這意味著MoE架構(gòu)在推理時(shí)，最大程度實(shí)現(xiàn)了性能和參數(shù)規(guī)模之間的平衡，節(jié)省了科技大廠談之色變的算力成本。

正因如此，Mistral 8x7B模型一經(jīng)問(wèn)世，讓Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架構(gòu)對(duì)Transformer的創(chuàng)新性改造。

近期，Mistral又發(fā)布了性能逼近GPT-4的超大杯模型Mistral Large，雖然并未開源，但上線閉源大模型，意味著Mistral正式加入AI的商業(yè)化競(jìng)爭(zhēng)。

Mistral在領(lǐng)英的頁(yè)面也顯示，近期從事商務(wù)拓展的員工比例大幅增加，已占其整體的近40%[4]。

按照其CEO Arthur Mensch的說(shuō)法，Mistral Large的訓(xùn)練成本僅為2000萬(wàn)美元左右，而OpenAI的模型則超過(guò)5000萬(wàn)美元。

對(duì)于一家如此罕見的科技新貴，歐洲各國(guó)政府自然是捧在手里怕摔了，在監(jiān)管政策上也對(duì)Mistral大開綠燈，采用了“AI基礎(chǔ)模型豁免，AI應(yīng)用重點(diǎn)監(jiān)管”的分層處理思路。這意味著Mistral的產(chǎn)品僅需承擔(dān)有限的披露義務(wù)。

然而，舉歐洲上下扶持的Mistral，本質(zhì)上卻是一家徹頭徹尾的美國(guó)公司。

美國(guó)的錢，美國(guó)的人，美國(guó)的市場(chǎng)

與“注冊(cè)地”這個(gè)法律層面證明公司國(guó)籍的事實(shí)信息相比，人才、資本、市場(chǎng)三大經(jīng)營(yíng)要素也許更能代表一家企業(yè)的內(nèi)核。從這個(gè)意義上講，Mistral的確更像一家美國(guó)公司。

Guillaume Lample（左）、Arthur Mensch（中） 、Timothée Lacroix （右）

Mistral的三位聯(lián)合創(chuàng)始人人生經(jīng)歷非常雷同：都是土生土長(zhǎng)的巴黎人，都有在美國(guó)公司的工作經(jīng)驗(yàn)，也都有著與程序員身份不符的發(fā)量。

CEO Arthur Mensch在巴黎讀到了博士后，與另外兩位創(chuàng)始人彼此相識(shí)于巴黎求學(xué)生涯。博士期間，Arthur發(fā)表了深度學(xué)習(xí)領(lǐng)域大作《結(jié)構(gòu)性預(yù)測(cè)與注意力中的可微分動(dòng)態(tài)編程》。

依靠這篇論文，Arthur一畢業(yè)就加入了DeepMind巴黎團(tuán)隊(duì)，從事語(yǔ)言模型的開發(fā)。

首席科學(xué)家Guillaume Lample與首席技術(shù)官Timothee Lacroix則在畢業(yè)后遠(yuǎn)赴美國(guó)鍍金，轉(zhuǎn)崗至Meta位于巴黎的AI分支機(jī)構(gòu)，主攻大模型項(xiàng)目。Meta的開源大模型LLaMA，就由Guillaume Lample領(lǐng)銜開發(fā)。

CEO Arthur并非人們眼中典型技術(shù)極客的樣子，他是個(gè)狂熱的馬拉松愛好者，對(duì)硅谷大公司的官僚文化深惡痛絕。這讓三個(gè)姓氏連起來(lái)就是“L.L.M(大語(yǔ)言模型)”縮寫的青年，命運(yùn)再次交織在一起。

Mistral的“含美量”不僅體現(xiàn)在創(chuàng)始團(tuán)隊(duì)的履歷，大部分Mistral員工的上一份工作，也在美國(guó)科技公司位于歐洲的分支機(jī)構(gòu)。

而在Mistral成立八個(gè)月內(nèi)的兩次融資中，背后的核心力量也是美國(guó)的風(fēng)投基金和產(chǎn)業(yè)資本。

Mistral的走紅雖然吸引了一眾歐洲本土的Old Money捧場(chǎng)，包括菲亞特背后的阿涅利家族、老佛爺百貨的家族辦公室Motier Ventures、英國(guó)風(fēng)投基金First Minute Capital。

但在1.13億美元的種子投資里，領(lǐng)投方其實(shí)是美國(guó)老牌基金Lightspeed。

而在A輪融資中，另一家老牌基金a16z，與微軟、英偉達(dá)和Salesforce這些美國(guó)產(chǎn)業(yè)資本搶盡了風(fēng)頭，Mistral不僅是用了微軟的Azure云服務(wù)，還與亞馬遜達(dá)成協(xié)議，使其成為Amazon Bedrock客戶的基礎(chǔ)模型開發(fā)商。

盡管CEO Arthur曾多次公開表示Mistral的主要目標(biāo)市場(chǎng)是歐洲，并強(qiáng)調(diào)歐洲在人工智能領(lǐng)域的獨(dú)特優(yōu)勢(shì)。但同樣身不由己的是，Mistral目前一半的客戶都來(lái)自美國(guó)市場(chǎng)。

Mistral的軌跡似乎重復(fù)著某種輪回。憑借AlphaGo紅極一時(shí)的DeepMind誕生在英國(guó)，但在創(chuàng)辦第四年就被谷歌收入囊中。

曾經(jīng)的“英偉達(dá)殺手”——英國(guó)芯片公司Graphcore受困于財(cái)務(wù)壓力；文生圖模型Stable Diffusion背后的Stability AI其實(shí)是家英國(guó)公司，但似乎所有人都默認(rèn)它是美國(guó)公司。

歐洲科技公司的理想似乎總是由美國(guó)最后買單。歷史的前車之鑒高懸在Mistral頭頂，時(shí)刻提醒著它難以擺脫的命運(yùn)。

宿命般的輪回

2018年4月，杰夫·辛頓、約書亞·本吉奧，以及德國(guó)計(jì)算機(jī)科學(xué)家尤爾根等200多名學(xué)者，共同簽署了一封聯(lián)名公開信，尖銳地提出了一個(gè)警告：歐洲在人工智能領(lǐng)域正在遠(yuǎn)遠(yuǎn)落后于美國(guó)和中國(guó)。

當(dāng)時(shí)，OpenAI剛剛發(fā)布基于Transformer的GPT模型，眼看著人工智能在美國(guó)加速，歐洲成立了一個(gè)旨在打造全球人工智能強(qiáng)國(guó)的研究機(jī)構(gòu)ELLIS應(yīng)對(duì)。但信中的警告還是成為了預(yù)言，猜中了生成式人工智能的全球競(jìng)爭(zhēng)格局。

歐洲并不缺少頂尖的高校和人才，“人工智能三巨頭”杰弗里·辛頓、約書亞·本吉奧和楊立昆都是如假包換的歐洲人。歐洲人工智能遇到的的真正問(wèn)題，是軟件和互聯(lián)網(wǎng)這門“前置產(chǎn)業(yè)”的缺位。

2012年，在斯坦福教書的吳恩達(dá)教授以顧問(wèn)的身份進(jìn)入谷歌，主持The Cat Neurons項(xiàng)目（即“谷歌貓”）的研究。這個(gè)項(xiàng)目動(dòng)用了遍布谷歌各個(gè)數(shù)據(jù)中心的16000個(gè)CPU來(lái)訓(xùn)練（內(nèi)部以過(guò)于復(fù)雜和成本高為由拒絕使用GPU），這是當(dāng)時(shí)科技公司能擁有的最大規(guī)模的算力。

谷歌之所以興建大規(guī)模的數(shù)據(jù)中心，是因?yàn)榇罅康幕ヂ?lián)網(wǎng)公司都是谷歌云服務(wù)的客戶。如今大模型的“萬(wàn)模之母”Transformer架構(gòu)，同樣來(lái)自谷歌。

就像不能脫離電商談直播帶貨一樣，英偉達(dá)在AI時(shí)代大殺四方，是因?yàn)橐淮笈螒蛲婕医o黃總報(bào)銷過(guò)研發(fā)成本；歐洲汽車工業(yè)的底子，也是因?yàn)樗箍逻_(dá)在1895年就開始造大炮了。

人工智能、互聯(lián)網(wǎng)和軟件，都屬于“計(jì)算機(jī)科學(xué)”這門大產(chǎn)業(yè)的子集。美國(guó)人工智能的繁榮，是因?yàn)槲④洝⒐雀韬蛠嗰R遜在互聯(lián)網(wǎng)時(shí)代為人工智能儲(chǔ)備了大量的“人才預(yù)備役”。

高等教育可以培養(yǎng)人才，但吸引人才靠的是產(chǎn)業(yè)的繁榮。豐田的電動(dòng)車工程師跳槽去比亞迪，總不會(huì)是因?yàn)槟茉谏钲诮簧绫０伞?/p>

與美國(guó)互聯(lián)網(wǎng)的Magnificent 7、中國(guó)的BAT相比，歐洲的互聯(lián)網(wǎng)產(chǎn)業(yè)幾乎是一片鹽堿地。

全球市值最高的50家互聯(lián)網(wǎng)公司中，中美兩國(guó)占據(jù)了39家，歐洲公司只擠進(jìn)了一家Spotify。而歐洲最大的互聯(lián)網(wǎng)獨(dú)角獸，居然是估值180億美元的Onlyfans[5]。

互聯(lián)網(wǎng)產(chǎn)業(yè)的荒蕪，造成了人工智能“人才蓄水池”的缺失。

“人工智能三巨頭”中，辛頓和本吉奧選擇移民加拿大，前者把公司賣給了谷歌，后者進(jìn)入蒙特利爾大學(xué)任教。楊立昆則在紐約大學(xué)教書，后來(lái)跳槽到了Meta。

AGI噴涌的2023年，美國(guó)風(fēng)險(xiǎn)投資支出的主力是以Magnificent 7為代表的科技公司，其規(guī)模是美國(guó)其他投資機(jī)構(gòu)的兩倍、更是歐洲的近六倍[6]。歐洲并不缺錢，但從Mistral的融資就能看出，Old Money們更愿意扮演錦上添花的角色。

對(duì)前沿技術(shù)的投資，本質(zhì)上是上一個(gè)時(shí)代的成功者，面對(duì)下一個(gè)時(shí)代來(lái)臨時(shí)的避險(xiǎn)行為。只是愛馬仕和LV不需要擔(dān)心這個(gè)問(wèn)題。

尾聲

人工智能產(chǎn)業(yè)的中美競(jìng)爭(zhēng)一直是輿論場(chǎng)熱度最高的話題，中國(guó)公司則常以追趕者的身份亮相。但在怒其不爭(zhēng)之余，我們常常忽略，成為追趕者也是有門檻的。

繁榮的互聯(lián)網(wǎng)和消費(fèi)電子產(chǎn)業(yè)帶動(dòng)了芯片設(shè)計(jì)、數(shù)據(jù)中心、云計(jì)算等一系列細(xì)分門類的建立，它們都是發(fā)展人工智能重要的基礎(chǔ)設(shè)施。同時(shí)，它為相關(guān)人才提供了一個(gè)重要的培養(yǎng)與輸送的體系。

ChatGPT橫空出世時(shí)，“為什么又是美國(guó)”的聲音此起彼伏。但如果把時(shí)間拉長(zhǎng)，會(huì)發(fā)現(xiàn)從晶體管、集成電路，到Unix、x86架構(gòu)，再到如今的機(jī)器學(xué)習(xí)，美國(guó)學(xué)界和產(chǎn)業(yè)界幾乎都是領(lǐng)跑者的角色。

關(guān)于美國(guó)“產(chǎn)業(yè)空心化”的討論不絕于耳，但以軟件為核心的計(jì)算機(jī)科學(xué)這門產(chǎn)業(yè)，不僅從未“外流”到其他經(jīng)濟(jì)體，反而優(yōu)勢(shì)越來(lái)越大。

追趕與模仿并不可鄙，產(chǎn)業(yè)的進(jìn)步從來(lái)沒(méi)有拔地而起的故事。反倒是不同行業(yè)間隱藏的遞進(jìn)與鏈接，決定著一個(gè)經(jīng)濟(jì)體面對(duì)技術(shù)浪潮時(shí)的姿態(tài)與命運(yùn)。

近期，Mistral宣布與OpenAI的主要投資方微軟達(dá)成重要合作，這一消息火速引起了歐盟相關(guān)部門的注意，該部門稱合作可能涉及潛在風(fēng)險(xiǎn)，需要就此進(jìn)行深入調(diào)查[7]。與此同時(shí)，歐盟也在針對(duì)微軟與OpenAI之間的投資進(jìn)行并購(gòu)合規(guī)方面的審查。

人工智能的全球分工，好像走向了互聯(lián)網(wǎng)與消費(fèi)電子時(shí)代發(fā)生過(guò)的故事：

美國(guó)創(chuàng)新，中國(guó)模仿，歐洲罰款，印度抓人。

參考資料

[1] Microsoft shifts AI focus off Sam Altman，AXIOS

[2] Top 10 artificial intelligence events in 2023，AI Magazine

[3] Europe should worry less and learn to love AI，F(xiàn)inancial Times

[4] LinkedIn

[5] Companiesmarketcap

[6] 2024年歐洲風(fēng)險(xiǎn)與增長(zhǎng)潛望，Lazard

[7] Microsoft’s tie-up with French startup Mistral AI is getting antitrust review from EU，F(xiàn)ortune

[8] 深度學(xué)習(xí)革命，凱德·梅茨

[9] 不是OpenAI也不是Google，這家估值20億美元的小公司成了AI社區(qū)的最愛，硅星人

[10] 大模型前瞻研究：解碼MoE架構(gòu)，Alpha Engineer

[11] ‘It’s just a matter of time’: why AI could help Europe create its own Apple or Google, The Guardian

[12] Artificial intelligence: Europe needs to start dreaming again，Niccolò Bianchini, Lorenzo Ancona

[13] Europe Regulates Its Way to Last Place，WSJ

[14] 2012，改變?nèi)祟惷\(yùn)的180天，遠(yuǎn)川研究所

[15] 2023人工智能行業(yè)現(xiàn)狀報(bào)告，騰訊研究院

編輯：李墨天

視覺設(shè)計(jì)：疏睿

責(zé)任編輯：李墨天

研究支持：陳彬/王一川