扎克伯格「開源」上分，但Meta還沒到慶功時刻

文 | kiki

嚴格遵照自己日程表的Meta沒有人們失望，在上周曝出推出Llama 3 兩個版本后，扎克伯格向大模型開源陣營補給了最新的子彈——Llama 3 系列的 8B 和 70B 參數(shù)的兩個模型。

英偉達研究經(jīng)理Jim Fan 表示，即將推出的Llama 3-400B+模型將是社區(qū)獲得GPT-4級別模型的重要里程碑。Abacu.AI的聯(lián)合創(chuàng)始人Bindu Reddy，也是開源大模型的支持者，則認為，封閉人工智能的時代很有可能結(jié)束，Meta用一個「小故事」改變了世界。

Meta是開源大模型的執(zhí)旗者，在過去一段時間內(nèi)，隨著谷歌、xAI等陸續(xù)加入開源陣營，「開源or閉源」這一老生常談的話題又再度回到舞臺之中。不過對Meta來說，放出Llama 3 不是重點，對手的競爭、人才的流失，Meta還遠沒到「開香檳」的時刻。

1、自己卷自己，Llama 3讓開元陣營繼續(xù)上分

對于Llama 3 的表現(xiàn)，扎克伯格在最新一檔播客中接受采訪時這樣評價：“80億的模型幾乎與我們發(fā)布的最大版本Llama 2一樣強大，因此最小的Llama 3 基本上和最大的Llama 2 一樣強大。”

市面上針對Llama 3 的分析已不再少數(shù)，「硅基研究室」提供的「省流版」將Llama3的亮點總結(jié)為六個方面：

1、在多個基準測試中展現(xiàn)出領(lǐng)先的性能；

2、推理、代碼能力明顯增強；

3、Meta構(gòu)建了一個新的、高質(zhì)量的人類評估集，包括了12個關(guān)鍵場景的 1800 個提示詞。

4、數(shù)據(jù)上，Llama 3 在超15萬億token進行了預(yù)訓(xùn)練，數(shù)據(jù)集是Llama 2 的7倍。

5、通過技術(shù)優(yōu)化提升訓(xùn)練效率。Meta通過數(shù)據(jù)并行化、模型并行化和管道并行化技術(shù)，Llama 3 訓(xùn)練的效率比Llama 2 提高了約三倍。

6、降低了虛假回答的拒絕率，這是因為配備了Llama Guard 2、Code Shield、 CyberSec Eval 2等安全工具。

從上述亮點中不難看出，扎克伯格和Meta顯然是有備而來，不僅繼續(xù)秀了scaling laws的魔力，還針對訓(xùn)練效率、虛假回答的拒絕率等科技圈關(guān)注的模型能力一整個進行了升級。

當然，除了模型能力外，另一個關(guān)鍵詞，還是「開源」。 扎克伯克在采訪中也再度強調(diào)了開源的重要性：“如果未來人工智能系統(tǒng)沒有得到廣泛部署，而且不是每個人都能使用它們，我會感到失望.....緩解這種情況的最佳方法就是擁有優(yōu)秀的開源人工智能，使其成為標準，它確保了一個更加公平和平衡的競爭環(huán)境。”

過去一段時間內(nèi)，「開源陣營」的呼聲似乎日益強大。前有谷歌開源大模型Gemma，后有馬斯克開源 Grok，不久前，在評測榜單上，AI獨角獸Cohere的 Command R+ 還跑贏了GPT-4。

不過，目前Llama 3 系列的「超大杯」模型（400B參數(shù)），目前還在訓(xùn)練，此前報道或在今年7月推出。Meta表示，未來將在發(fā)布具有新功能的多個模型，包括具備多模態(tài)能力、多語言交互能力、更長的上下文窗口和更強大的整體能力。不過據(jù)The Verge報道，Meta目前尚未最終決定是否開源400B的版本。

2、Meta還沒到慶功時刻

在《那些年扎克伯格的錯過與過錯》一文中，我們曾詳細梳理Meta的AI戰(zhàn)略。在這場生成式AI浪潮中，之所以說在Meta迅速變革，原因有二：一個是區(qū)別于OpenAI等巨頭的閉源路線，Meta加入戰(zhàn)場的姿態(tài)是「開源」，這無疑為其爭奪了更多的好感。

另一個原因則是扎克伯格本人對AI的態(tài)度，從過去混亂的AI策略轉(zhuǎn)變?yōu)檎稀?/strong> 關(guān)注無論是與微軟合作，還是此次發(fā)布Meta AI加速與自家的產(chǎn)品生態(tài)融合，這都不難看出Meta在積極改變。

但之所以說，Meta還沒到慶功時刻，原因也有兩點：首先，從宏觀來看，Meta想要的還是太多了。一方面需要繼續(xù)應(yīng)對自己的AR/VR頭顯「元宇宙」野心，除此以外，還需要繼續(xù)投身大模型的基礎(chǔ)研發(fā)。

其次，則是人才隱憂。Meta在2023 年7 月發(fā)表 Llama 2相關(guān)研究論文中，其中 68 位作者已至少有10 人離開了Meta。而不少參與Llama 3 的研究人員也離開了 Meta，其中包括負責(zé)安全事務(wù)的Louis Martin和負責(zé)強化學(xué)習(xí)的Kevin Stone。

不久前，Meta又失去了三位高級AI員工，包括AIGC高級總監(jiān)Devi Parikh、計算機科學(xué)家Erik Meijer和Meta AI 研究科學(xué)家Abhishek Das。

一位業(yè)內(nèi)人士此前曾形容，今年的AGI競賽不是「短跑」，更像是一場「馬拉松」。對扎克伯格和他的Meta也是如此，據(jù)其采訪透露，扎克伯格已經(jīng)在考慮Llama 4、Llama 5，這會是一場更持久的競爭。

封面圖來源：電影《社交網(wǎng)絡(luò)》