硬剛OpenAI！Meta官宣Llama 3.3：70B參數(shù)媲美前代千億模型

就在OpenAI “12天技術(shù)直播狂歡”的第二天，北京時間12月7日凌晨1點(diǎn)，Meta發(fā)布了最新開源模型Llama 3.3。Meta負(fù)責(zé)生成式AI的副總裁Ahmad Al-Dahle在X上表示，Llama 3.3采用了最新的后訓(xùn)練技術(shù)，參數(shù)規(guī)模僅700億，但是性能可以與參數(shù)4050億的Llama 3.1相媲美。

Al-Dahle在X上發(fā)布了一張圖表，顯示Llama 3.3 70B在多個行業(yè)基準(zhǔn)測試中超越了谷歌的Gemini 1.5 Pro、OpenAI的GPT-4o和亞馬遜新發(fā)布的Nova Pro。

Llama 3.3除了英語外還支持7種語言：法語、德語、印地語、意大利語、葡萄牙語、西班牙語和泰語。該模型還引入了包括更長的上下文窗口128k token（與GPT-4o相當(dāng)，大約400頁的文本）在內(nèi)的幾項增強(qiáng)功能，使其適合長形式內(nèi)容生成和其他高級用例。架構(gòu)整合了分組查詢注意力（GQA），在推理期間提高了可擴(kuò)展性和性能。

用簡單的話來總結(jié)，Llama用百億參數(shù)規(guī)模達(dá)到了千億參數(shù)的性能，同時必然帶來了成本的大幅降低。

成本能節(jié)省多少？

在GPU內(nèi)存需求方面，根據(jù)Substratus博客的數(shù)據(jù)，Llama 3.1-405B需要243 GB到1944 GB的GPU內(nèi)存，而Llama 2-70B則需要42-168GB的GPU內(nèi)存。

有媒體報道稱，某些情況下，低參數(shù)模型的GPU內(nèi)存需求甚至可以低至4GB。這意味著，如果部署Llama 3.3，用戶可以預(yù)期節(jié)省高達(dá)1940GB的內(nèi)存，對于標(biāo)準(zhǔn)的80GB Nvidia H100 GPU來說，GPU負(fù)載可能降低24倍。以每塊H100 GPU約25,000美元的價格計算，這可能意味著高達(dá)600,000美元的前期GPU成本節(jié)省，這還不包括持續(xù)的電力成本節(jié)省。

現(xiàn)在，Llama 3.3已經(jīng)可以通過Meta、Hugging Face、GitHub等平臺下載，開源許可證為Llama 3.3社區(qū)許可證，這是一項非獨(dú)家、免版稅的協(xié)議，允許用戶合法使用、復(fù)制、分發(fā)和修改Llama 3.3模型及其輸出，支持模型輸出的再利用，如合成數(shù)據(jù)生成和模型蒸餾，但是對于月活躍用戶超過7億的大型組織，需要從Meta獲得商業(yè)許可，而不是使用社區(qū)許可證。