Meta詳細(xì)闡述基于LLM級訓(xùn)練、混合并行計算與知識遷移的GEM廣告模型

作者 | Vinod Goje

譯者 | 平川

Meta發(fā)布 了有關(guān)其生成式廣告模型（GEM）的詳細(xì)信息，這是一個旨在改善其平臺廣告推薦能力的基礎(chǔ)模型。該模型處理每天數(shù)十億的用戶 - 廣告交互數(shù)據(jù)，解決了推薦系統(tǒng)（RecSys）中的核心挑戰(zhàn)——有意義的信號（如點擊和轉(zhuǎn)化）非常稀疏。GEM 致力于解決從多樣化廣告數(shù)據(jù)中學(xué)習(xí)的復(fù)雜性，包括廣告商目標(biāo)、創(chuàng)意格式、測量信號以及跨多個投放渠道的用戶行為。

該公司使用三種方法構(gòu)建了這個系統(tǒng)：基于先進(jìn)架構(gòu)的模型縮放技術(shù)、用于知識遷移的后訓(xùn)練技術(shù)，以及增強型訓(xùn)練基礎(chǔ)設(shè)施——該基礎(chǔ)設(shè)施利用數(shù)千塊 GPU 實現(xiàn)高級并行計算，以滿足大規(guī)模基礎(chǔ)模型訓(xùn)練的計算需求。

圖片來源：GEM 架構(gòu)

Meta 對訓(xùn)練架構(gòu)進(jìn)行了重新設(shè)計，使其能夠以媲美現(xiàn)代大型語言模型的規(guī)模支持 GEM。該公司針對不同模型組件采用了定制化的多維并行策略：密集型模型組件采用混合分片分布式并行（HSDP）技術(shù)，在數(shù)千塊 GPU 間優(yōu)化內(nèi)存使用并降低通信開銷；稀疏型組件（主要為用戶和物品特征的大型嵌入表）則采用 結(jié)合數(shù)據(jù)并行與模型并行的二維并行方案。

為了減少訓(xùn)練瓶頸，Meta 實施了幾項 GPU 級別的優(yōu)化，包括：針對可變長度用戶序列設(shè)計的定制 GPU 內(nèi)核；PyTorch 2.0 中的圖級編譯技術(shù)，可自動執(zhí)行激活檢查點和操作符融合；采用 FP8 量化等內(nèi)存壓縮技術(shù)處理激活值。

Meta 團(tuán)隊通過 NCCLX（Meta 的 NVIDIA NCCL 分支）開發(fā)了 GPU 通信集合，可以在不使用流式多處理器資源的情況下運行。這消除了通信工作負(fù)載和計算工作負(fù)載之間的競爭。Meta 通過優(yōu)化訓(xùn)練器初始化、數(shù)據(jù)讀取器設(shè)置和檢查點，將作業(yè)啟動時間減少了 5 倍。通過優(yōu)化緩存策略，PyTorch 2.0 的編譯時間減少了 7 倍，提高了處理新數(shù)據(jù)所花費的訓(xùn)練時間占比。

該系統(tǒng)在模型生命周期中持續(xù)優(yōu)化 GPU 效率。在探索階段，與完整模型相比，輕量化模型變體以更低的成本支持了超過半數(shù)的實驗。Meta 通過持續(xù)在線訓(xùn)練刷新基礎(chǔ)模型，并在訓(xùn)練過程與訓(xùn)練后的知識生成階段之間共享流量，從而降低計算需求。

按照 Meta 的設(shè)計，GEM 將知識遷移到數(shù)百個面向用戶的垂直模型，在其平臺上提供廣告服務(wù)。該公司采用兩種遷移策略，將基礎(chǔ)設(shè)施模型的能力轉(zhuǎn)化為可衡量的收益。

直接遷移使 GEM 能夠向其接受訓(xùn)練的數(shù)據(jù)空間內(nèi)的主要垂直模型傳遞知識。分層遷移則將 GEM 的知識提煉為特定領(lǐng)域的基礎(chǔ)模型，進(jìn)而用于訓(xùn)練垂直模型。

這些方法通過 知識蒸餾、表示學(xué)習(xí)和參數(shù)共享最大限度地提升了 Meta 廣告模型生態(tài)系統(tǒng)中的遷移效率。

特斯拉前總監(jiān) Swapnil Amin評論 說：

GEM 感覺就像我們都知道要到來的轉(zhuǎn)變——一種真正能同時學(xué)習(xí)創(chuàng)造力、語境和用戶意圖的模型，而非事后拼湊碎片。

他強調(diào)：

23 倍的有效浮點運算性能提升是改變經(jīng)濟(jì)效益的關(guān)鍵所在。

微軟高級產(chǎn)品經(jīng)理 Sri.P 認(rèn)為該技術(shù)對廣告商具有潛在的應(yīng)用價值，并 表示：

這對營銷人員 / 廣告商來說是一個游戲規(guī)則的改變者！可以看到，它有可能為小型企業(yè)節(jié)省大量的資金，因為他們不需要試驗營銷策略，而是可以依靠智能模型來充分利用他們的廣告支出。

按照 Meta 的設(shè)想，廣告推薦系統(tǒng)的基礎(chǔ)模型將發(fā)展出一種可以更好地理解用戶偏好和意圖的能力，使用戶與廣告的互動更加個性化。對于廣告商來說，Meta 將這種模型定位為實現(xiàn)大規(guī)模一對一連接的方法。

https://www.infoq.com/news/2025/12/meta-gem-ads-model/

技術(shù)人的年度儀式感！ 年度盤點與趨勢洞察 啟動！

《2025 年度盤點與趨勢洞察》由 InfoQ 技術(shù)編輯組策劃。覆蓋大模型、Agent、具身智能、AI Native 開發(fā)范式、AI 工具鏈與開發(fā)、AI+ 傳統(tǒng)行業(yè)等方向，通過長期跟蹤、與業(yè)內(nèi)專家深度訪談等方式，對重點領(lǐng)域進(jìn)行關(guān)鍵技術(shù)進(jìn)展、核心事件和產(chǎn)業(yè)趨勢的洞察盤點。

力求以體系化視角幫助讀者理解年度技術(shù)演化的底層邏輯、創(chuàng)新方向與落地價值，并為新一年決策提供參考。內(nèi)容將在 InfoQ 媒體矩陣陸續(xù)放出，歡迎大家持續(xù)關(guān)注。

今日薦文

你也「在看」嗎？