馬斯克罕見低頭：開源推薦算法，自嘲“很爛”不過未來月更

就現(xiàn)在，GitHub已經(jīng)能完整看到馬斯克開源的推薦算法系統(tǒng)了。

開源文件里明確表示，這是一個幾乎完全由AI模型驅(qū)動的算法系統(tǒng)。

• 我們移除了所有人工設(shè)計特征和絕大多數(shù)啟發(fā)式規(guī)則。

消息一出，整個社區(qū)立刻沸騰了，最高贊上去就是一頓猛夸：

• incredible！沒有其他平臺能做到如此透明。

馬斯克本人也火速轉(zhuǎn)發(fā)了工程團隊原帖，不過一向言辭高調(diào)的老馬，此番卻低調(diào)表示：

• 我們知道這個算法很蠢（dumb），需要大幅改進，但至少您可以實時、透明地看到我們?yōu)楦倪M它而努力。
• 其他社交媒體公司都沒有這樣做。

早在2022年收購（原Twitter）之前，馬斯克就多次批評該平臺過于封閉。

自收購之后，他也兌現(xiàn)承諾多次公開Twitter核心推薦算法，這一次也算是不忘初心了。

原來純AI驅(qū)動的推薦系統(tǒng)，是這樣運作的！

話不多說，咱這就扒一扒整套系統(tǒng)的運作機制。

一句話概括這個系統(tǒng)即為：

基于Grok-1同款Transformer架構(gòu)打造，能通過學(xué)習(xí)你的歷史互動行為（點贊/回復(fù)/轉(zhuǎn)發(fā)過什么），來決定給你推薦什么內(nèi)容。

從用戶打開“For You”開始，客戶端會向服務(wù)器發(fā)送一個請求，觸發(fā)整個算法流程。

然后系統(tǒng)會先做一件事——搞清楚你是誰、你最近在干什么、你平時對什么內(nèi)容有反應(yīng)。

為實現(xiàn)這一目的，系統(tǒng)會拉取兩類用戶信息：

• 行為序列（Action Sequence）：一類代表最直接、最強烈的興趣信號，比如最近點贊、回復(fù)、轉(zhuǎn)發(fā)、點進、停留過什么。
• 屬性（Features）：另一類代表長期屬性，比如關(guān)注列表、聲明的興趣主題、地理位置、使用設(shè)備等。

這一步的目標(biāo)并不是人工構(gòu)造特征，而是盡可能真實地構(gòu)建“實時用戶畫像”——

以前工程師可能會假設(shè)“某些屬性很重要”，然后手動編寫規(guī)則或公式去計算一個“用戶興趣得分”。

但這本質(zhì)上是工程師的猜想，而非用戶真實狀態(tài)的反映。

于是馬斯克的這套算法就決定不做任何預(yù)設(shè)假設(shè)，而是盡可能多地、原始地收集用戶最真實的行為反應(yīng)，然后將這堆數(shù)據(jù)直接喂給后續(xù)的模型，從而讓模型自己去從原始數(shù)據(jù)中學(xué)習(xí)和發(fā)現(xiàn)規(guī)律。（即“去人工化”和“端到端”）

而拿到實時用戶畫像后，系統(tǒng)會接著兵分兩路，從整個平臺的海量推文中快速篩選出幾千條“可能相關(guān)”的推文。

一條是通過熟人圈。即從Thunder模塊，直接抓取你關(guān)注的所有人的最新推文。

另一條是通過外部。利用Phoenix Retrieval這一核心檢索模塊，抓取那些你可能感興趣、但來自未關(guān)注賬號的推文。

以上兩類來源不同的信息，會在后續(xù)階段被統(tǒng)一對待。

需要提醒，此時篩選出來的還只是推文ID。

于是系統(tǒng)會通過Hydration模塊，補全每條候選推文的信息，包括推文全文、作者詳情、圖片/視頻、歷史互動數(shù)據(jù)等，以便后續(xù)深度評估。

而且在正式開始計算前，還會進一步通過Filtering模塊淘汰那些明顯不要的內(nèi)容，例如：

• 重復(fù)或過期的帖子
• 用戶自己發(fā)布的內(nèi)容
• 來自拉黑或靜音賬號的帖子
• 包含用戶屏蔽關(guān)鍵詞的內(nèi)容
• 已經(jīng)看過或在當(dāng)前會話中展示過的帖子
• 用戶無權(quán)限訪問的訂閱內(nèi)容

記住，這一步只做一件事：回答某條內(nèi)容“能不能出現(xiàn)，而不是值不值得推薦”。

鋪墊到這里，最終剩下來的內(nèi)容會被逐條送入Phoenix排序模型進行打分。

這個模型是一個基于Transformer的模型，它會同時接收：

• 用戶的行為序列與屬性信息
• 單條候選帖子的內(nèi)容與作者信息

然后模型會預(yù)測用戶對某條推文執(zhí)行各種操作的概率，并將各種概率按照預(yù)設(shè)權(quán)重進行加權(quán)組合（如點贊類正向行為加分、拉黑類負(fù)向行為減分），并形成最終排序分?jǐn)?shù)。

基于此，系統(tǒng)還會進行少量工程層面的調(diào)節(jié)——

比如控制作者多樣性，避免單一賬號在信息流中占據(jù)過高比例（防止某一大V刷屏）。

這里也需要提醒，為了保證送入的每條帖子都是獨立評分的，所以系統(tǒng)還特意設(shè)置了“不允許候選帖子相互看見”（推文之間沒有交叉注意力機制）。

所有候選帖子按最終得分排序，系統(tǒng)從中選出Top-K條帖子，作為本次請求的推薦結(jié)果。

而且在返回客戶端之前，系統(tǒng)還會進行最后一輪校驗，確保內(nèi)容符合平臺安全規(guī)范——

例如，移除任何已刪除、被標(biāo)記為垃圾信息或包含暴力血腥等違規(guī)內(nèi)容的推文。

最終，經(jīng)歷重重篩選后的信息會根據(jù)分?jǐn)?shù)高低，依次展示給客戶端用戶。

總結(jié)下來，這套系統(tǒng)能夠成功運轉(zhuǎn)的五大關(guān)鍵在于（官方劃重點版）：

（1）純數(shù)據(jù)驅(qū)動，拒絕人工規(guī)則。

徹底摒棄人工定義“什么內(nèi)容算好”的復(fù)雜規(guī)則，改由AI模型直接從原始用戶數(shù)據(jù)中學(xué)習(xí)。

（2）采用候選隔離機制，獨立評分。

AI模型在給內(nèi)容打分時，每條內(nèi)容“看不見”其他候選內(nèi)容，只能看到用戶信息。這確保了每條帖子的分?jǐn)?shù)不會因為同批次其他帖子而變化，分?jǐn)?shù)一致且可高效緩存復(fù)用。

（3）哈希嵌入，實現(xiàn)高效檢索。

檢索和排序都使用多個哈希函數(shù)進行向量嵌入查找，提高效率。

（4）預(yù)測多元行為，而非單一分?jǐn)?shù)。

AI模型不直接輸出一個模糊的“推薦值”，而是對多種用戶行為同時預(yù)測。

（5）模塊化流水線，支撐快速迭代。

整個推薦系統(tǒng)采用模塊化設(shè)計，各個組件可以獨立開發(fā)、測試、替換。

“是的，這算法太爛了”

不過，雖然眾人對老馬開源的姿態(tài)表達了贊賞，但奈何這套算法還是有一些“缺陷”。

有網(wǎng)友就在推薦算法開源后吐槽道：

• 由于API訪問受限且成本高昂，現(xiàn)在屏蔽列表的做法已經(jīng)很少見了，但以前這種做法非常普遍。
• 算法必須讓較舊的屏蔽列表隨著時間推移而逐漸消失，這樣這些較舊的屏蔽列表就不會再被惡意利用。

言下之意是，算法代碼顯示“被大量用戶屏蔽”是一個強負(fù)面信號，會直接導(dǎo)致賬號被“降權(quán)”，即內(nèi)容更難獲得推薦，但代碼中沒有明確看到針對“屏蔽”信號的時間衰減機制。

這意味著，歷史上的屏蔽記錄可能至今仍在影響賬號的推薦分?jǐn)?shù)。

此番言論也引得馬斯克本人現(xiàn)身評論區(qū)吐槽：

• 是的，這算法太爛了。

但不管怎樣，老馬想要改變的態(tài)度已經(jīng)明確——

不僅過去開源、現(xiàn)在開源，而且接下來還會持續(xù)開源，未來每4周將重復(fù)一次開源更新。

開源倉庫：
https://github.com/xai-org/x-algorithm