悉尼科技大學(xué)打破一刀切，聯(lián)邦推薦如何實現(xiàn)千人千面的圖文融合？

在推薦系統(tǒng)邁向多模態(tài)的今天，如何兼顧數(shù)據(jù)隱私與個性化圖文理解？悉尼科技大學(xué)龍國棟教授團隊聯(lián)合香港理工大學(xué)楊強教授、張成奇教授團隊，提出全新框架 FedVLR。該工作解決了聯(lián)邦環(huán)境下多模態(tài)融合的異質(zhì)性難題，已被人工智能頂級會議 AAAI 2026 接收為 Oral Presentation。

在當今的推薦系統(tǒng)中，利用圖像和文本等多模態(tài)信息來輔助決策已是標配。然而，當這一需求遭遇聯(lián)邦學(xué)習(xí)—— 這一要求「數(shù)據(jù)不出本地」的隱私保護計算范式時，情況變得極其復(fù)雜。

現(xiàn)有的聯(lián)邦推薦往往面臨兩難：要么為了保護隱私而放棄繁重的多模態(tài)處理，僅使用 ID 特征；要么采用「一刀切」（One-size-fits-all）的粗暴融合策略，假設(shè)所有用戶對圖文的偏好一致。

但現(xiàn)實是殘酷的：用戶的「融合偏好」天生具有極大的異質(zhì)性。購買服裝時，用戶可能更依賴視覺沖擊；而挑選數(shù)碼產(chǎn)品時，詳盡的參數(shù)文本可能才是關(guān)鍵。這種偏好的差異，在數(shù)據(jù)不可見的聯(lián)邦環(huán)境下，極難被捕捉。

為了打破這一瓶頸，悉尼科技大學(xué)龍國棟教授團隊，聯(lián)合香港理工大學(xué)人工智能高等研究院楊強院長、香港理工大學(xué)深圳研究院張成奇院長推出了 FedVLR 框架。其核心洞見在于重構(gòu)了多模態(tài)融合的決策流：將重計算的特征預(yù)處理留給服務(wù)器，而將決定「怎么看」的融合決策權(quán)，通過輕量級路由機制徹底下放給用戶端側(cè)。

• 論文鏈接： https://arxiv.org/abs/2410.08478
• 代碼倉庫： https://github.com/mtics/FedVLR

痛點：當「多模態(tài)」遇上「數(shù)據(jù)孤島」

在傳統(tǒng)的中心化訓(xùn)練中，模型可以肆無忌憚地訪問所有交互數(shù)據(jù)，輕松學(xué)習(xí)到圖文融合的最佳權(quán)重。但在聯(lián)邦學(xué)習(xí)中，服務(wù)器看不見用戶的行為數(shù)據(jù)，也就無法得知：對于用戶 A 來說，到底是圖片重要還是文字重要？

這種「信息不對稱」導(dǎo)致了現(xiàn)有方法的局限性：

1. 計算瓶頸：端側(cè)設(shè)備算力有限，難以運行龐大的視覺 - 語言模型（如 CLIP）。
2. 個性化缺失：全局統(tǒng)一的融合規(guī)則無法滿足用戶千差萬別的瀏覽習(xí)慣。
3. 
   

FedVLR 核心架構(gòu)：服務(wù)器「備菜」，客戶端「掌勺」

FedVLR 創(chuàng)新性地提出了一種雙層融合機制，巧妙地解耦了特征提取與偏好融合。

第一層：服務(wù)器端的「多視圖預(yù)融合」—— 解決算力焦慮，提供豐富素材

FedVLR 將繁重的計算任務(wù)鎖定在服務(wù)器端。利用強大的預(yù)訓(xùn)練視覺 - 語言模型，服務(wù)器不直接下發(fā)原始特征，而是通過多種預(yù)設(shè)的融合算子，將物品的圖像、文本和 ID 信息加工成一組「候選融合視圖集」。

可以把這理解為服務(wù)器預(yù)先準備了多種口味的「半成品」：

• 視圖 A：側(cè)重視覺表現(xiàn)
• 視圖 B：側(cè)重文本描述
• 視圖 C：圖文均衡

這些視圖包含了高質(zhì)量的內(nèi)容理解，卻無需消耗客戶端的算力來生成。

第二層：客戶端的「個性化精煉」——MoE 路由機制，實現(xiàn)千人千面

當這些「半成品」視圖下發(fā)到用戶設(shè)備（如手機）后，F(xiàn)edVLR 引入了一個極其輕量的本地混合專家模塊。

這個路由器的作用至關(guān)重要：它利用本地私有的交互歷史，動態(tài)計算出一組個性化權(quán)重。如果本地數(shù)據(jù)顯示用戶偏愛看圖，路由器就會賦予「視覺側(cè)重視圖」更高的權(quán)重。

這一過程完全在本地發(fā)生，確保了用戶的偏好數(shù)據(jù)從未離開設(shè)備。

工程優(yōu)勢：即插即用的「增強包」

FedVLR 的設(shè)計哲學(xué)不僅僅是提出一個新模型，更是提供一種通用的增強方案。

它被設(shè)計為一個可插拔的層，具有極高的工程落地價值：

1. 模型無關(guān)性：它可以無縫掛載到 FedAvg、FedNCF 等任何主流的基于 ID 的聯(lián)邦推薦框架上。
2. 零通信增量：通信過程中傳輸?shù)囊廊皇翘荻然蛐∧Ｐ蛥?shù)，并未增加額外的帶寬負擔。
3. 隱私無損：嚴格遵循聯(lián)邦學(xué)習(xí)協(xié)議，個性化參數(shù)與原始數(shù)據(jù)均保留在本地。
4. 低端側(cè)開銷：復(fù)雜的 CLIP 編碼在云端完成，端側(cè)僅需運行輕量級的 MLP 路由網(wǎng)絡(luò)。

實驗驗證：稀疏數(shù)據(jù)下的「逆襲」

研究團隊在電商、多媒體等多個領(lǐng)域的公開數(shù)據(jù)集上進行了嚴苛的測試。

實驗結(jié)果表明：

• 全面提升：無論基線模型如何，掛載 FedVLR 后，NDCG 和 HR 等核心推薦指標均實現(xiàn)了顯著且穩(wěn)定的提升。
• 冷啟動友好：一個令人興奮的發(fā)現(xiàn)是，在數(shù)據(jù)稀疏的場景下，F(xiàn)edVLR 的性能提升尤為驚人。這證明了通過個性化融合策略，模型能更有效地利用有限的本地數(shù)據(jù)來理解物品內(nèi)容，甚至在部分指標上逼近了中心化訓(xùn)練的效果。

總結(jié)

FedVLR 的價值不僅限于推薦系統(tǒng)本身，它更為聯(lián)邦基礎(chǔ)模型的落地提供了一種極具啟發(fā)性的范式。

在端側(cè)算力受限、而云端大模型能力日益增強的背景下，如何在不傳輸原始數(shù)據(jù)的前提下，讓邊緣設(shè)備低成本地享受到大模型的通用知識，是業(yè)界亟待解決的難題。

FedVLR 實際上展示了一種「云端大模型編碼 + 端側(cè)微調(diào)適配」的高效協(xié)同路徑。它證明了我們無需在每個終端都部署龐大的多模態(tài)模型，只需通過精巧的架構(gòu)設(shè)計，將云端的通用內(nèi)容理解能力與端側(cè)的私有偏好解耦。

這種思路極大地降低了聯(lián)邦學(xué)習(xí)的通信與計算門檻，為未來將更復(fù)雜的視覺 - 語言模型甚至生成式 AI 引入隱私敏感場景鋪平了道路，是構(gòu)建下一代「既懂內(nèi)容、又懂用戶、且嚴守隱私邊界」的智能系統(tǒng)的關(guān)鍵一步。

目前，該論文代碼已開源，歡迎社區(qū)關(guān)注與試用。

作者介紹

李志偉，悉尼科技大學(xué)博士生，研究方向為聯(lián)邦推薦系統(tǒng)。

龍國棟、江靜，悉尼科技大學(xué)副教授，專注于聯(lián)邦學(xué)習(xí)。

張成奇，香港理工大學(xué)深圳研究院院長，在數(shù)據(jù)挖掘、人工智能理論與應(yīng)用方面具有廣泛影響力。

楊強，香港理工大學(xué)人工智能高等研究院院長、國際人工智能領(lǐng)域領(lǐng)軍人物，提出遷移學(xué)習(xí)與聯(lián)邦學(xué)習(xí)多項奠基性成果。