中科院團隊"偷師"生物學原理，讓聯邦學習變身"隱形偵探"

在數據隱私問題日益嚴峻的今天，如何讓多個機構在不暴露各自數據的前提下共同訓練人工智能模型，成了科技界的一大難題。最近，一支由中國信息通信研究院、西北大學、清華大學等多家科研院所組成的國際研究團隊，提出了一個頗具創意的解決方案。這項名為FedRE的研究發表于2025年11月的arXiv預印本平臺（論文編號arXiv:2511.22265v1），為聯邦學習領域帶來了全新的思路。

要理解這項研究的價值，我們得先聊聊聯邦學習面臨的困境。傳統的聯邦學習就像一群廚師要共同制作一道菜，但每個人的廚房設備都不一樣——有的用電磁爐，有的用燃氣灶，有的甚至還在用柴火。這種設備差異讓他們很難直接交換烹飪經驗。在機器學習的世界里，這種情況被稱為"模型異構性"，即不同的參與方使用不同架構的神經網絡，導致無法直接合并模型參數。

更棘手的是，現有的解決方案往往顧此失彼。有些方法要求參與方上傳大量的原始數據表征，這就像廚師把半成品菜肴拿出來給大家品嘗，雖然能讓大家學到經驗，但也暴露了各自的獨門配方。另一些方法雖然保護了隱私，但效果卻大打折扣，就像只能聞到菜香卻學不到精髓。

研究團隊的突破性想法來自生物學中的一個現象——DNA的雙螺旋結構將不同的遺傳信息巧妙地"纏繞"在一起。他們受此啟發，設計了一種全新的知識表示形式，稱為"糾纏表征"。這種方法就像把不同菜系的精華調料混合成一種獨特的復合調料，既保留了各家的風味特色，又掩蓋了具體的配方秘密。

具體來說，FedRE框架的工作原理可以用一個有趣的比喻來解釋。每個參與聯邦學習的客戶端就像一位神秘的調酒師，他們各自擁有不同風格的雞尾酒配方。在傳統方法中，調酒師們要么完全公開自己的配方（隱私泄露），要么只能分享最終成品的味道特征（信息有限）。而FedRE的做法更加巧妙：每位調酒師將自己制作的不同口味雞尾酒按照隨機比例混合成一杯"神秘特飲"，然后將這杯特飲和相應的"口味標簽"一起分享給中央服務器。

這個過程的精妙之處在于隨機性的運用。每輪訓練中，調酒師們都會重新隨機分配混合比例，這就像每次都用不同的方式調配神秘特飲。這種隨機性不僅讓外人無法反推出原始配方，還幫助中央服務器學到更全面、更穩定的"品鑒"能力。正如論文中展示的一個二維數據實驗，傳統的原型方法往往導致決策邊界過于尖銳，而FedRE生成的決策邊界更加平滑，體現了其優越的泛化能力。

在技術實現層面，FedRE框架包含三個主要步驟。首先是本地模型更新，每個客戶端在自己的數據上訓練模型，就像每位調酒師先練好自己的基本功。接著是表征糾纏和上傳階段，這是整個框架的核心創新?？蛻舳藢⒈镜禺a生的不同類別表征通過歸一化隨機權重進行聚合，形成單個跨類別的糾纏表征，同時將對應的標簽編碼也進行相同的聚合操作。最后是全局分類器的更新和廣播，服務器使用收集到的糾纏表征訓練全局分類器，然后將更新后的分類器參數廣播給所有客戶端。

研究團隊在實驗設計上也頗為用心。他們使用了三個經典的計算機視覺數據集：CIFAR-10、CIFAR-100和TinyImageNet，并設置了具有十種不同架構的客戶端，包括傳統的卷積神經網絡、ResNet系列、MobileNetV2、GoogleNet，甚至還有最新的Vision Transformer模型。這種多樣化的設置真實地模擬了現實世界中設備異構的情況。

實驗結果令人印象深刻。在模型異構設置下，FedRE在各種場景中都表現出色。特別是在TinyImageNet數據集的病理性數據分布設置中，FedRE比現有的先進方法提升了超過6個百分點的準確率。這種提升不是微不足道的改進，而是實質性的突破。

更重要的是，FedRE在隱私保護方面的表現同樣出色。研究團隊通過表征反演攻擊實驗驗證了其安全性。結果顯示，從糾纏表征中重建的圖像幾乎無法辨認出原始內容，而傳統方法重建的圖像仍能看出明顯的輪廓和特征。用數據說話，糾纏表征的峰值信噪比（PSNR）只有9.66，而傳統表征的PSNR達到12.89，數值越低意味著重建質量越差，也就是隱私保護效果越好。

在通信開銷方面，FedRE也展現了顯著優勢。由于每個客戶端只需要上傳一個糾纏表征和對應的標簽編碼，而不是大量的原始表征，通信量大幅降低。在CIFAR-100數據集上的實驗顯示，FedRE的上傳開銷只有5.12×10?個標量，而某些基準方法需要上傳超過9000×10?個標量，差距懸殊。

研究團隊還深入探討了不同表征糾纏機制的效果。他們設計了六種不同的糾纏策略，從簡單的隨機選擇到復雜的原型聚合。實驗結果表明，基于原型的隨機平均方法（RAP）表現最佳，這進一步證實了隨機性和代表性信息的完美結合是關鍵所在。

特別值得一提的是，FedRE框架展現了良好的靈活性和適應性。研究團隊驗證了該方法在不同統計異構性水平下的穩定性能，包括高度不平衡的數據分布和大規模客戶端參與的場景。在100個客戶端的大規模實驗中，FedRE依然保持了優異的性能，證明了其在實際應用中的可擴展性。

從技術原理的角度來看，FedRE的創新不僅在于糾纏表征本身，還在于其與mixup等數據增強技術的本質區別。mixup主要在樣本對之間進行線性插值，而FedRE是一種客戶端級別的糾纏機制，專門為聯邦學習的特殊需求而設計。這種設計使得FedRE能夠在保護隱私的同時，為全局分類器提供豐富的跨類別監督信號。

研究團隊還通過計算復雜度分析證明了FedRE的實用性。對于包含n個樣本、d維表征的客戶端，糾纏操作的計算復雜度僅為O(n(d+C))，其中C是類別數。這種線性復雜度意味著該方法可以輕松應用于大規模數據場景。

實驗還揭示了一個有趣的現象：每輪重新采樣隨機權重的策略確實比固定權重更有效。在合成數據集和CIFAR-100數據集上的對比實驗都證實了這一點。這種動態隨機性不僅增強了隱私保護，還幫助全局分類器避免過度擬合，學習到更平滑的決策邊界。

值得注意的是，FedRE的優勢不僅限于模型異構場景，在模型同構的傳統聯邦學習設置中也表現出競爭力。這種普適性使得FedRE成為一個真正通用的聯邦學習解決方案。

從更廣闊的視角來看，這項研究為聯邦學習領域提供了一個全新的思路：通過生物學啟發的信息糾纏機制，在隱私保護、通信效率和模型性能之間找到了近乎完美的平衡點。這種跨學科的創新思維方式，可能會啟發更多類似的突破性研究。

當然，任何技術都有其局限性。FedRE主要針對監督學習任務，對于無監督或強化學習場景的適用性還有待驗證。此外，雖然理論上具有良好的隱私保護性質，但在面對更復雜的攻擊手段時的魯棒性仍需要進一步研究。

這項由中國信息通信研究院、西北大學、清華大學等機構聯合完成的研究，不僅在技術上實現了突破，更重要的是為聯邦學習這一重要領域指明了新的發展方向。隨著數據隱私法規的日趨嚴格和多方協作需求的不斷增長，像FedRE這樣既能保護隱私又能保證效果的技術將變得越來越重要。對于那些希望在保護數據隱私的前提下開展機器學習合作的組織來說，這項研究提供了一個極具價值的參考方案。

Q&A

Q1：FedRE的糾纏表征技術是什么？

A：FedRE的糾纏表征技術是一種全新的數據保護方法，它將每個客戶端的不同類別數據表征按照隨機權重混合成一個跨類別的綜合表征，就像把不同口味的調料按隨機比例調配成復合調料一樣，既保留了原始信息的精華，又掩蓋了具體的配方細節。

Q2：FedRE在隱私保護方面有什么優勢？

A：FedRE通過糾纏表征大大增強了隱私保護效果。實驗顯示，從糾纏表征重建的圖像幾乎無法辨認原始內容，其峰值信噪比只有9.66，遠低于傳統方法的12.89，同時每個客戶端只需上傳一個混合表征，大幅減少了信息泄露風險。

Q3：FedRE適用于哪些應用場景？

A：FedRE特別適用于多個機構需要合作訓練AI模型但又不能共享原始數據的場景，比如醫療機構聯合研發疾病診斷模型、金融機構協作開發風控系統、或者不同企業共同改進推薦算法等，它能在保護各方數據隱私的同時實現高質量的模型訓練。