南洋理工大學團隊破解多智能體大語言模型訓練難題

當多個AI智能體需要像團隊一樣協作完成復雜任務時，如何讓它們學會更好地配合一直是個棘手問題。來自新加坡南洋理工大學的研究團隊最近在這個領域取得了重要突破，他們開發了一套名為Dr. MAS的訓練方法，專門解決多智能體大語言模型系統的訓練不穩定問題。這項研究發表于2026年2月9日的arXiv預印本平臺，論文編號為arXiv:2602.08847v1，為那些希望構建更強大AI協作系統的研究者們提供了全新的解決方案。

想象一下，如果你要組織一個團隊來解決復雜的數學問題，可能需要一個專門負責解題的"解題專家"和一個負責檢查答案的"驗證專家"。在AI的世界里，這種多智能體協作系統正變得越來越重要，因為單個AI模型往往難以勝任需要多種專業技能的復雜任務。然而，就像訓練一支真實的團隊一樣，讓這些AI智能體學會有效協作并非易事。

傳統的訓練方法在面對多智能體系統時會遇到一個關鍵問題：不同的AI智能體往往扮演著不同的角色，它們的表現和獎勵分布可能存在很大差異。這就好比在一個籃球隊中，后衛和中鋒的評價標準完全不同，如果用同一套標準來評判所有球員的表現，就會導致訓練過程變得混亂不堪。研究團隊發現，當使用現有的群體相對政策優化（GRPO）方法訓練多智能體系統時，經常會出現梯度爆炸的問題，導致整個訓練過程變得不穩定。

研究團隊深入分析了這個問題的數學根源。他們發現，當使用全局基準來標準化所有智能體的優勢函數時，那些獎勵分布與全局平均值相差較大的智能體會產生異常大的梯度，就像一個跑得特別快的運動員在以團隊平均速度為基準的評價體系中會得到過高的評分一樣。這種不平衡會導致訓練過程中出現嚴重的數值不穩定性，讓整個多智能體系統的學習效果大打折扣。

為了解決這個問題，研究團隊提出了Dr. MAS這一創新解決方案。這個方法的核心思想非常直觀：既然不同智能體的表現標準不同，那就讓每個智能體都使用自己專屬的評價標準。具體來說，Dr. MAS為每個智能體單獨計算其獎勵的均值和標準差，然后用這些個體化的統計數據來標準化該智能體的優勢函數。這就像為每個球員制定符合其位置特點的個人評價標準，讓后衛按后衛的標準評判，讓中鋒按中鋒的標準評判。

這種看似簡單的改進實際上解決了一個深層次的數學問題。研究團隊通過嚴格的理論分析證明，使用智能體特定的標準化方法可以將每個智能體梯度的二階矩控制在合理范圍內，從根本上消除了梯度爆炸的風險。這種方法不僅在理論上站得住腳，更重要的是它在實踐中表現出色。

除了算法層面的創新，Dr. MAS還提供了一個完整的端到端訓練框架。這個框架支持靈活的多智能體編排，可以處理智能體與模型的各種分配方式，包括多個智能體共享同一個大語言模型，或者每個智能體使用獨立的模型?？蚣苓€提供了高效的資源調度和共享機制，能夠在保證訓練穩定性的同時最大化硬件利用效率。

研究團隊在兩個不同的任務場景中測試了Dr. MAS的效果。第一個場景是數學推理任務，使用了一個雙智能體循環系統，其中解題智能體負責提出候選解答，驗證智能體負責檢查解答的正確性并決定是否需要進一步改進。第二個場景是多輪搜索任務，采用了三智能體分層架構，包括負責決策的驗證智能體、負責信息檢索的搜索智能體和負責綜合答案的回答智能體。

在數學任務上，Dr. MAS在各個基準測試中都表現出色。以Qwen3-4B模型為例，在非共享設置下，Dr. MAS將平均成功率從57.5%提升到了61.1%，將通過率從74.4%提升到了77.7%。特別是在難度較高的AIME競賽題目上，改進效果更加顯著。對于Qwen3-8B模型，在某些具有挑戰性的數學競賽問題上，Dr. MAS甚至實現了超過10%的性能提升。

在多輪搜索任務中，Dr. MAS的優勢更加明顯。傳統的GRPO方法在這種復雜的多智能體協作場景中經常出現嚴重問題，有時甚至會導致智能體完全停止調用搜索功能，從而導致性能大幅下降。而Dr. MAS成功解決了這些問題，在Qwen2.5-7B非共享設置下，將平均成功率從28.0%大幅提升到了43.8%，將通過率從40.5%提升到了58.3%。這種改進不僅體現在最終性能上，更重要的是整個訓練過程變得更加穩定可靠。

為了深入理解Dr. MAS的工作機制，研究團隊還進行了詳細的梯度分析實驗。結果顯示，傳統GRPO方法在訓練過程中經常出現梯度范數的劇烈波動，有時甚至導致數值溢出。相比之下，Dr. MAS能夠將所有智能體的梯度范數維持在穩定的水平，確保訓練過程的平滑進行。這種穩定性對于需要長時間訓練的復雜多智能體系統來說至關重要。

研究團隊還通過消融實驗驗證了Dr. MAS各個組件的貢獻。他們發現，僅使用智能體特定的均值而保持全局標準差已經能帶來顯著改進，而僅使用智能體特定的標準差而保持全局均值的效果更佳。最終，同時使用智能體特定的均值和標準差的完整Dr. MAS方法實現了最優性能，證明了這種全面個性化標準化策略的必要性。

在實際應用方面，Dr. MAS還展現出了出色的靈活性。研究團隊測試了異構模型分配的效果，即讓不同智能體使用不同規模的語言模型。結果表明，在分層多智能體系統中，可以為高級決策智能體分配更大的模型（如7B參數），為執行層智能體分配較小的模型（如3B參數），這樣既能保持系統性能，又能顯著降低計算成本和延遲。具體來說，這種異構配置在保持性能基本不變的情況下，實現了31.6%的延遲減少和41.8%的成本降低。

Dr. MAS的技術框架還具有良好的擴展性和實用性。它采用了模塊化設計，支持各種不同的多智能體編排方式，從簡單的雙智能體循環到復雜的多層次決策架構都能很好地適應?？蚣苁褂昧讼冗M的推理引擎和資源調度技術，能夠高效地處理大規模并發的智能體交互。

這項研究的意義遠不止于技術層面的改進。隨著AI系統變得越來越復雜，多智能體協作將成為實現高級AI應用的關鍵技術。無論是復雜的軟件開發、設備控制，還是需要多種專業技能的綜合性任務，都需要多個AI智能體的有效協作。Dr. MAS提供的穩定訓練方法為這些應用的實現鋪平了道路。

值得注意的是，研究團隊也坦誠地指出了當前方法的一些局限性。Dr. MAS雖然解決了梯度不穩定的問題，但在多智能體系統中仍然存在其他挑戰，比如如何在智能體之間進行更好的信用分配，以及如何處理更大規模的智能體協作等。此外，當前的實驗主要集中在相對較小的智能體團隊上，對于包含大量智能體的系統，資源分配和異步執行等問題還需要進一步研究。

從更廣闊的視角來看，這項研究反映了AI領域的一個重要趨勢：從單一模型的優化轉向多智能體系統的協同。就像人類社會中專業化分工能夠帶來效率提升一樣，讓不同的AI智能體專門負責不同的子任務，然后通過有效的協作機制整合它們的能力，很可能是實現更強大AI系統的關鍵路徑。Dr. MAS在這個方向上邁出了重要的一步，為未來的多智能體AI系統開發提供了寶貴的經驗和工具。

說到底，Dr. MAS解決的是一個看似技術性但實際上具有深遠影響的問題。通過讓每個AI智能體都能在適合自己的標準下穩定學習，這項技術為構建更復雜、更強大的AI協作系統打下了堅實基礎。隨著這類技術的不斷成熟，我們有理由期待在不久的將來看到更多令人印象深刻的AI團隊協作應用。對于那些希望深入了解這項技術細節的讀者，可以通過論文編號arXiv:2602.08847v1在相關學術平臺上查閱完整的研究報告。

Q&A

Q1：Dr. MAS是什么？

A：Dr. MAS是南洋理工大學開發的一種多智能體大語言模型訓練方法。它的核心創新是為每個AI智能體使用專屬的評價標準，而不是用同一套全局標準評判所有智能體，這樣可以避免訓練過程中的梯度爆炸問題，讓多個AI智能體的協作學習變得更加穩定。

Q2：多智能體AI系統為什么需要特殊的訓練方法？

A：因為不同的AI智能體往往扮演不同角色，就像籃球隊中后衛和中鋒的職責不同一樣。如果用同一套標準評判所有智能體的表現，會導致那些表現與平均水平差異較大的智能體產生異常大的訓練梯度，從而讓整個訓練過程變得不穩定，影響最終的協作效果。

Q3：Dr. MAS在實際應用中效果如何？

A：在數學推理任務中，Dr. MAS將成功率提升了3-4個百分點，在多輪搜索任務中的改進更顯著，成功率從28%提升到43.8%。更重要的是，它徹底解決了傳統方法中經常出現的梯度爆炸問題，讓訓練過程變得穩定可靠，這對需要長時間訓練的復雜AI協作系統來說至關重要。