英偉達23人夢之隊，讓AI用7天干翻了自己的GPU專家

AI在7天內自主完成了通常需要專家數月甚至數年的GPU內核優化，而且結果比自己家的王牌產品還快10%——今天，學術預印本平臺arXiv上發布了一項被視為可能徹底改變軟件和芯片優化方式的突破性研究。

這一研究由NVIDIA組建的一支23人的頂級團隊完成，名為《AVO: Agentic Variation Operators for Autonomous Evolutionary Search》（AVO：用于自主進化搜索的智能體變異算子）。

簡單來說，AVO（Agentic Variation Operators，智能體變異算子）是讓AI自己當起了“程序員+架構師+測試員”的合體，去探索人類工程師可能永遠想不到的底層代碼優化方案，最終在英偉達最新的Blackwell（B200）GPU上，寫出了比當今最頂尖人類專家團隊（如cuDNN和FlashAttention-4）編寫的代碼還要快10%以上的高性能計算內核。

值得注意的是，其核心開發者許冰在X上表示，他一開始根本不懂GPU編程，也由此開啟了這一段“盲編碼”的探索——也許，“不懂”才是最大的優勢，人類的認知反而會成為進化的局限。

再見！傳統進化算法的局限

想象一下，你有一套非常精密的計算程序（比如現在最火的AI模型中的“注意力機制”），這套程序要在顯卡（GPU）上跑得飛快。為了達到這個目標，專業的程序員們通常要花費幾個月甚至幾年時間，手動調整代碼、優化內存訪問、設計特殊算法，最終才能比通用版本快個20%、30%。

但這些手工優化有個大問題：太慢了、太依賴個人經驗了。硬件在變、算法在變，每次都需要重新優化。

為了自動化這個過程，科學家們想到了“進化算法”：就像生物進化一樣，隨機生成一批代碼，測試哪個跑得快，保留快的，變異出下一代，不斷重復。但這個方法有個致命缺陷：變異操作是“盲目的”——傳統進化算法中的"變異"就是簡單的隨機修改、交換代碼片段。這就好比你想讓猴子打出莎士比亞的作品，純靠隨機敲鍵盤是不行的。

而且，傳統的進化算法和“大模型輔助設計”思路，通常把AI（大語言模型）限定在一個固定的流程里。比如，人類設定好規則（“變異”和“交叉”），讓AI生成一堆代碼候選方案，然后由人類或另一個程序來篩選和測試。

AVO的革命性在于，它徹底顛覆了這個關系。 它不再把AI當作流程中的一個“候選生成器”，而是將整個變異過程本身，交給一個自主的智能體循環來完成。這個智能體擁有更高的權限和更全面的視角，它可以：

• 查閱整個進化家譜：查看當前所有代碼版本的優劣和歷史。
• 調用領域知識庫：學習特定領域（如GPU硬件架構）的專門知識。
• 分析執行反饋：根據代碼的實際運行性能數據，進行自我診斷。

基于這些信息，這個智能體可以自主完成提出修改、修復錯誤、批判方案、驗證結果等一系列完整動作。這就像一個不知疲倦、知識淵博且具備批判性思維的全棧工程師，在持續地重構和優化代碼。

實戰成績：在最難優化的戰場上擊敗人類冠軍

為了證明AVO的強大，研究團隊選擇了一個公認的“硬骨頭”作為測試場：注意力機制（Attention）的計算內核。這是驅動當今所有大語言模型（如ChatGPT、Gemini）的核心組件，也是全球頂尖工程師和科學家投入巨資、激烈優化的焦點。英偉達的cuDNN和Tri Dao團隊的FlashAttention系列，就是這一領域的標桿。

在讓AVO在最新的NVIDIA Blackwell (B200)顯卡上運行7天后，實驗的結果驚人：

• 超越cuDNN：AVO形成的多頭注意力（Multi-Head Attention，MHA）計算內核，在測試的各項配置中，性能超越了cuDNN高達3.5%。cuDNN是NVIDIA自家工程師花了多年打磨的閉源庫，AVO一個AI系統跑了7天就超越了它。這相當于學生超越了老師，而且這個老師已經是全世界最好的。
• 超越FlashAttention-4：比學術界最先進注意力計算方法FlashAttention-4快10.5%。這種程度的提升已經可以稱之為革命性的突破了。
• 遷移能力：更神奇的是，AVO優化好的代碼還能舉一反三——在MHA上進化7天的成果，遷移到GQA（Grouped-Query Attention，分組查詢注意力）只需30分鐘就能獲得7%-9%的提升。說明AVO學到的不是死記硬背的特定優化，而是通用的優化策略和思維方式。
• 微架構級別的深度優化：AVO發現的優化不是簡單的換個算法，而是深入到GPU寄存器分配、warp調度、流水線時序的微架構級別。這說明AI已經具備了理解硬件底層行為的能力。

傳統方法像是在填空題里選答案，而AVO像是在開放題中自由發揮，可以探索各種可能性。而且，AVO不是靠猜什么優化有用，而是真正運行代碼、測量性能，用數據驅動進化。同時，智能體會從每次嘗試中學習，失敗的嘗試也有價值，告訴它這條路不通。

AVO讓AI像真正的程序員一樣，會學習、會思考、會測試，最終寫出了比人類專家還快的代碼。這是AI優化自身能力的重要一步。

從其進化結果來看，對AI硬件優化意味著：更快的大模型訓練，如果注意力機制計算能加速10%，整個大模型訓練都能更快；降低硬件門檻，同樣的硬件能跑更大的模型，或者同樣的模型能用更便宜的硬件；解放專家，不再需要頂尖優化工程師花費數月手工調優。

從這一AI研究方向而言，這篇論文證明了一個重要觀點：AI不僅可以用來自動化任務，還可以用來自動化優化本身。未來可能會有更多“AI優化AI”的場景。

結語

這篇論文全部23位作者涵蓋了AI編譯器、高性能計算、計算機視覺、生成式AI等多個頂級子方向——AI智能體編程先鋒（Terry Chen, 許冰）、 AI編譯器之父（陳天奇）、NVIDIA研究VP（Ming-Yu Liu）、 GPU內核專家（John Tran, Andrew Kerr）、注意力機制專家（Ali Hassani）、學術界權威（Humphrey Shi, Luis Ceze），以及系統工程支撐團隊。

這是一個從理論到工程、從學術到產品全鏈路覆蓋的頂級團隊。AVO不是一篇試試看的探索性論文，而是NVIDIA精心布局的戰略級成果。

從更宏觀的視角看，AVO代表了AI研發范式的又一次進化。它不再滿足于讓AI生成內容或遵循指令，而是賦予其長期的、目標導向的、具備反思能力的自主探索權。它也為我們打開了一扇門：未來，在芯片設計、編譯器優化、算法創新等需要極度專業知識和創造力的領域，自主進化的AI智能體可能成為人類最得力的“共研者”。它們可以不知疲倦地探索人類思維難以觸及的“微觀架構”組合空間，加速我們邁向更強大、更高效計算未來的進程。

或許，這項研究正像一顆投入湖面的石子，其漣漪將逐漸擴散至整個計算產業的每一個角落。

論文地址 https://arxiv.org/pdf/2603.24517v1