DeepSeek-V3.2-Exp，稀疏注意力與國產算力生態協同的雙重實驗

在開源V3.1-Terminus僅一周后，DeepSeek又迅速推出了V3.2-Exp。作為實驗性版本（Experimental），它不僅探索了新的稀疏注意力機制，也在推動中國算力生態的協同創新與格局演進。

DeepSeek-V3.2-Exp 最核心的實驗，是引入了名為 DeepSeek Sparse Attention（DSA）的新架構。這是繼公司創始人梁文鋒署名論文原生稀疏注意力（Native Sparse Attention, NSA）之后的一次全新嘗試。NSA 具有與硬件對齊的特點，可用于超快的長上下文訓練，而 DSA 則在此基礎上進一步探索細粒度稀疏機制，成本更低的同時幾乎不影響模型的輸出效果。

DeepSeek 官方將DSA稱為邁向下一代架構的“中間步驟”。這似乎在暗示下一次更新可能直接出現在 V4 或 R2 上。此前，NSA在一個27B參數的Transformer骨干上進行了預訓練驗證，而這次DSA則在V3.1-Terminus 的基礎上進行了持續訓練。

這一點與阿里巴巴此前開源的 Qwen3-Next 有些相似。Qwen3-Next 的核心實驗，是，其輸出結果與前代相當，但計算成本大幅下降，并被官方認定為下一代模型的雛形。

中國開源大模型普遍將自注意力機制的優化作為重點，因為注意力就是大模型所需要的一切。然而，作為 Transformer 的核心創新，標準的自注意力在長序列下的計算復雜度呈二次增長。這不僅影響預填充和解碼階段的內存與算力效率，也直接成為限制長上下文處理的剛性的瓶頸，尤其是AI進入多模態或多智能體時代。

無論是稀疏注意力還是線性注意力，在解決計算開銷問題的同時，都存在顆粒度不足的副作用。阿里巴巴和DeepSeek在各自方向上進行了針對性優化。這一次，DeepSeek 讓仍保持標準注意力開銷的索引器（Indexer）篩選出主注意力應該關注的那些最重要的token。

通過不同的“稀疏”方式，來降低計算資源開銷，既是大模型廠商的嘗試，也早已成為芯片廠商的重要創新方向。所謂“黃氏定律”的秘訣，除了順應摩爾定律，以及采用越來越低精度的數字表示法外，早在Ampere架構中，英偉達就。硬件可以在每四個權重中實現兩次剪枝，從而生成更小的矩陣進行計算。從Ampere到Hopper再到Blackwell，英偉達一直在降低大模型開發者對其結構化稀疏性的適配門檻。

大模型廠商在推動注意力機制稀疏化的同時，同樣需要完成。幫助生態伙伴迭代出軟硬件結合、性能足夠優秀的芯片，本身就是一種稀缺的創新能力。

英偉達的領先不僅是單個公司努力的結果，更是整個歐美技術社區與產業協同推動的成果。“他們能看到下一代技術趨勢，手里有路線圖?！绷何匿h認為中國的AI發展同樣需要這樣的生態，“很多國產芯片之所以發展受限，是因為缺乏配套的技術社區，往往只能獲得第二手信息?！?/p>

DeepSeek正站在英偉達已經達到的高度，推動中國算力生態的成長，而不是簡單迎合國產芯片供給。從魔改PTX到采用 UE8M0 FP8 Scale 參數精度，DeepSeek 先充分發揮英偉達 GPU 的算力，再影響國產芯片的設計，。

DeepSeek與英偉達在ChatGPT。DeepSeek前身的“幻方AI”，是英偉達AI芯片的早期萬卡大客戶，也是第一批規模采購A100芯片的亞太公司。2022年，它在英偉達GTC上的首秀，就是介紹自己如何極限壓榨A100算力。后來的V3模型的論文，特地強調了對于內存讀寫和網絡框架及驅動的工程優化，甚至涉及PTX層面的改動。而英偉達今年推出的Dynamo，本質上則是DeepSeek。

具體到這一次，為了方便開發者充分利用新架構，DeepSeek開源了DSA 中的部分關鍵CUDA 算子。而在其技術文檔中，TileLang這一編程工具引起了業界廣泛關注。

TileLang 是一款“土生土長”的新型編程語言，由北大團隊研發。它專為簡化高難度的 GPU 算子開發而設計，將是替代目前主流的OpenAI 領域特定語言（DSL）Triton的有力備選。過去，開發者需要同時兼顧算法邏輯和硬件調度，這既復雜又容易出錯。而 TileLang 將調度空間與數據流解耦，使開發者能夠直觀地控制數據在硬件中的流動。

根據 TileLang 在GitHub 的說明文檔，它不僅支持英偉達 CUDA（包括2:4 稀疏張量核心），還已擴展支持華為昇騰等國產芯片。后者的專用變體 TileLang-Ascend 已經開源。TileLang 團隊最近一次公開亮相，就是在幾周前的華為全聯接大會 2025 開發者日。更早之前，沐曦科技也曾在 HyperAI 主辦的一場技術沙龍上，討論過旗下GPU對TileLang 的適配。

DeepSeek驗證了國產AI算力生態，能夠進一步將模型與算法層面的創新，與中間層的編譯語言與更底層的計算芯片協同起來。今年6月，DeepSeek 實習研究員袁境陽在介紹 NSA 機制時，就提到TileLang的優勢。在訓練V3.2-Exp時，DeepSeek利用TileLang快速開發了原型，隨后才進行更底層的優化。

昨晚，DeepSeek V3.2-Exp發布后，華為昇騰和寒武紀均第一時間宣布完成適配工作。這表明，國產AI算力生態已進入模型與芯片協同設計階段。年初，已有8家廠商通過了中國信通院人工智能軟硬件測試基準（AISHPerf），對DeepSeek上一代模型實現了適配。預計這一名單中的其他芯片廠商，也將陸續完成對V3.2-Exp的適配。

無論是芯片還是模型，中國在場的玩家數量仍遠超美國。這帶來了更多可能性，同時也意味著市場更加分散，協同成本更高。國產 AI 算力生態的市場格局，也將在這場與時間賽跑的競爭中，逐步重塑并走向成熟。