距離DeepSeek發布其熱門開源模型 DeepSeek 的最新版本 R1-0528,才剛過去一個多月,本周,一家 24 年歷史的德國公司 TNG 技術咨詢有限公司發布了一個此類改編版本:DeepSeek-TNG R1T2 Chimera,這是其 Chimera 大型語言模型系列的最新型號。
R1T2 在效率和速度上實現了顯著提升,其智能基準分數達到 R1-0528 的 90% 以上,同時生成答案所需的輸出 token 數量不到 R1-0528 的 40%。
這意味著它能產生更簡短的回復,直接轉化為更快的推理速度和更低的計算成本。在 TNG的AI 代碼共享社區上,該公司稱其 “比常規 R1快約 20%,比 R1-0528快兩倍以上”。
對此,AI 開發者社區的反響極為熱烈。社區高級負責人寫道:“天啊!DeepSeek R1T2,比 R1-0528 快 200%,比 R1 快 20%。在 GPQA 和 AIME 24 上顯著優于 R1,通過專家組裝法結合 DS V3、R1 和 R1-0528 構建,且采用 MIT 許可證,可在社區 上獲取。”
![]()
這一提升得益于 TNG 的專家組裝(AoE)方法,這是一種通過選擇性合并多個預訓練模型的內部參數來構建 LLM 的技術。作為原始 R1T Chimera 的后繼者,R1T2 引入了新的 “三思維”(Tri-Mind)配置,集成了三個父模型:DeepSeek-R1-0528、DeepSeek-R1 和 DeepSeek-V3-0324。其結果是一個經過精心設計的模型,既能保持高推理能力,又能顯著降低推理成本。
而且,R1T2 的構建無需進一步微調或再訓練。它繼承了 R1-0528 的推理優勢、R1 的結構化思維模式,以及 V3-0324 簡潔的指令導向特性,為企業和研究應用提供了一個更高效且有能力的模型。
01
專家組裝(AoE)與
專家混合(MoE)的區別
專家混合(MoE)是一種架構設計,其中不同組件根據輸入有條件地激活。在 DeepSeek-V3 或 Mixtral 等 MoE LLM 中,任何給定 token 的前向傳播過程中,僅激活模型專家層的一部分。這使得超大型模型能夠實現更高的參數數量和專業化,同時保持推理成本可控,因為每個 token 僅評估網絡的一小部分。
專家組裝(AoE)是一種模型合并技術,而非架構。它用于通過選擇性插值多個預訓練 MoE 模型的權重張量來創建新模型。AoE 中的 “專家” 指的是被合并的模型組件,通常是 MoE 層內的路由專家張量,而非運行時動態激活的專家。
TNG 對 AoE 的實現主要側重于合并路由專家張量,同時通常保留來自更快模型的更高效共享層和注意力層。這種方法使生成的 Chimera 模型能夠繼承推理能力,而無需復制最強父模型的冗長或延遲。
02
性能與速度:基準測試的實際結果
E-25 和 GPQA-Diamond 測試集衡量,R1T2 實現了其最智能父模型 DeepSeek-R1-0528 90% 至 92% 的推理性能。然而,與 DeepSeek-R1-0528 不同,R1T2 被設計為更加簡潔。它能以少得多的詞匯量提供同樣智能的響應。TNG 并非關注原始處理時間或每秒 token 數,而是以每個答案的輸出 token 數來衡量 “速度”,這是成本和延遲的實用代理指標。
根據 TNG 共享的基準測試,R1T2 生成響應所需的 token 數約為 R1-0528 的 40%。這意味著輸出長度減少 60%,直接縮短推理時間和計算負載,將響應速度提升 2 倍,即 200%。與原始 DeepSeek-R1 相比,R1T2 平均也約縮短 20%,為高吞吐量或成本敏感的部署提供了顯著的效率提升。這種效率并未以智能為代價。
![]()
03
部署注意事項與可用性
R1T2 根據寬松的 MIT 許可證發布,現已在社區上提供,這意味著它是開源的,可用于構建商業應用。TNG 指出,盡管該模型非常適合一般推理任務,但由于繼承自 DeepSeek-R1 的局限性,目前不建議用于需要函數調用或工具使用的用例。這些問題可能在未來的更新中解決。
對企業技術決策者的意義
對于CTO、AI 平臺所有者、工程負責人和 IT 采購團隊而言,R1T2 帶來了切實的好處和戰略選擇:
更低的推理成本:每個任務的輸出 token 更少,R1T2 減少了 GPU 時間和能源消耗,直接轉化為基礎設施節省 —— 這在高吞吐量或實時環境中尤為重要。
無開銷的高推理質量:它保留了 R1-0528 等頂級模型的大部分推理能力,但沒有其冗長性。這非常適合數學、編程、邏輯等結構化任務,這些任務更偏好簡潔的答案。
開放且可修改:MIT 許可證允許完全的部署控制和自定義,支持在受監管或空氣隔離環境中進行私有托管、模型對齊或進一步訓練。
新興的模塊化:AoE 方法預示著未來模型將以模塊化方式構建,使企業能夠通過重組現有模型的優勢來組裝專用變體,而無需從頭開始再訓練。
注意事項:依賴函數調用、工具使用或高級代理編排的企業應注意當前的局限性,盡管未來的 Chimera 更新可能會解決這些差距。
關于首席信息官
公眾號“首席信息官 ”由資深媒體人創辦,致力于用專業的文字,精準的洞察,特色的服務,深入的踐行服務企業數智化領域,為產業的發展點燃“微光”!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.