推理新范式：動(dòng)態(tài)效能算法讓算力資源實(shí)現(xiàn)最大化

智東西
作者 陳駿達(dá)
編輯 漠影

過去兩年，全行業(yè)都在為大模型訓(xùn)練瘋狂堆GPU、建算力中心。但當(dāng)視角進(jìn)入2025年，真正決定企業(yè)競爭力的主戰(zhàn)場，已經(jīng)迅速從訓(xùn)練轉(zhuǎn)向推理。

推理時(shí)代的算力不再是單一物理資源，而是一個(gè)跨地域、跨架構(gòu)、跨屬權(quán)的綜合體系：一個(gè)企業(yè)的AI服務(wù)或許部署在自建IDC，同時(shí)又依賴外部云GPU；模型推理與模型訓(xùn)練并行存在；開發(fā)測試與生產(chǎn)流量共處一套資源；多業(yè)務(wù)、多租戶同時(shí)爭搶不同規(guī)格的GPU。這意味著算力要實(shí)時(shí)、動(dòng)態(tài)、按業(yè)務(wù)優(yōu)先級調(diào)度。而傳統(tǒng)調(diào)度做不到。

傳統(tǒng)算力調(diào)度平臺(tái)誕生于傳統(tǒng)云的集群運(yùn)維背景，其核心目標(biāo)是讓硬件更易管理、更少出故障、更好利用。它們的能力止步于服務(wù)器視角：節(jié)點(diǎn)是否在線、顯存是否足夠、任務(wù)是否分配成功、權(quán)限是否隔離，在面向大模型的AI推理時(shí)代，卻難以回答更重要的問題——推理延遲是否達(dá)標(biāo)？模型吞吐是否最優(yōu)？算力成本與業(yè)務(wù)收入是否動(dòng)態(tài)平衡？在新范式轉(zhuǎn)換下，系統(tǒng)需要重構(gòu)。

這些問題在推理時(shí)代被迅速放大。過去算力用于訓(xùn)練，以“跑成”模型為目標(biāo)；如今算力直接承載真實(shí)業(yè)務(wù)，算力調(diào)度被迫承擔(dān)更多職責(zé)——必須從IT運(yùn)維邏輯升級為AI業(yè)務(wù)邏輯。但挑戰(zhàn)也隨之而來：模型結(jié)構(gòu)差異巨大、推理鏈路時(shí)延瓶頸、業(yè)務(wù)波峰波谷并發(fā)變化…每一次算力分配，都可能影響一筆業(yè)務(wù)成交、一位用戶體驗(yàn)，甚至一個(gè)產(chǎn)品的增長曲線。

GPU不再是靜態(tài)資源，而成為可運(yùn)營、可定價(jià)、可持續(xù)經(jīng)營的資產(chǎn)。

為了支撐這場范式轉(zhuǎn)移，國內(nèi)AI基座平臺(tái)技術(shù)公司矩量無限重新定義了算力的基本單元，不再是“服務(wù)器/GPU卡”，而是圍繞業(yè)務(wù)目標(biāo)進(jìn)行抽象的、可度量和可調(diào)度的算力單元，并基于此構(gòu)建了完整的技術(shù)基座，形成了覆蓋算力、模型、服務(wù)到商業(yè)回報(bào)的全鏈路平臺(tái)矩陣。

在技術(shù)創(chuàng)新層面，矩量無限的開物算力調(diào)度系統(tǒng)深度融合了Kubernetes動(dòng)態(tài)資源分配（DRA）技術(shù) ，通過“異構(gòu)GPU自適應(yīng)調(diào)度與分配方法及系統(tǒng)”實(shí)現(xiàn)了突破性的算力管理能力：

技術(shù)特點(diǎn)：通過具備自學(xué)習(xí)能力的算力適配器，將異構(gòu)國產(chǎn)GPU間的靜態(tài)硬件資源單元抽象并轉(zhuǎn)化為動(dòng)態(tài)標(biāo)準(zhǔn)化的“算力能力單元”（CU）以實(shí)現(xiàn)精準(zhǔn)調(diào)度和分配 。

產(chǎn)生效果：實(shí)現(xiàn)了基于任務(wù)實(shí)際需求的“目標(biāo)導(dǎo)向”按需調(diào)度，極大地簡化了用戶對異構(gòu)硬件結(jié)構(gòu)和組成的關(guān)注，顯著提高了集群資源利用率和運(yùn)行穩(wěn)定性。

達(dá)成形式：在各廠商設(shè)備信息上報(bào)的基礎(chǔ)上，通過自學(xué)習(xí)算力適配器基于歷史推理記錄持續(xù)優(yōu)化動(dòng)態(tài)折算因子，并將統(tǒng)一的算力容量重發(fā)布為Kubernetes動(dòng)態(tài)資源分配（DRA）ResourceSlice實(shí)現(xiàn)資源的精準(zhǔn)綁定與分配 。

以上能力目前已在國產(chǎn)GPU卡上得到規(guī)模驗(yàn)證。矩量無限已在壁仞、天數(shù)、希姆等國產(chǎn)GPU的千卡級混合集群上完整跑通算力單元化與跨架構(gòu)推理調(diào)度，同時(shí)相關(guān)平臺(tái)已落地全國多個(gè)千卡智算中心，并服務(wù)于工信部工業(yè)互聯(lián)網(wǎng)研究院、多家頭部行業(yè)客戶、高校科研機(jī)構(gòu)等。