昇騰賦能 TransMLA：無需重訓破壁壘 助力主流大模型高效適配 MLA

昇騰賦能 TransMLA：無需重訓突破架構壁壘，助力主流大模型高效適配 MLA

MLA(Multi-head Latent Attention多頭潛在注意力架構)憑借低秩壓縮KV緩存設計,實現長上下文推理的顯存與帶寬雙重優化,其有效性已在 DeepSeek-V2 等模型中得到了驗證。但主流預訓練模型如LLaMA、Qwen千問等多基于GQA構建,企業已投入大量工程優化,復用MLA需重訓,成本極高。為此,在北京大學 鯤鵬昇騰科教創新卓越中心的算力支持下,北京大學人工智能研究院助理教授張牧涵團隊提出TransMLA轉化框架,實現了無需重訓便可將主流模型向MLA遷移。

TransMLA針對GQA向MLA遷移的核心痛點,實現四大技術模塊的精準破局:一是GQA→MLA結構映射,破解分組KV頭與MLA單頭潛在表示不兼容問題,通過特定的線性變換,將GQA分組后的K、V向量投影/融合為單一的低秩潛在表示,并配備上投影矩陣保障KV信息精準恢復,筑牢遷移基礎;二是提出RoRoPE技術方案,通過創新適配讓位置編碼順暢融入低秩壓縮流程,解決了直接對RoPE應用PCA等通用降維方法可能導致的位置信息損失或模型性能下降問題;三是通過將RoPE中相鄰頻率的旋轉維度進行折疊(Folding)與融合,在降低參數量的同時,更高效地集中和保留關鍵的位置信息,從而維持模型在長序列下的語義理解能力;四是通過均衡Key和Value矩陣在壓縮前的范數分布,提升聯合壓縮(如PCA)的數值穩定性,減少信息損失。

在技術落地過程中,昇騰發揮了關鍵支撐作用。其高效并行計算架構滿足結構映射模塊的多任務協同處理需求,保障了架構遷移效率;其優化的存儲與緩存體系,為 FreqFold 的頻率信息處理、BKV-PCA 的范數均衡提供穩定硬件基礎,有效提升 KV 壓縮的穩定性與資源利用效率,助力 TransMLA 核心技術平穩落地。

經過實驗顯示TransMLA的轉換過程性能優勢明顯,裁剪LLaMA-2-7B模型68.75%的KV緩存后無需訓練,核心性能僅輕微損失,在32K序列長度、FP16精度下,基于昇騰平臺的推理速度較之于業界主流GPU平臺有顯著提升。依托開放的生態資源,昇騰已推動TransMLA穩定支持主流模型部署并將集成至vLLM/SGLang等高性能推理框架生態,便于用戶部署,大幅降低企業落地適配成本。

TransMLA與昇騰的協同創新,打通了主流模型與MLA架構鴻溝,充分發揮昇騰生態優勢。昇騰全鏈路支持實現TransMLA“零重訓、低損失”目標,保留模型參數優勢,降低企業基于昇騰的升級門檻。這一軟硬件協同典范,為長上下文推理提供昇騰生態解決方案,推動自主計算與前沿AI融合,彰顯昇騰核心引領作用,為大模型產業依托自主硬件降本增效提供可行路徑。