大模型高效微調(diào)新突破，奇富科技PrAd框架入選EMNLP 2025

在全球人工智能技術(shù)激烈競(jìng)爭(zhēng)、大模型加速賦能產(chǎn)業(yè)的關(guān)鍵階段，高效微調(diào)技術(shù)成為推動(dòng)落地的核心突破口。近日，奇富科技在大模型高效參數(shù)微調(diào)領(lǐng)域的最新研究成果PrAd: Prompt Adaptive Tuning for Decoder-only Language Models被國(guó)際頂級(jí)NLP學(xué)術(shù)會(huì)議EMNLP 2025 Findings收錄。這意味著中國(guó)科技企業(yè)在人工智能基礎(chǔ)研究方面再次獲得國(guó)際學(xué)術(shù)界的認(rèn)可。

EMNLP（Conference on Empirical Methods in Natural Language Processing）是自然語(yǔ)言處理（NLP）領(lǐng)域最頂級(jí)、最具影響力的國(guó)際學(xué)術(shù)會(huì)議之一，與ACL和NAACL共同構(gòu)成NLP領(lǐng)域的“三大頂會(huì)”。其以極嚴(yán)的評(píng)審流程、極低的錄取比例著稱，是全球NLP研究者發(fā)布成果、交流思想的首選平臺(tái)。此次奇富科技的研究成果被 EMNLP 2025 收錄，標(biāo)志著公司在人工智能基礎(chǔ)研究與技術(shù)創(chuàng)新方面持續(xù)取得重要進(jìn)展。

隨著大語(yǔ)言模型在各實(shí)際業(yè)務(wù)場(chǎng)景中廣泛落地，如何高效、低成本地實(shí)現(xiàn)多任務(wù)適配成為行業(yè)共性難題。傳統(tǒng)的全參數(shù)微調(diào)方法雖效果顯著，但計(jì)算和存儲(chǔ)成本極高；而現(xiàn)有的參數(shù)高效微調(diào)方法如Prompt Tuning和Adapter Tuning等，仍存在訓(xùn)練不穩(wěn)定、推理延遲高、序列膨脹等局限。

為解決這些痛點(diǎn)，奇富科技研究團(tuán)隊(duì)提出了一種面向Decoder-only架構(gòu)大模型的全新微調(diào)框架PrAd。該方法創(chuàng)新性地將結(jié)構(gòu)優(yōu)化與推理流程深度融合，僅在預(yù)填充（Prefill）階段引入輕量Adapter模塊對(duì)提示進(jìn)行特征變換，而在解碼（Decoding）階段則完全保持原始結(jié)構(gòu)，不引入任何額外計(jì)算。

PrAd框架在三個(gè)方面實(shí)現(xiàn)顯著突破：

訓(xùn)練效率高：不增加輸入長(zhǎng)度，初始化簡(jiǎn)單，訓(xùn)練穩(wěn)定性強(qiáng)，效果可比甚至超越主流基線；

推理高效：僅在第一個(gè)token生成時(shí)增加微小延遲，后續(xù)解碼不引入額外開銷，支持多任務(wù)共享批推理，實(shí)測(cè)速度在多任務(wù)場(chǎng)景下較LoRA提升最高超10倍；

運(yùn)維成本大幅降低：Adapter管理規(guī)模和顯存占用降幅可達(dá)50%，簡(jiǎn)化多任務(wù)模型的部署與批量推理流程。

實(shí)驗(yàn)結(jié)果表明，PrAd在六項(xiàng)多樣化NLP任務(wù)上均取得了與最優(yōu)方法相當(dāng)或更優(yōu)的表現(xiàn)，同時(shí)在推理效率和資源利用率方面展現(xiàn)出顯著優(yōu)勢(shì)，尤其適用于金融領(lǐng)域常見(jiàn)的多任務(wù)、高并發(fā)、低延遲應(yīng)用場(chǎng)景。

奇富科技首席算法科學(xué)家費(fèi)浩峻表示：“PrAd不僅是一項(xiàng)技術(shù)突破，更是奇富‘科技賦能金融’理念的具體實(shí)踐。我們致力于推動(dòng)大模型在金融場(chǎng)景中的高效、可靠、規(guī)?；瘧?yīng)用。”未來(lái)，奇富科技將繼續(xù)加大在 AI 基礎(chǔ)模型、高效微調(diào)、可信計(jì)算等方向的研發(fā)投入，推動(dòng)更多科研成果轉(zhuǎn)化為實(shí)際生產(chǎn)力，助力金融行業(yè)智能化升級(jí)。