理大重塑 AI 訓(xùn)練范式 大幅降低成本并普及研究

近日香港理工大學(xué)（理大）人工智能高等研究院（PAAI）研究團(tuán)隊(duì)在生成式人工智能（GenAI）領(lǐng)域取得多項(xiàng)關(guān)鍵技術(shù)突破。團(tuán)隊(duì)創(chuàng)新提出「協(xié)作式生成人工智能（Co-Generative AI）」模式，將AI訓(xùn)練從傳統(tǒng)集中式轉(zhuǎn)向分布式，不僅大幅降低訓(xùn)練成本、保障數(shù)據(jù)隱私，更打破資源壁壘，讓全球更多研究機(jī)構(gòu)得以參與AI研發(fā)，為全球人工智能創(chuàng)新注入強(qiáng)勁動(dòng)力。

當(dāng)前，GenAI領(lǐng)域面臨三重核心制約：基礎(chǔ)模型訓(xùn)練需耗費(fèi)巨量計(jì)算資源，僅少數(shù)機(jī)構(gòu)可以負(fù)擔(dān)，導(dǎo)致學(xué)術(shù)界難以直接參與基礎(chǔ)模型的訓(xùn)練、領(lǐng)域?qū)僦R(shí)與數(shù)據(jù)無法融入模型；隱私保護(hù)與版權(quán)歸屬問題使醫(yī)療、金融等敏感數(shù)據(jù)難以用于訓(xùn)練；基礎(chǔ)模型難以及時(shí)吸收新知識(shí)，每次重新訓(xùn)練需「天文數(shù)字級(jí)」資源，嚴(yán)重阻礙技術(shù)迭代。針對這些痛點(diǎn)，理大PAAI團(tuán)隊(duì)從「低成本訓(xùn)練」與「分布式融合」兩大方向展開攻關(guān)，在理論證明和應(yīng)用落地方面取得突破性成果。

理大成為業(yè)界首個(gè)開源發(fā)布「端到端FP8低比特訓(xùn)練全套方案」（涵蓋預(yù)訓(xùn)練及后訓(xùn)練）的大學(xué)團(tuán)隊(duì)，該技術(shù)打破全球基礎(chǔ)模型以BF16精度訓(xùn)練的主流格局，是全球少數(shù)掌握該核心技術(shù)的研究團(tuán)隊(duì)之一。與BF16相比，F(xiàn)P8核心優(yōu)勢體現(xiàn)在多方面：訓(xùn)練速度提高逾兩成、顯存峰值占用減少逾一成、成本大幅下降；整合「持續(xù)預(yù)訓(xùn)練」、「監(jiān)督式微調(diào)」和「強(qiáng)化學(xué)習(xí)」，訓(xùn)練效果媲美BF16模型且訓(xùn)練時(shí)間和顯存占用進(jìn)一步壓縮。團(tuán)隊(duì)已啟動(dòng)更低成本的FP4精度訓(xùn)練探索，相關(guān)成果已發(fā)表于學(xué)術(shù)論文1；經(jīng)測試，其在醫(yī)療的診斷和推理上超過目前業(yè)界發(fā)布同等尺寸最優(yōu)模型領(lǐng)域2；在科研智能體領(lǐng)域（Research Agent）中的任務(wù)復(fù)雜度，泛化能力和生成報(bào)告質(zhì)量上均取得重大突破3。

傳統(tǒng)基礎(chǔ)模型遵循「縮放定律」（參數(shù)越多、知識(shí)越廣、性能越強(qiáng)），但集中式訓(xùn)練需耗費(fèi)百萬計(jì)GPU小時(shí)，僅少數(shù)機(jī)構(gòu)可以負(fù)擔(dān)。理大團(tuán)隊(duì)研發(fā)的「InfiFusion模型融合技術(shù)」則實(shí)現(xiàn)關(guān)鍵突破：僅需數(shù)百GPU小時(shí)，即可融合出傳統(tǒng)需100萬至200萬GPU小時(shí)訓(xùn)練的大模型；團(tuán)隊(duì)更以實(shí)例驗(yàn)證效率——用160個(gè)GPU小時(shí)完成4個(gè)尖端模型融合4-5，不僅避免了單個(gè)尖端模型傳統(tǒng)訓(xùn)練需要的百萬計(jì)GPU小時(shí)，且融合后模型在多項(xiàng)權(quán)威測試中性能顯著優(yōu)于原始模型。

此外，這項(xiàng)由Thinking Machines Lab非常倡導(dǎo)模型融合的理念，被理大團(tuán)隊(duì)首次從理論上驗(yàn)證了可行性。研究團(tuán)隊(duì)通過嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推導(dǎo)，提出了「模型融合縮放定律」（Model Merging Scaling Law），這意味著通往通用人工智能（AGI）可能還有另一條途徑６。理大PAAI執(zhí)行院長、計(jì)算器及數(shù)學(xué)科學(xué)學(xué)院副院長（環(huán)球事務(wù)）及電子計(jì)算學(xué)系教授楊紅霞教授指出：「以超低資源實(shí)現(xiàn)基礎(chǔ)模型訓(xùn)練，加上高效模型融合，可助全球?qū)W術(shù)人員投入GenAI研究，匯聚更多力量創(chuàng)新。」

在技術(shù)落地層面，理大團(tuán)隊(duì)已取得多領(lǐng)域?qū)嵸|(zhì)進(jìn)展。醫(yī)療領(lǐng)域中，團(tuán)隊(duì)訓(xùn)練出性能領(lǐng)先的醫(yī)療基礎(chǔ)大模型，并研發(fā)專屬「癌癥GenAI」——在同規(guī)模模型中性能最佳，可快速積累高質(zhì)量醫(yī)療數(shù)據(jù)、直接對接醫(yī)療設(shè)備，用于癌癥個(gè)性化治療規(guī)劃，目前正聯(lián)合復(fù)旦大學(xué)附屬華山醫(yī)院、中山大學(xué)腫瘤防治中心、山東省腫瘤醫(yī)院及香港伊利沙伯醫(yī)院推動(dòng)合作與臨床落地。此外，團(tuán)隊(duì)在智能體AI（Agentic AI）領(lǐng)域亦有突破，該技術(shù)可作為研究生學(xué)術(shù)助手協(xié)助論文撰寫與審閱，同時(shí)作為多模態(tài)專利檢索引擎為創(chuàng)新研發(fā)提供高效支持。

理大高級(jí)副校長（研究及創(chuàng)新）趙汝恒教授表示：「人工智能是加速培育新質(zhì)生產(chǎn)力的核心，理大新成立的PAAI致力加速人工智能技術(shù)在各個(gè)重點(diǎn)領(lǐng)域的深度融合，并針對不同行業(yè)開發(fā)具備專業(yè)領(lǐng)域知識(shí)的人工智能模型。此舉不但能鞏固理大在相關(guān)領(lǐng)域的領(lǐng)先地位，更將助力推動(dòng)香港成為全球生成式人工智能發(fā)展的樞紐。」

楊紅霞教授領(lǐng)導(dǎo)的研究項(xiàng)目分別獲得研究資助局「2025/26年度主題研究計(jì)劃」、香港特區(qū)政府創(chuàng)新科技署「產(chǎn)學(xué)研1+計(jì)劃」及數(shù)碼港「人工智能資助計(jì)劃」資助，標(biāo)志香港在全球AI創(chuàng)新領(lǐng)域邁出堅(jiān)實(shí)步伐，為AI技術(shù)普惠化與產(chǎn)業(yè)落地注入新動(dòng)能。她表示目前這個(gè)項(xiàng)目已經(jīng)聯(lián)合香港幾大高校包括港科大、港大、港中文等高校研發(fā)，將來也希望和南方科技大學(xué)等大灣區(qū)的高校合作共建，希望能構(gòu)建起一個(gè)高校共建的平臺(tái)，讓這個(gè)模型實(shí)現(xiàn)全球化研究，并借此實(shí)現(xiàn)企業(yè)化，市場化的應(yīng)用。