香港大學(xué)團隊突破：高效訓(xùn)練法實現(xiàn)AI模型壓縮與性能兼得

這項由香港大學(xué)和抖音聯(lián)合開展的突破性研究發(fā)表于2026年2月的預(yù)印本論文中，論文編號為arXiv:2602.04289v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

在人工智能的世界里，訓(xùn)練語言模型就像是在教一個孩子學(xué)會理解和使用語言。傳統(tǒng)的做法有點像這樣：要么給孩子吃"壓縮餅干"（經(jīng)過特殊處理的簡化文本），訓(xùn)練起來很快但會丟失一些細(xì)節(jié)；要么給孩子吃"原生態(tài)食物"（完整的原始文本），保留了所有營養(yǎng)但消化起來特別慢。香港大學(xué)的研究團隊發(fā)現(xiàn)了一個巧妙的解決方案，讓AI模型既能享受壓縮訓(xùn)練的高效，又能在實際使用時保持對原始信息的完美理解。

這個發(fā)現(xiàn)為什么如此重要呢？當(dāng)前幾乎所有的語言AI系統(tǒng)都依賴于一種叫做"分詞器"的工具，它把原始文本切分成更小的單元進(jìn)行處理。這就像是用特殊的刀具把食材切成標(biāo)準(zhǔn)塊狀，雖然便于烹飪，但一旦選定了切法，整個烹飪過程都被這種切法所束縛。如果刀具有問題或者不適合某些食材，做出來的菜品質(zhì)量就會受影響。更麻煩的是，這套切菜工具會帶來各種意想不到的問題，比如對某些語言不友好，容易被惡意攻擊利用，或者在處理邊界情況時出現(xiàn)奇怪的行為。

研究團隊提出的"代理壓縮"方法就像是訓(xùn)練一個全能廚師。在學(xué)習(xí)階段，這個廚師既練習(xí)使用切好的標(biāo)準(zhǔn)食材（壓縮格式），也練習(xí)處理完整的原生食材（原始字節(jié)）。通過這種混合訓(xùn)練，廚師學(xué)會了在兩種形式之間建立內(nèi)在聯(lián)系。等到真正做菜的時候，即使只給他原生食材，他也能憑借之前的訓(xùn)練經(jīng)驗做出美味佳肴。關(guān)鍵是，雖然90%的訓(xùn)練時間都在使用標(biāo)準(zhǔn)切塊食材，但廚師在處理原生食材時的表現(xiàn)卻出乎意料地優(yōu)秀。

研究團隊設(shè)計了一套精巧的訓(xùn)練流程。他們把訓(xùn)練數(shù)據(jù)分成兩個流：一個是經(jīng)過各種壓縮處理的"快車道"，另一個是保持原始狀態(tài)的"慢車道"。在訓(xùn)練過程中，AI模型主要在快車道上學(xué)習(xí)，偶爾切換到慢車道體驗一下原始數(shù)據(jù)的感覺。這種設(shè)計讓模型在大腦中建立起兩種數(shù)據(jù)格式之間的對應(yīng)關(guān)系，就像學(xué)會了兩種語言之間的翻譯能力。

更令人驚喜的是，這種能力隨著模型規(guī)模的增大而顯著增強。小型模型在這種訓(xùn)練方式下表現(xiàn)平平，但大型模型卻展現(xiàn)出了驚人的跨格式理解能力。在一些測試中，主要接受壓縮數(shù)據(jù)訓(xùn)練的大型模型，在處理原始數(shù)據(jù)時的表現(xiàn)甚至能夠匹敵甚至超越傳統(tǒng)的專門針對分詞數(shù)據(jù)訓(xùn)練的模型。這就像是一個主要練習(xí)簡化版樂譜的音樂家，最終卻能完美演奏復(fù)雜的原版作品。

研究團隊還深入探索了什么樣的壓縮方法最適合做"代理"。他們測試了三種不同的壓縮方式：傳統(tǒng)的分詞壓縮、基于神經(jīng)網(wǎng)絡(luò)的智能壓縮，以及常見的文件壓縮工具gzip。結(jié)果發(fā)現(xiàn)，前兩種方法效果卓越，而gzip卻表現(xiàn)糟糕。這是因為好的代理壓縮需要具備一種特質(zhì)：相似的輸入應(yīng)該產(chǎn)生相似的輸出，而且輸出要保持語義的穩(wěn)定性。傳統(tǒng)分詞和神經(jīng)壓縮都具備這種特質(zhì)，而gzip的輸出對微小變化過于敏感，就像一個神經(jīng)質(zhì)的翻譯官，稍有風(fēng)吹草動就完全改變翻譯結(jié)果。

在實際應(yīng)用測試中，研究團隊使用了編程任務(wù)作為驗證場景。結(jié)果顯示，采用代理壓縮訓(xùn)練的模型在各種編程挑戰(zhàn)中都表現(xiàn)出色。更重要的是，這些模型繼承了處理原始數(shù)據(jù)模型的一個寶貴特質(zhì)：抗干擾能力強。當(dāng)輸入中包含格式變化、空格調(diào)整或其他細(xì)微修改時，傳統(tǒng)的分詞模型可能會出現(xiàn)性能大幅下降，而代理壓縮訓(xùn)練的模型卻能保持穩(wěn)定的表現(xiàn)。

這項研究還揭示了一個有趣的現(xiàn)象：模型能夠在上下文中進(jìn)行"即時翻譯"。當(dāng)同時給模型提供壓縮版本和原始版本的相同內(nèi)容時，模型能夠?qū)W會在兩者之間建立精確的對應(yīng)關(guān)系。在某些設(shè)置下，這種翻譯準(zhǔn)確率甚至能達(dá)到95%以上，幾乎做到了完美轉(zhuǎn)換。

從計算效率的角度來看，代理壓縮實現(xiàn)了一種理想的平衡。在相同的計算資源下，它的表現(xiàn)接近傳統(tǒng)的高效分詞模型；而在相同的數(shù)據(jù)量下，它保持了原始字節(jié)模型的數(shù)據(jù)利用效率，同時顯著超越了分詞模型。這意味著研究人員不再需要在訓(xùn)練效率和模型能力之間做艱難抉擇。

研究的技術(shù)實現(xiàn)也充滿巧思。對于神經(jīng)壓縮方法，團隊開發(fā)了一套基于信息熵的分段策略，能夠并行處理大規(guī)模數(shù)據(jù)，將處理速度提升了100多倍。對于傳統(tǒng)分詞，他們探索了多種編碼方式，最終發(fā)現(xiàn)直接使用分詞索引是最優(yōu)選擇。整個訓(xùn)練過程使用特殊的標(biāo)記符號來區(qū)分不同格式的數(shù)據(jù)，讓模型能夠清楚地知道當(dāng)前處理的是哪種類型的信息。

在更大規(guī)模的實驗中，研究團隊使用了包含數(shù)TB代碼數(shù)據(jù)的超大型語料庫進(jìn)行驗證。即使在這種規(guī)模下，代理壓縮的優(yōu)勢依然明顯。經(jīng)過更長時間訓(xùn)練的大型模型不僅保持了跨格式的優(yōu)秀轉(zhuǎn)換能力，還在實際編程任務(wù)中展現(xiàn)出與最先進(jìn)的專業(yè)模型相匹敵的性能。

這項研究的意義遠(yuǎn)不止于技術(shù)突破。它為AI系統(tǒng)的設(shè)計開辟了新的思路：我們不必被單一的數(shù)據(jù)表示方法所束縛，而可以在訓(xùn)練階段靈活運用多種格式，在部署階段回歸最自然、最通用的表示方式。這種思路可能會影響未來AI系統(tǒng)的整體架構(gòu)設(shè)計。

當(dāng)然，這項研究也有一些限制。目前的驗證主要集中在代碼生成領(lǐng)域，在其他類型的文本處理任務(wù)中是否同樣有效還需要進(jìn)一步驗證。另外，雖然代理壓縮在大型模型上效果顯著，但對于資源受限的小型模型，如何優(yōu)化這種訓(xùn)練方式還有待探索。

歸根結(jié)底，香港大學(xué)團隊的這項發(fā)現(xiàn)為AI語言模型的訓(xùn)練提供了一個全新的視角。他們證明了通過巧妙的訓(xùn)練策略，我們可以讓AI模型獲得比傳統(tǒng)方法更強的適應(yīng)性和魯棒性，同時不犧牲訓(xùn)練效率。這種"既要又要"的完美平衡，為未來更加智能、更加通用的AI系統(tǒng)奠定了重要基礎(chǔ)。對于AI研究領(lǐng)域來說，這不僅是一個技術(shù)進(jìn)步，更是一種思維方式的革新，它告訴我們：有時候最好的解決方案不是在兩個極端中選擇一個，而是找到一種巧妙的方式把兩者的優(yōu)勢結(jié)合起來。

Q&A

Q1：什么是代理壓縮訓(xùn)練方法？

A：代理壓縮是一種AI模型訓(xùn)練新方法，同時使用壓縮數(shù)據(jù)和原始數(shù)據(jù)進(jìn)行訓(xùn)練。訓(xùn)練時90%使用壓縮數(shù)據(jù)（提高效率），10%使用原始字節(jié)數(shù)據(jù)，讓模型學(xué)會兩種格式之間的對應(yīng)關(guān)系。最終部署時只使用原始字節(jié)，但保持了壓縮訓(xùn)練的效率優(yōu)勢。

Q2：為什么代理壓縮比傳統(tǒng)分詞方法更好？

A：傳統(tǒng)分詞方法會產(chǎn)生各種問題，如對某些語言不友好、容易被攻擊、邊界處理異常等。代理壓縮訓(xùn)練的模型在推理時直接處理原始字節(jié)，避免了這些問題，同時保持了抗干擾能力強的特點，在格式變化時性能更穩(wěn)定。

Q3：代理壓縮適用于什么規(guī)模的AI模型？

A：研究顯示代理壓縮的效果隨模型規(guī)模增大而顯著提升。小型模型效果一般，但大型模型（如14B參數(shù)）表現(xiàn)優(yōu)秀，甚至能匹敵傳統(tǒng)分詞模型。這是因為大型模型有更強的能力學(xué)習(xí)跨格式對應(yīng)關(guān)系。