英特爾研究院突破：SignRoundV2技術(shù)無(wú)損壓縮大模型

這項(xiàng)由英特爾公司程文華、張蔚蔚、郭恒和沈海浩等研究人員完成的研究發(fā)表于2025年12月，發(fā)布在arXiv預(yù)印本平臺(tái)（論文編號(hào)：arXiv:2512.04746v1）。感興趣的讀者可以通過(guò)該編號(hào)查詢完整論文。

當(dāng)下，人工智能大模型就像一個(gè)知識(shí)淵博但體型龐大的巨人，擁有數(shù)十億甚至千億個(gè)參數(shù)，能夠回答各種問(wèn)題、編寫代碼、理解多種語(yǔ)言。然而，這些模型的"身材"實(shí)在太龐大了，就像要把一頭大象搬進(jìn)小轎車一樣困難。普通的電腦、手機(jī)甚至一些專業(yè)設(shè)備都難以承載如此龐大的模型，更不用說(shuō)讓它們快速運(yùn)行了。這就好比你想在家里養(yǎng)一頭大象，但你的房子只有幾十平方米，顯然不現(xiàn)實(shí)。

為了解決這個(gè)問(wèn)題，科學(xué)家們想出了一種叫做"量化"的技術(shù)，就像把大象的體重減輕，讓它能夠住進(jìn)普通房子里。傳統(tǒng)的量化技術(shù)就像給大象節(jié)食，雖然能夠減輕重量，但往往會(huì)讓大象變得虛弱，失去原本的能力。而英特爾的研究團(tuán)隊(duì)最新提出的SignRoundV2技術(shù)，則像是找到了一種神奇的減肥方法，既能讓大象大幅瘦身，又能保持它原有的力量和智慧。

這項(xiàng)研究的創(chuàng)新之處在于提出了一種全新的"敏感性測(cè)量"方法。如果把大模型比作一個(gè)復(fù)雜的機(jī)器，那么這個(gè)機(jī)器的每個(gè)零件對(duì)整體性能的影響都不相同。有些零件非常關(guān)鍵，就像汽車的發(fā)動(dòng)機(jī)，稍有損壞就會(huì)影響整車性能；而有些零件相對(duì)次要，就像車內(nèi)的裝飾品，即使簡(jiǎn)化也不會(huì)影響基本功能。SignRoundV2技術(shù)能夠精確識(shí)別出模型中的"發(fā)動(dòng)機(jī)"和"裝飾品"，對(duì)重要部分保持高精度，對(duì)次要部分進(jìn)行激進(jìn)壓縮，從而實(shí)現(xiàn)整體的最優(yōu)平衡。

研究團(tuán)隊(duì)還開發(fā)了一種智能的"預(yù)調(diào)優(yōu)搜索"技術(shù)，這就像在正式裝修房子之前先做一個(gè)詳細(xì)的規(guī)劃圖。傳統(tǒng)方法往往是直接開始裝修，結(jié)果可能需要反復(fù)修改，既浪費(fèi)時(shí)間又影響質(zhì)量。而SignRoundV2會(huì)在正式優(yōu)化之前先進(jìn)行一次快速的探索，找到最佳的起始點(diǎn)，然后再進(jìn)行精細(xì)調(diào)整。這種方法不僅提高了最終效果，還大大降低了計(jì)算成本。

一、革命性的敏感性測(cè)量技術(shù)

傳統(tǒng)的模型壓縮技術(shù)面臨著一個(gè)根本性的挑戰(zhàn)：如何準(zhǔn)確判斷模型中每一層的重要程度。這就好比一個(gè)復(fù)雜的交響樂(lè)團(tuán)，每個(gè)樂(lè)器的作用都不同，有些是主旋律，有些是伴奏，如果盲目地讓所有樂(lè)器都減小音量，整個(gè)演出的效果必然大打折扣。

以往的技術(shù)主要依賴于二階信息（比如海塞矩陣），這就像通過(guò)觀察樂(lè)器的復(fù)雜度來(lái)判斷其重要性。然而，這種方法有一個(gè)致命缺陷：它假設(shè)模型目前已經(jīng)處于最優(yōu)狀態(tài)，梯度接近于零。但在量化過(guò)程中，模型會(huì)發(fā)生顯著變化，這個(gè)假設(shè)往往不成立。就好比你在調(diào)整交響樂(lè)團(tuán)時(shí)，假設(shè)每個(gè)樂(lè)手都已經(jīng)在完美演奏，但實(shí)際上他們可能正在適應(yīng)新的樂(lè)譜。

SignRoundV2提出的DeltaLoss方法采用了一種更加直觀和有效的策略。它使用一階泰勒展開來(lái)直接估算量化對(duì)最終損失的影響。具體來(lái)說(shuō)，對(duì)于任何一層，它會(huì)計(jì)算該層量化前后的參數(shù)差異，然后結(jié)合梯度信息來(lái)預(yù)測(cè)這種變化對(duì)整體性能的影響。這種方法的公式可以簡(jiǎn)化為：損失變化約等于梯度與參數(shù)變化的點(diǎn)積。

更形象地說(shuō)，這就像一個(gè)經(jīng)驗(yàn)豐富的樂(lè)隊(duì)指揮，他不僅要觀察每個(gè)樂(lè)器的演奏技巧，還要聽取它們對(duì)整體音樂(lè)效果的貢獻(xiàn)。當(dāng)某個(gè)小提琴手稍微改變演奏方式時(shí)，指揮能夠立即判斷這種改變是讓音樂(lè)更加和諧還是產(chǎn)生了不和諧音。DeltaLoss就是這樣一位"智能指揮"，它能夠準(zhǔn)確預(yù)測(cè)每一層的量化對(duì)整體模型性能的具體影響。

在實(shí)際應(yīng)用中，研究團(tuán)隊(duì)發(fā)現(xiàn)傳統(tǒng)方法經(jīng)常出現(xiàn)誤判。例如，某些看起來(lái)不重要的層實(shí)際上對(duì)模型的整體表現(xiàn)有著關(guān)鍵影響，而一些看似復(fù)雜的層反而可以承受更激進(jìn)的壓縮。DeltaLoss方法通過(guò)考慮量化引起的實(shí)際參數(shù)偏差和梯度信息，能夠更準(zhǔn)確地識(shí)別出這些"隱藏的關(guān)鍵層"。

為了減少計(jì)算開銷，研究團(tuán)隊(duì)在實(shí)際實(shí)現(xiàn)中主要關(guān)注激活量化的影響，因?yàn)橄惹暗难芯勘砻鳎せ盍炕橇炕瘬p失的主要來(lái)源。這種簡(jiǎn)化不僅顯著降低了計(jì)算成本，還保持了方法的準(zhǔn)確性。整個(gè)敏感性計(jì)算只需要16個(gè)校準(zhǔn)樣本和256的序列長(zhǎng)度，相比傳統(tǒng)方法大大減少了資源需求。

二、智能的混合精度分配策略

有了準(zhǔn)確的敏感性度量后，下一個(gè)挑戰(zhàn)就是如何將這些信息轉(zhuǎn)化為具體的量化策略。這就像你手里有一筆有限的裝修預(yù)算，需要決定在房子的哪些部分投入更多資金，哪些部分可以節(jié)省開支。關(guān)鍵是要確保整體效果最佳，而不是平均分配資源。

SignRoundV2將這個(gè)問(wèn)題轉(zhuǎn)化為一個(gè)離散優(yōu)化問(wèn)題。設(shè)想你需要為一個(gè)包含多層的神經(jīng)網(wǎng)絡(luò)分配不同的比特寬度，每層可以選擇2比特、4比特、8比特等不同精度，目標(biāo)是在滿足平均比特?cái)?shù)限制的前提下，最小化整體的性能損失。這個(gè)問(wèn)題聽起來(lái)簡(jiǎn)單，但當(dāng)層數(shù)達(dá)到幾十層甚至上百層時(shí)，可能的組合數(shù)量會(huì)變得天文數(shù)字般龐大。

研究團(tuán)隊(duì)采用動(dòng)態(tài)規(guī)劃算法來(lái)解決這個(gè)優(yōu)化問(wèn)題。動(dòng)態(tài)規(guī)劃就像一個(gè)非常聰明的搬家策略：當(dāng)你要把物品從一個(gè)房間搬到另一個(gè)房間時(shí)，你不會(huì)隨機(jī)搬運(yùn)，而是先規(guī)劃最優(yōu)路徑，確保每次搬運(yùn)都朝著目標(biāo)前進(jìn)，最終以最少的步驟完成任務(wù)。

具體而言，算法會(huì)逐層考慮所有可能的比特分配，記住每個(gè)階段的最優(yōu)解，然后基于這些信息推導(dǎo)出下一層的最優(yōu)選擇。這種方法的優(yōu)勢(shì)在于它能夠保證找到全局最優(yōu)解，而不是局部最優(yōu)。傳統(tǒng)的啟發(fā)式方法可能會(huì)陷入"局部陷阱"，就像爬山時(shí)可能被困在一個(gè)小山峰上，看不到更高的山峰。

研究團(tuán)隊(duì)在論文中展示了這種方法相比簡(jiǎn)單啟發(fā)式策略的優(yōu)勢(shì)。傳統(tǒng)方法可能會(huì)簡(jiǎn)單地給模型的頭部或尾部分配更高精度，但實(shí)驗(yàn)結(jié)果顯示，這種策略往往是次優(yōu)的。不同的模型架構(gòu)和不同的量化方案需要完全不同的精度分配策略，而DeltaLoss能夠自動(dòng)發(fā)現(xiàn)這些最優(yōu)配置。

例如，在處理Llama模型時(shí)，研究發(fā)現(xiàn)某些中間層的down_proj組件對(duì)量化特別敏感，需要分配更高的比特?cái)?shù)。而在處理不同的數(shù)據(jù)類型（如MXFP4和W2A16）時(shí)，敏感性模式也會(huì)發(fā)生變化。這種復(fù)雜性使得人工設(shè)計(jì)啟發(fā)式規(guī)則變得不現(xiàn)實(shí)，而自動(dòng)化的優(yōu)化方法則能夠輕松應(yīng)對(duì)這些挑戰(zhàn)。

三、創(chuàng)新的參數(shù)初始化技術(shù)

即使有了完美的比特分配策略，量化的成功還取決于一個(gè)往往被忽視的因素：初始化。這就像烹飪一道復(fù)雜的菜肴，即使有了完美的食譜和優(yōu)質(zhì)的食材，如果一開始的火候不對(duì)，最終的成果仍然會(huì)大打折扣。

傳統(tǒng)的量化方法通常使用簡(jiǎn)單的初始化策略，比如將所有可學(xué)習(xí)參數(shù)設(shè)為固定值。SignRoundV2認(rèn)識(shí)到，對(duì)于極低比特的量化來(lái)說(shuō)，良好的初始化至關(guān)重要。研究團(tuán)隊(duì)開發(fā)了一種輕量級(jí)的預(yù)調(diào)優(yōu)搜索技術(shù)，專門用于尋找量化參數(shù)的最佳起始點(diǎn)。

這種預(yù)調(diào)優(yōu)搜索的核心思想是在正式優(yōu)化之前，先進(jìn)行一次快速的全局搜索，找到最有希望的起始區(qū)域。具體來(lái)說(shuō)，算法會(huì)在預(yù)定義的候選值集合中搜索最佳的縮放因子，優(yōu)化目標(biāo)是最小化權(quán)重量化誤差與輸入重要性的加權(quán)乘積。這里的輸入重要性通過(guò)通道級(jí)別的最大絕對(duì)值來(lái)衡量，這個(gè)想法來(lái)源于llama.cpp中的重要性矩陣概念。

搜索過(guò)程就像一個(gè)經(jīng)驗(yàn)豐富的廚師在開火前先調(diào)試爐子。廚師不會(huì)隨意設(shè)置火力，而是根據(jù)要烹飪的食材特點(diǎn)，先測(cè)試不同的火力設(shè)置，觀察食材的反應(yīng)，然后選擇最合適的起始溫度。類似地，預(yù)調(diào)優(yōu)搜索會(huì)測(cè)試不同的縮放因子候選值，觀察它們對(duì)量化質(zhì)量的影響，然后選擇最優(yōu)的起始點(diǎn)。

候選縮放因子的生成也很有技巧。研究團(tuán)隊(duì)不是簡(jiǎn)單地在某個(gè)范圍內(nèi)均勻采樣，而是基于權(quán)重的統(tǒng)計(jì)特性來(lái)生成候選值。具體公式是將權(quán)重最大絕對(duì)值除以量化范圍，然后在此基礎(chǔ)上添加小幅度的擾動(dòng)。這些擾動(dòng)在-0.9到0.9之間，步長(zhǎng)為0.01，確保既能探索不同的可能性，又不會(huì)偏離合理范圍太遠(yuǎn)。

找到最佳的初始縮放因子后，SignRoundV2還會(huì)引入一個(gè)可學(xué)習(xí)的調(diào)整參數(shù)α，將其限制在0.5到1.5的范圍內(nèi)。這就像廚師在找到基本合適的火力后，還會(huì)根據(jù)烹飪過(guò)程中的實(shí)際情況進(jìn)行微調(diào)。這種兩階段的方法既保證了良好的起始點(diǎn)，又保留了進(jìn)一步優(yōu)化的靈活性。

實(shí)驗(yàn)結(jié)果顯示，這種初始化策略對(duì)最終性能有顯著影響。在2比特量化的極端情況下，好的初始化甚至可以帶來(lái)幾個(gè)百分點(diǎn)的性能提升，這在量化領(lǐng)域已經(jīng)是非常顯著的改進(jìn)了。

四、全面的實(shí)驗(yàn)驗(yàn)證與性能對(duì)比

為了驗(yàn)證SignRoundV2的有效性，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模的實(shí)驗(yàn)評(píng)估，涵蓋了多個(gè)主流大型語(yǔ)言模型和多種量化配置。這些實(shí)驗(yàn)就像一場(chǎng)全面的"體檢"，從各個(gè)角度檢驗(yàn)新方法的健康狀況和實(shí)際能力。

實(shí)驗(yàn)選擇了LLaMA系列（包括LLaMA2和LLaMA3的不同規(guī)模版本）和Qwen系列模型作為測(cè)試對(duì)象。這些模型的參數(shù)規(guī)模從7B到70B不等，涵蓋了當(dāng)前主流的大型語(yǔ)言模型。測(cè)試基準(zhǔn)包括ARC-Challenge、ARC-Easy、BoolQ、HellaSwag、LAMBADA、MMLU、OpenBookQA、PIQA、TruthfulQA和WinoGrande等十個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集，這些數(shù)據(jù)集就像不同科目的考試，全方位測(cè)試模型的理解能力、推理能力和知識(shí)水平。

在極端的2比特量化設(shè)置下，SignRoundV2展現(xiàn)出了令人印象深刻的性能。以LLaMA2-70B模型為例，在純2比特權(quán)重量化（W2A16）設(shè)置下，SignRoundV2達(dá)到了68.39%的平均準(zhǔn)確率，而傳統(tǒng)的GPTQ方法僅能達(dá)到34.38%，AWQ方法為35.49%，連之前的SignRoundV1也只有67.70%。這種差距就像同樣的考試，一個(gè)學(xué)生能考到68分，而另一個(gè)學(xué)生只能考到34分，差距是顯而易見的。

更令人驚喜的是，在稍微放寬到2.5比特的混合精度設(shè)置下，SignRoundV2的性能進(jìn)一步提升到70.60%，幾乎接近了一些高成本的QAT（量化感知訓(xùn)練）方法的水平，但計(jì)算開銷卻要低得多。這就像用普通家用烤箱做出了專業(yè)烘焙店的水準(zhǔn)，既實(shí)用又高效。

在新興的MXFP4量化格式測(cè)試中，SignRoundV2同樣表現(xiàn)出色。MXFP4是一種專為現(xiàn)代加速器優(yōu)化的浮點(diǎn)變體，雖然理論上應(yīng)該比傳統(tǒng)整數(shù)量化更容易保持精度，但實(shí)際應(yīng)用中仍然面臨不小的挑戰(zhàn)。SignRoundV2在這種設(shè)置下實(shí)現(xiàn)了99%以上的精度保持率，這意味著量化后的模型與原始模型幾乎沒有性能差距。

特別值得注意的是混合精度策略的效果。研究團(tuán)隊(duì)對(duì)比了簡(jiǎn)單的啟發(fā)式方法（比如只給頭部層或尾部層分配高精度）和基于DeltaLoss的智能分配策略。結(jié)果顯示，智能分配策略在所有測(cè)試場(chǎng)景下都顯著優(yōu)于啟發(fā)式方法。在某些情況下，性能差距甚至達(dá)到了10個(gè)百分點(diǎn)以上，這充分說(shuō)明了精確敏感性測(cè)量的重要性。

計(jì)算效率方面，SignRoundV2也表現(xiàn)出色。整個(gè)量化過(guò)程在單個(gè)A100-80GB GPU上只需要2.5小時(shí)即可完成LLaMA2-70B模型的處理，而一些競(jìng)爭(zhēng)方法可能需要幾十個(gè)小時(shí)甚至數(shù)百個(gè)小時(shí)。這種效率提升就像從步行改為開車，不僅節(jié)省時(shí)間，還減少了資源消耗。

五、深入的消融實(shí)驗(yàn)與技術(shù)細(xì)節(jié)

為了更好地理解SignRoundV2各個(gè)組件的貢獻(xiàn)，研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)。這些實(shí)驗(yàn)就像拆解一臺(tái)精密機(jī)器，逐一檢驗(yàn)每個(gè)零件的作用，確保最終的成功不是偶然，而是每個(gè)設(shè)計(jì)決策的合理結(jié)果。

預(yù)調(diào)優(yōu)初始化的消融實(shí)驗(yàn)結(jié)果特別引人注目。在Qwen3-8B和LLaMA3.1-8B-Instruct模型上的測(cè)試顯示，啟用初始化策略后，所有測(cè)試任務(wù)的性能都有不同程度的提升。例如，在Qwen3-8B模型的MMLU任務(wù)中，性能從54.09%提升到56.12%，看似微小的提升在量化領(lǐng)域已經(jīng)是顯著的改進(jìn)。這就像調(diào)音師為鋼琴調(diào)音，每個(gè)細(xì)微的調(diào)整都會(huì)影響整體的音質(zhì)表現(xiàn)。

DeltaLoss敏感性度量的有效性通過(guò)與傳統(tǒng)啟發(fā)式方法的對(duì)比得到了驗(yàn)證。研究團(tuán)隊(duì)測(cè)試了三種簡(jiǎn)單策略：給頭部層分配8比特精度、給尾部層分配8比特精度、以及基于DeltaLoss的智能分配。結(jié)果顯示，在4.5比特和5比特的設(shè)置下，DeltaLoss策略在所有測(cè)試模型上都取得了最高的準(zhǔn)確率，而且優(yōu)勢(shì)隨著精度預(yù)算的降低而更加明顯。

內(nèi)存和計(jì)算開銷的分析表明，DeltaLoss的計(jì)算成本是可以接受的。對(duì)于70B規(guī)模的模型，額外的內(nèi)存需求約為40GB，額外的時(shí)間成本約為420秒乘以選項(xiàng)數(shù)量。考慮到現(xiàn)代GPU的計(jì)算能力和內(nèi)存容量，這些開銷是完全可以承受的。更重要的是，這些一次性的計(jì)算成本能夠帶來(lái)持續(xù)的性能收益。

研究團(tuán)隊(duì)還測(cè)試了一個(gè)有趣的技術(shù)細(xì)節(jié)：在損失計(jì)算中排除異常值的策略。他們發(fā)現(xiàn)，在計(jì)算重構(gòu)損失時(shí)，如果排除批次中前0.1%的最大損失值，能夠提高訓(xùn)練的穩(wěn)定性。這種技術(shù)就像在統(tǒng)計(jì)分析中剔除極端異常值，避免少數(shù)極端情況對(duì)整體結(jié)果的不當(dāng)影響。

量化成本的詳細(xì)分析顯示，SignRoundV2相比其他先進(jìn)方法具有顯著的效率優(yōu)勢(shì)。傳統(tǒng)的EfficientQAT需要41個(gè)GPU小時(shí)，QuIP#需要270個(gè)GPU小時(shí)，AQLM甚至需要336個(gè)GPU小時(shí)，而SignRoundV2只需要2.5個(gè)GPU小時(shí)，增強(qiáng)版本（Ours*）也只需要6個(gè)GPU小時(shí)。這種效率差距就像高鐵與綠皮火車的區(qū)別，不僅速度更快，還減少了能耗和成本。

說(shuō)到底，SignRoundV2代表了大型語(yǔ)言模型量化技術(shù)的一個(gè)重要突破。它不僅解決了極低比特量化中的精度損失問(wèn)題，還大幅降低了計(jì)算成本，使得高質(zhì)量的模型壓縮變得更加實(shí)用。這項(xiàng)技術(shù)的意義不僅在于讓大模型能夠運(yùn)行在更多設(shè)備上，更在于為人工智能的普及應(yīng)用鋪平了道路。當(dāng)每臺(tái)普通電腦都能流暢運(yùn)行大型語(yǔ)言模型時(shí)，人工智能助手將真正走進(jìn)千家萬(wàn)戶，成為每個(gè)人觸手可及的智能工具。研究團(tuán)隊(duì)已經(jīng)將實(shí)現(xiàn)代碼開源，感興趣的開發(fā)者可以通過(guò)GitHub上的auto-round項(xiàng)目體驗(yàn)這項(xiàng)技術(shù)的強(qiáng)大能力。

Q&A

Q1：SignRoundV2技術(shù)是什么，它解決了什么問(wèn)題？

A：SignRoundV2是英特爾開發(fā)的大型語(yǔ)言模型壓縮技術(shù)，主要解決了AI大模型體積過(guò)大、難以在普通設(shè)備上運(yùn)行的問(wèn)題。它就像給大象減肥但保持力量的方法，能將模型大小壓縮到原來(lái)的幾分之一，同時(shí)幾乎不損失模型的智能水平。

Q2：SignRoundV2相比傳統(tǒng)量化方法有什么優(yōu)勢(shì)？

A：最大優(yōu)勢(shì)是精度保持能力強(qiáng)和效率高。傳統(tǒng)方法壓縮后性能損失嚴(yán)重，而SignRoundV2在極限2比特壓縮下仍能保持接近原模型的性能。同時(shí)處理時(shí)間只需2.5小時(shí)，而其他先進(jìn)方法可能需要數(shù)百小時(shí)。

Q3：普通用戶何時(shí)能用上SignRoundV2技術(shù)？

A：研究團(tuán)隊(duì)已經(jīng)開源了相關(guān)代碼，技術(shù)開發(fā)者現(xiàn)在就可以使用。對(duì)于普通用戶，隨著這項(xiàng)技術(shù)的普及應(yīng)用，未來(lái)可能在手機(jī)、個(gè)人電腦上直接運(yùn)行大型AI模型，享受更快速、更私密的AI服務(wù)。