香港科技大學提出LET訓練范式：讓小模型當"老師"

這項由香港科技大學（廣州）和字節跳動種子實驗室聯合完成的研究發表于2026年2月，論文編號為arXiv:2602.05393v1。有興趣深入了解的讀者可以通過這個編號查詢完整論文。

當我們看到一個孩子學騎自行車時，通常會想到找一個已經會騎車的人來教他。但如果告訴你，有時候讓一個剛學會騎三輪車的小朋友來"指導"一個成年人學騎自行車，反而能讓成年人學得更快更好，你會不會覺得不可思議？

在人工智能的世界里，類似的奇妙現象正在發生。研究人員發現了一個顛覆常理的訓練方法：讓參數只有1億多的"小學生"模型去指導擁有70億參數的"博士生"模型學習，結果不僅讓大模型學得更快，效果還更好。這就是本項研究提出的Late-to-Early Training（LET）訓練范式，它像是在AI訓練的世界里發現了一條神奇的"捷徑"。

傳統的AI訓練就像是讓學生從零開始自學所有知識，不僅耗時漫長，還需要消耗大量計算資源。以訓練一個120億參數的語言模型為例，大約需要72000個GPU小時，相當于用一塊頂級顯卡連續跑8年。面對如此龐大的訓練成本，研究團隊開始思考：既然社區里已經有這么多訓練好的小模型，能否借助它們來加速大模型的訓練過程呢？

答案是肯定的，而且效果超出了所有人的預期。研究團隊在實驗中發現，當使用一個僅有1.35億參數的小模型來指導一個14億參數的大模型時，不僅訓練速度提升了1.6倍，在各項下游任務上的準確率還提高了近5%。更令人驚訝的是，即使小模型比大模型小10倍，這種指導效果依然顯著。

一、傳統訓練方法的困境與機遇

在深入了解LET方法之前，我們需要先理解目前AI訓練面臨的挑戰。當前的大語言模型訓練就像是建造一座摩天大樓，需要從地基開始一磚一瓦地堆砌，每一層都需要精心設計和大量時間。以GPT-4這樣的模型為例，其訓練不僅需要海量的數據，還需要成千上萬張GPU卡連續工作數月。

傳統的知識蒸餾方法雖然能夠讓小模型從大模型那里學習知識，但存在一個根本性問題：需要依賴一個更大、更強的"老師"模型。這就像是要找一個博士來教本科生，雖然效果不錯，但成本極高，而且學生很難超越老師。更關鍵的是，當老師模型本身就很大時，整個訓練過程的內存和計算開銷會成倍增加。

另一方面，隨著開源文化在AI社區的蓬勃發展，我們看到了前所未有的機遇。各種規模的預訓練模型如雨后春筍般涌現，從幾百萬參數的輕量級模型到數十億參數的重量級選手，形成了一個豐富的"模型生態系統"。這些模型就像是圖書館里的各種參考書，每一本都承載著大量的訓練成本和知識積累。

研究團隊意識到，與其讓每個新模型都從頭開始學習，不如想辦法充分利用這些已有的"知識財富"。關鍵問題是：如何讓一個相對較小的預訓練模型有效指導一個更大的目標模型的學習過程？這個問題的答案，就藏在LET方法的核心設計理念中。

二、LET方法的核心創新

LET方法的精髓可以用一個生動的比喻來理解：這就像是讓一個有豐富實戰經驗的老工匠（小預訓練模型）在一個天賦異稟的年輕學徒（大目標模型）學習的早期階段給予指導。老工匠雖然力量不如年輕人，但他的經驗和技巧能夠幫助學徒在關鍵的基礎階段建立正確的"肌肉記憶"。

LET方法包含兩個核心機制，研究團隊將其稱為"Late-to-Early-Step Learning"（晚期到早期步驟學習）和"Late-to-Early-Layer Learning"（晚期到早期層學習）。

晚期到早期步驟學習的思路是：在大模型訓練的初期階段，讓已經訓練完成的小模型充當"導師"角色。這個階段就像是學生剛入學時最需要老師指導的關鍵時期。隨著訓練的進行，大模型的能力逐漸增強，對小模型的依賴程度會逐步降低，最終完全獨立學習。這個過程通過一個巧妙的權重衰減機制來控制，確保指導的強度會隨著訓練步數的增加而平滑減少。

晚期到早期層學習則更加精妙。研究團隊發現，讓小模型的"最終層"（代表其學到的最成熟知識）去指導大模型的"早期層"（負責基礎特征提取）效果最佳。這就像是讓一個經驗豐富的師傅教授學徒最基本的動作要領，而不是試圖教授復雜的高級技巧。大模型的后續層會自然地學會如何處理和完善這些基礎特征。

具體的訓練過程可以這樣理解：當大模型處理一段文本時，研究團隊會同時讓小模型也處理同樣的文本。然后，他們會比較小模型最終層的輸出和大模型第三層的輸出，計算兩者之間的相似度，并將這個相似度作為一個額外的學習目標。這個過程就像是讓學徒在練習基本功時，時刻對照師傅的標準動作，確保自己的姿勢正確。

為了處理小模型和大模型之間可能存在的維度差異，研究團隊還設計了一個巧妙的"維度對齊"機制。當兩個模型的內部表示維度不同時，系統會自動進行線性插值，就像是在兩種不同語言之間建立翻譯橋梁。

三、實驗驗證與令人矚目的結果

為了驗證LET方法的有效性，研究團隊進行了大規模的實驗驗證。他們選擇了The Pile數據集作為訓練語料，這是一個包含約825GB英文文本的高質量數據集，涵蓋了22個不同來源的多樣化內容。實驗使用了基于LLaMA架構的模型，分別在1.4B、3B和7B參數規模上進行測試。

實驗設置就像是精心設計的對照實驗。研究團隊使用了多種不同的小模型作為"導師"，包括OPT家族、Pythia家族和SmolLM家族的模型。這些小模型的參數規模通常在125M到1.7B之間，相比目標模型要小得多。所有實驗都在32張NVIDIA A100 80GB GPU上進行，確保了實驗的一致性和可重復性。

實驗結果令人印象深刻。在1.4B參數模型的訓練中，LET方法實現了1.6倍的訓練加速，同時在九項下游任務的平均準確率上提升了4.68%。更令人驚訝的是，即使使用參數規模僅為目標模型十分之一的小模型作為導師，LET仍能取得顯著的性能提升。

在7B參數模型的實驗中，LET同樣表現出色，實現了1.56倍的訓練加速和5.13%的性能提升。這些提升不是在某個特定任務上的偶然表現，而是在包括常識推理、閱讀理解、科學問答等多個領域的一致性改進。

特別值得注意的是，LET不僅在最終性能上超越了傳統訓練方法，還在訓練過程中始終保持領先。實驗結果顯示，LET訓練的模型僅用67%的訓練步數就能達到傳統方法的最終性能。這意味著在資源有限的情況下，LET能讓研究者用更少的時間和計算資源獲得更好的模型。

研究團隊還測試了不同層對齊策略的效果。他們嘗試了六種不同的組合：讓小模型的最后一層分別對齊大模型的早期、中期、后期層，以及讓小模型的中間層對齊大模型的不同層。結果明確顯示，"Late-to-Early"（晚期到早期）的對齊策略效果最佳，驗證了研究團隊的核心假設。

四、深入分析與理論洞察

為了更深入理解LET為何如此有效，研究團隊進行了詳細的消融實驗和理論分析。他們發現，LET的成功并非偶然，而是基于深層的數學和認知原理。

從數學角度來看，LET通過在訓練早期引入額外的約束條件，有效地規范了大模型的學習軌跡。這就像是給一個初學者提供了正確的起始姿勢，讓后續的學習過程更加順暢。研究團隊通過Hessian矩陣分析發現，LET訓練產生的損失函數曲面更加平滑，這意味著優化過程更加穩定，不容易陷入局部最優解。

從認知科學的角度來看，LET體現了"漸進式學習"的重要性。人類學習復雜技能時，往往需要在基礎階段得到充分的指導，然后逐步發展獨立思考能力。LET通過在訓練初期提供結構化的指導，幫助大模型建立了良好的"認知基礎"，為后續的自主學習奠定了堅實基礎。

研究團隊還發現了一個有趣的現象：隨著訓練的進行，大模型與小模型之間的表示相似度會逐步增加，但這種相似度的增長是有限的。這表明大模型在學習小模型經驗的同時，也在發展自己獨特的表示能力。這種"師承而不泥古"的學習模式正是LET成功的關鍵所在。

超參數λ的選擇對LET的效果至關重要。研究團隊通過系統性實驗發現，λ=0.1是一個幾乎在所有場景下都表現良好的選擇。過大的λ值會讓大模型過度依賴小模型，限制其自主學習能力；過小的λ值則無法提供足夠的指導。λ=0.1恰好在兩者之間找到了平衡點。

五、方法的廣泛適用性與實際價值

LET方法的價值不僅體現在理論創新上，更重要的是其強大的實用性和廣泛的適用性。研究團隊驗證了LET在多種不同場景下的有效性，證明這不是一個僅在特定條件下有效的技巧，而是一個具有普遍意義的訓練范式。

在跨域泛化能力測試中，研究團隊將LET應用到時間序列分類任務上。他們使用Qwen-0.5B作為目標模型，TimesNet作為指導模型，在包括酒精濃度檢測、人臉識別、心跳分析等十個不同的時間序列數據集上進行測試。結果顯示，LET在所有數據集上都取得了顯著的性能提升，提升幅度從2.9%到11.8%不等。這證明了LET不僅適用于自然語言處理，還能推廣到其他領域。

在不同詞匯表的兼容性測試中，研究團隊驗證了LET即使在小模型和大模型使用不同分詞器的情況下仍能有效工作。這種"跨語言"的兼容性進一步擴大了LET的應用范圍，讓研究者能夠靈活選擇不同來源的小模型作為指導。

研究團隊還對比了LET與其他加速訓練方法的效果。相比于傳統的反向知識蒸餾（RKD）和SALT方法，LET在保持相似計算開銷的同時，取得了更好的性能提升。特別是在教師模型顯著小于學生模型的情況下，RKD往往表現不佳，而LET依然能夠穩定地改善訓練效果。

從資源效率的角度來看，LET的優勢更加明顯。雖然LET在訓練過程中需要同時運行小模型和大模型，但由于小模型的規模很小，額外的計算開銷實際上很有限。實驗數據顯示，LET的吞吐量僅比基線方法降低約1.5%，但訓練收斂速度提升了1.6倍，這意味著實際的訓練時間大幅縮短。

更重要的是，LET為AI社區的資源利用開辟了新的可能性。目前，許多訓練好的小模型在訓練完新模型時往往被閑置，造成了巨大的資源浪費。LET讓這些"退役"的模型能夠繼續發揮價值，為新模型的訓練貢獻力量，這種"資源循環利用"的理念對整個AI生態系統都具有重要意義。

六、技術細節與實現要點

LET方法雖然概念簡單，但在實際實現中涉及許多精巧的技術細節。理解這些細節不僅有助于復現研究結果，也能為未來的改進提供方向。

在表示對齊的具體實現中，研究團隊采用了余弦相似度作為衡量標準。這個選擇并非隨意，而是經過深思熟慮的。余弦相似度關注的是向量的方向而非幅度，這意味著即使小模型和大模型的表示強度不同，只要方向相似就能產生正向的學習信號。這種設計讓LET對模型規模的差異更加魯棒。

對于維度不匹配的問題，研究團隊設計了一個線性插值機制。當小模型的表示維度與大模型不同時，系統會通過插值將其調整到相同維度。這個過程就像是在兩種不同分辨率的圖像之間進行轉換，既保持了原有信息的核心特征，又確保了兩者能夠進行有效比較。

權重衰減策略的設計也體現了研究團隊的巧思。λ的衰減不是突然停止，而是線性遞減至零。這種"軟著陸"的方式確保了從指導學習到自主學習的平滑過渡，避免了訓練過程中的突然擾動。具體來說，λ在前1500個訓練步內從初始值線性衰減到零，這個步數大約對應4B個訓練token，占總訓練量的20%。

在層選擇策略上，研究團隊經過大量實驗確定第三層是最佳的對齊目標。第一層主要處理詞嵌入信息，過于底層；更深的層則可能已經包含了過多的任務特定信息。第三層恰好處于這兩者之間，既包含了豐富的語義信息，又保持了足夠的通用性。

研究團隊還探索了其他對齊損失函數的可能性。除了余弦相似度，他們還測試了LogSum損失和典型相關分析（CCA）。實驗結果顯示，LogSum損失在某些情況下能取得比余弦相似度更好的效果，這為未來的改進提供了新的方向。

七、局限性與未來發展方向

盡管LET方法取得了令人矚目的成果，但研究團隊對其局限性保持著清醒的認識。這種科學嚴謹的態度不僅體現了研究的質量，也為未來的改進指明了方向。

首先，LET的效果很大程度上依賴于小模型的質量。當研究團隊嘗試使用GPT-2作為指導模型時，LET的性能提升明顯減弱，甚至在某些情況下不如基線方法。這表明并非所有的小模型都適合作為"導師"，模型的訓練質量和數據來源會顯著影響LET的效果。這就像是選擇導師時需要考慮其專業水平，一個知識陳舊或訓練不足的導師可能無法提供有效指導。

其次，目前的實驗主要集中在相對較小的模型規模上，最大的實驗模型為7B參數。雖然這已經覆蓋了許多實際應用場景，但對于動輒數千億參數的超大規模模型，LET的效果還需要進一步驗證。隨著模型規模的增長，計算資源的限制可能會成為制約因素。

在吞吐量方面，LET確實會帶來一定的計算開銷。雖然這個開銷相對較小（約1.5%的吞吐量降低），但在大規模部署時仍需要考慮成本效益比。特別是當訓練資源緊張時，這個額外開銷可能會成為采用LET的障礙。

研究團隊也注意到，LET在訓練的早期階段發揮主要作用，隨著訓練的進行，其邊際效應會逐步降低。這意味著LET更適合作為訓練初期的"助推器"，而不是整個訓練過程的持續優化手段。

展望未來，研究團隊認為有幾個值得深入探索的方向。首先是自動化的導師模型選擇機制。目前選擇哪個小模型作為導師主要依靠經驗和試驗，如果能開發出自動評估和選擇最佳導師模型的算法，將大大提高LET的實用性。

其次是動態對齊策略的研究。目前LET使用固定的層對齊策略，但是否可以根據訓練進度動態調整對齊的層數和強度？這種自適應的方法可能會帶來更好的效果。

最后，將LET的理念擴展到其他學習范式也是一個有趣的方向。比如在強化學習、聯邦學習等場景中，是否也能應用類似的"以小帶大"思想？這些都是值得未來研究的重要問題。

說到底，LET方法的成功不僅在于其技術創新，更在于它體現的資源高效利用理念。在AI訓練成本日益高昂的今天，LET為我們提供了一種全新的思路：充分利用已有的智力資產，通過巧妙的方法設計實現以小搏大的效果。這種思想對整個AI社區都具有啟發意義，它告訴我們，有時候創新不一定需要更多的資源，而是需要更聰明的方法。

對普通人而言，這項研究的意義在于它降低了AI技術的門檻。傳統的大模型訓練需要巨額投入，只有少數科技巨頭能夠承擔。LET方法的出現讓更多的研究機構和企業有可能用更少的資源訓練出更好的模型，這將促進AI技術的民主化和普及。歸根結底，這種技術進步最終會惠及每一個使用AI產品和服務的普通人，讓我們能夠享受到更好、更便宜的AI應用。

如有興趣深入了解這項研究的技術細節，讀者可以通過論文編號arXiv:2602.05393v1查詢完整的學術論文。這項工作為AI訓練領域開辟了一個全新的研究方向，相信會激發更多富有創意的后續研究。

Q&A

Q1：LET訓練方法具體是怎么讓小模型指導大模型學習的？

A：LET方法讓已經訓練好的小模型（比如1.35億參數）在大模型（比如14億參數）訓練初期充當"導師"角色。具體做法是讓小模型的最終層輸出去指導大模型的第三層，通過計算兩者表示的相似度作為額外學習目標，就像讓經驗豐富的師傅指導學徒練習基本功。隨著訓練進行，這種指導會逐步減弱，最終大模型完全獨立學習。

Q2：使用LET方法訓練大模型能帶來多大的性能提升？

A：實驗結果顯示，LET方法能帶來顯著的雙重提升：訓練速度提升1.6倍，同時在各項任務上的準確率提高約5%。更令人驚訝的是，即使用比目標模型小10倍的模型作為指導，仍能獲得明顯效果。這意味著用更少的時間和資源就能訓練出更好的模型。

Q3：LET方法適用于哪些類型的AI模型訓練？

A：LET方法具有很強的通用性，不僅適用于自然語言處理模型，還成功應用到了時間序列分類等其他領域。研究顯示它能兼容不同架構的模型，甚至在使用不同詞匯表的模型之間也能有效工作。目前已在1.4B到7B參數規模的模型上得到驗證，為更多AI應用場景提供了加速訓練的可能。