Mixedbread AI團隊發(fā)布新一代超小型檢索模型

這項來自Mixedbread AI的最新研究發(fā)表于2025年10月，研究團隊包括來自Mixedbread AI和早稻田大學(xué)的四位研究者：Rikiya Takehi、Benjamin Clavié、Sean Lee和Aamir Shakir。感興趣的讀者可以通過論文編號arXiv:2510.14880v1查找完整的技術(shù)報告。

在人工智能快速發(fā)展的今天，一個看似矛盾的問題擺在我們面前：既要模型足夠強大能處理復(fù)雜任務(wù)，又要足夠小巧能在普通設(shè)備上運行。就像你想要一輛既有跑車性能又有電動車經(jīng)濟性的汽車一樣，這種平衡一直是技術(shù)界的一大挑戰(zhàn)。

Mixedbread AI團隊最近交出了一份令人驚喜的答卷。他們開發(fā)了一個名為mxbai-edge-colbert-v0的信息檢索模型，這個模型雖然只有17MB和32MB兩個版本，卻能在性能上超越許多體積大十幾倍的"前輩"。這就好比一臺小巧的智能手機在某些功能上竟然超越了笨重的臺式電腦。

要理解這項研究的意義，我們需要先了解什么是信息檢索。當(dāng)你在搜索引擎中輸入關(guān)鍵詞尋找答案時，背后就有一個信息檢索系統(tǒng)在工作。它需要從海量文檔中找出與你的問題最相關(guān)的內(nèi)容。近年來，隨著大語言模型的興起，一種叫做檢索增強生成（RAG）的技術(shù)變得非常重要，它讓人工智能能夠基于搜索到的相關(guān)信息給出更準確的回答。

在檢索技術(shù)的世界里，有兩種主要的方法。一種叫做"密集段落檢索"，就像用一個萬能工具箱來概括每篇文檔的精華，然后進行比較。另一種叫做ColBERT，它的做法更像是把每個文檔拆解成許多小零件，每個零件都保留詳細信息，最后通過精密的比對找出最匹配的內(nèi)容。ColBERT方法通常更準確，但代價是需要更多的存儲空間和計算資源。

研究團隊面臨的挑戰(zhàn)是：現(xiàn)有的小型ColBERT模型大多基于較老的技術(shù)架構(gòu)，就像老式汽車發(fā)動機，雖然能跑但效率不高。而新一代的高效模型往往體積龐大，普通用戶難以使用。這就好比市面上要么是老款的經(jīng)濟型汽車，要么是最新的豪華跑車，中間缺少一個既現(xiàn)代又實用的選擇。

為了填補這個空白，Mixedbread AI團隊采用了一個巧妙的策略，整個過程就像是精心準備一道復(fù)雜菜肴。首先，他們從一個叫做Ettin的現(xiàn)代化基礎(chǔ)模型開始，這就好比選擇了優(yōu)質(zhì)的食材。Ettin模型是ModernBERT的復(fù)現(xiàn)版本，具備處理長文本的能力和高效的計算架構(gòu)，就像選擇了營養(yǎng)豐富且易于烹飪的食材。

接下來是第一個烹飪步驟——對比學(xué)習(xí)預(yù)訓(xùn)練。在這個階段，研究團隊讓模型學(xué)習(xí)如何理解文本之間的關(guān)系。他們使用了接近2億條數(shù)據(jù)，涵蓋各種類型的文本配對，比如論壇帖子和其標題、問答對等。這個過程就像是讓一個初學(xué)者通過大量練習(xí)來熟悉食材的基本屬性和搭配規(guī)律。

有趣的是，研究團隊發(fā)現(xiàn)ModernBERT系列的模型在訓(xùn)練時需要更高的學(xué)習(xí)率才能達到理想效果，就好比這種現(xiàn)代化的食材需要更高的火候才能完全釋放其潛力。他們通過實驗發(fā)現(xiàn)，傳統(tǒng)的學(xué)習(xí)率設(shè)置會讓模型表現(xiàn)平平，而提高學(xué)習(xí)率后，17MB模型的性能從0.493提升到0.523，32MB模型則從0.543提升到0.559。

第二個烹飪步驟是精細調(diào)味——監(jiān)督微調(diào)。在這個階段，研究團隊使用高質(zhì)量的數(shù)據(jù)對模型進行精細調(diào)整。他們特別注重"硬負樣本挖掘"這個技術(shù)，簡單來說就是故意給模型一些看起來相似但實際不匹配的文檔，讓它學(xué)會更精確的區(qū)分能力。這就好比讓廚師學(xué)會區(qū)分外表相似但味道不同的香料，通過這種訓(xùn)練讓模型的判斷力更加敏銳。

最后一個步驟是秘密武器——"Stella風(fēng)格"蒸餾技術(shù)。這個技術(shù)的靈感來自于Stella模型家族，核心思想是讓小模型去模仿一個更大更強的"老師"模型。研究團隊選擇了StellaV5作為老師，讓他們的小模型盡可能學(xué)會老師的"思維方式"。這個過程就像是讓一個天賦異稟的學(xué)生跟隨名師學(xué)藝，通過不斷模仿和練習(xí)，最終掌握了老師的精髓。

不過，研究團隊發(fā)現(xiàn)原始的Stella蒸餾方法過于復(fù)雜，容易出現(xiàn)訓(xùn)練不穩(wěn)定的問題，就好比原本的學(xué)習(xí)方法太過繁復(fù)，反而影響了學(xué)習(xí)效果。因此，他們簡化了這個過程，使用更直接的L2損失函數(shù)，讓小模型的輸出盡可能接近老師模型的輸出。雖然方法簡化了，但效果依然顯著，32MB模型的性能從0.576提升到了0.626，而17MB模型也有適度提升。

值得注意的是，這種蒸餾技術(shù)對不同大小的模型產(chǎn)生了不同的影響。32MB模型受益更多，而17MB模型的提升相對溫和。研究團隊推測這可能是因為簡化后的蒸餾方法在處理較大的模型容量差異時更有效，就好比同樣的教學(xué)方法對不同天賦的學(xué)生產(chǎn)生的效果不盡相同。

三道"烹飪"工序完成后，研究團隊開始了最關(guān)鍵的ColBERT訓(xùn)練階段。在這個階段，他們需要將之前訓(xùn)練好的密集嵌入模型轉(zhuǎn)換成ColBERT格式。這個轉(zhuǎn)換過程就像是將一個通用工具改造成專門的精密儀器，需要添加特殊的投影層來處理多向量表示。

在ColBERT訓(xùn)練中，研究團隊進行了大量的對比實驗。他們首先探討了使用不同"老師"模型來指導(dǎo)訓(xùn)練的效果。令人意外的是，較新的Qwen3-8B作為老師的效果反而不如相對較老的BGE-Gemma2。深入分析發(fā)現(xiàn)，Qwen3-Reranker生成的分數(shù)過于極端，正樣本得分都接近1，負樣本得分都接近0，這種過于"絕對"的判斷反而不利于模型學(xué)習(xí)細致的區(qū)分能力，就像一個過于嚴格的老師只會說"對"或"錯"，卻不能給出更細致的指導(dǎo)。

接下來，研究團隊測試了不同的優(yōu)化器。令人驚喜的是，一個名為Muon的新型優(yōu)化器表現(xiàn)優(yōu)于傳統(tǒng)的AdamW優(yōu)化器。這就好比發(fā)現(xiàn)了一種新的烹飪方法，雖然還不被廣泛使用，但確實能做出更美味的菜肴。在相同的訓(xùn)練條件下，使用Muon優(yōu)化器的模型性能達到了0.5985，而使用AdamW的最佳表現(xiàn)只有0.5923。

在投影維度的選擇上，研究團隊做了一個大膽的嘗試。傳統(tǒng)的ColBERT模型通常使用128維的投影，而現(xiàn)有的小型ColBERT模型多采用96維。研究團隊測試了從16維到96維的各種設(shè)置，發(fā)現(xiàn)性能下降得比預(yù)期要緩慢。直到投影維度降到48維時，性能仍然保持在相當(dāng)好的水平，只有當(dāng)降到32維以下時，性能才出現(xiàn)明顯下降。這個發(fā)現(xiàn)非常重要，因為投影維度直接影響模型的存儲需求和計算速度，就像發(fā)現(xiàn)了一種既省油又保持動力的汽車調(diào)校方法。

研究團隊還測試了投影層的設(shè)計。他們發(fā)現(xiàn)使用更復(fù)雜的雙層前饋網(wǎng)絡(luò)比傳統(tǒng)的單層線性投影效果更好，17MB模型的性能從0.6275提升到0.6405。這就好比發(fā)現(xiàn)了一個更精密的變速箱設(shè)計，雖然稍微增加了復(fù)雜性，但顯著提升了整體性能。

另一個有趣的發(fā)現(xiàn)涉及文本的大小寫處理。現(xiàn)代的語言模型通常保留文本的原始大小寫，而早期模型往往將所有文本轉(zhuǎn)換為小寫。研究團隊發(fā)現(xiàn)，對于17MB這樣的超小模型，使用小寫處理反而能獲得更好的性能，從0.6317提升到0.6405。但對于32MB模型，這種差異就不明顯了。這個現(xiàn)象表明，對于參數(shù)非常有限的小模型，簡化輸入可能有助于它更好地學(xué)習(xí)核心模式，就像一個初學(xué)者需要先掌握基礎(chǔ)技能，再去處理復(fù)雜情況。

當(dāng)所有訓(xùn)練完成后，最終的測試結(jié)果令人振奮。在BEIR基準測試中，mxbai-edge-colbert-v0展現(xiàn)出了令人驚訝的性能。17MB的模型雖然參數(shù)量只有ColBERTv2的八分之一，投影維度只有三分之一，但在整體性能上竟然超越了這個曾經(jīng)的標桿模型。32MB模型的表現(xiàn)更是出色，在多個數(shù)據(jù)集上都達到了接近或超越現(xiàn)有小型模型的性能。

在長文本處理任務(wù)上，這兩個模型的優(yōu)勢更加明顯。傳統(tǒng)的基于BERT的模型由于架構(gòu)限制，只能處理較短的文本，遇到長文檔時只能截斷處理，這就好比用小鏡頭拍攝大場景，必然會丟失很多細節(jié)。而mxbai-edge-colbert-v0基于現(xiàn)代架構(gòu)，原生支持長文本處理，在LongEmbed測試中表現(xiàn)出色。特別值得一提的是，即使是17MB的小模型，也能在長文本任務(wù)上超越許多參數(shù)量大得多的傳統(tǒng)模型。

從效率角度來看，這兩個模型的優(yōu)勢更加突出。研究團隊測試了在不同硬件上的運行效率，發(fā)現(xiàn)mxbai-edge-colbert-v0-17m在CPU上的運行時間只有ColBERTv2的三分之一，內(nèi)存占用更是大幅降低。這種效率提升對于實際應(yīng)用來說意義重大，特別是對于那些需要在移動設(shè)備或邊緣計算環(huán)境中部署檢索系統(tǒng)的場景。

除了基礎(chǔ)性能，研究團隊還專門評估了模型在重排序任務(wù)中的表現(xiàn)。重排序是信息檢索中的一個重要應(yīng)用，需要對候選文檔進行精確排序。由于mxbai-edge-colbert-v0具有低延遲和高準確性的特點，特別適合這類實時性要求較高的任務(wù)。在長文檔重排序場景中，目前還沒有其他模型能在保持如此低延遲的同時達到類似的性能水平。

這項研究的意義不僅在于創(chuàng)造了兩個高性能的小型模型，更在于為整個領(lǐng)域提供了一個新的發(fā)展方向。在大模型越來越龐大的趨勢下，如何讓先進技術(shù)能夠普及到更廣泛的應(yīng)用場景，一直是研究者們關(guān)心的問題。mxbai-edge-colbert-v0的成功證明，通過精心的設(shè)計和訓(xùn)練策略，小模型同樣可以在特定任務(wù)上達到甚至超越大模型的性能。

研究團隊將這兩個模型定位為"v0"版本，意味著這只是一個開始。他們的目標是為從大規(guī)模云端檢索到本地設(shè)備檢索的各種應(yīng)用場景提供支持。這種"全尺度"的檢索技術(shù)愿景，就像是要建立一個從高速公路到鄉(xiāng)村小路都能暢行無阻的交通網(wǎng)絡(luò)。

從實際應(yīng)用的角度來看，這兩個模型為很多實際問題提供了新的解決方案。對于個人用戶來說，可以在自己的設(shè)備上部署高效的本地搜索系統(tǒng)，而不需要依賴云端服務(wù)。對于企業(yè)來說，可以在保護數(shù)據(jù)隱私的前提下，構(gòu)建高性能的內(nèi)部知識檢索系統(tǒng)。對于研究者來說，這兩個模型提供了一個理想的實驗平臺，可以用來測試各種新想法和改進策略。

值得強調(diào)的是，這項研究在方法上的貢獻同樣重要。研究團隊展示了如何系統(tǒng)性地構(gòu)建小型高性能模型：從選擇合適的基礎(chǔ)架構(gòu)開始，通過多階段訓(xùn)練逐步提升能力，再通過知識蒸餾技術(shù)實現(xiàn)性能突破，最后通過大量細致的調(diào)優(yōu)實驗找到最佳配置。這個完整的方法論為后續(xù)研究提供了寶貴的經(jīng)驗。

研究團隊也坦誠地指出了當(dāng)前工作的局限性。比如，他們發(fā)現(xiàn)簡化的蒸餾方法雖然穩(wěn)定性更好，但可能沒有完全發(fā)揮原始Stella方法的潛力。他們還提到，針對ColBERT特定需求的對比學(xué)習(xí)預(yù)訓(xùn)練可能會帶來進一步的性能提升，但這些探索留待未來的工作來完成。

說到底，mxbai-edge-colbert-v0的成功體現(xiàn)了人工智能研究中一個重要的發(fā)展趨勢：不是一味追求更大更復(fù)雜的模型，而是在性能、效率和實用性之間找到最佳平衡點。這就好比汽車工業(yè)的發(fā)展，最終勝出的不一定是最大最強的車型，而是那些最適合用戶實際需求的產(chǎn)品。

這項研究對普通人生活的影響可能比想象的更大。隨著這類高效小型模型的普及，我們可能會看到更多智能應(yīng)用能夠在普通設(shè)備上運行，而不需要依賴昂貴的云端計算資源。這意味著更低的使用成本、更好的隱私保護，以及在網(wǎng)絡(luò)條件不好的情況下也能享受智能服務(wù)。

歸根結(jié)底，Mixedbread AI團隊的這項工作為我們展示了一個令人興奮的可能性：先進的人工智能技術(shù)不必局限在高端實驗室和大型數(shù)據(jù)中心，它同樣可以走進千家萬戶，成為每個人都能使用的智能工具。這個17MB的小模型可能看起來微不足道，但它代表的技術(shù)理念和實現(xiàn)路徑，很可能影響未來人工智能技術(shù)的發(fā)展方向。

Q&A

Q1：mxbai-edge-colbert-v0模型有多大，性能怎么樣？

A：mxbai-edge-colbert-v0有17MB和32MB兩個版本。令人驚訝的是，17MB版本雖然只有ColBERTv2八分之一的參數(shù)量，但性能反而超越了ColBERTv2。32MB版本性能更出色，在多個測試中達到接近或超越現(xiàn)有小型模型的水平。

Q2：這個小模型為什么能超越大模型？

A：主要有三個秘訣：首先使用現(xiàn)代化的ModernBERT架構(gòu)作為基礎(chǔ)，效率更高；然后通過三階段訓(xùn)練逐步提升能力，包括對比學(xué)習(xí)預(yù)訓(xùn)練、監(jiān)督微調(diào)和知識蒸餾；最后通過大量優(yōu)化實驗，比如使用Muon優(yōu)化器、降低投影維度到48等，在保持性能的同時大幅減少模型大小。

Q3：普通用戶能用這個模型做什么？

A：這個模型特別適合在個人設(shè)備上構(gòu)建本地搜索系統(tǒng)，無需依賴云端服務(wù)就能快速檢索文檔和回答問題。企業(yè)可以用它建立內(nèi)部知識庫搜索，既保護隱私又提高效率。研究者則可以用它作為實驗平臺測試新想法。由于模型小巧高效，即使在手機等移動設(shè)備上也能流暢運行。