11個小時前,小米深夜“突襲式”發布并開源了其最新的專家混合架構(MoE)大語言模型MiMo-V2-Flash。該模型總參數量達3090億,活躍參數為150億,采用對開發者友好的MIT開源協議,基礎版權重也已經在Hugging Face上發布。
![]()
小米MiMo團隊負責人羅福莉(Fuli Luo)在社交平臺上明確表示:“MiMo-V2-Flash已經上線。這只是我們AGI路線圖上的第二步。”這一表態凸顯了小米在AI領域的長遠規劃和技術雄心。
![]()
從市場影響來看,MiMo-V2-Flash的入局可能攪動現有開源AI模型的競爭格局。其官方公布的每百萬輸入token 0.1美元、輸出token 0.3美元的極低成本,結合高達150 tokens/秒的推理速度,為開發者和企業提供了極具吸引力的選擇,或將加速高性能AI技術在更廣泛場景的應用和普及,尤其是對其龐大的“手機 x AIoT”生態系統形成強大賦能。
![]()
性能媲美DeepSeek-V3.2,并且“極具性價比”
MiMo-V2-Flash在多個權威基準測試中展現了強大的實力,其性能表現足以和部分頂尖的開源及閉源模型同臺競技。
根據小米官方公布的數據,在衡量編程能力的SWE-bench Verified測試中,MiMo-V2-Flash取得了73.4%的得分,超越了所有已知的開源模型,并接近頂級閉源模型的水平。
在AIME 2025數學競賽和GPQA-Diamond科學知識測試等考驗推理能力的項目中,該模型也位列開源模型前兩名。摩根士丹利的研報圖表亦顯示,MiMo-V2-Flash在綜合性能上與DeepSeek-V3.2等主流大模型相比具有競爭力。
![]()
![]()
在愈發重要的智能體(Agent)任務上,MiMo-V2-Flash同樣表現出色。數據顯示,其在τ2-Bench分類得分中,通信、零售、航空等多個類別均獲得高分,證明其具備理解復雜任務邏輯和執行多輪交互的能力。
小米方面表態現實,該模型的高性能與150 tokens/秒的推理速度,加上極低的運營成本,使其成為現有最高性價比的高性能模型之一。目前,該模型已在API平臺限時免費開放,并以MIT開源協議在Hugging Face上發布了基礎版權重。
![]()
“極致性價比”背后的技術創新:解鎖效率與長文本能力
MiMo-V2-Flash之所以能在保持高性能的同時實現低成本和高效率,得益于其在模型架構和訓練方法上的多項關鍵技術創新。
首先,是“混合滑動窗口注意力機制”(Hybrid Sliding Window Attention)。小米采用了一種5:1的混合比例,即每5層滑動窗口注意力(SWA)搭配1層全局注意力,將KV緩存(一種用于存儲中間結果的內存)的存儲量減少了近6倍,同時依然支持高達256k的超長上下文窗口。
羅福莉(Fuli Luo)在其X帖子中分享了工程細節:“我們最終選擇了混合SWA。它簡單、優雅,并且在我們的內部基準測試中,其長上下文推理能力優于其他線性注意力變體。”她特別指出一個反直覺的發現,即128個token的窗口大小是“最佳選擇”,盲目擴大到512反而會導致性能下降,并強調“sink values是不可或缺的”。
![]()
其次,是輕量級多Token預測(Lightweight Multi-Token Prediction, MTP)。該技術使模型能一次并行預測多個token,而非傳統的逐字生成,從而將推理速度提升2至2.6倍。
羅福莉透露:“通過3層MTP,我們觀察到平均接受token數超過3個,編碼任務速度提升約2.5倍。”她補充說,這項技術有效解決了GPU的空閑時間問題,盡管因項目周期緊張此次未能完全整合進強化學習(RL)循環,但小米已將3層MTP開源,供開發者使用。
今年11月,曾效力DeepSeek的羅福莉在X上高調宣布正式加入小米,出任MiMo團隊負責人。小米MiMo是小米推進大模型研發的核心招牌,隨著羅福莉的官宣,小米MiMo也被一并明確,劍指最前沿——空間智能。
![]()
訓練“黑科技”:1/50算力實現性能對齊
在訓練階段,小米采用了業界領先的技術以最大化效率。模型在預訓練階段使用了FP8混合精度技術,在27萬億token的數據上完成訓練。
更具突破性的是在后訓練階段引入的多教師在線策略蒸餾(Multi-teacher Online Policy Distillation, MOPD)框架。據小米介紹,該方法借鑒了Thinking Machine的On-Policy Distillation思路,讓學生模型在訓練時能從多個專家教師模型處獲得密集的獎勵信號。其最顯著的優勢在于效率,僅需傳統SFT(監督微調)與強化學習相結合方法的1/50算力,就能讓學生模型達到教師模型的性能峰值。
![]()
羅福莉指出,這一框架為構建一個“自我強化循環系統”奠定了基礎,即今天的學生模型在進化后可以成為明天更強的教師模型,從而實現模型的持續、高效迭代。
小米的AI版圖:從手機到AGI
MiMo-V2-Flash的發布,并非一次孤立的技術展示,而是小米AI戰略的重要組成部分。正如羅福莉所言,這只是其AGI路線圖的“第二步”,暗示了后續將有更深入的布局。
此舉清晰地表明了小米正全力將AI打造為其核心競爭力之一。據摩根士丹利發布的研報觀點稱,此舉“展示了小米對AI研發的承諾”,并預計該公司未來將在云端AI和邊緣AI兩方面取得更多實質性進展。而強大的自研AI底層能力,將為其手機、IoT設備乃至新能源汽車等硬件產品帶來獨特的智能化體驗,構筑更深的生態護城河。
摩根士丹利認為,MiMo-V2-Flash的推出,不僅可能重塑開源AI模型市場格局,更揭示了小米意圖通過自研AI技術深度賦能其“人車家”全生態的戰略野心。
十四年前,小米手機以1999元的價格重新定義了旗艦智能手機市場。如今,小米似乎希望通過MiMo-V2-Flash,以其卓越的性能和顛覆性的成本,為開源AI領域帶來一個新的“小米時刻”。
![]()
體驗模型可戳:https://aistudio.xiaomimimo.com/#/
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.