![]()
傳說中的DeepSeek天才少女、雷軍曾用千萬年薪挖角的羅福莉,近日在X平臺發布了她的首條推文,分享了她帶領MiMo團隊打造Agent時代全棧模型的心路歷程。
從Chat到Agent:一次"安靜的伏擊"
羅福莉將這次轉型稱為"安靜的伏擊"——并非刻意策劃,而是從Chat到Agent的范式轉變發生得太快,快到連團隊自己都幾乎不敢相信。
她透露,改變一切的是第一次體驗復雜Agent腳手架的經歷。她用的詞是"orchestrated Context"(編排過的上下文),也就是現在比較火的Harness Engineering。
"第一天就被震驚了,"她寫道。隨后她試圖說服團隊去用,但沒成功。于是她下了一個硬性命令:
MiMo團隊里,明天對話數不到100條的人,可以辭職了。
這個管理風格相當激進,但有效。一旦團隊的想象力被Agent系統的能力點燃,這種想象力就直接轉化成了研發速度。
提前押注的架構優勢
羅福莉透露,1T底座模型幾個月前就開始訓練了,當時的目標是長上下文推理效率。采用了兩大核心技術:
Hybrid Attention機制(混合注意力):不讓所有token都互相關注,而是讓一部分用全局注意力、一部分用局部注意力,大幅降低計算成本。
MTP推理層(Multi-Token Prediction):一次預測多個token而不是一個一個生成,推理延遲和成本都大幅下降。
這些架構決策在當時并不時髦,但它們恰好成了Agent時代的結構性優勢——支持百萬token上下文窗口。
為什么MiMo團隊能這么快
羅福莉在做DeepSeek R1的時候親眼見證過,她的總結是:
— 基座與基礎設施研究周期很長。你需要在它產出回報的一年前就有戰略定力。
— 后訓練的敏捷性是另一種能力:靠產品直覺驅動評估,壓縮迭代周期,及早捕捉范式轉換。
— 還有那些不變的東西:好奇心、敏銳的技術直覺、果斷的執行力、全力以赴。
以及一樣很容易被低估的東西:對你正在為之構建的世界,發自內心的熱愛。
開源承諾
羅福莉在推文中確認:模型會開源的,等模型穩定到值得開源的時候。
原文來源:X @_LuoFuli / 寶玉@dotey
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.