小米最新發布：機器人界的"全能管家"來了！

當我們還在驚嘆ChatGPT能夠和人類對話時，小米的研究團隊已經悄悄把目光投向了一個更加雄心勃勃的目標：讓機器人不僅能理解我們說的話，還能看懂我們的世界，并且真正動起手來幫我們做事。這項由小米機器人團隊開展的突破性研究發表于2026年2月，論文編號為arXiv:2602.12684v1，標志著我們距離科幻電影中的智能機器人助手又近了一大步。

想象一下，如果有一個機器人管家不僅能聽懂你說"幫我整理一下桌面"，還能通過攝像頭看到桌面上亂七八糟的物品，然后真正伸出機械臂把東西分類擺放整齊——這就是小米研究團隊想要實現的愿景。他們開發的這套名為"Xiaomi-Robotics-0"的系統，就像是給機器人裝上了一個超級大腦，讓它同時具備了"眼睛"（視覺識別）、"耳朵"（語言理解）和"手臂"（動作執行）的完整能力。

這項研究的核心創新在于解決了一個長期困擾機器人領域的關鍵問題：如何讓機器人在真實環境中既快速又流暢地執行復雜任務。過去的機器人要么動作僵硬卡頓，要么反應遲緩，就像一個剛學會走路的蹣跚學步兒。而小米的新系統通過巧妙的技術設計，讓機器人能像熟練工匠一樣連貫順滑地完成各種精細操作。

研究團隊面臨的最大挑戰就像是要訓練一個全能選手：既要讓機器人擁有足夠的"智商"理解復雜指令，又要確保它的"動手能力"足夠靈活精準，同時還不能因為思考太久而動作遲緩。他們采用了一個類似"分工合作"的巧妙方案——讓一個專門的"視覺語言大腦"負責理解看到的畫面和聽到的指令，再讓另一個"動作執行大腦"專注于規劃和執行具體的機械動作。

最令人興奮的是，這套系統在各種測試中都表現出色。在模擬環境的標準測試中，它在LIBERO基準測試中達到了98.7%的成功率，在其他兩個重要測試平臺SimplerEnv和CALVIN上也都取得了目前最佳成績。更重要的是，在真實世界的實際測試中，這個機器人系統能夠完成像拆解樂高積木并分類擺放、折疊毛巾等需要精細雙手協作的復雜任務。

一、讓機器人擁有"全能大腦"的秘密

要理解小米這項研究的厲害之處，我們可以把傳統的機器人想象成一個只會按照固定程序工作的流水線工人。它雖然動作精確，但只能重復同樣的操作，一旦遇到新情況就束手無策。而小米研發的Xiaomi-Robotics-0就像是培養了一個既有學識又有技能的全能工匠，不僅能理解復雜的工作要求，還能靈活應對各種突發狀況。

這個"全能大腦"的核心是一個叫做"視覺-語言-動作模型"的系統架構。這個名字聽起來很復雜，但用通俗的話解釋就是：機器人通過攝像頭"看"到環境，通過麥克風"聽"到指令，然后"想"出最合適的動作方案并執行。這就像我們人類處理任務的過程一樣自然流暢。

研究團隊在設計這個系統時面臨的第一個關鍵挑戰是數據準備。他們需要教會機器人各種各樣的技能，就像培養一個全能學徒一樣。為此，他們收集了兩大類訓練素材：一類是現有的機器人操作錄像，包含大約200萬個時間步的各種機器人動作數據；另一類是包含8000多萬個樣本的視覺語言數據，涵蓋了圖像描述、問答對話、視覺定位等多種任務。

這種"雙管齊下"的訓練方式非常巧妙。機器人操作數據教會了系統如何在物理世界中移動和操作物體，而視覺語言數據則讓系統具備了理解和描述世界的能力。這就像讓一個學徒既要學習實際的手工技藝，又要學習理論知識和溝通技巧，最終成為一個真正的全能工匠。

在處理視覺語言數據時，研究團隊特別注重四個方面的能力培養：視覺定位（能準確指出物體在哪里）、視覺問答（能回答關于圖像內容的問題）、圖像描述（能用語言描述看到的場景）、以及具身推理規劃（能基于視覺信息制定行動計劃）。這些能力的結合讓機器人不僅能"看懂"環境，還能"想明白"該怎么行動。

特別值得一提的是，研究團隊還專門收集了兩個極具挑戰性的任務數據：樂高拆裝和毛巾折疊。樂高拆裝需要精確的雙手協調和力度控制，毛巾折疊則要處理柔軟易變形材料的復雜物理特性。這兩個任務分別收集了338小時和400小時的操作數據，為機器人學習精細操作提供了寶貴的訓練素材。

二、兩階段訓練：從"理論學習"到"實踐操練"

小米研究團隊設計的訓練過程就像培養一個全能學徒的完整教育方案，分為兩個循序漸進的階段。第一階段可以比作"理論學習和基礎技能培養"，第二階段則是"專業技能的精細打磨"。

在第一階段，研究團隊采用了一個創新的方法來同時訓練機器人的"理解能力"和"動作能力"。他們讓視覺語言模型既要學會處理純粹的視覺語言任務（比如看圖說話、回答問題），又要學會根據觀察到的情況預測應該執行的動作。這就像讓學徒既要學習理論知識，又要開始接觸實際操作。

為了避免機器人在學習動作技能時忘記已經掌握的視覺語言能力，研究團隊采用了"混合訓練"的策略。他們讓系統按照1比6的比例同時學習視覺語言數據和機器人軌跡數據。這樣既保證了機器人不會因為專注學習動作而變得"不善言辭"，又確保了動作技能能得到充分訓練。

在動作預測方面，研究團隊采用了一種叫做"選擇策略"的巧妙方法。系統不是直接輸出一個動作序列，而是同時生成多個候選方案，然后為每個方案打分，最終選擇最優的那個。這就像一個經驗豐富的工匠在動手之前會在腦海中考慮幾種不同的操作方式，然后選擇最合適的那一種。

第二階段的訓練重點轉向了動作生成的精細化。研究團隊凍結了第一階段訓練好的視覺語言理解部分，專門訓練一個基于擴散變換器的動作生成器。這個生成器使用了"流匹配"技術，可以生成非常流暢自然的動作序列。

擴散變換器的工作原理很像藝術家的創作過程。它從一團"噪聲"開始，逐步雕琢出精確的動作軌跡，就像雕塑家從粗糙的石塊中逐漸雕刻出精美藝術品一樣。這種方法生成的動作不僅精確，而且非常流暢自然，避免了傳統方法容易產生的僵硬和不連貫問題。

為了讓動作生成器能夠充分利用視覺語言理解的結果，研究團隊設計了一個巧妙的"條件注入"機制。動作生成器不僅要考慮當前的觀察和指令，還要參考機器人的本體感覺狀態（比如關節角度、力反饋等）。這就像一個熟練工匠不僅要看清楚工作對象，還要時刻感知自己身體的狀態，確保每個動作都準確到位。

三、破解實時執行難題：讓機器人動作"行云流水"

傳統機器人系統面臨的一個核心難題就像是"邊走邊想路"的困境。機器人需要時間來思考下一步該怎么做，但在思考期間它不能停下來等待，否則動作就會變得斷斷續續，非常不自然。小米的研究團隊為這個問題提供了一個極其巧妙的解決方案。

他們提出的"異步執行"策略就像是讓機器人學會了"一心二用"的本領。當機器人的手臂在執行當前的動作序列時，它的"大腦"已經在為下一個動作序列進行規劃了。這樣當前面的動作快要結束時，新的動作方案已經準備就緒，可以無縫接替，整個過程就像接力賽跑一樣流暢。

但是這種異步執行方式也帶來了新的挑戰：如何確保前后動作之間的連貫性。研究團隊的解決方案是在規劃新動作時，將前面動作的末尾部分作為"起始條件"納入考慮。這就像舞蹈演員在表演連續動作時，每個動作都要考慮前一個動作的結束姿勢，確保整套動作看起來協調自然。

然而，簡單的"動作前綴"方法存在一個意想不到的副作用：機器人可能會變得"偷懶"。由于后續動作可以參考前面的動作模式，系統可能會過分依賴這種"抄作業"的方式，而不是真正根據視覺和語言信息來規劃動作。這就像學生做作業時總是參考標準答案，雖然能保證答案正確，但失去了獨立思考的能力。

為了解決這個問題，研究團隊引入了一個非常聰明的"Λ形注意力掩碼"機制。這個機制的作用就像給機器人戴上了"有選擇性的眼罩"：它可以看到前面動作的一小部分用于保證連貫性，但不能看到太多，必須主要依靠當前的視覺觀察和語言指令來做決策。這樣既保證了動作的流暢連接，又確保了機器人保持對環境變化的敏感反應。

在具體的部署過程中，研究團隊設計了一個精妙的時間同步機制。機器人每次生成一個包含多個時間步的動作塊，然后只執行其中的一部分，同時開始規劃下一個動作塊。當下一個動作塊規劃完成時，正好可以接替當前動作塊的執行。這個過程就像工廠流水線一樣精確協調，確保沒有任何停頓或浪費。

整個系統在消費級GPU（NVIDIA GeForce RTX 4090）上的推理時間僅為80毫秒，這意味著機器人可以以超過每秒10次的頻率更新動作計劃。這種反應速度已經足以支持大多數日常任務的實時執行，讓機器人的動作看起來自然流暢，就像人類操作一樣。

四、真槍實彈的考驗：從仿真到現實的全面測試

為了驗證Xiaomi-Robotics-0的實際能力，研究團隊設計了一套從虛擬仿真到真實世界的全方位測試方案。這就像培訓一個運動員，既要在訓練場上練習基本功，也要在真正的比賽場地上檢驗實戰能力。

在仿真環境測試中，Xiaomi-Robotics-0在三個主要基準測試平臺上都取得了目前最佳成績。在LIBERO測試中，系統達到了98.7%的平均成功率，這意味著幾乎每100次任務中只有不到2次會失敗。這個成績就像一個技藝精湛的工匠，幾乎不會在常規任務上出錯。

CALVIN測試平臺更具挑戰性，它要求機器人連續完成5個相關任務，就像讓機器人處理一個復雜的工作流程。在這項測試中，Xiaomi-Robotics-0平均能夠連續完成4.75到4.80個任務，明顯優于其他競爭系統。這表明系統不僅能處理單個任務，還能很好地處理任務之間的邏輯關系和狀態轉換。

SimplerEnv測試平臺則檢驗機器人在更接近真實世界環境中的表現。這個平臺特別設計了視覺匹配和視覺變化兩種測試模式，分別檢驗機器人在標準環境和變化環境中的適應能力。Xiaomi-Robotics-0在視覺匹配模式下達到85.5%成功率，在更困難的視覺變化模式下也達到了74.7%的成功率。這種強健的適應能力證明了系統具有良好的泛化性能。

但真正的考驗來自現實世界的實際操作任務。研究團隊選擇了兩個極具挑戰性的任務來測試系統的實際能力：樂高積木拆裝分類和毛巾折疊。這兩個任務分別代表了剛性物體操作和柔性物體處理的典型場景。

樂高拆裝任務要求機器人將復雜的樂高結構拆解成單獨的積木塊，并根據顏色將它們分類放入不同的收納盒。這個任務需要精確的雙手協調、適當的力度控制以及準確的視覺識別能力。機器人必須能夠判斷哪些積木塊可以安全分離，如何施加合適的力量，以及如何準確地將小積木放入正確的位置。

毛巾折疊任務則更具挑戰性，因為布料是軟質材料，其形狀和狀態隨時在變化。機器人需要學會如何抓取毛巾的合適位置，如何展開皺巴巴的毛巾，如何進行精確的折疊操作，以及如何處理折疊過程中出現的不規整情況。這類似于教會機器人處理"活"的、不斷變化的工作對象。

在這兩個現實任務的測試中，Xiaomi-Robotics-0不僅成功率很高，更重要的是展現出了出色的執行效率。在樂高拆裝任務中，系統的吞吐量明顯超過了對比方法，意味著它能更快地完成任務。在毛巾折疊任務中，系統達到了每分鐘1.2條毛巾的處理速度，這已經接近熟練工人的工作效率。

特別值得注意的是，系統在處理異常情況時表現出了良好的魯棒性。比如在毛巾折疊任務中，當機器人意外抓到毛巾的多層時，傳統的"訓練時條件"方法往往會陷入重復的錯誤動作循環，就像一個程序卡死一樣。而Xiaomi-Robotics-0能夠識別這種異常情況并調整策略，展現出了更強的適應能力和問題解決能力。

五、保持"博學多才"：視覺語言能力的完美保留

在開發機器人操作能力的過程中，研究團隊面臨一個重要挑戰：如何確保機器人在學會"動手"的同時不忘記"動腦"。這就像培養一個既要有實際操作技能又要保持學術水平的復合型人才一樣困難。

為了驗證Xiaomi-Robotics-0是否成功保持了強大的視覺語言理解能力，研究團隊在十個不同的標準測試平臺上對系統進行了全面評估。這些測試覆蓋了從基礎的圖像描述、問答對話，到復雜的圖表理解、科學推理等各個方面的能力。

在綜合能力測試中，Xiaomi-Robotics-0在大多數項目上都與原始的視覺語言模型（Qwen3-VL-4B-Instruct）保持了相近的性能水平。這意味著系統在學習機器人操作技能的同時，并沒有發生"災難性遺忘"——它仍然能夠很好地理解圖像內容、回答視覺問題、識別文字信息等。

更令人驚喜的是，在具身推理基準測試ERQA中，Xiaomi-Robotics-0的表現甚至略微超過了原始模型（40.8分對比40.0分）。研究團隊認為這種改善可能來自于機器人軌跡數據的加入——這些數據幫助系統更好地理解物理世界中的空間關系和動作邏輯。

這種"多才多藝"的能力保持對于實際應用非常重要。在現實場景中，機器人助手不僅需要執行具體的操作任務，還需要能夠與人類進行自然交流，理解復雜的指令描述，甚至回答用戶關于環境或任務的各種問題。Xiaomi-Robotics-0展現出的這種綜合能力正是未來智能機器人助手的理想特征。

研究團隊通過對比實驗進一步證明了聯合訓練策略的重要性。當他們嘗試訓練一個沒有視覺語言數據的版本時，這個版本在所有視覺語言測試中的表現都接近于零，證明了專門的視覺語言訓練對于保持這些能力的關鍵作用。同樣，其他一些沒有采用適當策略的競爭方法也出現了明顯的能力退化現象。

這些結果表明，小米研究團隊成功找到了一個在機器人操作能力和通用智能能力之間的平衡點。他們開發的系統既是一個優秀的機器人操作員，也是一個稱職的智能對話伙伴，這為未來開發真正實用的家庭機器人助手奠定了堅實基礎。

六、技術創新背后的深層意義

Xiaomi-Robotics-0的成功不僅僅是一個技術突破，更代表了機器人智能發展的一個重要里程碑。這項研究解決了長期困擾機器人領域的幾個核心問題，為未來的智能機器人發展指明了方向。

首先，這項研究證明了"大一統"方法的可行性。傳統的機器人系統往往需要為每個特定任務單獨設計和訓練，就像專業工種的工人只能勝任特定工作一樣。而Xiaomi-Robotics-0展示了一種"通才"型機器人的可能性——同一個系統可以處理完全不同類型的任務，從剛性物體操作到柔性材料處理，從精細裝配到空間整理。

其次，研究團隊成功解決了實時性與流暢性的平衡問題。過去的智能機器人要么反應迅速但動作簡單，要么能力強大但響應遲緩。Xiaomi-Robotics-0通過巧妙的異步執行策略，實現了既聰明又敏捷的表現，這為機器人在動態環境中的實際應用鋪平了道路。

從技術路徑選擇的角度來看，這項研究驗證了"先通用再專精"的發展策略。通過先在大規模多樣化數據上進行預訓練，再針對特定應用進行精調，系統獲得了比從零開始訓練更好的性能和更強的泛化能力。這個策略與近年來人工智能領域的主流發展趨勢高度一致。

更重要的是，Xiaomi-Robotics-0的開源策略為整個機器人研究社區提供了寶貴的基礎設施。研究團隊公開了預訓練模型、代碼和相關工具，這意味著其他研究者可以在這個基礎上進行進一步的創新和改進，而不需要從頭開始重復基礎工作。這種開放共享的態度有望加速整個領域的發展進程。

從實際應用的角度來看，這項研究距離真正的商業化應用還需要進一步的工程化改進。目前系統仍然需要相對較好的硬件支持，而且在處理一些極端情況時可能還需要更多的訓練數據和優化。但是，它已經展現出了在可控環境中穩定工作的能力，這為家庭服務機器人、工業輔助機器人等應用場景提供了新的可能性。

說到底，Xiaomi-Robotics-0代表的不僅是技術進步，更是我們向著真正智能機器人助手夢想邁出的重要一步。雖然距離科幻電影中無所不能的機器人管家還有距離，但這項研究讓我們看到了這個未來的輪廓正在變得越來越清晰。當機器人真正能夠理解我們的需求，觀察我們的環境，并且流暢地執行復雜任務時，它們就不再只是冰冷的機械設備，而是真正有用的智能伙伴。

隨著這類技術的不斷成熟和普及，我們可能很快就會看到真正實用的家庭機器人助手走進千家萬戶，幫助我們處理日常生活中的各種瑣事，讓我們有更多時間專注于真正重要的事情。這不僅會改變我們的生活方式，也可能重新定義人類與技術之間的關系。

Q&A

Q1：Xiaomi-Robotics-0和傳統機器人有什么不同？

A：Xiaomi-Robotics-0最大的不同是它具備了"看、聽、想、做"的完整能力鏈。傳統機器人通常只能按固定程序重復特定動作，而這個系統能通過攝像頭觀察環境，理解語言指令，然后規劃出合適的動作序列來完成任務。它更像一個真正的智能助手，而不是簡單的自動化設備。

Q2：這個機器人系統能處理哪些實際任務？

A：目前已經驗證的任務包括樂高積木的拆裝分類和毛巾折疊兩大類。樂高任務需要精確的雙手協調和力度控制，毛巾折疊則要處理柔軟材料的復雜變形。這兩個任務代表了剛性物體操作和柔性物體處理的典型場景，證明系統具備處理多種日常任務的潛力。

Q3：普通人什么時候能用上這樣的機器人助手？

A：雖然Xiaomi-Robotics-0已經展現出令人印象深刻的能力，但距離商業化應用還需要時間。目前系統需要專業硬件支持，成本較高，而且在極端情況下的處理能力還需要進一步提升。不過隨著技術成熟和成本下降，未來幾年內我們很可能看到基于類似技術的家用機器人產品。