英偉達打造機器人"大腦"：從44萬小時人類視頻中學(xué)會靈巧操作

這項由英偉達公司領(lǐng)導(dǎo)、聯(lián)合香港科技大學(xué)、加州大學(xué)伯克利分校、華盛頓大學(xué)、斯坦福大學(xué)、韓國科學(xué)技術(shù)院、多倫多大學(xué)、加州大學(xué)圣地亞哥分校、德克薩斯大學(xué)奧斯汀分校等多家頂尖機構(gòu)的研究于2026年2月發(fā)表，研究成果以"DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos"為題發(fā)布，有興趣深入了解的讀者可以通過arXiv:2602.06949v1查詢完整論文。

當你看著一個嬰兒學(xué)會拿積木、堆疊玩具時，你是否想過這個過程有多神奇？嬰兒通過觀察成年人的動作，就能逐漸掌握精細的手部動作。如今，英偉達的研究團隊實現(xiàn)了類似的突破——他們讓機器人通過觀看人類的日常視頻，學(xué)會了復(fù)雜的操作技能。

現(xiàn)有的機器人就像是在溫室里長大的孩子，只能在特定環(huán)境下完成特定任務(wù)。一旦遇到?jīng)]見過的物體或新的環(huán)境，它們就會變得手足無措。這就好比一個只會在自己家廚房做菜的人，到了朋友家就不知道怎么下手了。造成這種局限的根本原因是訓(xùn)練數(shù)據(jù)太少太單一——就像是只給孩子看了幾本相同的圖畫書，卻期望他們理解整個世界。

英偉達團隊的解決方案就像是給機器人提供了一個包含44萬小時內(nèi)容的"人生經(jīng)歷圖書館"。他們收集了大量人類日?；顒拥牡谝蝗朔Q視頻，從廚房做飯到辦公室整理文件，從修理電器到藝術(shù)創(chuàng)作，幾乎涵蓋了人類生活的方方面面。這些視頻記錄了人們?nèi)绾闻c各種物體互動，如何解決實際問題，如何完成復(fù)雜任務(wù)。

但是觀看視頻學(xué)習(xí)并不簡單。傳統(tǒng)方法就像是讓學(xué)生只看電影卻不準做筆記一樣——雖然看到了動作，但不知道為什么要這樣做。研究團隊巧妙地解決了這個問題：他們開發(fā)了一種"動作密碼"系統(tǒng)，能夠從視頻畫面的變化中自動推斷出執(zhí)行者的意圖和動作。這就像是一個超級觀察員，不僅能看出你在做什么，還能理解你為什么這樣做。

一、從人類經(jīng)驗到機器智慧的橋梁

研究團隊面臨的第一個挑戰(zhàn)就像是要教一個從未見過廚房的人學(xué)會烹飪。傳統(tǒng)的機器人訓(xùn)練方法需要專門的設(shè)備和環(huán)境，就好比只能在專業(yè)廚師學(xué)校里學(xué)做菜。但真實世界里，人們在各種各樣的廚房里做飯——有的廚房很小，有的很大；有的用電爐，有的用燃氣灶；有的工具齊全，有的只有基本設(shè)備。

DreamDojo的創(chuàng)新之處在于它學(xué)會了從人類的第一人稱視頻中提取通用的操作知識。研究團隊構(gòu)建了一個龐大的數(shù)據(jù)集DreamDojo-HV，包含了43827小時的人類日?；顒右曨l。這些視頻不是在實驗室里拍攝的標準化動作演示，而是真實的生活場景——人們在家里收拾房間，在辦公室處理文件，在工坊修理物品，在商店購買商品。

收集到視頻只是第一步，真正的挑戰(zhàn)是如何讓機器理解這些視頻中的動作意圖。人類觀看別人做事時，能夠自然地理解對方的目的和手段。但對機器來說，視頻只是一串彩色像素的變化。研究團隊開發(fā)了一種"潛在動作"模型，這個模型就像是一個經(jīng)驗豐富的觀察者，能夠從畫面的細微變化中推斷出執(zhí)行者的動作意圖。

這個潛在動作模型的工作原理類似于我們?nèi)粘５挠^察和推理過程。當你看到某人的手從桌子上方移動到一個杯子附近，然后杯子發(fā)生了位移，你會自然地推斷出這個人剛剛拿起了杯子。潛在動作模型做的就是這樣的工作——它觀察連續(xù)的畫面幀，分析物體位置和形狀的變化，然后推導(dǎo)出導(dǎo)致這些變化的可能動作。

更重要的是，這個系統(tǒng)學(xué)會了將不同身體結(jié)構(gòu)（人手和機器人手臂）之間的動作進行轉(zhuǎn)換。就像一個優(yōu)秀的舞蹈教練能夠?qū)爬傥枵叩膭幼鞲木幗o街舞者一樣，系統(tǒng)能夠理解動作的本質(zhì)意圖，而不只是機械地模仿表面形式。當系統(tǒng)看到人類用手指輕點物體表面時，它理解的不是"用手指點擊"這個具體動作，而是"輕柔接觸目標物體"這個操作意圖，然后用機器人的方式來實現(xiàn)同樣的效果。

二、構(gòu)建機器人的"世界認知"系統(tǒng)

DreamDojo的核心是一個"世界模型"，這個概念聽起來很抽象，但實際上類似于我們大腦中對現(xiàn)實世界的認知模擬。當你計劃重新布置房間時，你會在腦海中想象移動家具后的效果，預(yù)測哪種布局更好看、更實用。DreamDojo做的就是類似的事情——它在"大腦"中構(gòu)建了一個虛擬世界，能夠預(yù)測不同動作會產(chǎn)生什么結(jié)果。

這個世界模型的訓(xùn)練過程就像是培養(yǎng)一個極其細心的觀察者。系統(tǒng)需要學(xué)會理解物理世界的基本規(guī)律：當你推動一個球時，球會朝著推力的方向滾動；當你松開手中的杯子時，杯子會掉落；當你轉(zhuǎn)動門把手時，門會開啟。這些對人類來說理所當然的物理常識，機器需要通過大量觀察學(xué)習(xí)才能掌握。

研究團隊在模型架構(gòu)上做了幾個關(guān)鍵改進。首先，他們讓系統(tǒng)學(xué)習(xí)"相對動作"而不是"絕對位置"。這就像是教人騎自行車時，重要的不是記住每個時刻車輪的確切位置，而是學(xué)會保持平衡、控制方向的技巧。通過關(guān)注動作的相對變化，系統(tǒng)能夠更好地泛化到不同的環(huán)境和情況。

其次，他們引入了"時間一致性"的訓(xùn)練目標。傳統(tǒng)方法就像是讓學(xué)生只看單張照片來理解故事情節(jié)，而新方法確保系統(tǒng)理解動作的連續(xù)性和因果關(guān)系。當系統(tǒng)預(yù)測"拿起杯子"這個動作時，它不僅要預(yù)測杯子位置的變化，還要確保整個過程在物理上合理——手要先接近杯子，然后握住，最后帶動杯子移動。

為了處理視頻數(shù)據(jù)中動作標簽缺失的問題，研究團隊開發(fā)了一個巧妙的自監(jiān)督學(xué)習(xí)方法。系統(tǒng)通過比較連續(xù)的視頻幀，學(xué)會了提取幀與幀之間的"動作精華"。這個過程類似于一個經(jīng)驗豐富的偵探，通過觀察現(xiàn)場的變化推斷出發(fā)生了什么事情。即使沒有人告訴系統(tǒng)"這里發(fā)生了拿取動作"，它也能從杯子位置的變化、手部姿態(tài)的調(diào)整等細節(jié)中推斷出動作的本質(zhì)。

三、讓機器人學(xué)會"舉一反三"

DreamDojo最令人印象深刻的能力是它的泛化性——就像是一個聰明的學(xué)生，學(xué)會一個概念后能夠在不同情況下靈活運用。當系統(tǒng)在人類視頻中學(xué)會了"抓取圓形物體"的概念后，它不僅能識別蘋果和橙子，還能處理之前從未見過的球形裝飾品或圓形工具。

這種泛化能力的實現(xiàn)依賴于系統(tǒng)對物理原理的深層理解。研究團隊設(shè)計了多個挑戰(zhàn)性測試來驗證這一點。他們讓機器人在完全沒有見過的環(huán)境中操作全新的物體。結(jié)果顯示，DreamDojo不僅能夠成功完成任務(wù)，而且它的操作方式顯示出對物體特性的準確理解——它知道易碎物品需要輕拿輕放，知道重物需要更穩(wěn)固的抓取方式，知道柔軟物品的形變特性。

更有趣的是，系統(tǒng)展現(xiàn)出了"舉一反三"的推理能力。在一個測試中，研究人員讓機器人操作一個從未見過的復(fù)合工具。系統(tǒng)能夠分析工具的結(jié)構(gòu)，理解各部分的功能，然后采用合適的操作策略。這就像是一個人第一次看到開瓶器，通過觀察其結(jié)構(gòu)就能推斷出使用方法一樣。

研究團隊特別設(shè)計了"反事實測試"來驗證系統(tǒng)的理解深度。他們讓機器人預(yù)測如果采用錯誤的操作方式會發(fā)生什么。比如，如果試圖用錯誤的角度抓取易滑物體，系統(tǒng)能夠準確預(yù)測物體會滑落。這種預(yù)測能力表明系統(tǒng)不只是簡單地記憶動作模式，而是真正理解了物理世界的運行規(guī)律。

系統(tǒng)的學(xué)習(xí)效率也令人驚嘆。傳統(tǒng)機器人需要在特定任務(wù)上進行數(shù)千次試錯才能掌握基本技能，而DreamDojo通過人類視頻的預(yù)訓(xùn)練，只需要相對少量的機器人實際操作數(shù)據(jù)就能快速適應(yīng)新任務(wù)。這就像是一個已經(jīng)通過觀察學(xué)會了基本原理的學(xué)生，只需要少量練習(xí)就能熟練應(yīng)用知識。

四、實時交互的技術(shù)突破

為了讓DreamDojo能夠真正應(yīng)用于實際場景，研究團隊解決了一個關(guān)鍵的技術(shù)挑戰(zhàn)：如何讓系統(tǒng)實時響應(yīng)。原始的模型雖然預(yù)測準確，但運行速度就像是一個思考很久才給出答案的人，無法滿足實時操作的需求。機器人在真實環(huán)境中工作時，需要能夠快速響應(yīng)環(huán)境變化，就像人類在復(fù)雜情況下能夠迅速調(diào)整動作一樣。

研究團隊開發(fā)了一個"師生蒸餾"系統(tǒng)來解決這個問題。原始的復(fù)雜模型就像是一位學(xué)識淵博但思考緩慢的教授，而新的快速模型就像是一個反應(yīng)敏捷的學(xué)生。通過特殊的訓(xùn)練過程，學(xué)生模型學(xué)會了模仿教授的判斷結(jié)果，但響應(yīng)速度提升了近4倍，達到每秒10.81幀的實時處理能力。

這個加速過程不是簡單的壓縮，而是一種智能的知識轉(zhuǎn)移?？焖倌Ｐ筒粌H保持了原有的預(yù)測準確性，還獲得了一些新的能力。由于采用了不同的處理方式，快速模型能夠利用歷史信息來提高預(yù)測的一致性。這就像是一個經(jīng)驗豐富的司機，不僅能夠根據(jù)當前路況做判斷，還能結(jié)合之前的駕駛經(jīng)驗做出更好的決策。

實時處理能力的實現(xiàn)為DreamDojo開辟了多種實際應(yīng)用場景。研究團隊演示了"實時遙操作"功能，操作者可以通過VR設(shè)備控制機器人，系統(tǒng)會實時預(yù)測和顯示操作結(jié)果。這就像是給機器人裝上了一個"預(yù)知未來"的能力，操作者在執(zhí)行動作之前就能看到可能的結(jié)果，從而做出更好的決策。

五、多樣化應(yīng)用場景的實現(xiàn)

DreamDojo的實際應(yīng)用能力通過多個具體場景得到了驗證。研究團隊設(shè)計了一個"政策評估"實驗，讓不同版本的機器人控制算法在相同環(huán)境中執(zhí)行任務(wù)，然后用DreamDojo來預(yù)測和評估各種算法的表現(xiàn)。結(jié)果顯示，DreamDojo的預(yù)測與實際機器人的表現(xiàn)有著高達99.5%的相關(guān)性，這意味著研究人員可以在虛擬環(huán)境中快速測試新的控制算法，大大減少了實際機器人實驗的需要。

在"基于模型的規(guī)劃"應(yīng)用中，DreamDojo展現(xiàn)出了智能決策的能力。當面臨復(fù)雜任務(wù)時，系統(tǒng)會生成多個可能的行動方案，然后預(yù)測每個方案的結(jié)果，最終選擇最優(yōu)的執(zhí)行路徑。在水果分揀任務(wù)中，這種規(guī)劃能力將成功率提升了17%。系統(tǒng)不僅能夠預(yù)測單步操作的結(jié)果，還能進行多步推理，類似于象棋高手能夠預(yù)見幾步之后的局面。

"實時遙操作"是另一個令人興奮的應(yīng)用。操作者戴上VR頭盔，可以直接控制遠程機器人的動作。DreamDojo實時生成預(yù)測畫面，讓操作者能夠在安全的虛擬環(huán)境中"預(yù)演"動作效果。這種技術(shù)對于危險環(huán)境作業(yè)、精密裝配、遠程醫(yī)療等場景具有重要意義。操作者不再需要擔心操作失誤造成損失，因為他們可以先在虛擬環(huán)境中驗證操作的安全性和有效性。

研究團隊還展示了系統(tǒng)的環(huán)境適應(yīng)能力。他們將在實驗室環(huán)境中訓(xùn)練的模型直接應(yīng)用到辦公室、家庭、工廠等不同場景，機器人都能夠成功完成任務(wù)。更有趣的是，系統(tǒng)能夠處理它從未見過的物體組合和環(huán)境配置。比如，當遇到一個放在異常高度桌子上的物品時，系統(tǒng)能夠調(diào)整抓取策略，體現(xiàn)出真正的智能適應(yīng)性。

六、技術(shù)創(chuàng)新的深層價值

DreamDojo的技術(shù)突破不僅僅是工程上的成功，更代表了機器人學(xué)習(xí)范式的根本性轉(zhuǎn)變。傳統(tǒng)的機器人訓(xùn)練就像是在駕校里學(xué)開車——在標準化的環(huán)境中反復(fù)練習(xí)標準化的動作。而DreamDojo的方法更像是通過觀察有經(jīng)驗的司機在各種復(fù)雜路況下的駕駛行為來學(xué)習(xí)，因此能夠更好地應(yīng)對真實世界的復(fù)雜性和不確定性。

系統(tǒng)對"潛在動作"的理解達到了前所未有的深度。研究團隊發(fā)現(xiàn)，當系統(tǒng)觀察不同的人執(zhí)行相同類型的任務(wù)時，它能夠提取出動作的本質(zhì)特征，而忽略個體差異帶來的表面變化。這就像是一個優(yōu)秀的舞蹈編導(dǎo)，能夠從不同舞者的表演中提取出舞蹈的核心要素，然后指導(dǎo)新的舞者掌握這種舞蹈的精髓。

數(shù)據(jù)規(guī)模的突破也具有重要意義。44萬小時的視頻數(shù)據(jù)相當于一個人不間斷觀看50年的內(nèi)容，涵蓋了人類日常生活的絕大部分操作類型。這種數(shù)據(jù)豐富度確保了系統(tǒng)能夠?qū)W到真正通用的操作知識，而不是局限于特定場景的技巧。更重要的是，這些數(shù)據(jù)來自真實的生活場景，包含了各種"不完美"的操作——人們有時會犯錯、調(diào)整、重試，這些"失敗"的經(jīng)驗同樣寶貴，因為它們教會了系統(tǒng)如何處理不確定性和意外情況。

系統(tǒng)的架構(gòu)設(shè)計也體現(xiàn)了對人類學(xué)習(xí)機制的深刻洞察。人類學(xué)習(xí)新技能時，往往是通過觀察、模仿、實踐、反思的循環(huán)過程。DreamDojo模擬了這個過程：通過觀察人類視頻建立基礎(chǔ)理解，通過少量機器人操作數(shù)據(jù)進行技能轉(zhuǎn)移，然后在實際應(yīng)用中不斷優(yōu)化。這種學(xué)習(xí)方式比傳統(tǒng)的純粹試錯方法更加高效和可靠。

七、面向未來的技術(shù)展望

DreamDojo的成功開辟了通用機器人智能發(fā)展的新道路。研究團隊指出，隨著人類活動視頻數(shù)據(jù)的不斷增長和計算能力的提升，這類系統(tǒng)的能力還將繼續(xù)擴展。未來的版本可能會整合更多種類的傳感器數(shù)據(jù)，不僅學(xué)習(xí)視覺信息，還能理解聲音、觸覺、甚至氣味等多模態(tài)信息，形成更加完整的世界認知。

當前系統(tǒng)已經(jīng)展現(xiàn)出了令人鼓舞的泛化能力，但研究團隊認為還有很大的改進空間。未來的發(fā)展方向包括支持多視角觀察、處理更復(fù)雜的動態(tài)環(huán)境、學(xué)習(xí)更長期的任務(wù)規(guī)劃等。系統(tǒng)還可能會發(fā)展出主動學(xué)習(xí)的能力，當遇到不確定的情況時，能夠主動尋求更多信息或請求人類指導(dǎo)。

從更廣闊的角度來看，DreamDojo代表了人工智能發(fā)展的一個重要趨勢：從專用系統(tǒng)向通用系統(tǒng)的轉(zhuǎn)變。過去的機器人往往是為特定任務(wù)設(shè)計的專用工具，而DreamDojo這樣的系統(tǒng)更像是具有通用學(xué)習(xí)能力的智能體。它們不需要為每個新任務(wù)重新設(shè)計和訓(xùn)練，而是能夠快速適應(yīng)新的環(huán)境和需求。

這種通用性對于機器人產(chǎn)業(yè)的意義是深遠的。它將大大降低機器人應(yīng)用的門檻和成本，使得中小企業(yè)和普通家庭也能夠使用機器人技術(shù)。更重要的是，它為人機協(xié)作開辟了新的可能性。當機器人具備了類似人類的學(xué)習(xí)和適應(yīng)能力后，它們就能夠真正成為人類的智能伙伴，而不僅僅是執(zhí)行固定程序的工具。

說到底，DreamDojo的意義不僅在于技術(shù)上的突破，更在于它展示了一種新的可能性：機器可以通過觀察和學(xué)習(xí)來獲得智能，就像人類一樣。雖然目前的系統(tǒng)還有一些局限，比如在處理一些非常規(guī)動作時仍可能出錯，在預(yù)測復(fù)雜失敗情況時精度還不夠高，但這些都是技術(shù)發(fā)展過程中的正?，F(xiàn)象。重要的是，DreamDojo為我們指明了一個方向——通過大規(guī)模學(xué)習(xí)人類經(jīng)驗，機器人可能最終獲得接近人類的智能和適應(yīng)能力。

這項研究的成功也提醒我們，人工智能的發(fā)展不應(yīng)該是脫離人類經(jīng)驗的純技術(shù)推進，而應(yīng)該是對人類智能和經(jīng)驗的深入學(xué)習(xí)和模仿。DreamDojo通過學(xué)習(xí)人類44萬小時的生活經(jīng)驗，獲得了強大的通用操作能力，這種方法可能為未來的人工智能發(fā)展提供重要啟示。當我們思考如何讓機器更加智能時，也許答案就在于讓它們更好地學(xué)習(xí)人類的智慧和經(jīng)驗。有興趣深入了解這項研究的讀者，可以通過論文編號arXiv:2602.06949v1查詢完整的技術(shù)細節(jié)和實驗結(jié)果。

Q&A

Q1：DreamDojo是什么？

A：DreamDojo是由英偉達團隊開發(fā)的機器人世界模型，它的核心能力是通過觀看44萬小時的人類日常生活視頻，學(xué)會預(yù)測和控制機器人的復(fù)雜操作動作，讓機器人能夠在沒見過的環(huán)境中靈活完成各種任務(wù)。

Q2：DreamDojo跟傳統(tǒng)機器人訓(xùn)練方法有什么區(qū)別？

A：傳統(tǒng)方法就像在駕校學(xué)開車，只能在標準環(huán)境做標準動作。DreamDojo更像是通過觀察有經(jīng)驗司機在各種路況下駕駛來學(xué)習(xí)，所以能更好應(yīng)對真實世界的復(fù)雜情況，不需要為每個新任務(wù)重新訓(xùn)練。

Q3：普通人什么時候能用上DreamDojo技術(shù)？

A：目前DreamDojo還處于研究階段，主要在實驗室環(huán)境中驗證。但這項技術(shù)將為未來的家用機器人、工業(yè)自動化、遠程操作等應(yīng)用奠定基礎(chǔ)，預(yù)計幾年內(nèi)會看到相關(guān)商業(yè)產(chǎn)品的出現(xiàn)。