英偉達(dá)開放物理AI模型助力機(jī)器人與自動(dòng)駕駛發(fā)展

開源已成為推動(dòng)機(jī)器人和自動(dòng)駕駛創(chuàng)新的重要力量。通過提供從仿真框架到AI模型的關(guān)鍵基礎(chǔ)設(shè)施，英偉達(dá)正在推動(dòng)協(xié)作開發(fā)，加速實(shí)現(xiàn)更安全、更強(qiáng)大的自主系統(tǒng)。

在本月的CES展會(huì)上，英偉達(dá)發(fā)布了一套全新的開放物理AI模型和框架，旨在加速人形機(jī)器人、自動(dòng)駕駛汽車和其他物理AI實(shí)體的開發(fā)。這些工具覆蓋了機(jī)器人開發(fā)的整個(gè)生命周期——從高保真度世界仿真和合成數(shù)據(jù)生成，到云原生編排和邊緣部署，為開發(fā)者提供了一個(gè)模塊化工具包，用于構(gòu)建能夠在真實(shí)世界中推理、學(xué)習(xí)和行動(dòng)的自主系統(tǒng)。

OpenUSD提供了通用框架，標(biāo)準(zhǔn)化了3D數(shù)據(jù)在這些物理AI工具之間的共享方式，使開發(fā)者能夠構(gòu)建準(zhǔn)確的數(shù)字孿生體，并在從仿真到部署的過程中無縫復(fù)用。基于OpenUSD構(gòu)建的英偉達(dá)Omniverse庫(kù)，為整個(gè)技術(shù)棧提供真實(shí)仿真的數(shù)據(jù)源。

英偉達(dá)物理AI技術(shù)棧的實(shí)際應(yīng)用

在CES 2025展會(huì)上，開發(fā)者將英偉達(dá)物理AI技術(shù)棧從實(shí)驗(yàn)室?guī)У搅苏箯d，展示了從重型設(shè)備和工廠助手到社交和服務(wù)機(jī)器人的各類設(shè)備。

該技術(shù)棧整合了英偉達(dá)Cosmos世界模型、英偉達(dá)Isaac技術(shù)（包括全新的Isaac Lab-Arena開源框架用于策略評(píng)估）、英偉達(dá)Alpamayo開放產(chǎn)品組合（涵蓋自動(dòng)駕駛汽車的AI模型、仿真框架和物理AI數(shù)據(jù)集），以及英偉達(dá)OSMO框架用于跨計(jì)算環(huán)境的訓(xùn)練編排。

卡特彼勒的Cat AI助手采用英偉達(dá)Nemotron開放模型驅(qū)動(dòng)智能體AI，運(yùn)行在英偉達(dá)Jetson Thor邊緣AI模塊上，將自然語言交互直接帶入重型車輛駕駛室。操作員可以通過"Hey Cat"式的提問獲得逐步指導(dǎo)，還可以通過語音調(diào)整安全參數(shù)。

在后臺(tái)，卡特彼勒使用Omniverse庫(kù)構(gòu)建工廠和作業(yè)現(xiàn)場(chǎng)的數(shù)字孿生體，幫助仿真布局、交通模式和多機(jī)器工作流程。這些洞察在部署到作業(yè)現(xiàn)場(chǎng)之前會(huì)反饋到設(shè)備和車隊(duì)中，使AI輔助操作更加安全高效。

LEM外科展示了其Dynamis機(jī)器人手術(shù)系統(tǒng)，該系統(tǒng)已獲FDA批準(zhǔn)并在脊柱手術(shù)中得到常規(guī)臨床應(yīng)用。新一代系統(tǒng)采用英偉達(dá)Jetson AGX Thor進(jìn)行計(jì)算，英偉達(dá)Holoscan進(jìn)行實(shí)時(shí)傳感器處理，英偉達(dá)Isaac醫(yī)療版訓(xùn)練其自主機(jī)械臂。

LEM外科還使用英偉達(dá)Cosmos Transfer——一個(gè)開放的、完全可定制的世界模型，支持基于物理的合成數(shù)據(jù)生成——來生成合成訓(xùn)練數(shù)據(jù)，并使用英偉達(dá)Isaac Sim框架進(jìn)行數(shù)字孿生仿真。作為專為硬組織手術(shù)設(shè)計(jì)的雙臂人形手術(shù)機(jī)器人，Dynamis系統(tǒng)模擬人類外科醫(yī)生的靈巧性，能夠以更高精度執(zhí)行復(fù)雜的脊柱手術(shù)，減輕外科醫(yī)生和手術(shù)助手的體力負(fù)擔(dān)。

NEURA Robotics基于完整的英偉達(dá)技術(shù)棧構(gòu)建認(rèn)知機(jī)器人，在部署到家庭環(huán)境和工作場(chǎng)所之前，使用Isaac Sim和Isaac Lab在基于OpenUSD的數(shù)字孿生體中訓(xùn)練其4NE1人形機(jī)器人和MiPA服務(wù)機(jī)器人。該公司使用英偉達(dá)Isaac GR00T-Mimic對(duì)Isaac GR00T基礎(chǔ)模型進(jìn)行后訓(xùn)練。

此外，NEURA Robotics正與SAP和英偉達(dá)合作，將SAP的Joule智能體與其機(jī)器人集成，使用Mega英偉達(dá)Omniverse藍(lán)圖在復(fù)雜、逼真的操作場(chǎng)景中仿真和優(yōu)化機(jī)器人行為，然后將這些智能體和行為部署到公司的Neuraverse生態(tài)系統(tǒng)以及現(xiàn)實(shí)世界的機(jī)器人車隊(duì)中。

AgiBot使用英偉達(dá)Cosmos Predict 2作為其Genie Envisioner（GE-Sim）平臺(tái)的世界建模主干——使該平臺(tái)能夠生成基于強(qiáng)大視覺和物理先驗(yàn)的動(dòng)作條件視頻。將這些數(shù)據(jù)與Isaac Sim和Isaac Lab相結(jié)合，以及在AgiBot自有數(shù)據(jù)上進(jìn)行后訓(xùn)練，使得在Genie Envisioner中開發(fā)的策略能夠更可靠地遷移到Genie2人形機(jī)器人和基于Jetson Thor的緊湊型桌面機(jī)器人上。

Intbot使用英偉達(dá)Cosmos Reason 2開放模型為其社交機(jī)器人提供現(xiàn)實(shí)世界的"第六感"——利用該模型的推理能力識(shí)別超越簡(jiǎn)單腳本任務(wù)的簡(jiǎn)單社交線索和安全語境。在其Cosmos Cookbook示例中，Intbot展示了推理視覺語言模型如何幫助機(jī)器人決定何時(shí)說話以及如何更自然地與人類互動(dòng)。

下一代機(jī)器人開發(fā)工具

英偉達(dá)最近推出了Agile，這是一個(gè)基于Isaac Lab的人形機(jī)器人運(yùn)動(dòng)操控引擎，為在Unitree G1和LimX Dynamics TRON等平臺(tái)上訓(xùn)練強(qiáng)健的強(qiáng)化學(xué)習(xí)策略提供了完整的、從仿真到現(xiàn)實(shí)驗(yàn)證的工作流程。

機(jī)器人開發(fā)者可以使用Agile內(nèi)置的任務(wù)配置、用于決策的馬爾可夫決策過程數(shù)學(xué)模型、訓(xùn)練工具和確定性評(píng)估工具來調(diào)整策略。然后，開發(fā)者可以在Isaac Lab中對(duì)這些策略進(jìn)行壓力測(cè)試，并更可靠、高效地將運(yùn)動(dòng)和全身行為遷移到現(xiàn)實(shí)世界的機(jī)器人上。

社區(qū)合作與開放生態(tài)

Hugging Face和英偉達(dá)正通過將英偉達(dá)Isaac GR00T N模型和仿真框架集成到LeRobot生態(tài)系統(tǒng)中，將兩個(gè)機(jī)器人社區(qū)聯(lián)合起來。開發(fā)者現(xiàn)在可以直接在LeRobot中訪問Isaac GR00T N1.6模型和Isaac Lab-Arena，以簡(jiǎn)化策略訓(xùn)練和評(píng)估。

此外，Hugging Face的開源Reachy 2人形機(jī)器人現(xiàn)已與英偉達(dá)Jetson Thor完全互操作，支持直接部署先進(jìn)的視覺語言動(dòng)作（VLA）模型，實(shí)現(xiàn)強(qiáng)健的現(xiàn)實(shí)世界性能。

ROBOTIS作為智能伺服器、工業(yè)執(zhí)行器、機(jī)械手、開源人形平臺(tái)和教育機(jī)器人套件的領(lǐng)先開發(fā)商，使用英偉達(dá)Isaac技術(shù)構(gòu)建了一個(gè)開源的仿真到現(xiàn)實(shí)流水線。該工作流程從Isaac Sim中的高保真數(shù)據(jù)生成開始，使用GR00T-Mimic進(jìn)行增強(qiáng)來擴(kuò)展訓(xùn)練集，然后微調(diào)基于VLA的Isaac GR00T N模型，直接部署到硬件上——加速了從仿真到強(qiáng)健現(xiàn)實(shí)世界任務(wù)的轉(zhuǎn)換。

Q&A

Q1：英偉達(dá)物理AI技術(shù)棧包含哪些核心組件？

A：英偉達(dá)物理AI技術(shù)棧包含英偉達(dá)Cosmos世界模型、Isaac技術(shù)（包括Isaac Lab-Arena開源框架）、Alpamayo開放產(chǎn)品組合（涵蓋自動(dòng)駕駛汽車的AI模型和仿真框架）、以及OSMO編排框架，覆蓋從仿真到邊緣部署的完整開發(fā)周期。

Q2：OpenUSD在機(jī)器人開發(fā)中起什么作用？

A：OpenUSD提供通用框架，標(biāo)準(zhǔn)化3D數(shù)據(jù)在物理AI工具間的共享方式，使開發(fā)者能夠構(gòu)建準(zhǔn)確的數(shù)字孿生體，并在從仿真到部署過程中無縫復(fù)用。基于OpenUSD的Omniverse庫(kù)為整個(gè)技術(shù)棧提供真實(shí)仿真的數(shù)據(jù)源。

Q3：這些技術(shù)在醫(yī)療機(jī)器人領(lǐng)域有哪些應(yīng)用？

A：LEM外科的Dynamis機(jī)器人手術(shù)系統(tǒng)是典型應(yīng)用，該系統(tǒng)已獲FDA批準(zhǔn)用于脊柱手術(shù)。它使用Jetson AGX Thor進(jìn)行計(jì)算，Holoscan處理實(shí)時(shí)傳感器數(shù)據(jù)，Isaac醫(yī)療版訓(xùn)練自主機(jī)械臂，并通過Cosmos Transfer生成合成訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)高精度復(fù)雜手術(shù)操作。