巫師3、茶杯頭、賽博朋克2077都能玩：英偉達(dá)把會(huì)打1000多款游戲的大模型全開源了

NVIDIA 研究團(tuán)隊(duì)近日開源發(fā)布了 NitroGen——一個(gè)以“玩游戲”為核心訓(xùn)練目標(biāo)的基礎(chǔ)模型，覆蓋 1000 多款不同類型的游戲，包括 RPG、平臺(tái)跳躍、吃雞、賽車，以及 2D / 3D 等多種形態(tài)。

但其目標(biāo)并非打造“更強(qiáng)的游戲 AI”，而是探索一種更具普適性的具身智能訓(xùn)練范式：在大規(guī)模模擬環(huán)境中，學(xué)習(xí)跨物理規(guī)則的通用運(yùn)動(dòng)控制能力。

研究團(tuán)隊(duì)發(fā)現(xiàn)，最初為機(jī)器人場(chǎng)景設(shè)計(jì)的 GR00T N1.5 架構(gòu)，在幾乎不做結(jié)構(gòu)性修改的情況下，就可以遷移到游戲環(huán)境中，并適配機(jī)制差異極大的任務(wù)。這一結(jié)果再次驗(yàn)證了“苦澀教訓(xùn)（Bitter Lesson）”在具身智能領(lǐng)域的有效性：
一、一個(gè) 4 萬(wàn)+ 小時(shí)、高質(zhì)量、來(lái)自真實(shí)世界的公開視頻游戲數(shù)據(jù)集；
二、一個(gè)用于連續(xù)運(yùn)動(dòng)控制、能力極強(qiáng)的基礎(chǔ)模型；
三、一個(gè) Gym API，可以把任何游戲二進(jìn)制程序封裝起來(lái)跑 rollout。

其中，數(shù)據(jù)集本身也是 NitroGen 的關(guān)鍵底座之一：該數(shù)據(jù)集規(guī)模龐大且種類繁多——包含 800 多款游戲，每款游戲的數(shù)據(jù)時(shí)長(zhǎng)均超過(guò) 1 小時(shí)；另有 15 款游戲的數(shù)據(jù)時(shí)長(zhǎng)均超過(guò) 1000 小時(shí)。游戲類型涵蓋動(dòng)作角色扮演、平臺(tái)跳躍、動(dòng)作冒險(xiǎn)、體育、類銀河戰(zhàn)士惡魔城、Roguelike 等。

在數(shù)據(jù)構(gòu)建層面，團(tuán)隊(duì)采用了一種頗具工程巧思的方法。大量游戲玩家會(huì)在視頻中疊加實(shí)時(shí)手柄輸入，用于展示操作技巧。研究人員訓(xùn)練了一個(gè)分割模型，自動(dòng)識(shí)別并提取這些手柄顯示區(qū)域，將其轉(zhuǎn)化為“專家級(jí)動(dòng)作標(biāo)簽”；同時(shí)對(duì)該區(qū)域進(jìn)行遮擋，避免模型通過(guò)視覺(jué)捷徑“作弊”。在此基礎(chǔ)上，GR00T N1.5 的一個(gè)變體通過(guò) Diffusion Transformer，直接學(xué)習(xí)從像素到動(dòng)作的映射關(guān)系。

值得注意的是，NitroGen完全開源：包括預(yù)訓(xùn)練權(quán)重、完整動(dòng)作數(shù)據(jù)集、訓(xùn)練與推理代碼，以及一份技術(shù)細(xì)節(jié)充分的白皮書。

在更宏觀的視角下，研究者提出了一個(gè)頗具挑釁意味的判斷：“今天，機(jī)器人學(xué)幾乎是所有困難 AI 問(wèn)題的‘超集’；明天，它可能只是具身 AGI 巨大潛在空間中的一個(gè)子集。 ”

如果這一判斷成立，未來(lái)的機(jī)器人控制，或許將不再是手工設(shè)計(jì)的系統(tǒng)工程，而更像是一次“prompt”：按需生成、即取即用。