「不僅會(huì)想，還能準(zhǔn)確去做」VLA-R1把「推理+行動(dòng)」帶進(jìn)真實(shí)世界

在機(jī)器人與智能體領(lǐng)域，一個(gè)老大難問題是：當(dāng)你讓機(jī)器人 “把黃碗放進(jìn)白色空籃子” 或 “從微波爐里把牛奶取出來放到餐桌上” 時(shí)，它不僅要看懂環(huán)境，更要解釋指令、規(guī)劃路徑 / 可操作區(qū)域，并把這些推理落實(shí)為準(zhǔn)確的動(dòng)作。目前，很多 VLA（Vision-Language-Action）模型仍傾向直接輸出動(dòng)作，缺乏對(duì)可供性（affordance）與軌跡（trajectory）幾何關(guān)系的顯式推理，一旦遇到顏色相近、目標(biāo)重復(fù)或容器多選等場(chǎng)景，就容易出錯(cuò)。VLA-R1 的目標(biāo)，不僅把 “會(huì)想” 這步補(bǔ)上，而且通過強(qiáng)化學(xué)習(xí)進(jìn)一步加強(qiáng)執(zhí)行動(dòng)作的準(zhǔn)確性，讓機(jī)器人解釋清楚再去準(zhǔn)確執(zhí)行

VLA-R1 出場(chǎng)：它是什么？

• 論文標(biāo)題：VLA-R1: Enhancing Reasoning in Vision-Language-Action Models
• 文章鏈接：https://arxiv.org/abs/2510.01623
• 項(xiàng)目主頁：https://gigaai-research.github.io/VLA-R1/

一句話概括：VLA-R1 是一個(gè) “先推理、后執(zhí)行” 的 VLA（視覺 - 語言 - 行動(dòng)）基礎(chǔ)模型。它把鏈?zhǔn)剿季S（CoT）監(jiān)督可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)（RLVR，基于 GRPO）結(jié)合起來，同時(shí)優(yōu)化 “推理質(zhì)量” 和 “執(zhí)行正確性”。簡(jiǎn)單說，就是讓模型既能把思考過程講明白，還能把動(dòng)作做準(zhǔn)。

關(guān)鍵創(chuàng)新點(diǎn)

1）兩階段訓(xùn)練：SFT + RL（基于 GRPO）

先用顯式 CoT 監(jiān)督做有教師的指令微調(diào)（SFT），再用可驗(yàn)證獎(jiǎng)勵(lì)做后訓(xùn)練強(qiáng)化（GRPO）。后者通過組內(nèi)歸一化優(yōu)勢(shì)與 KL 約束，穩(wěn)定地把 “會(huì)想” 轉(zhuǎn)化為 “會(huì)做”。推理輸出采用固定結(jié)構(gòu)： + …，從而保證可讀、可查錯(cuò)。

2）三類 “可驗(yàn)證獎(jiǎng)勵(lì)”（RLVR）直擊 “看準(zhǔn) + 走對(duì) + 格式對(duì)”

• 空間對(duì)齊獎(jiǎng)勵(lì)（GIoU）：即使預(yù)測(cè)框與真值不相交也能得到有效梯度，也能提供有效梯度，顯著加速區(qū)域?qū)R與學(xué)習(xí)穩(wěn)定性；
• 軌跡一致性獎(jiǎng)勵(lì)（引入角度及段長(zhǎng)比值的 Fréchet 距離（ALHF））：綜合位置、切向角度與段長(zhǎng)尺度，懲罰 “軌跡形狀不對(duì)，彎曲不合理，段長(zhǎng)突變” 的情況；
• 輸出格式獎(jiǎng)勵(lì)：強(qiáng)制推理段與動(dòng)作段結(jié)構(gòu)化輸出，減少 “答非所問”。

3）VLA-CoT 數(shù)據(jù)引擎與 VLA-CoT-13K 數(shù)據(jù)集

為讓模型 “學(xué)會(huì)按步驟思考”，作者用Qwen2.5-VL-72B自動(dòng)生成可供性與軌跡兩類任務(wù)的結(jié)構(gòu)化 CoT，并在提示中固定四步范式，最終得到13K條與視覺 / 動(dòng)作嚴(yán)格對(duì)齊的 CoT 標(biāo)注，用作 SFT 的高質(zhì)量監(jiān)督信號(hào)。

實(shí)驗(yàn)速覽

VLA-R1 在四個(gè)層級(jí)進(jìn)行了系統(tǒng)評(píng)測(cè)：域內(nèi)（In-Domain）測(cè)試、域外（Out-of-Domain）測(cè)試、仿真平臺(tái)、真實(shí)機(jī)器人實(shí)驗(yàn)。此外還做了有無 CoT，RL 的消融實(shí)驗(yàn)以證明方法的有效性。

基準(zhǔn)集（In-Domain）

VLA-R1 的基準(zhǔn)集來自團(tuán)隊(duì)自建的VLA-CoT-13K數(shù)據(jù)引擎，共含約 1.3 萬條視覺 - 語言 - 行動(dòng)樣本，任務(wù)涵蓋 “可供性識(shí)別（Affordance Detection）” 與 “軌跡規(guī)劃（Trajectory Generation）” 兩大類。場(chǎng)景以桌面和實(shí)驗(yàn)室為主，光照均勻、背景簡(jiǎn)潔，包含碗、杯、勺、筆、盒子、籃子等常見物體，每條數(shù)據(jù)都配有精確的區(qū)域標(biāo)注、軌跡點(diǎn)坐標(biāo)和配套的鏈?zhǔn)剿季S推理。

實(shí)驗(yàn)結(jié)果

• 可供性 IoU，比強(qiáng)基線 ManipLVM-R1提升 17.78%
• 軌跡平均誤差（Avg），相對(duì)基線降 17.25%

域外集（Out-of-Domain）

為了檢驗(yàn)?zāi)Ｐ偷姆夯c語義遷移能力，研究團(tuán)隊(duì)引入兩個(gè)全新測(cè)試集：UMD DatasetVAIT Dataset。UMD 提供豐富的家庭物體及其功能標(biāo)簽（如 graspable、containable 等），而 VAIT 著重考察視覺場(chǎng)景與自然語言指令的對(duì)應(yīng)關(guān)系。與基準(zhǔn)集相比，域外數(shù)據(jù)在物體類別、背景風(fēng)格、光照條件及語言結(jié)構(gòu)上均存在顯著差異，幾乎不存在訓(xùn)練重疊。

實(shí)驗(yàn)結(jié)果

• 可供性 IoU，在 UMD 數(shù)據(jù)集上仍然保持領(lǐng)先。
• 軌跡平均誤差（Avg），在 VAIT 子集上展現(xiàn)穩(wěn)健泛化

真實(shí)機(jī)器人（4 個(gè)餐桌場(chǎng)景）

在 VLA-R1 的真實(shí)機(jī)器人實(shí)驗(yàn)中，作者共設(shè)計(jì)了四個(gè)桌面場(chǎng)景（S1–S4），每個(gè)場(chǎng)景都針對(duì)不同的環(huán)境復(fù)雜度與視覺干擾進(jìn)行布置，用以驗(yàn)證模型在真實(shí)視覺條件下的穩(wěn)健性與泛化性。S1 為彩色碗拾取與放置場(chǎng)景，主要測(cè)試模型在多種顏色相近物體下的目標(biāo)區(qū)分與空間定位能力；S2 為水果拾取場(chǎng)景，物體外觀相似且數(shù)量較多，用于考察模型在同類物體識(shí)別與實(shí)例辨析下的可供性推理；S3 為廚房復(fù)雜遮擋場(chǎng)景，實(shí)驗(yàn)臺(tái)上布置微波爐等大型遮擋物，考查模型在部分可見與非均勻光照環(huán)境下的穩(wěn)健推理；S4 為混合雜亂場(chǎng)景，包含多類別、不同屬性的日常物體，模擬多目標(biāo)混放與多容器選擇的真實(shí)桌面環(huán)境。四個(gè)場(chǎng)景均采用相同的機(jī)械臂與相機(jī)系統(tǒng)，在隨機(jī)物體排列與任務(wù)順序下獨(dú)立進(jìn)行十次實(shí)驗(yàn)，以評(píng)估模型在真實(shí)干擾條件中的整體穩(wěn)定性與任務(wù)一致性。

• 可供性感知 SR：62.5%；軌跡執(zhí)行 SR：75%。
• 顏色相近、遮擋、目標(biāo)擾動(dòng)等干擾下，VLA-R1 仍能給出空間一致、接近目標(biāo)的預(yù)測(cè)。

仿真（Piper / UR5，測(cè)試跨機(jī)器人平臺(tái)通用性）

為測(cè)試跨平臺(tái)通用性，VLA-R1 被部署到兩種機(jī)械臂仿真環(huán)境：輕量級(jí)的 Piper 與工業(yè)級(jí)的 UR5。仿真任務(wù)涵蓋多種隨機(jī)物體與動(dòng)作指令。

• 可供性 SR：60% / 50%；軌跡 SR：80% / 60%，
• 跨機(jī)器人維持較好成功率，顯示出跨平臺(tái)泛化潛力。

消融實(shí)驗(yàn)

為了測(cè)試 CoT，RL 的有效性，論文分別進(jìn)行了直接輸出軌跡，只用 CoT，以及 CoT+RL 后訓(xùn)練三種實(shí)驗(yàn)的對(duì)比

• 只用 CoT（無 RL）：IoU 從 23.74 → 28.37，軌跡誤差也小幅下降；
• CoT + RL：進(jìn)一步把 IoU 拉到 36.51，軌跡各項(xiàng)顯著改進(jìn)，說明 “先學(xué)會(huì)想，再用獎(jiǎng)勵(lì)把想法煉成動(dòng)作” 是有效路徑。

Demo 展示

思考過程展示

真機(jī)平臺(tái)

仿真平臺(tái)

應(yīng)用前景

家居拾放 / 收納等日常操控：面向客廳 / 廚房 / 書桌等開放環(huán)境，VLA-R1 可在多物體、光照不均、紋理干擾與部分遮擋下穩(wěn)定完成 “找 — 拿 — 放” 的閉環(huán)。它先用顯式推理消解 “相似目標(biāo) / 相近顏色 / 多個(gè)容器可選” 等歧義，再輸出可供性區(qū)域與可執(zhí)行軌跡，最終由低層控制棧完成抓取與放置。典型場(chǎng)景包括：將勺子→碗、筆→白盒、香蕉→籃子的收納，或在反光桌面、雜物堆疊的桌面上進(jìn)行安全、可解釋的物品整理。

倉揀 / 輕工裝配：在料箱揀選、工位配盤、工裝上料等流程中，VLA-R1 把 “部件 — 工具 — 容器 / 工位” 的三元關(guān)系明確寫在推理里（如 “為何選擇該容器 / 該姿態(tài) / 該路徑”），再生成滿足安全距離與路徑順滑度的軌跡，減少誤抓與誤放。它對(duì)重復(fù)件、套件、易混部件尤其有效：可在同批次零件中依據(jù)形狀 / 位置 / 容器容量做出解釋性選擇；同時(shí)結(jié)構(gòu)化輸出便于與 MES/PLC/ 視覺檢測(cè)系統(tǒng)對(duì)接，形成可追溯的產(chǎn)線閉環(huán)。

教學(xué) / 評(píng)測(cè)平臺(tái)：VLA-R1 的 < think>…+… 格式天然適合教學(xué)演示與自動(dòng)化評(píng)分：教師 / 研究者能直接檢查 “任務(wù)解析、場(chǎng)景理解、可供性定位、可行性校驗(yàn)、軌跡邏輯” 等中間步驟是否合理。配合標(biāo)準(zhǔn)化的 IoU/Fréchet / 成功率等指標(biāo)，可將其用作課程與競(jìng)賽的基線模型，學(xué)生只需替換數(shù)據(jù)或模塊，即可對(duì)比 “僅 SFT”“SFT+RL”“不同獎(jiǎng)勵(lì) / 不同數(shù)據(jù)引擎” 的差異，快速定位問題與量化改進(jìn)效果。

作者介紹

葉安根是中國(guó)科學(xué)院自動(dòng)化研究所模式識(shí)別與智能系統(tǒng)方向的在讀博士，研究方向聚焦于強(qiáng)化學(xué)習(xí)、機(jī)器人操作、具身智能。曾參與多項(xiàng)科研項(xiàng)目，致力于通過強(qiáng)化學(xué)習(xí)構(gòu)建少樣本、多任務(wù)的通用機(jī)器人系統(tǒng)。

張澤宇是 Richard Hartley 教授和 Ian Reid 教授指導(dǎo)的本科研究員。他的研究興趣扎根于計(jì)算機(jī)視覺領(lǐng)域，專注于探索幾何生成建模與前沿基礎(chǔ)模型之間的潛在聯(lián)系。張澤宇在多個(gè)研究領(lǐng)域擁有豐富的經(jīng)驗(yàn)，積極探索人工智能基礎(chǔ)和應(yīng)用領(lǐng)域的前沿進(jìn)展。

通訊作者朱政，極佳科技聯(lián)合創(chuàng)始人、首席科學(xué)家，2019 年博士畢業(yè)于中國(guó)科學(xué)院自動(dòng)化研究所；2019 年至 2021 年在清華大學(xué)自動(dòng)化系從事博士后研究。在 TPAMI、 CVPR、ICCV、 ECCV、NeurIPS 等頂級(jí)期刊和會(huì)議上發(fā)表論文 70 余篇，文章總引用 16000 余次 (Google Citations)，連續(xù) 4 年入選全球前 2% 頂尖科學(xué)家榜單。