機器人終于學會"先想清楚再動手"了？

這項研究由香港大學、上海人工智能實驗室、上海交通大學和香港中文大學聯合開展，論文以預印本形式發布于2026年4月15日，編號為arXiv:2604.14125，有興趣深入了解的讀者可通過該編號查詢完整論文。

你有沒有見過那種特別令人抓狂的場景——你讓一個人幫你"從桌上那堆東西里把紅色的杯子拿給我"，他看了半天，要么拿錯了，要么手伸過去又縮回來，像在做某種奇怪的體操？現在把這個場景換成機器人，你大概就明白了機器人操控領域長期以來面臨的核心難題：如何讓機器人既能"聽懂"復雜的語言指令，又能"看清楚"具體要操作哪個物體，還能"干得漂亮"地完成動作？

這支來自多所頂尖高校的研究團隊給出了一個頗具啟發性的答案，他們將其命名為HiVLA。

**一、機器人"大腦"的兩難困境**

要理解HiVLA解決的是什么問題，不妨先想一想人類廚師是怎么工作的。一位經驗豐富的主廚，一方面擁有豐富的料理知識——懂得什么菜該用什么火候、什么食材怎么搭配；另一方面，他的雙手又需要極其精確地掌握刀功、控制切片的厚度。這兩件事雖然都由同一個人完成，但本質上是兩種截然不同的能力：一種是高層次的知識與判斷，另一種是低層次的精細動作控制。

現在假設你打算讓一個廚師學徒既當料理顧問、又當執行廚師，并且讓他通過反復練習一道菜來"全面進化"——結果很可能是，練著練著，他把那道菜做得越來越熟練，但原本從書本上學來的廣博知識卻慢慢淡忘了。這個現象在機器人領域叫做"災難性遺忘"。

現有的大多數VLA模型（即Vision-Language-Action模型，可以簡單理解為"能看圖、能理解語言、能控制動作"的一體化機器人控制系統）正是陷入了這個困境。這類模型通常以大型視覺語言模型為基礎，這些基礎模型通過海量網絡數據訓練，擁有相當強的常識推理能力。但當研究者把它們拿來在機器人操控數據上進行專項訓練時，原有的推理能力會不同程度地受損。畢竟，機器人操控的數據量相比網絡數據少得多，而且非常專業化，這種"窄化訓練"很容易讓模型的通用能力打折扣。

**二、"分工協作"：給機器人裝上兩套系統**

HiVLA的核心思路，是讓"思考"和"動手"這兩件事徹底分開。具體來說，整個系統分為兩個層次：上層是一個負責規劃的"大腦"，由一個不做低級訓練的視覺語言模型承擔，它只負責看圖、理解指令、決定下一步該做什么、以及鎖定要操作的目標物體在哪里；下層是一個專門負責執行的"雙手"，由一個擴散變換器模型（Diffusion Transformer，簡稱DiT）承擔，它不需要關心整體任務邏輯，只需要根據上層傳下來的精確指示，把動作做出來。

這種分工方式的關鍵優勢在于：上層的"大腦"不需要接觸任何低層次的動作控制數據，它的通用推理能力得以完整保留；而下層的"雙手"則可以專心打磨精準動作的執行能力，不被復雜的語義推理任務干擾。

上層規劃器的工作流程可以這樣理解：每當機器人需要執行一步動作時，視覺語言模型會觀察當前的場景圖像，同時參考整體任務目標、上一步執行了什么動作、以及機械臂的夾持器當前處于什么狀態。基于這些信息，它會產生一個結構化的"行動計劃"，這份計劃包含下一個子任務的文字描述（比如"拾取左側的藍色積木"）、需要執行的動作類型（抓取還是放置）、目標物體的名稱，以及一個精確的"邊界框"——也就是目標物體在原始高分辨率圖像中的坐標位置。

這個邊界框的產生，是HiVLA整套方案里非常關鍵的一環。邊界框的本質是視覺語言模型對"該看哪里"的明確定位，它將抽象的語義指令和具體的空間位置聯系起來，讓下層執行模型不需要自己去猜測"我該去操作哪個物體"。

**三、"放大鏡"的魔力：從全局看到局部細節**

規劃器生成邊界框之后，系統會做一件聽起來很簡單、但實際上非常關鍵的事：用邊界框在原始的1920×1080高清圖像上裁剪出一塊局部區域，得到目標物體的高分辨率"特寫圖"。

這里有一個很微妙的設計決策。一般的系統處理圖像時，往往會把原始的高清圖像壓縮、下采樣到較低的分辨率，以節省計算資源。但這樣做的代價是，許多精細的視覺細節就丟失了——比如一個細小的鈴鐺、一個纖細的杯子把手、或者幾個形狀相同但顏色不同的積木。對于需要精細操控的任務來說，這些細節恰恰是成敗的關鍵。

HiVLA的做法是：全局場景圖像用正常的分辨率輸入，而目標物體的局部特寫圖則直接從原始高清圖像上裁剪，保留了最高的像素質量。這就好比，你在遠處看一群人認不清誰是誰，但只要拿出望遠鏡把某個人的臉放大看清楚，識別任務就容易得多了。

不過，這里還有一個問題：裁剪出來的局部圖，本身不攜帶任何關于它"在整張圖的什么位置"的信息。如果下層的執行模型只看到一塊局部特寫，它可能搞不清楚這個物體到底在機器人工作臺的左側、右側還是中間。為了解決這個問題，研究團隊在局部特寫圖的每個圖像塊（patch）上，都額外附加了一組"絕對位置編碼"——簡單說就是，每個圖像塊都被告知它在原始高清圖像坐標系中的具體位置。這一技巧源自于目標檢測領域的經典方法，讓執行模型同時擁有"放大的細節圖"和"精確的空間坐標"，兩者缺一不可。

**四、執行模型的"三重聽覺"：從全局到局部再到語義**

下層的執行模型，也就是DiT動作專家，是整套系統的"雙手"。它的核心任務是接受上層規劃器傳來的各種信息，把它們轉化為機械臂的實際動作序列。

在實現方式上，研究團隊設計了一種名為"級聯交叉注意力機制"的架構。這個名字聽起來有點復雜，但本質可以理解為：每一個Transformer計算塊內部，依次進行三次"傾聽"，每次傾聽不同類型的信息，從粗到細、從場景到目標、從視覺到語義，逐步聚焦。

第一次傾聽的是全局場景信息。執行模型首先看到整張全局場景圖（經過DINOv2和SigLIP這兩個視覺編碼器處理），獲得對整個工作臺環境的宏觀理解——桌子上有哪些東西、機器人大致在哪個位置、背景是什么樣子。這就好比一個工人在開始精細操作前，先環顧整個工作臺，對環境有個整體把握。

第二次傾聽的是帶位置信息的局部特寫。執行模型接著看到目標物體的高清局部圖，同時這張圖的每個像素塊都攜帶了它在全局坐標系中的精確位置信息。這一步讓執行模型知道"我要操作的那個東西長什么樣"以及"它在哪里"，這兩件事同時到位，缺一不可。

第三次傾聽的是子任務的語言指令。執行模型最后聽到規劃器給出的具體子任務描述，比如"拾取藍色積木"或者"把章魚印章壓到紅色墊子上"。這一步讓執行模型知道"我現在該執行什么動作"，是抓取還是放置，是輕推還是按壓。

這三次"傾聽"按照從粗到細、從環境到目標、從視覺到語言的順序依次疊加，正是研究團隊所說的"粗到細"注入策略。實驗結果也證明，這個順序是最優的——其他排列方式的性能都有不同程度的下滑。

在動作生成的具體機制上，HiVLA采用了一種叫做"條件流匹配"（Conditional Flow Matching）的擴散模型框架。它的工作原理可以這樣理解：執行模型從一團隨機的"噪聲動作序列"出發，在上下文條件的引導下，一步步將這團噪聲"去噪"，最終輸出一段連貫、平滑的動作序列。整個過程類似于雕刻家從一塊粗糙的石料出發，根據心中的構想，一點點鑿去多余的部分，最終得到精美的雕塑。

**五、在"高難度考場"上的測試成績**

研究團隊在兩套環境中對HiVLA進行了全面測試：一套是名為RoboTwin 2.0的高保真仿真平臺，另一套是真實物理世界中的機器人。

仿真平臺上的測試覆蓋了9個任務，分為"簡單任務"和"困難任務"兩類。簡單任務通常只需要一個技能動作，比如按下訂書機、敲響鈴鐺、提起鍋等；困難任務則要求機器人在完成多個連續動作的同時，理解復雜的語義和空間關系，比如"將三個積木按照指定順序疊放"或者"在三個完全相同的鈴鐺中，點擊最右邊那個"。這些任務特別考驗機器人對"左、中、右"等空間語言的理解，以及在雜亂場景中精確識別目標物體的能力。

測試是在"領域隨機化"設置下進行的，意思是每次測試時，桌面背景、桌上的干擾物體、桌子高度、燈光條件都會隨機變化，極大地增加了視覺感知的難度。每個任務進行100次獨立測試，取最后三個模型檢查點的平均成功率。

測試結果相當顯著。HiVLA的總平均成功率達到83.3%，而此前表現最好的對比系統H-RDT只有70.6%，差距達到12.7個百分點。更廣為人知的π0系統成功率僅為45.6%，HiVLA比它高出了37.7個百分點。另外兩個對比系統π0.5和StarVLA的成功率分別為44.8%和46.4%，HiVLA同樣大幅領先。

在細分類別上，簡單任務方面HiVLA的平均成功率為96.0%，而困難任務平均成功率為73.2%，比H-RDT的54.6%高出了18.6個百分點。特別是在"疊放三個積木"這個難度最高的任務上，π0和π0.5的成功率只有1%，幾乎完全失??；StarVLA也只有16%；H-RDT達到20%；而HiVLA達到了37%——雖然仍有提升空間，但相比其他系統已經是質的飛躍。

**六、"子任務分解"到底有多重要**

研究團隊還做了一個消融實驗，測試了一個叫做"去掉技能分解"的變體，也就是不讓規劃器把任務分解成細粒度的子任務，而是直接把整體任務描述傳給執行模型。

結果發現，在簡單任務上，這個變體和完整版HiVLA幾乎沒有區別——畢竟簡單任務本身只需要一個動作，整體指令和子任務指令內容相同。但在困難任務上，去掉子任務分解后的平均成功率從73.2%下降到64.4%，差距約為8.8個百分點。

這個結果說明，把復雜任務分解成"一對一"的細粒度子指令，能顯著降低執行模型的認知負擔。當模型只需要關心"現在抓這個物體"而不是"完成整個任務流程中的某一步"，它可以更專注地利用局部視覺信息生成精準動作，而不是分心去猜測任務進度。

此外，研究團隊還觀察到了一個有趣的"自我糾錯"現象。當執行模型在某一次抓取中失敗了（物體沒有被成功抓?。?，規劃器會通過觀察當前場景圖像，發現子任務尚未完成，從而重新發出同一個視覺語言指令，讓執行模型重新嘗試。這種獨立的監督和糾錯能力，是端到端一體化模型所不具備的。

**七、面對"故意出錯的規劃器"，執行模型有多穩**

分層系統有一個常見的質疑：如果上層規劃器出了錯，會不會像多米諾骨牌一樣，把下層執行模型也拖垮？

研究團隊專門設計了一組擾動測試來回答這個問題。他們人為地向邊界框坐標和語言指令中注入不同程度的噪聲（從20%到100%的錯誤率），觀察執行模型在這種情況下的表現。

邊界框方面，即便誤差注入率高達100%（邊界框完全錯誤），執行模型仍然保持了57.0%的成功率。這是因為執行模型同時接收全局場景圖像，當局部特寫圖"指向了錯誤的地方"時，全局圖像提供了兜底的視覺信息，讓執行模型能在一定程度上自行校正。

語言指令方面，誤差注入對成功率的影響就相當線性了——誤差率每上升20%，成功率大致下降20%左右，到100%誤差時成功率降至12%。這說明執行模型對語言指令的依賴性很強，語義指導是必不可少的——但這也正是設計的本意。

這組實驗揭示了HiVLA在魯棒性上的一個良好特性：對視覺定位誤差有相當強的容錯能力，對語義指令則嚴格遵從。

**八、走進現實世界：在真實雜亂環境中的表現**

在真實物理機器人上，研究團隊測試了更具挑戰性的場景：用顏色和位置區分不同目標物體。比如"點擊左邊的鈴鐺"、"把綠色的杯子放到托盤上"、"把紅色積木放到盤子里"——這些任務的共同特點是，桌上有多個形狀相同的物體，機器人必須根據顏色或位置信息準確鎖定目標。

真實世界的訓練數據量非常有限——只有360個遙控操作的演示，并且這些數據是通過GroundingDINO和SAM2兩個工具自動生成邊界框標注的，不需要人工逐幀標注。

測試結果顯示，在單目標場景下，HiVLA的表現普遍優于H-RDT：點擊一個鈴鐺的成功率HiVLA為13/30，H-RDT為8/30；放置一個杯子HiVLA為21/30，H-RDT僅4/30；放置一個積木HiVLA為20/30，H-RDT為9/30。

在多目標場景下，差距更加明顯。放置三個杯子時，H-RDT的成功次數為0/30，完全失敗，而HiVLA達到了6/30；放置三個積木時，H-RDT同樣為0/30，HiVLA為7/30。這些數據表明，依賴純全局視覺特征的模型，在真實雜亂場景下無法有效區分相同形狀但顏色不同的物體，而HiVLA通過視覺定位和高清局部特寫的配合，在這一場景下保持了穩健的表現。

**九、消融實驗：每個設計決定都有它的道理**

研究團隊還系統地驗證了幾個關鍵設計選擇的必要性。

關于"是否需要高清局部特寫"：他們對比了從640×360低分辨率圖像裁剪局部圖和從原始1080p高清圖像裁剪局部圖的兩種方案。低分辨率版本在涉及精細結構的任務（如提起鍋的細長把手）上表現明顯下降，整體平均成功率從83.3%降至75.2%。

關于"是否需要絕對位置編碼"：去掉位置編碼后，整體成功率從83.3%降至76.8%。最明顯的損失出現在"點擊三個鈴鐺"任務上——成功率從98%暴跌至80%。道理不難理解：三個形狀完全相同的鈴鐺，執行模型要區分"左"、"中"、"右"，依靠的正是空間位置信息，沒有了精確的位置編碼，模型就無法可靠地區分它們。

關于"三類信息的注入順序"：研究團隊測試了所有六種排列組合。結果顯示，只使用局部圖或只使用全局圖時，平均成功率都在70%左右；兩者結合時成績明顯提升；而在兩者結合的基礎上，"全局→局部→語言"這一順序（即先看整體場景、再看目標特寫、最后聽語言指令）是最優的，達到83.3%，符合"從粗到細"的直覺邏輯。

**十、系統效率：夠快才能用于現實**

對于機器人控制系統而言，響應速度至關重要。研究團隊的VLM規劃器在未經專項優化的情況下，每次推理需要1.9秒——這對于高頻實時控制來說太慢了。但關鍵在于，規劃器并不需要每幀都運行，它只在需要決定下一個子任務時才觸發。執行模型的動作推理則只需要0.162秒，可以以較高頻率運行。

通過讓規劃器和執行模型異步并行運行（規劃器在后臺思考的同時，執行模型繼續執行當前動作），整個系統實現了8Hz的控制頻率，足以應對大多數桌面操控任務的實時要求。研究團隊也指出，規劃器的推理速度還有很大的軟件加速空間，未來有望進一步提升。

說到底，HiVLA的貢獻在于提供了一條切實可行的路徑，讓機器人操控系統同時擁有"聰明的大腦"和"靈巧的雙手"，而且這兩者可以獨立升級迭代——當未來出現更強大的視覺語言模型時，只需換掉上層規劃器；當有更好的執行模型時，只需替換下層的DiT。這種模塊化的思路，讓系統的進化變得更加靈活。

當然，當前版本也有其局限。37%的"疊放三個積木"成功率說明，在需要精確空間推理和多步連續操作的超長流程任務上，系統仍有相當大的提升空間。此外，真實世界數據的采集仍然依賴人工遙控操作，如何進一步降低數據采集成本，也是值得繼續探索的方向。

你可能會好奇：這樣的系統，離真正進入家庭或工廠還有多遠？目前的測試環境雖然加入了大量隨機化干擾，但仍然是相對受控的桌面操控場景，距離應對開放環境中的不可預期狀況，路還相當長。但每一步扎實的技術進展，都是在為那一天鋪路。有興趣深入探究的讀者，可以通過arXiv編號2604.14125查閱完整論文和項目主頁。

Q&A

Q1：HiVLA和普通的機器人控制模型有什么本質區別？

A：普通的VLA模型把語言理解和動作控制捆綁在一起訓練，結果往往是推理能力和動作精度互相拖累。HiVLA把這兩件事徹底分開：上層用視覺語言模型負責理解指令和定位目標，完全不做動作訓練，保住了推理能力；下層專門的擴散變換器負責把規劃結果轉化為精確動作。兩者各司其職，互不干擾。

Q2：HiVLA的"高清局部特寫"功能具體是怎么工作的？

A：上層規劃器會在高清圖像上生成一個邊界框，標出目標物體的位置。系統隨后從原始1920×1080分辨率的圖像上直接裁剪出這個區域，作為"特寫圖"輸入給執行模型。這個特寫圖的每個圖像塊還附帶了它在全局坐標系中的精確位置信息，讓執行模型同時知道物體長什么樣，以及它在哪里，缺一不可。

Q3：如果規劃器給出了錯誤的邊界框，HiVLA還能正常工作嗎？

A：有一定的容錯能力。測試表明，即使邊界框完全錯誤，執行模型仍能保持約57%的成功率。原因是執行模型同時接收全局場景圖像作為輔助參考，當局部特寫圖信息出錯時，全局圖像可以提供一定程度的兜底信息，幫助模型自我校正。但如果語言指令出錯，成功率則會按比例下降，語義指導是系統不可或缺的核心。