以人為中心的開放性任務發現：建模、評測與可擴展樹搜索

以人為中心的開放性任務發現：建模、評測與可擴展樹搜索

Human-Centric Open-Future Task Discovery: Formulation, Benchmark,and Scalable Tree-Based Search

https://arxiv.org/pdf/2511.18929v1

摘要
最近，機器人技術和具身人工智能（Embodied AI）的發展在很大程度上是由大型多模態模型（LMMs）推動的。然而，一個關鍵挑戰仍未得到充分探索：我們如何推進LMMs去發現那些能夠在開放未來場景中直接協助人類的任務，這些場景中人類的意圖高度并發且動態變化。在這項工作中，我們正式提出了“以人為中心的開放未來任務發現（HOTD）”這一問題，特別關注識別那些能夠減少人類在未來多種可能情境中的工作量的任務。為了促進這一研究，我們提出了HOTD-Bench，它包含超過2000段真實世界的視頻、一個半自動化的標注流程，以及一個為開放集未來評估量身定制的基于仿真的協議。此外，我們提出了協作多智能體搜索樹（CMAST）框架，該框架通過一個多智能體系統將復雜的推理過程分解，并通過一個可擴展的搜索樹模塊來結構化推理過程。在我們的實驗中，CMAST在HOTD-Bench上實現了最佳性能，顯著超過了現有的LMMs。它還能夠很好地與現有的LMMs集成，持續提升性能。

引言
機器人技術和具身人工智能的發展為在日常生活中協助人類帶來了巨大希望。最近，大型多模態模型（LMMs）的進展顯著加速了這一過程，使機器人在各個領域具備了卓越的智能（Khandelwal等人，2022；Liang等人，2023；Lin等人，2023b；Driess等人，2023；Huang等人，2023；Yu等人，2023；Yuan等人，2024，2025c）。最近，研究開始利用大型多模態模型（LMMs）使機器人能夠在未見過的環境中自主獲取新技能和經驗，這一概念被稱為自主技能獲取（Zhou等人，2024；Ahn等人，2024；Yang等人，2024b；Katara、Xian和Fragkiadaki，2024；Bharadhwaj等人，2024）。

自主智能體的一個核心能力是任務發現，其中LMMs為機器人提出要執行的操作任務（Wang等人，2023b；Ahn等人，2024；Yang等人，2024b；Bharadhwaj等人，2024）。盡管最近的方法側重于根據當前觀察生成任務，但它們通常假設目標是固定的或環境是封閉的。然而，現實世界中的人類情境要復雜得多：人們通常會同時參與多個子過程，動態地改變意圖，并且很少明確所有未來的步驟。這引發了以人為中心的開放未來任務發現的關鍵問題——推斷出在多樣化且不確定的未來軌跡中仍然有用的任務。

與傳統任務發現不同，傳統任務發現旨在找到通往已知結果的下一步最佳操作，而開放未來發現必須預見一系列可能的未來，并識別出支持所有這些未來的行為。例如，如圖1所示，協助家務的機器人應該主動擦拭桌子——無論人類接下來是做飯、打掃還是休息，這個任務仍然有用。解決這個問題對于使機器人能夠在動態的、以人類為中心的環境中提供預見性的、可泛化的支持至關重要。這是實現真正與人類意圖一致的協作人工智能的必要步驟，而不僅僅是響應式的。

鑒于這些重要但被忽視的方面，我們引入了以人為中心的開放未來任務發現這一新問題。為了清晰地研究它，我們首先正式定義了HOTD問題，其核心前提是：發現源于開放性未來可能性的人類中心任務。還提供了人類中心任務的正式定義以支持這一表述。

然而，在開放未來場景下評估任務發現性能面臨著重大挑戰。正如上文所述，人類行為的并發性導致可能的未來分支呈指數級增長，這使得標注所有有用任務的完整集合變得成本過高。此外，依賴人類標注者可能會引入主觀偏見。為了解決這些問題，我們提出了HOTD-Bench以及一種基于仿真的評估方法。HOTD-Bench來源于現有的數據集，涵蓋了多樣化的真實世界活動。仿真評估采用了一種區分性策略，避免了窮舉枚舉，同時確保與人類偏好保持一致。通過利用大型語言模型（LLMs）中的世界知識（Jin等人，2024；Gruver等人，2023；Cao等人，2024），我們的評估方法能夠適應開放集假設性未來分支，包括在觀察到的情境中未實現的分支。這緩解了純觀察性評估的局限性，能夠全面評估實際和理論上最優的任務分解。在HOTD-Bench上的實驗結果表明，現有的LMMs在HOTD上的性能僅達到有限水平。

為了彌合這一差距，我們引入了協作多智能體搜索樹框架（CMAST）。我們的核心思想是構建程序結構的搜索樹，并據此識別適當的任務。我們的框架有兩個主要創新點。首先，CMAST引入了一個搜索樹模塊，以明確地結構化推理過程。通過迭代構建搜索樹，我們的模型捕捉了行動程序的固有不確定性，徹底探索了各種未來場景。此外，搜索樹模塊允許進行可擴展的測試時思考，這是與OpenAI-O3（OpenAI，2025）和DeepSeekR1（Guo等人，2025）共享的一個關鍵特征。其次，CMAST采用了一個協作多智能體系統，其中專業智能體管理推理的不同階段。這種協作有效地分解了復雜的推理過程，使每個智能體能夠專注于一個特定方面，降低了難度。

實驗結果表明，我們的框架在有效任務比率方面顯著優于現有的LMMs，同時在有效任務數量方面保持了有競爭力的性能，顯示出其在HOTD中的強大優勢。消融研究證實了搜索樹模塊的有效性，并表明我們的框架可以無縫地與各種LMMs集成。可視化進一步說明了該框架通過探索多樣化的未來程序來建議適當任務的能力。此外，實驗驗證了仿真器在合理推斷未來場景方面的有效性。

我們的主要貢獻如下：（1）我們引入并定義了以人為中心的開放未來任務發現問題，為有效的人機協作做出了貢獻。（2）我們建立了HOTD-Bench，包含來自兩個來源的2000多個真實世界視頻。我們提出了一個仿真器來推斷給定任務的未來結果，使任何未來軌跡的評估及其有用性的評估成為可能。（3）我們提出了CMAST框架來管理復雜的推理過程。實驗表明，CMAST框架可以無縫集成各種現有的LMMs，并持續實現卓越的性能。

相關工作

自主技能獲取
這項技術鼓勵機器人在較少人類指導的情況下學習新技能（Bharadhwaj等人，2024；Ahn等人，2024）。一些研究關注基于仿真的學習（Wang等人，2023b,a；Zhao、Weber和Wermter，2024；Katara、Xian和Fragkiadaki，2024；Yang等人，2024b），利用大型多模態模型（LMMs）自動生成仿真組件，例如場景資產和監督。另一些研究則關注真實世界的學習（Ahn等人，2024；Zhou等人，2024）。它們通常利用LMMs推薦物理交互任務，讓機器人嘗試這些任務并積累經驗。在本工作中，我們旨在進一步增強LMMs提出任務的能力，專注于生成更有價值的任務來協助人類。通過這種增強，我們希望機器人能夠獲得直接符合人類需求的技能。

增強LMMs以進行復雜推理
最近的研究集中在增強LMMs以進行復雜推理，常見的兩種方法是多智能體系統和思維鏈。多智能體系統部署多個智能體，將復雜問題分解為更小、更易于管理的子部分（Wu等人，2023；Hong等人，2023；Yuan等人，2025a；Yu等人，2025），這一方法已在各種應用中得到驗證（Yang等人，2024d,c；Aher、Arriaga和Kalai，2023）。思維鏈推理通過生成逐步導向最終答案的中間步驟來增強LMMs（Guo等人，2025；Yuan等人，2025b）。最顯著的模型包括DeepSeekR1（Guo等人，2025）、OpenAI-o1/o3（OpenAI，2024, 2025），這些模型具備可擴展的測試時思考能力，隨著思考時間的延長，其推理效果不斷增強。受以往工作的啟發，我們的方法結合了這兩種方法的優勢。

相關視頻數據集
視頻理解一直是研究的重點。存在許多視頻理解數據集（Soomro，2012；Caba Heilbron等人，2015；Jia等人，2020；Damen等人，2022；Zeng等人，2024；Zhou等人，2023），其中一些與人類相關（Zellers等人，2019；Lei等人，2018；Grauman等人，2022）。然而，現有的數據集沒有一個專注于任務發現，即為人類提供支持性任務。在本工作中，我們基于現有的視頻數據集策劃了我們的基準測試，并開發了一種評估方法來評估任何發現任務的貢獻。

公式化

問題公式化

對于開放性未來可能性的概念，我們沒有明確定義它。相反，我們依賴于模擬評估，這適應了開放性未來場景，并根據人類偏好估計結果。

以人為中心任務的定義

為了明確理解HOTD，我們開發了一個系統性定義，明確了以人為中心的任務是什么。具體來說，以人為中心的任務被定義為有助于實現人類目標的可執行動作。

首先，每個以人為中心的任務對應于機器人可以執行的特定動作。我們遵循Moeslund等人（Moeslund, Hilton, 和 Krüger 2006）引入的三級分類法，“動作原語”、“動作”和“活動”。以人為中心的任務被定義為第二級，確保它們既不過于狹窄而缺乏意義，也不過于寬泛而使機器人困惑。

這樣的區分性定義特別合適且必要，因為人類認知的復雜性使得規定性定義不可行。

基準

數據收集

為了在實際場景下評估模型的性能，我們從兩個現有數據集中構建我們的數據集：豐田智能家居未剪輯（TSU）（Das等人，2019年；Dai等人，2022年）和Charades（CHA）（Sigurdsson等人，2016年）。它們提供了來自兩個分布的各種真實世界活動。我們應用滑動窗口來分割視頻并過濾掉低質量樣本，最終得到2450個精選片段，總計近40小時。TSU和CHA子集分別貢獻了2K和0.4K個視頻。

通過模擬評估

在開放未來設置下，我們的評估旨在量化預測集中包含多少以人為中心的任務。然而，這種評估并非易事。一種直接的方法是讓人類標注者標記所有有幫助的任務。雖然直觀，但由于標注者的主觀性和徹底標記指數級多的未來分支的高昂成本，這種方法是不切實際的（見圖1）。相反，驗證給定任務是否有幫助要容易得多，因為它只需要估計在公式（2）和公式（3）中引入的成本。這促使我們使用模擬作為評估工具。模擬器可以靈活地模擬在任何假設任務插入下未來將如何展開，從而能夠評估任意候選軌跡。

圖2上半部分展示了所提出的基于模擬的評估方法。對于沒有機器人干預的序列，它直接模擬未來過程。對于有機器人干預的序列，它模擬人類適應并重建完整序列。然后使用生成的軌跡來估計產生的成本。這種方法的一個核心優勢在于其生成性質，這不僅允許評估觀察到的軌跡，還允許評估數據集之外的任何假設未來，從而捕捉可能比明確執行的更優的場景。

在我們的實現中，我們采用大型語言模型（LLM）作為模擬器，這已被證明能夠可靠地推斷未來演變（Jin等人，2024年；Gruver等人，2023年；Cao等人，2024年），同時也符合人類偏好并最小化主觀偏見（Rafailov等人，2023年；Bai等人，2022年）。潛在目標 z 是根據整個視頻預先標注的。成本以時間消耗來定義。為了減輕絕對時間估計引起的敏感性，我們的模擬器通過比較有無機器人干預的兩個動作序列來評估相對時間成本。

通過標簽評估

方法

搜索樹模塊

HOTD推理不僅需要理解視覺內容，還需要分析開放未來過程。為此，我們構建了一個搜索樹，明確表示開放未來的行動空間，從而能夠明確探索未來場景。此外，它支持靈活的擴展和修剪，促進可擴展的測試時思考，從而實現全面的答案，這是與OpenAI-O3（OpenAI 2025）和DeepSeek-R1（Guo等人，2025年）共享的一個關鍵特征。

搜索樹由一組節點和邊組成：。每個節點對應一個單獨的動作。節點之間的邊表示時間順序。樹中的前N個節點表示由輸入視頻確定的歷史動作序列，公式化為：

其中 g 是一個節點擴展函數，我們將在公式（6）中介紹。隨著樹的進展，多個分支捕獲各種可能的動作序列。樹中的葉節點表示整個活動的完成，我們稱之為“完成活動”。

搜索樹支持幾種搜索策略。為了平衡性能和效率，我們采用概率閾值為0.5的修剪窮盡搜索。替代策略在第6.3節中討論。

協作多智能體系統

受到之前工作的啟發（Wu等人，2023年；Hong等人，2023年；Yu等人，2025年），我們開發了一個多智能體系統來構建HOTD問題中的推理過程。工作流程如圖3所示。我們的關鍵思想是通過將每個智能體與搜索樹的特定階段對齊來分解復雜問題，例如初始化、擴展、修剪和后處理。這種設計不僅保留了大型語言模型（LLMs）的泛化能力，還實現了與各種LLMs的無縫集成。

第三，從初始搜索樹開始，三個智能體被用來迭代擴展搜索樹。在每次迭代中，下一個動作預測智能體預測給定整個動作路徑到現在的下一個即時動作。而概率估計智能體預測每個子節點的概率，為排序和修剪提供參考。我們手動將“完成活動”節點添加到每個非葉節點。當上述兩個智能體擴展搜索樹時，冗余移除智能體被用來修剪冗余節點。這三個智能體迭代工作，直到所有未擴展的節點都是葉節點或達到最大樹高。設 g 表示上述三個智能體的組合，擴展過程可以寫為：

第四，通過遍歷所有路徑，搜索樹被格式化為一組動作序列。采用依賴識別智能體來識別并排除具有前提條件的動作，僅保留那些可執行的動作。

最后，我們拆除順序結構，得到一組獨立的動作。任務轉換智能體被用來將每個動作從機器人的角度轉換為任務描述，公式化為：

實現細節

我們的框架完全不需要訓練，不需要對整個系統或任何子模塊進行微調。這種設計允許各種大型語言模型（LLMs）無縫集成。具體來說，場景描述智能體、歷史動作識別智能體和下一個動作預測智能體是LLM智能體，使用LLaVA-Next-Video（Zhang等人，2024年）實現，其他三個智能體是LLM智能體，使用Qwen-LM（Yang等人，2024a）實現。

實驗

實驗設置

基線。我們在HOTDBench上進行定量研究，以評估以下開源大型多模態模型（LMMs）的HOTD能力：Qwen2-VL（Wang等人，2024年）、Qwen2.5-VL（Team 2025年）、InternVL2（Team 2024年）、InternVL2.5（Chen等人，2024年）、Video-LLaVA（Lin等人，2023a）、LLaVA-Next-Video（Zhang等人，2024年）。對于這些基線，我們給它們提供視頻，并直接提示它們推薦一些輔助任務。

評估指標。我們建立了兩個評估指標，有效任務計數和有效任務比例，對應于公式（1）中的兩個目標。有效任務計數，表示為‘vc’，衡量發現的平均有用任務數量，表明模型識別多樣化有用任務的能力。有效任務比例，表示為‘vr’，衡量每次預測中有用任務的平均比例，表明模型輸出的可靠性和精確度。它們的公式如下所示，其中N表示樣本數量：

在本文的大多數實驗中，我們報告了兩種評估方法（通過模擬和標簽）的結果。我們還測量了不同觀察長度的視頻，并使用‘@’來區分。例如，‘vc@40’表示在40秒觀察下給出的指標。

進一步分析

比較現有LMMs。基于表1的結果，我們進一步分析現有LMMs的性能。值得注意的是，有效任務計數和有效任務比例之間通常存在權衡。例如，Internvl2-8B（Team 2024）在基線中實現了最高的有效任務比例，但有效任務計數較低，表明預測過于保守。LLaVA-Next-Video7B（Zhang等人，2024年）在基線中實現了最高的有效任務計數，但有效任務比例較低，表明預測過于激進，包含許多無效任務。此外，在我們的實驗中，較大的模型并沒有比較小的模型提供明顯的優勢。這表明，在這種設置下，擴大規模并不一定增強任務發現能力。總體而言，當前的LMMs在解決HOTD問題上仍面臨顯著挑戰。

模擬器的可靠性。為了調查模擬器是否與人類偏好一致，我們進行了人類評估。我們隨機選擇了25個被模擬器標記為有幫助和25個無幫助的任務，并將它們以混合順序呈現給5名標注者。標注者獨立判斷每個任務是否有幫助。如圖4所示，被模擬器判斷為有幫助的任務大多被人類認為是有幫助的，無幫助的任務也是如此。結果表明，模擬器可靠地反映了人類的偏好，提供了準確的評估。

模擬器的案例研究。圖7展示了我們的模擬器生成的未來推斷，證明了它能夠模擬人類對響應的動作，即使是在數據集中沒有明確觀察到的場景。例如，在最后一行中，它成功預測了由于機器人的動作，人需要取回杯子，這是一個否則不會發生的事件。這些例子突出了我們基于LLM的模擬器的有效性，因為它提供了對所有假設任務的可靠和全面的評估。

搜索樹模塊的消融研究。我們進行了消融研究，以檢查搜索樹模塊的整體貢獻。結果如圖5所示。“CMASTmain”是我們的主要版本。“CMAST w/o tree”移除了整個搜索樹模塊，用一個直接預測未來動作的LMM代理替換它。從結果可以看出，替換整個搜索樹模塊使有效任務比例降低了37%。這表明單個LMM代理可能會產生受限的預測路徑。相反，搜索樹模塊通過提供明確和結構化的程序空間來解決這個問題，允許對不同的動作程序進行徹底檢查。

搜索策略的消融研究。圖6中的結果比較了不同的搜索策略，其中‘CMAST-beam=k’表示束寬度為k的束搜索策略。雖然貪婪搜索策略（beam=1）最高效，但每段視頻僅發現1.4個有益任務。隨著我們采用越來越耗時的搜索策略，模型表現出越來越好的性能，發現的任務數量顯著增加，而準確率基本保持不變。這表明，通過擴大測試時的思考，我們的模型能夠探索更廣泛的未來情況并覆蓋更多有價值的任務。

組件智能體的選擇。我們進一步進行實驗，以研究選擇不同組件智能體的詳細影響。具體來說，我們用不同的LMM替換我們框架中的LMM智能體，生成以下變體：CMAST-LLaVA，這是我們的主要版本，CMAST-InternVL2，使用InternVL28B（Team 2024），CMAST-Qwen2，使用Qwen2-VL7B（Wang等人，2024年）。此外，我們還報告了每種變體對應的普通LMM。結果如圖5所示。與單獨使用的相同LMM相比，我們框架中的LMM將有效任務比例提高了至少39%。結果證實，使用不同的組件智能體始終能增強我們模型的性能，突出了其與各種LMM無縫集成的能力。

與人類表現的比較。這部分研究CMAST是否能達到人類水平的性能。為此，我們隨機選擇了10個示例，并要求人類參與者發現任務。結果如圖8所示，CMAST框架實現了與人類水平相當的性能。我們展示這個實驗并不是要聲稱我們的方法已經超越了人類能力，而是為了展示其潛力和觀察到的有趣現象。至于兩種評估方法表現出的差異，我們將在附錄中討論。

案例研究。圖9可視化了CMAST的推理過程，展示了其探索各種程序和建議適當任務的能力。更多示例可以在附錄中找到。

結論

我們引入并形式化了以人為中心的開放未來任務發現問題，使大型多模態模型（LMMs）能夠識別直接協助人類的任務。為了研究這一問題，我們提出了HOTD-Bench，這是一個包含超過2K個真實世界視頻的基準，涵蓋了多種活動，并結合了一種基于模擬的協議，評估超出觀察軌跡的開放集未來。為了實現穩定的評估，我們還提供了通過半自動化流程標注的開放詞匯任務標簽。我們進一步提出了協作多智能體搜索樹框架，該框架利用多智能體系統和可擴展的搜索樹模塊來構建復雜的推理。實驗表明，有效任務計數和有效任務比例都有顯著提升，并且在與現有LMMs集成時持續改進。

原文鏈接：https://arxiv.org/pdf/2511.18929v1