北大ProAct：首個(gè)雙系統(tǒng)「主動(dòng)社交」智能體，不做提線木偶

新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】現(xiàn)有的具身智能大多是「你說我做」的被動(dòng)響應(yīng)者。如何讓機(jī)器人像人類一樣擁有「主動(dòng)性」？北京大學(xué)VCL實(shí)驗(yàn)室針對當(dāng)前具身智能體「被動(dòng)響應(yīng)」的局限，提出了一個(gè)基于「雙系統(tǒng)」架構(gòu)的主動(dòng)社交智能體框架ProAct，模仿人類「快思考」與「慢思考」的認(rèn)知機(jī)制，使機(jī)器人不僅能夠進(jìn)行流暢自然的對話，還能基于情境理解主動(dòng)發(fā)起互動(dòng)，從而具備真正的「社交心智」。

在與機(jī)器人交互時(shí)，你是否常有這種感覺：如果你不說話，它就永遠(yuǎn)沉默；如果你不發(fā)指令，它就「呆若木雞」。

這是因?yàn)槟壳暗慕换ナ较到y(tǒng)絕大多數(shù)都是反應(yīng)式的，它們被困在一個(gè)短暫的時(shí)間窗口里，只能根據(jù)當(dāng)前的語音或視覺輸入做出反饋，這種機(jī)制使得智能體難以基于積累的長期語境來推斷意圖，更無法發(fā)起主動(dòng)行為。

然而，生活中的人類社交本質(zhì)上是雙向且主動(dòng)的。

在日常互動(dòng)中，人們不僅是對他人的話語做出反應(yīng)，更會(huì)運(yùn)用意向性去預(yù)測需求、掌握主動(dòng)權(quán)并在未被請求時(shí)采取行動(dòng)。

例如，當(dāng)朋友顯得猶豫不決時(shí)給予鼓勵(lì)，或在看到空杯子時(shí)主動(dòng)倒水。這種由內(nèi)部目標(biāo)驅(qū)動(dòng)而非被動(dòng)響應(yīng)外部刺激的「主動(dòng)性」，是區(qū)分真正的伙伴與簡單問答機(jī)器人的關(guān)鍵。

想在具身智能體上實(shí)現(xiàn)這一點(diǎn)，還得解決一個(gè)核心矛盾：時(shí)間尺度。主動(dòng)行為需要深思熟慮的推理和長程語境分析，也就是要「慢想」；而實(shí)時(shí)交互要求極低的延遲，必須「快回」。單一的端到端模型往往難以兼顧二者，因?yàn)樯疃韧评頃?huì)阻塞實(shí)時(shí)響應(yīng)，而追求速度則會(huì)犧牲行為的合理性和準(zhǔn)確性。

受認(rèn)知科學(xué)中雙重加工理論的啟發(fā)，北京大學(xué)研究團(tuán)隊(duì)提出了一種雙系統(tǒng)架構(gòu)ProAct，核心思路在于快慢分離， 即將即時(shí)的反應(yīng)與慢速的推理分離，使得ProAct兼具響應(yīng)速度與主動(dòng)的深度社交能力。

論文地址：https://arxiv.org/abs/2602.14048

項(xiàng)目主頁：https://proactrobot.github.io/

其中，行為系統(tǒng)（Behavioral System）作為「快系統(tǒng)」，負(fù)責(zé)維持高頻、低延遲的多模態(tài)交互流；認(rèn)知系統(tǒng)（Cognitive System）作為「慢系統(tǒng)」，配備記憶與推理模塊，負(fù)責(zé)長程推理并生成高層主動(dòng)意圖。

圖1. ProAct 雙系統(tǒng)框架概覽。(a) 系統(tǒng)架構(gòu)整合了快速的行為系統(tǒng)與慢速的認(rèn)知系統(tǒng)；(b) 實(shí)時(shí)交互中，智能體在用戶離開時(shí)主動(dòng)發(fā)起挽留與提醒。

為了彌合兩者的時(shí)間差，ProAct進(jìn)一步提出了一種基于流匹配（Flow Matching）的流式生成模型，支持通過 ControlNet 異步注入語義意圖，這樣一來，機(jī)器人在保持流暢交互的同時(shí)，也能無縫地從「被動(dòng)反應(yīng)」切換到「主動(dòng)出擊」。

文章的技術(shù)貢獻(xiàn)主要體現(xiàn)在以下三點(diǎn)：

1. 提出了一種用于具身社交智能體的雙系統(tǒng)架構(gòu)，成功將實(shí)時(shí)反應(yīng)與語境驅(qū)動(dòng)的主動(dòng)行為融為一體。

2. 提出一種基于流匹配的流式生成模型，支持將高層語義意圖異步注入實(shí)時(shí)動(dòng)作流，實(shí)現(xiàn)了反應(yīng)式與主動(dòng)式行為的平滑切換。

3. 將該系統(tǒng)部署于Unitree G1人形機(jī)器人，在真實(shí)世界中驗(yàn)證了其主動(dòng)交互的有效性。

下方的演示視頻可以直觀地感受ProAct如何讓機(jī)器人像人類一樣擁有「社交心智」：

視頻1. 在生活管家場景中，ProAct 發(fā)現(xiàn)用戶有急事后停止說話，并主動(dòng)提醒用戶離開時(shí)忘記拿書包。

視頻2. 在情感支持場景中，ProAct 檢測到用戶劇烈的情緒波動(dòng)，主動(dòng)詢問緣由并安慰用戶。

視頻3. 在尋找物品場景中，ProAct在用戶尋找物品時(shí)，回憶起用戶之前放置藥品柜的經(jīng)過，主動(dòng)提醒用戶藥瓶放在了哪里。

方法簡介

ProAct采用雙系統(tǒng)并行運(yùn)行的機(jī)制：行為系統(tǒng)維持實(shí)時(shí)交互閉環(huán)，認(rèn)知系統(tǒng)在后臺(tái)進(jìn)行周期性推理。

行為系統(tǒng)：流式多模態(tài)交互

行為系統(tǒng)充當(dāng)著「快系統(tǒng)」的角色，負(fù)責(zé)處理用戶音頻與視覺流，生成低延遲的語音與動(dòng)作反饋，由一個(gè)流式Omni-LLM和一個(gè)流式動(dòng)作生成器級聯(lián)而成。

語音方面，系統(tǒng)利用GPT-4o Realtime模型處理用戶語音和第一視角圖像，實(shí)現(xiàn)了支持隨時(shí)打斷的實(shí)時(shí)對話。動(dòng)作方面，為了維持具身的「存在感」，動(dòng)作必須連續(xù)且流暢。

為此，ProAct提出了一種基于流匹配的生成模型，具備極高的實(shí)時(shí)性，首次響應(yīng)時(shí)間與真實(shí)社交場景中的人類相當(dāng)。通過「重疊-緩存」機(jī)制，ProAct保證每一幀動(dòng)作的生成時(shí)間小于播放時(shí)間，并且能完美銜接上一幀的動(dòng)作，滿足實(shí)時(shí)流式輸出的要求。

此外，模型還能同時(shí)接收雙方的語音流進(jìn)行雙人交互建模，這讓機(jī)器人不僅在說話時(shí)有手勢，在傾聽時(shí)也能有自然的身體晃動(dòng)等反饋。

圖2. 認(rèn)知系統(tǒng)架構(gòu)。(a) 增量式多模態(tài)輸入；(b) 上下文編碼器與行為規(guī)劃器并行工作；(c) 通過不同通道注入行為計(jì)劃。

認(rèn)知系統(tǒng)：社會(huì)語境推理

認(rèn)知系統(tǒng)作為「慢系統(tǒng)」，通過一個(gè)基于 LLM 的智能體框架在后臺(tái)運(yùn)行，旨在解決「何時(shí)」以及「如何」發(fā)起主動(dòng)行為的問題。如圖 2 所示，該系統(tǒng)包含兩個(gè)關(guān)鍵模塊。

首先是上下文編碼器 （Context Encoder）。為了防止隨著對話進(jìn)行導(dǎo)致推理延遲增加，該模塊負(fù)責(zé)將累積的對話歷史、視覺幀與過往行為壓縮進(jìn)一個(gè)「記憶庫」。記憶庫結(jié)構(gòu)化地存儲(chǔ)了用戶分析（如心智理論）、情境追蹤（如物體位置變化）以及機(jī)器人的歷史行為。

其次是行為規(guī)劃器 （Behavior Planner）。該模塊依據(jù)當(dāng)前的記憶與感知，進(jìn)行動(dòng)機(jī)評估。系統(tǒng)會(huì)從視覺場景變化、用戶意圖信號、對話狀態(tài)、社會(huì)規(guī)范要求、情感響應(yīng)需求這五個(gè)維度對當(dāng)前狀況進(jìn)行打分。當(dāng)任一維度的動(dòng)機(jī)分?jǐn)?shù)超過設(shè)定閾值時(shí)，系統(tǒng)將觸發(fā)主動(dòng)干預(yù)。

最終，認(rèn)知系統(tǒng)的輸出將通過三個(gè)通道注入行為系統(tǒng)：一是手勢意圖注入，通過 ControlNet 引導(dǎo)動(dòng)作生成，例如「揮手打招呼」；二是對話干預(yù)，向 Omni-LLM 注入指令以打斷對話或引導(dǎo)話題；三是移動(dòng)控制，調(diào)整機(jī)器人的站位與朝向，例如「轉(zhuǎn)向用戶」。

實(shí)驗(yàn)結(jié)果與部署

研究者們將ProAct全棧部署在Unitree G1人形機(jī)器人上，實(shí)驗(yàn)設(shè)計(jì)了包括「海報(bào)講解」、「講故事」、「尋找物品」等多個(gè)交互場景。

圖3. 在海報(bào)講解場景中，ProAct 主動(dòng)發(fā)現(xiàn)用戶并打招呼，隨后糾正用戶的誤解。

視頻4. 在海報(bào)講解場景中，ProAct 主動(dòng)發(fā)現(xiàn)用戶并打招呼，隨后糾正用戶的誤解。

圖4. 在講故事場景中，ProAct 檢測到用戶玩手機(jī)分心，主動(dòng)中斷故事并提醒用戶。

視頻5. 在講故事場景中，ProAct 檢測到用戶玩手機(jī)分心，主動(dòng)中斷故事并提醒用戶。

如上述圖片所示，在海報(bào)講解任務(wù)中，ProAct 展現(xiàn)了超越簡單問答的能力：它能主動(dòng)捕捉路過的用戶，建立眼神接觸，并在用戶表達(dá)錯(cuò)誤觀點(diǎn)時(shí)主動(dòng)打斷并糾正。在講故事場景中，當(dāng)檢測到用戶低頭玩手機(jī)時(shí)，機(jī)器人并未繼續(xù)自言自語，而是根據(jù)「社會(huì)規(guī)范」觸發(fā)器，生成了不滿的肢體語言（雙手叉腰）并口頭提醒用戶專心。通過視頻結(jié)果中的鏈接可以觀看完整的社交視頻。

視頻6. ProAct的完整demo視頻

結(jié)論

研究人員提出了一個(gè)用于主動(dòng)具身社交智能體的雙系統(tǒng)框架ProAct。

ProAct首先構(gòu)建了一個(gè)支持語義意圖注入的流式動(dòng)作生成模型；在此之上，設(shè)計(jì)了能夠解耦實(shí)時(shí)反應(yīng)與長程推理的雙系統(tǒng)架構(gòu)。

可視化結(jié)果與用戶研究表明，ProAct能夠生成語境恰當(dāng)?shù)闹鲃?dòng)行為，顯著增強(qiáng)了人機(jī)交互的自然度與參與感 。

盡管該方法在提升主動(dòng)性方面取得了顯著進(jìn)展，仍存在一些局限性。首先，目前的觸發(fā)機(jī)制基于固定頻率與閾值，可能會(huì)錯(cuò)過最合適的干預(yù)機(jī)會(huì) ；其次，當(dāng)前系統(tǒng)主要依賴云端大模型，其網(wǎng)絡(luò)延遲（約1-2秒）在一定程度上限制了對極速突發(fā)事件的響應(yīng)能力 。未來研究者們將致力于端到端多模態(tài)模型的本地化部署與自適應(yīng)觸發(fā)策略的研究。

參考資料：

https://arxiv.org/abs/2602.14048