![]()
機(jī)器之心報(bào)道
機(jī)器之心編輯部
長(zhǎng)期以來(lái),大模型圈流傳著一個(gè)詛咒:LLM 懂微積分、會(huì)寫(xiě) Python,但在情感這件事上,它們?nèi)恰钢蹦小埂?/p>
即使是 GPT-4,在面對(duì)人類細(xì)膩的情感崩潰時(shí),往往也只能吐出 “多喝熱水”、“別難過(guò),一切都會(huì)好起來(lái)的” 這種正確的廢話。原因很簡(jiǎn)單:「情商」沒(méi)有標(biāo)準(zhǔn)答案,傳統(tǒng)的強(qiáng)化學(xué)習(xí)(RL)根本無(wú)從下手。
但今天,這個(gè)詛咒被打破了。
近日,來(lái)自 NatureSelect(自然選擇)的研究團(tuán)隊(duì) Team Echo發(fā)布了首個(gè)情感大模型 Echo-N1,提出了一套全新的「情感模型訓(xùn)練方法」,成功將 RL 用在了不可驗(yàn)證的主觀情感領(lǐng)域。
結(jié)果相當(dāng)震撼:
- 僅 32B 參數(shù)的 Echo-N1,在多輪情感陪伴任務(wù)中勝率(Success Rate)達(dá)到 46.7%。作為對(duì)比,擁有千億參數(shù)量的商業(yè)模型 Doubao 1.5 Character,勝率僅為 13.3%。
- 相比基座模型(Qwen3-32B)0% 的成功率,經(jīng)過(guò) RL 后性能直接起飛,對(duì)模型的共情模式帶來(lái)了質(zhì)變。
- 團(tuán)隊(duì)首度提出了「共情的心理物理模型」(EPM),把玄學(xué)的「共情」變成了可計(jì)算的「物理做功」。
![]()
- 論文標(biāo)題:Echo-N1: Affective RL Frontier
- 論文鏈接:https://arxiv.org/pdf/2512.00344v1
為什么你的 AI 對(duì)象總是「聊天終結(jié)者」?
在數(shù)學(xué)和代碼領(lǐng)域,RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí))之所以好用,是因?yàn)榇鸢阜呛诩窗住5谇楦信惆橹校嬲\(chéng)和冒犯、玩笑和油膩,往往只有一線之隔。
現(xiàn)有的模型(尤其是開(kāi)源模型)普遍存在三大問(wèn)題:
1.無(wú)法量化: 用戶一句 「I'm fine」 背后可能藏著崩潰、無(wú)奈甚至拒絕溝通,傳統(tǒng)的標(biāo)量獎(jiǎng)勵(lì)根本無(wú)法有效捕捉這種細(xì)微的情緒信號(hào)。
2.Reward Hacking: 模型為了拿高分自然學(xué)會(huì)了堆砌華麗辭藻,經(jīng)常說(shuō)些不痛不癢的美麗的廢話,對(duì)緩解用戶情緒不僅毫無(wú)幫助,甚至可能適得其反。
3.評(píng)測(cè)失真: 通過(guò)基于 SOTA 閉源模型(GPT-4,Claude-4.5-sonnet,Gemini-2.5-pro)的打分研究不難發(fā)現(xiàn),這些模型自己都分不清什么樣的表達(dá)屬于「像人」、什么樣的屬于「像 AI」。
為了解決這些問(wèn)題,Team Echo決定推翻現(xiàn)有的 RL 范式,給 AI 裝上一顆真正的「心」
核心技術(shù):給 RL 裝上「讀心術(shù)」
![]()
獎(jiǎng)勵(lì)模型:告別「打分」,開(kāi)始「寫(xiě)評(píng)語(yǔ)」
團(tuán)隊(duì)意識(shí)到,僅依賴標(biāo)量獎(jiǎng)勵(lì)(Scalar Reward)的信息維度過(guò)于單一。
情感是流動(dòng)的、細(xì)膩的,簡(jiǎn)單的數(shù)值反饋難以捕捉用戶在交互中的細(xì)膩情感變化,無(wú)法有效引導(dǎo)策略模型(Policy Model)對(duì)用戶情緒做出合適的共情反饋。
受 O1、R1 等架構(gòu)在復(fù)雜推理任務(wù)上成功的啟發(fā),團(tuán)隊(duì)的思考是:情感感知雖然主觀,但本質(zhì)上依然是基于上下文的復(fù)雜推理過(guò)程,只是思維模式與理科任務(wù)有所不同。
因此,Echo-N1 創(chuàng)新性地提出了生成式獎(jiǎng)勵(lì)模型(Generative Reward Model)。團(tuán)隊(duì)將思維鏈(CoT)的杠桿效應(yīng)遷移至獎(jiǎng)勵(lì)端 —— 獎(jiǎng)勵(lì)模型在輸出結(jié)果前,必須先生成一段邏輯嚴(yán)密的情感推理路徑。在該路徑下,模型需要先對(duì)用戶畫(huà)像進(jìn)行深度側(cè)寫(xiě),再基于此推導(dǎo)出 “什么樣的回答能引發(fā)共鳴”。通過(guò)將隱性的情感判斷過(guò)程顯化,模型的判別精度顯著提升,從而實(shí)現(xiàn)對(duì)策略模型更精細(xì)、更準(zhǔn)確的反饋引導(dǎo)。
在這一框架下,團(tuán)隊(duì)通過(guò) RL 訓(xùn)練了兩種生成式獎(jiǎng)勵(lì)模型:
- Humanlike Reward(擬人度獎(jiǎng)勵(lì)): 旨在消除 “助手味”。它具備上下文感知(Context-aware)能力,能敏銳識(shí)別并懲罰那些邏輯不通、或?yàn)榱藴愖謹(jǐn)?shù)而生成的 “幻覺(jué)” 內(nèi)容,確保回復(fù)邏輯自洽且具備「活人感」。
- Empathy Reward(共情獎(jiǎng)勵(lì)): 旨在實(shí)現(xiàn) User-specific 的深度共情。先根據(jù)歷史上文來(lái)推斷用戶的潛在畫(huà)像(User Context Mining),再判斷回復(fù)是否符合人類認(rèn)知、情感、動(dòng)機(jī)三種最本質(zhì)的共情需求。由于人類偏好的多樣性,團(tuán)隊(duì)提出了一種「從公理推定理」的新穎范式:將普世價(jià)值觀視為 “公理”,將千人千面的個(gè)性化需求視為 “定理”,由此出發(fā)設(shè)計(jì)了一套共情偏好數(shù)據(jù)合成框架。為了校驗(yàn)自動(dòng)化管線生成數(shù)據(jù)的可靠性,團(tuán)隊(duì)引入了「人機(jī)回環(huán)」驗(yàn)證機(jī)制,通過(guò)讓原始標(biāo)注員對(duì)模型推演的用戶畫(huà)像與回復(fù)策略進(jìn)行一致性校驗(yàn),確保了合成數(shù)據(jù)在 “客觀準(zhǔn)確” 與 “主觀共情” 上的高度統(tǒng)一。
為保證生成式獎(jiǎng)勵(lì)模型的情感推理路徑的準(zhǔn)確性,團(tuán)隊(duì)在訓(xùn)練中額外引入了過(guò)程性獎(jiǎng)勵(lì)(Process Reward)引導(dǎo)推理路徑的修正。此外,針對(duì) RL 中常見(jiàn)的 Reward Hacking 問(wèn)題,團(tuán)隊(duì)采用了離散化獎(jiǎng)勵(lì)(Discrete Rewards)參考答案錨定(Reference Anchoring)的策略。不追求分?jǐn)?shù)的絕對(duì)值膨脹,而是通過(guò)與 Reference 對(duì)比進(jìn)行相對(duì)優(yōu)劣排序。實(shí)驗(yàn)表明,這些策略相比 Scalar Reward 極大提升了訓(xùn)練策略模型的穩(wěn)定性。
![]()
評(píng)測(cè)革命:當(dāng)「AI 共情」變成可計(jì)算的物理模型
大模型訓(xùn)練的下半場(chǎng),靜態(tài)刷榜已經(jīng)沒(méi)有意義,未來(lái)的決勝關(guān)鍵在于「動(dòng)態(tài)交互」。尤其在情感陪伴這條終極賽道上,現(xiàn)有的 “真空式刷分評(píng)測(cè)” 根本無(wú)法衡量 AI 在長(zhǎng)程、復(fù)雜的心理博弈中的真實(shí)表現(xiàn)。
為了打破空白和僵局,NatureSelect(自然選擇)的研究團(tuán)隊(duì)首先解決了一個(gè)根本性的科學(xué)難題:
如何客觀量化「共情」與「療愈」?
EPM 情感物理模型 —— 給 “共情” 一把科學(xué)標(biāo)尺
為了量化對(duì)話中復(fù)雜的心理博弈,Team Echo 以物理學(xué)定律為啟發(fā),結(jié)合認(rèn)知科學(xué)和心理物理法,打造了一套全新的機(jī)器共情科學(xué)標(biāo)尺 —— 將抽象的心理療愈,轉(zhuǎn)化為可計(jì)算的物理過(guò)程。
- 心理勢(shì)能 (Potential Energy): 用戶的痛苦與情緒阻抗不再是模糊的形容詞,而被建模為有待克服的心理「阻力」或高位的「負(fù)勢(shì)能」。
- 做功 (Work): AI 的每一次回復(fù),本質(zhì)上都是在對(duì)用戶的心理場(chǎng)「施加作用力」,試圖推動(dòng)其狀態(tài)向良性躍遷。有效共情就是有效做功。
- 矢量空間 (Vector Space): 這種復(fù)雜的作用力被精準(zhǔn)分解到可計(jì)算的 MDEP 三維心理空間 —— 認(rèn)知重構(gòu)(C)、情感共鳴(A)、主動(dòng)賦能(P)。
有了 EPM,共情效果不再是主觀猜測(cè),而是可視化追蹤的能量軌跡和可計(jì)算的物理功
擬人化認(rèn)知沙盒 —— 一場(chǎng)關(guān)于心智計(jì)算的大戲
人類真實(shí)的共情對(duì)話,是人類大腦多重認(rèn)知模塊協(xié)同運(yùn)作的結(jié)果 ——實(shí)時(shí)的思考推理、鮮活的情緒反應(yīng)、聯(lián)想性的記憶檢索,缺一不可。為了讓 AI 真正像人一樣思考和交流,Team Echo 進(jìn)一步打造了一個(gè) “擬人化認(rèn)知沙盒”。這是一個(gè)由模擬人類 “中央執(zhí)行腦區(qū)” 所統(tǒng)籌的多智能體協(xié)作系統(tǒng),旨在共同演繹出有血有肉的真實(shí)互動(dòng)。
這個(gè)多智能體系統(tǒng)最引人注目的地方,在于其動(dòng)態(tài)、簡(jiǎn)潔、基于環(huán)境反饋的 Function Call 機(jī)制。整個(gè)系統(tǒng)是一個(gè)敏銳的幕后大腦,時(shí)刻捕捉著對(duì)話中的心理變化和深層情感流動(dòng) —— 它會(huì)根據(jù)現(xiàn)場(chǎng)情景靈活推理決策、調(diào)配記憶資源、激活特定故事;還能根據(jù)互動(dòng)反饋,即時(shí)調(diào)整策略重點(diǎn),掌控對(duì)話節(jié)奏和結(jié)束時(shí)機(jī),確保每一輪交流都充滿新鮮感和挑戰(zhàn)性。憑借這種智能且不可預(yù)測(cè)的調(diào)度能力,沙盒測(cè)試得以真正實(shí)現(xiàn)多輪鮮活的復(fù)雜心智模擬。
殘酷的大考:基座模型全面崩塌
有了這套殘酷而真實(shí)的擬人化認(rèn)知沙盒,我們終于可以對(duì) AI 進(jìn)行一場(chǎng)前所未有的 “社會(huì)共情能力的大考”。
結(jié)果令人震驚,卻也在意料之中。
在覆蓋 30 個(gè)高難度心理場(chǎng)景的壓力測(cè)試下,未經(jīng) post-train 的基座模型 (Qwen3-32B) 全面崩塌,通過(guò)率為驚人的 0%。更具揭示性的是 EPM 3D 軌跡圖:基座模型陷入無(wú)序的的隨機(jī)游走和病態(tài)收斂,它的軌跡幾乎全部指向了負(fù)能量區(qū)域 —— 不僅無(wú)法提供情感支持,反而讓用戶滋生了更負(fù)面的情緒和心理阻抗,在錯(cuò)誤的道路上越走越遠(yuǎn)。
即便是千億參數(shù)級(jí)別的商業(yè)模型Doubao 1.5 Character,在這場(chǎng)嚴(yán)苛的測(cè)試中也顯得力不從心,成功率僅為13.3%
這些數(shù)據(jù)充分證明:真實(shí)的共情能力,絕非單純堆砌參數(shù)就能涌現(xiàn),它需要專門(mén)的、科學(xué)的訓(xùn)練范式
![]()
Echo-N1 的崛起:畫(huà)像對(duì)齊,溫柔堅(jiān)定「做功」
在基座模型全面潰敗的背景下,經(jīng)過(guò)情感強(qiáng)化學(xué)習(xí) (Affective RL)訓(xùn)練的Echo-N1 模型,實(shí)現(xiàn)了顛覆性的跨越。在同樣的測(cè)試中,Echo-N1 的軌跡發(fā)生了根本性的逆轉(zhuǎn),它同時(shí)學(xué)會(huì)了多種畫(huà)像對(duì)齊的策略,不僅能敏銳地捕捉用戶的情緒落差,還能一步步把用戶從負(fù)面泥潭里拉出來(lái),推向良性的心理狀態(tài)。
![]()
在這場(chǎng)殘酷的沙盒大考中,Team Echo 反而拒絕以單一成敗論英雄,而是深入到 “方向?qū)R率” 與 “有效能量投影” 等多維量化指標(biāo),透視模型共情策略的真實(shí)質(zhì)量與做功效率。
為了實(shí)現(xiàn)物理基準(zhǔn)與人文體驗(yàn)的雙重互證,他們進(jìn)一步引入 NEE(Narrative & Experience Evaluator) 機(jī)制,組織 GPT-4o、Claude-3.5 等頂尖 SOTA 模型專家團(tuán)進(jìn)行盲測(cè)審視。最終,將嚴(yán)謹(jǐn)?shù)奈锢砹炕笜?biāo)與深度的人文體驗(yàn)評(píng)分融為一體,形成證據(jù)閉環(huán):Echo-N1 斬獲了 73.54 分的綜合高分,遠(yuǎn)超商業(yè)模型 Doubao 的 42.95 分和基座模型的 29.66 分,有力證明了其在科學(xué)精度與人文溫度上的雙重跨越。
![]()
邁向「有溫度」的 AGI
Echo-N1 的誕生證明:AI 的「情商」并非無(wú)法量化,它本質(zhì)上是可以被數(shù)學(xué)建模、被 RL 優(yōu)化的硬核能力
這項(xiàng)研究不僅讓 32B 小模型擁有了越級(jí)挑戰(zhàn)千億參數(shù)模型的共情能力,更重要的是,它為 RL 在主觀、不可驗(yàn)證領(lǐng)域的應(yīng)用打開(kāi)了一種新的可能。
也許很快,你的 AI 伴侶不再只會(huì)說(shuō)些無(wú)用的話、冷冰冰地列 To-Do List,而是那個(gè)與你超級(jí)對(duì)齊、能陪你一起面對(duì)這個(gè)世界不確定性的「靈魂伴侶」。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.