借鑒人腦「海馬體-皮層」機(jī)制，紅熊AI重做了一個(gè)「記憶系統(tǒng)」

機(jī)器之心報(bào)道

編輯：Youli

記憶，或是 AI 從「即時(shí)回答工具」邁向「?jìng)€(gè)性化超級(jí)助手」的關(guān)鍵突破

記憶，正成為新一輪 AI 進(jìn)化的關(guān)鍵所在

近期，Google Research 的一篇名為《Nested Learning: The Illusion of Deep Learning Architectures》的論文大范圍「出圈」，被業(yè)界看作是論文《Attention is All You Need》的 V2 版。

對(duì)于后者，想必大家已然非常熟悉，同樣是 Google Research 的作品，于 2017 年 6 月發(fā)布，文中提出的 Transformer，堪稱開啟了大語言模型革命的序章。

新論文之所以被奉為「精神續(xù)作」，是因?yàn)橥瑯佑兄富A(chǔ)范式」級(jí)別的突破，該研究提出了一種全新的機(jī)器學(xué)習(xí)范式 ——「嵌套學(xué)習(xí)」（Nested Learning），使得大語言模型能夠在不斷學(xué)習(xí)新技能的同時(shí)，又不會(huì)遺忘舊技能，標(biāo)志著「AI 正朝著真正像大腦一樣記憶、進(jìn)化邁出了一大步」。

其實(shí)如果仔細(xì)看，這些熱鬧的背后釋放出一個(gè)新的信號(hào)：大模型的風(fēng)向變了。

不管是各大大模型玩家在卷「誰的模型更大、更快上」呈現(xiàn)的疲軟、無力，還是 Ilya Sutskever 振臂一呼，直言「Scaling 已死」，都在言明，過去盛行的「暴力革命」已不再適用于當(dāng)前的大模型，戰(zhàn)場(chǎng)早已升級(jí)。而新的「戰(zhàn)場(chǎng)」上，大模型其實(shí)已經(jīng)轉(zhuǎn)向「誰的模型更會(huì)記憶、誰更懂用戶」的深層能力比拼上，或者說，記憶，才是新一輪 AI 進(jìn)化的關(guān)鍵所在。

怎么理解？

過去一年多以來，大模型落地應(yīng)用成為主流敘事，各類智能體（Agent）、「超級(jí)助手」產(chǎn)品接連涌現(xiàn)，但時(shí)至今日，仍然沒有一個(gè)產(chǎn)品能夠真正為用戶提供個(gè)性化服務(wù)，勝任「超級(jí)助手」角色，更多的還是停留在「即時(shí)回答工具」層面，一個(gè)很重要的原因是「AI 雖然聰明，但記不住，缺乏長期記憶」。

當(dāng)用戶打開聊天窗口時(shí)，AI 等于「從零開始」搭建新對(duì)話流程；當(dāng)多智能體系統(tǒng)交接任務(wù)時(shí)，它們彼此之間的記憶是斷裂的；當(dāng)企業(yè)試圖構(gòu)建連續(xù)的 AI 工作流程時(shí)，系統(tǒng)無法持續(xù)吸收經(jīng)驗(yàn)…… 而這些「遺忘」背后的原因有很多，核心原因就在于「當(dāng)前大模型記憶機(jī)制存在根本性缺陷」。

具體來看，這一根本性「記憶缺陷」源于多重技術(shù)局限的疊加。

首先，當(dāng)前主流大模型上下文窗口通常為 8k-32k tokens，在長對(duì)話中存在早期信息被「擠出」的可能，從而導(dǎo)致后續(xù)交互對(duì)話脫離歷史上下文語境。比如用戶第一輪對(duì)話中表明自己「對(duì)海鮮過敏」，可等到第五輪對(duì)話中，用戶咨詢「推薦今晚的菜品」時(shí)，模型可能遺忘前面對(duì)話中提到的過敏信息。并且當(dāng)前大模型的主流架構(gòu)多為 Transformer，而 Transformer 的自注意力對(duì)長距離依賴的捕捉能力隨序列長度下降，出現(xiàn)「近因效應(yīng)」，換句話說就是更關(guān)注最新輸入，忽略早期關(guān)鍵信息，可謂「天生不適合長期記憶」。

簡(jiǎn)單來說就是，模型固有的上下文窗口限制與注意力衰減，使得模型只記得住短期信息。

其次，在復(fù)雜的多 Agent 協(xié)作場(chǎng)景中，諸如咨詢、售后、推薦等各 Agent 之間缺乏跨模塊的共享機(jī)制，各自維護(hù)獨(dú)立的記憶，形成「記憶孤島」，導(dǎo)致用戶「換個(gè)入口就像換了個(gè)新 AI」，不得不一遍又一遍地重復(fù)提供信息。

另外，還有個(gè)更深層的問題在于，用戶對(duì)話中的模糊指代、行業(yè)術(shù)語及多語言混用，常常導(dǎo)致語義解析失真，而模型靜態(tài)的知識(shí)庫與用戶動(dòng)態(tài)的個(gè)性化需求之間，更是存在難以逾越的鴻溝……

因此，業(yè)界呼喚長期、穩(wěn)定、可演進(jìn)的模型「記憶」，越來越多的AI廠商開始聚焦模型記憶能力，比如谷歌、OpenAI、Anthropic 等AI大廠都在圍繞「記憶」這一新命題發(fā)力，通過各種方法強(qiáng)化其模型的記憶能力，而很多初創(chuàng)企業(yè)也在尋找新解法。

紅熊 AI 也是其中一個(gè)。

「記憶熊」，賦予 AI 如同人類一樣的記憶

其實(shí)，紅熊 AI 決定做「記憶」的背后不是長期謀劃的結(jié)果，也并非突然的靈感迸發(fā)，而是被真實(shí)場(chǎng)景的業(yè)務(wù)難題「逼」出來的。

紅熊 AI 成立于 2024 年 4 月，原本是一家聚焦底層技術(shù)中臺(tái)的企業(yè)。去年 9 月，團(tuán)隊(duì)在做一個(gè)智能客服類型項(xiàng)目時(shí)，遇到了模型的「知識(shí)遺忘」問題，為了解決這一「攔路虎」，團(tuán)隊(duì)嘗試了各種技術(shù)方案，包括上下文優(yōu)化、外掛知識(shí)庫、模型訓(xùn)練調(diào)參優(yōu)化、增加長期記憶等，可最后的效果都不甚理想……

這次的經(jīng)歷讓紅熊 AI 意識(shí)到一個(gè)問題：記憶缺失，或是制約 AI 從「即時(shí)回答工具」邁向「?jìng)€(gè)性化超級(jí)助手」的核心瓶頸。

在紅熊 AI 創(chuàng)始人兼 CEO、記憶熊首席科學(xué)家溫德亮看來，人類智能的基石，在于能夠?qū)⑺槠畔⒔M織成可被持續(xù)調(diào)用、關(guān)聯(lián)并解決新問題的記憶體系。「當(dāng)前 AI 所缺乏的，正是這種基于記憶的認(rèn)知能力，而不僅僅是模式匹配。」

為此，紅熊 AI 重新規(guī)劃公司發(fā)展重心，開始轉(zhuǎn)向「多模態(tài)模型 + 記憶科學(xué)」的研發(fā)路徑，之后歷時(shí)一年，于今年下半年正式推出其自主研發(fā)的記憶科學(xué)核心技術(shù)產(chǎn)品 ——「記憶熊」（Memory Bear）。

「記憶熊」不僅有效突破了傳統(tǒng)大語言模型在長期記憶管理中的「準(zhǔn)確率低、成本高、幻覺多、延遲高」等諸多瓶頸，更在技術(shù)架構(gòu)、應(yīng)用場(chǎng)景與性能指標(biāo)上實(shí)現(xiàn)多重跨越。

具體來看，「記憶熊」的技術(shù)突破在于，它并不是對(duì)模型的記憶系統(tǒng)進(jìn)行局部?jī)?yōu)化，而是「全鏈路重構(gòu)」，借鑒了人腦「海馬體 - 皮層」的分工協(xié)作機(jī)制，構(gòu)建了一套分層、動(dòng)態(tài)、可演進(jìn)的「類人」記憶架構(gòu)。

可以這樣理解，在人腦系統(tǒng)中，海馬體就像「臨時(shí)圖書館」和「索引編制中心」，負(fù)責(zé)快速形成新記憶，而大腦皮層則像是「永久分布式書庫」，負(fù)責(zé)長期存儲(chǔ)和關(guān)聯(lián)知識(shí)。在日常記憶中，「海馬體 - 皮層」機(jī)制通過「快速綁定 - 索引創(chuàng)建 - 離線重放 - 皮層固化 - 關(guān)聯(lián)整合」的協(xié)作，來進(jìn)行快速學(xué)習(xí)新事物和存儲(chǔ)、記憶長期知識(shí)。

而這套機(jī)制應(yīng)用在 AI 中，「記憶熊」則是按記憶管理的需求來劃分為「顯性記憶層」與「隱性記憶層」。

在顯性記憶層，系統(tǒng)通過結(jié)構(gòu)化數(shù)據(jù)庫，存儲(chǔ)可清晰描述和主動(dòng)調(diào)用的信息，比如用戶的歷史對(duì)話（情景記憶）和行業(yè)知識(shí)庫（語義記憶）。

在隱性記憶層，一個(gè)獨(dú)立于大模型參數(shù)的外部組件負(fù)責(zé)專門管理 AI 的行為習(xí)慣、任務(wù)策略和決策偏好，使其能「無意識(shí)」地高效處理重復(fù)任務(wù)。

此外，系統(tǒng)還通過情感傾向加權(quán)機(jī)制，對(duì)用戶標(biāo)記的重要或高頻情感信息賦予更高權(quán)重，模擬人類對(duì)情緒事件的深刻記憶。

比如，前面提到，在一些 AI 產(chǎn)品中，模型記不住之前對(duì)話中用戶提到的「對(duì)海鮮過敏」，而「記憶熊」能做的不僅是記住用戶「用對(duì)海鮮過敏」，甚至還能將用戶的一些隱性需求進(jìn)行關(guān)聯(lián)記憶，像是「用戶周一到周五習(xí)慣幾點(diǎn)起床？」「到公司喝什么咖啡，天氣冷了可能想喝熱的，熱了想喝冰的……」它能夠理解「咖啡」與用戶「早晨通勤習(xí)慣」的隱性關(guān)聯(lián)，從而實(shí)現(xiàn)超越關(guān)鍵詞的聯(lián)想式記憶檢索。

數(shù)據(jù)顯示，「記憶熊」通過精準(zhǔn)剔除冗余信息，在保持語義完整的前提下，能夠實(shí)現(xiàn) 97% 的 token 效率提升和 82% 的語境偏移率降低，將復(fù)雜推理準(zhǔn)確率提升至 75.00±0.20% 的行業(yè)高度，打破傳統(tǒng) AI 記憶系統(tǒng)「高消耗、低準(zhǔn)確」的刻板印象。

另外，在權(quán)威的 LOCOMO 數(shù)據(jù)集測(cè)試中，「記憶熊」的性能表現(xiàn)在單跳問答、多跳推理、開放泛化和時(shí)序處理四大核心任務(wù)中，表現(xiàn)優(yōu)異，尤其在基于向量的版本在 Achieving 高準(zhǔn)確性的同時(shí)，將搜索延遲 p50 控制在 0.137 秒，總延遲 p95 低至 1.232 秒，證明了「高準(zhǔn)確率并不代表必有高延遲」。

可以說，「記憶熊」不僅「記得住」，而且「記得快、記得準(zhǔn)、記得省」。

「記憶熊」已落地場(chǎng)景應(yīng)用，帶來實(shí)際商業(yè)價(jià)值

在 AI 行業(yè)中，衡量一個(gè)技術(shù)是否真有價(jià)值，僅僅停留在概念階段的各種「打榜」并不能說明一切，歸根結(jié)底要取決于能否在真實(shí)場(chǎng)景中落地應(yīng)用。在這一點(diǎn)上，紅熊 AI 推出的「記憶熊」具有天然優(yōu)勢(shì)：它本身就誕生于商業(yè)場(chǎng)景，因此早早回到場(chǎng)景中驗(yàn)證，并交出一份不錯(cuò)的成績(jī)單……

首先是智能 AI 客服場(chǎng)景，這可以說是「記憶熊」「緣起」的地方，曾經(jīng)因?yàn)槟Ｐ陀洃浤芰Σ蛔悖瑤斫唤訒r(shí)客服缺乏上下文，客戶被迫重復(fù)信息，情感線索被忽略，長期下來導(dǎo)致用戶不滿，客戶流失的情況頻發(fā)，而如今正變得不一樣。

「記憶熊」可以為每位用戶創(chuàng)建動(dòng)態(tài)記憶圖譜，從而讓機(jī)器人擁有了「客戶終身記憶」，每次交互時(shí)都可以回溯過往交互記錄，理解對(duì)方情感狀態(tài)，并為客服提供即時(shí)上下文，將服務(wù)從被動(dòng)響應(yīng)轉(zhuǎn)變?yōu)橹鲃?dòng)關(guān)懷，用戶無需再重復(fù)陳述問題，大幅提升用戶的交互體驗(yàn)。

數(shù)據(jù)顯示，憑借跨 Agent 的記憶共享，「記憶熊」實(shí)現(xiàn)了 70% 的人工替代率與 98.4% 的自助解決率。

營銷場(chǎng)景，「記憶熊」能夠根據(jù)購買習(xí)慣，為用戶構(gòu)建興趣記憶圖譜，追蹤用戶從首次點(diǎn)擊到復(fù)購的完整旅程，繼而可以針對(duì)用戶興趣，推出超個(gè)性化、實(shí)時(shí)適應(yīng)用戶行為的營銷活動(dòng)，改變傳統(tǒng)的「猜你喜歡」?fàn)I銷范式，變成「我記得你喜歡，知道你現(xiàn)在想要什么」的主動(dòng)迎合。

企業(yè)數(shù)智化領(lǐng)域，「記憶熊」作為統(tǒng)一的組織記憶中樞，打破了部門間的數(shù)據(jù)孤島，將新員工的知識(shí)獲取效率提升了 50% 以上。

而在AI 教育場(chǎng)景中，「記憶熊」基于個(gè)性化記憶的因材施教與情感加權(quán)推薦，正重新定義著個(gè)性化服務(wù)的標(biāo)準(zhǔn)，面對(duì)學(xué)生重復(fù)犯錯(cuò)、學(xué)習(xí)路徑千篇一律，被忽視的學(xué)習(xí)情緒與習(xí)慣等，基于「記憶熊」的 AI 導(dǎo)師能夠追溯學(xué)生數(shù)月的錯(cuò)題本，實(shí)現(xiàn)精準(zhǔn)查漏補(bǔ)缺，從而提供更為個(gè)性化的教學(xué)體驗(yàn)。

不止是這些，在電商、零售等場(chǎng)景，「記憶熊」也正在不斷賦能，通過模型記憶能力的增強(qiáng)，來提升服務(wù)質(zhì)量。而未來，紅熊 AI 將會(huì)繼續(xù)以「記憶熊」為核心技術(shù)引擎，推動(dòng) AI 從「工具級(jí)服務(wù)」邁向「伙伴級(jí)服務(wù)」，為千行百業(yè)的智能化升級(jí)提供底層支撐……

其實(shí)，從整體來看，不管是 Google Research 提出「嵌套學(xué)習(xí)」，從前沿技術(shù)層面指明「記憶」的提升方向，還是像紅熊 AI 這樣的玩家不斷從工程路徑上探索「記憶」的落地應(yīng)用，都在表明一個(gè)事實(shí)：「記憶」能力是當(dāng)前 AI 技術(shù)側(cè)和應(yīng)用側(cè)的雙重訴求，這已然成為一個(gè)共識(shí)。

基于此共識(shí)，越來越多的玩家開始入局、押注，朝著讓 AI 擁有像人類一樣的記憶持續(xù)探索，而在 AGI 這一終極目標(biāo)的追尋道路上，誰掌握了「記憶」，誰就更接近 AGI……