400篇參考文獻重磅綜述，統(tǒng)一調(diào)查「人腦×Agent」記憶系統(tǒng)

跨學科突破：神經(jīng)科學如何讓 Agent 擁有「人類式」記憶？

你是否想過 Agent 能像人類一樣積累經(jīng)驗、不斷成長？如今，這一愿景正加速走向現(xiàn)實。但是，現(xiàn)有研究要么只聚焦 AI 技術(shù)本身，要么對人腦記憶機制的借鑒浮于表面，兩個學科之間始終缺少真正的靈感碰撞。

哈工大、鵬城實驗室、新加坡國立、復旦、北大聯(lián)合發(fā)布了一篇重磅綜述《AI Meets Brain: A Unified Survey on Memory System from Cognitive Neuroscience to Autonomous Agents》，首次打破認知神經(jīng)科學與人工智能之間的學科壁壘，系統(tǒng)性地將人腦記憶機制與 Agents 記憶統(tǒng)一審視，為設(shè)計真正「類人」的 Agent 記憶系統(tǒng)奠定理論基石。

全文橫跨認知神經(jīng)科學與人工智能兩大領(lǐng)域，涉獵相關(guān)文獻共 400 篇。

• 論文鏈接：http://arxiv.org/abs/2512.23343
• Github 鏈接：https://github.com/AgentMemory/Huaman-Agent-Memory

什么是記憶？

綜述重新定義了記憶。記憶不僅僅是數(shù)據(jù)的存儲，它也是認知的紐帶。綜述從認知神經(jīng)科學到 Agent 對記憶進行了剖析：

1.認知神經(jīng)科學角度：連接過去與未來的橋梁

在人腦中，記憶不僅僅是回放信息，其本質(zhì)是大腦存儲和管理信息的過程。記憶是連接過去經(jīng)驗與未來決策的認知橋梁。它分為兩個階段：在第一階段，當大腦獲得新概念或遇到新事件時，它會快速形成特定的神經(jīng)表征，同時整合和存儲這些信息。在第二階段，大腦對存儲的表征進行操作，要么隨著時間的推移鞏固它們，要么根據(jù)類似的未來情況檢索它們。

2.LLM 視角：三種形態(tài)的并存

對于大語言模型，記憶并非單一的存儲結(jié)構(gòu)，而是表現(xiàn)為三種形式：

• 參數(shù)記憶（Parametric Memory）：內(nèi)化在神經(jīng)網(wǎng)絡(luò)權(quán)重中的知識，對應人類的抽象長期記憶。
• 工作記憶（Working Memory）：基于上下文窗口，負責實時推理。
• 顯式外部記憶（Explicit External Memory）：RAG 是典型代表，通過解耦計算與存儲，使 LLM 從「知識庫」變?yōu)椤钢R調(diào)度器」。

3.Agent 視角：從存儲到認知的躍遷

Agent 的記憶超越了 LLM 的簡單存儲，它是一個動態(tài)的認知架構(gòu)，該綜述選擇沿著三個核心維度解構(gòu)記憶：

• 結(jié)構(gòu)化存儲：旨在將非結(jié)構(gòu)化自然語言交互轉(zhuǎn)換為易于機器索引和理解的有效格式。
• 動態(tài)調(diào)度：解決了有限的注意力資源和大量記憶存儲之間的沖突，模擬了人腦的遺忘與喚醒機制。
• 認知進化：Agent 必須深入反思、抽象和重組記憶內(nèi)容，從而推動其行為策略的持續(xù)更新。

Agent Memory vs RAG：傳統(tǒng)的 RAG 側(cè)重于將 LLM 連接到靜態(tài)的知識庫進行查詢，而 Agent Memory 是嵌入在 Agent 與其環(huán)境之間的動態(tài)交互過程中，不斷地將 Agent 操作和環(huán)境反饋生成的信息合并到記憶容器中。

記憶有何用？

在認知神經(jīng)科學中，記憶構(gòu)成了大腦編碼、存儲和檢索信息的神經(jīng)過程，使個體能夠保留過去的經(jīng)驗并利用它們來指導正在進行的行為并為未來的決策提供信息。

在 LLM 驅(qū)動的 Agent 中，模型原生的無狀態(tài)性與復雜、長期任務所需的連續(xù)性需求之間存在著天然的鴻溝。因此，記憶超越了其作為橋接歷史交互的被動存儲庫的角色，而是充當 Agent 認知架構(gòu)中的關(guān)鍵主動組件。因此，給 Agent 裝上記憶系統(tǒng)，并非只是為了記住，而是為了實現(xiàn)三大核心作用：

圖 1. 記憶通過減輕上下文窗口限制、實現(xiàn)長期個性化以及驅(qū)動基于經(jīng)驗的推理來擴展 Agent 的能力。

1.突破上下文窗口的限制：

• 啟發(fā)式上下文設(shè)計：通過設(shè)計啟發(fā)式規(guī)則來管理記憶。
• 自主記憶優(yōu)化：讓 Agent 把記憶管理提升為可學習的內(nèi)在能力。

2.構(gòu)建長期個性化畫像：

• 畫像構(gòu)建：Agent 能從碎片化的歷史對話中，提煉出你的核心特質(zhì)和信息。它不僅會記錄發(fā)生了什么，還會定期反思，推測你話語背后的潛在動機，從而在腦海中建立一個個性化檔案。
• 偏好對齊執(zhí)行：當 Agent 替你執(zhí)行任務時，記憶庫會充當隱形指揮棒。不需要反復叮囑，它會自動調(diào)用記憶中的偏好約束決策。

3.驅(qū)動基于經(jīng)驗的推理：

• 戰(zhàn)略指導：檢索歷史上相似的成功案例或從中提煉的高層經(jīng)驗，指導當前的決策，避免重蹈覆轍。
• 程序固化：將成功的推理過程轉(zhuǎn)化為可復用的技能或可執(zhí)行的結(jié)構(gòu)。

記憶的分類學

在談論 Agent 記憶的分類之前，綜述首先梳理了認知神經(jīng)科學對記憶的經(jīng)典定義。人腦的記憶并不是一個單一的黑盒，而是一個分工明確的復雜系統(tǒng)。

1.基于認知神經(jīng)科學的分類：

記憶的概念最初源于認知神經(jīng)科學，它被廣泛地定義為大腦存儲和管理信息的認知過程，允許在原始刺激或事件不再存在后訪問和使用這些信息，通常分為短期記憶和長期記憶。

• 短期記憶（Short-term Memory）：
• 定義：大腦的臨時工作臺。它負責在極短的時間窗口（約 15～20 秒）內(nèi)維持和處理信息。
• 特征：容量非常有限（通常只能容納 4～9 個單位的信息）。

• 長期記憶（Long-term Memory）：
• 定義：大腦的永久檔案館。它可以存儲從幾分鐘到幾十年的信息。
• 特征：沒有嚴格的容量限制，且結(jié)構(gòu)高度組織化。
• 長期記憶可繼續(xù)分為情景記憶和語義記憶：

1. 情景記憶（Episodic Memory）：指對個人親身經(jīng)歷過的特定事件的記憶。此類記憶通常不僅包括有關(guān)事件本身的詳細信息，還包括其時間和空間背景，即事件發(fā)生的時間和地點。
2. 語義記憶（Semantic Memory）：指對所學事實知識、概念和規(guī)則的記憶。這些記憶與獲取的特定時間和地點無關(guān)，并且它們的檢索并不伴隨著對過去特定事件的生動重新體驗。

2.Agent 的雙維度記憶分類

綜述中指出，連貫的記憶分類對于系統(tǒng)地理解和設(shè)計 Agent 系統(tǒng)中的記憶機制至關(guān)重要。為了適應復雜的自主任務，綜述提出了一套雙維度的分類法。

圖 2. (a) 基于性質(zhì)的分類法，根據(jù)編碼的信息類型對記憶進行分類。 (b) 基于范圍的分類，根據(jù)記憶的應用范圍來區(qū)分。

（1）.基于「性質(zhì)」的分類（Nature-based）

這是直接對齊人腦「情景和語義」的分類方式，決定了 Agent 在推理時使用的是「經(jīng)驗」還是「知識」。

• 情景記憶（Episodic Memory）：
• 定義：任務式數(shù)據(jù)庫
• 存儲內(nèi)容：完整的交互軌跡（Trajectory）
• 核心作用：提供過程性知識，即「How to」

• 語義記憶（Semantic Memory）：
• 定義：存儲 Agent 的知識庫
• 存儲內(nèi)容：事實、概念、規(guī)則和常識
• 核心作用：提供陳述性知識，即「What-is」

（2）.基于「范圍」的分類 (Scope-based)

這是基于記憶在任務流中的生命周期和適用范圍進行的劃分。

• 軌跡內(nèi)記憶（Inside-trail Memory）：
• 定義：臨時工作區(qū)
• 存儲內(nèi)容：當前任務的中間步驟、臨時變量和即時的觀察結(jié)果
• 作用域：僅在當前任務或會話中有效
• 特點：用完即走。當情景結(jié)束時，該記憶通常會被清除或重置

• 跨軌跡記憶（Cross-trail Memory）：
• 定義：永久存儲庫
• 存儲內(nèi)容：可概括的模式、學習的策略、可重用的知識
• 作用域：跨越多個任務、多個對話，甚至跨越 Agent 的整個生命周期
• 核心作用：提供陳述性知識，即「What-is」

記憶的存儲機制

記憶存儲的關(guān)鍵在于記憶的存儲位置和記憶的存儲形式。

1.認知神經(jīng)科學中的記憶存儲

在人腦中，記憶存儲是一個跨腦區(qū)的動態(tài)協(xié)作過程。

• 短期記憶
• 存儲位置：分布在感覺皮層和額頂網(wǎng)絡(luò)（Sensory-frontoparietal network）。
• 機制：感覺皮層保留細節(jié)，額頂網(wǎng)絡(luò)支持跨模式表示，允許不同通道信息在共享表示空間中鏈接和操作。
• 存儲形式：

1. 持續(xù)活動（Persistent activity）：保持高水平的放電活動
2. 活動 - 沉默突觸連接（Synaptic connection weights）：仍可能有用的項目可以默默存儲并在需要時重新激活

• 長期記憶
• 存儲位置：海馬體（Hippocampus） + 新皮層（Neocortex）。
• 機制：海馬體不是倉庫，而是索引。新機制先在海馬體暫存，通過系統(tǒng)鞏固，慢慢轉(zhuǎn)移到新皮層這個永久倉庫中。
• 存儲形式：

1. 事件單元（Event-based unit）：把連續(xù)的生活切片成一個個獨立的事件包。
2. 認知地圖（Cognitive map）：人腦把概念和知識也畫成了地圖，通過認知距離表示關(guān)系的遠近。

圖 3. 認知神經(jīng)科學中的記憶存儲機制概述，包括短期和長期記憶的存儲位置和存儲格式。

2.Agent 中的記憶存儲

不同于人腦渾然天成的神經(jīng)網(wǎng)絡(luò)，Agent 的記憶系統(tǒng)是顯式的工程構(gòu)建。不僅要解決存在哪的物理限制，還要在怎么存上進行復雜的數(shù)據(jù)結(jié)構(gòu)選型，以在計算成本和推理能力之間尋找最優(yōu)解。

• 存儲位置
• 上下文窗口（Context Window）：對應軌跡內(nèi)記憶。主要存放當前的對話流。
• 記憶庫（Memory Bank）：對應跨軌跡記憶。外掛的存儲庫，容量近似無限。

• 存儲形式
• 文本（Text）：自然語言形式，比較直觀
• 圖結(jié)構(gòu)（Graph）：實體和關(guān)系組成的結(jié)構(gòu)化網(wǎng)絡(luò)，支持關(guān)系提取和模式發(fā)現(xiàn)，能夠識別節(jié)點之間的隱式鏈接，從而輔助復雜的邏輯信息查詢
• 參數(shù)（Parameters）：模型權(quán)重，通過訓練內(nèi)化記憶
• 隱式表示（Latent Representation）：高維向量，檢索速度快

記憶的管理系統(tǒng)

記憶不是一個靜態(tài)的倉庫，而是一條奔流不息的河流。在人類大腦中，記憶通過海馬體的重播和新皮層的鞏固，不斷被重寫和重構(gòu)。而在 Agent 中，記憶管理則是提取（Extraction）、更新（Updating）、檢索（Retrieval）、應用（Application）的精密閉環(huán)。

1.認知神經(jīng)科學：大腦的動態(tài)循環(huán)

人腦的記憶管理不是簡單的「寫入」和「讀取」，而是一個充滿可塑性的動態(tài)過程。

圖 4. 認知神經(jīng)科學中的記憶管理概述。該框架闡釋了信息處理的動態(tài)循環(huán)，包括記憶形成、更新和檢索，通過這個循環(huán)，長期記憶支持對外部環(huán)境的靈活適應。

• 記憶形成（Memory Formation）

記憶并非一蹴而就，它經(jīng)歷了三個階段：

• 編碼（Encoding）：海馬體將新皮層內(nèi)分布的感覺特征結(jié)合成統(tǒng)一的表征，并選擇性地調(diào)節(jié)其與感覺皮層的相互作用，以放大未來高效用的表征。
• 鞏固（Consolidation）：在清醒休息或睡眠等離線狀態(tài)下，海馬體通過重播，不斷與新皮層同步活動，重新組織和調(diào)整新信息，使其穩(wěn)定下來。
• 整合（Integration）：通過海馬體與內(nèi)側(cè)前額葉皮層的協(xié)作，將鞏固的記憶痕跡轉(zhuǎn)化為有組織的關(guān)聯(lián)知識，并最終將其重新分配至新皮層以實現(xiàn)持久的抽象存儲。

• 記憶更新（Memory Updating）

大腦如何修正錯誤的記憶？

• 機制：預測誤差（Prediction Error）是核心驅(qū)動力。當發(fā)現(xiàn)現(xiàn)實與記憶不符，大腦就會觸發(fā)更新機制。
• 策略：分化是為相似的新舊事件建立互斥的神經(jīng)表征，防止混淆。整合是將新舊知識與預測誤差整合為一體。

• 記憶檢索（Memory Retrieval）

檢索即重構(gòu)。

• 重構(gòu)性：回憶不是回放錄像，而是根據(jù)線索（Cue）利用海馬體進行模式完成（Pattern Completion），重新構(gòu)建當時的場景。
• 再鞏固（Reconsolidation）：每當回憶一次，這段記憶就會變得不穩(wěn)定，容易被修改或增強。這也解釋了為什么 “常回憶” 能加深記憶，但也可能會植入虛假細節(jié)。

2.Agent 記憶管理：記憶管理的精密閉環(huán)

與在受限窗口內(nèi)執(zhí)行瞬態(tài)處理的標準大語言模型不同，Agent 通過顯式管理機制實現(xiàn)體驗的持久調(diào)節(jié)。

圖 5. Agent 中記憶管理的概述。該框架形成了一個由記憶提取、更新、檢索和利用組成的閉環(huán)管道，從而實現(xiàn)持久的經(jīng)驗調(diào)節(jié)和長期推理。

• 記憶提取（Memory Extraction）
• 
  

Agent 不能把所有 Log 都存下來，它需要提煉：

• 扁平提取（Flat）：直接將原始信息記錄到存儲中或應用摘要和分段等輕量級預處理。
• 分層提取（Hierarchical）：通過多粒度抽象機制將碎片化信息組織成層次結(jié)構(gòu)，旨在模擬人類在宏觀背景和微觀細節(jié)之間靈活切換的認知能力。
• 生成式提取（Generative）：旨在在推理過程中動態(tài)重建上下文，從而緩解因過大上下文長度帶來的計算開銷和注意力稀釋問題。

• 記憶更新（Memory Updating）
• 
  

遺忘是為了更好地記住，更新機制分為兩層：

• 軌跡內(nèi)更新（Inside-Trial）：針對上下文窗口，像人類選擇性注意一樣，實時過濾無關(guān)噪聲，或在窗口快滿時觸發(fā)摘要工具，騰出工具。
• 跨軌跡更新（Cross-Trial）：針對外部記憶庫，引入遺忘機制，自動剔除低價值或長時間未訪問的記憶節(jié)點。

• 記憶檢索（Memory Retrieval）
• 
  

不僅僅是 Embedding 的相似度，主要分為兩種：

• 基于相似度（Similarity-based）：計算余弦相似度，找 Top-k，但相當于只懂字面意思，不懂邏輯結(jié)構(gòu)。
• 多因素檢索（Multi-factor）：根據(jù)時間、重要性、相關(guān)性，結(jié)構(gòu)效率和預期獎勵等因素確定記憶優(yōu)先級

• 記憶應用（Memory Application）

記憶怎么用，主要有兩種作用：

• 上下文利用（Context Utilization）：將記憶視為被動參考的傳統(tǒng)檢索增強生成范式。
• 參數(shù)內(nèi)化（Parameter Internalization）：該范式借鑒終身學習將顯性記憶轉(zhuǎn)化為隱性參數(shù)。

Agent 記憶系統(tǒng)評測

綜述將現(xiàn)有的 Benchmark 分為了兩類：

• 面向語義（Semantic-oriented）：重點關(guān)注 Agent 如何構(gòu)建、維護和利用其內(nèi)部記憶中的信息狀態(tài)。
• 面向情景（Episodic-oriented）：旨在評估復雜下游應用場景（使用外部工具完成任務）中 Agent 上記憶系統(tǒng)的實際性能增益。

表 1. 面向語義的基準

表 2. 面向情景的基準

Agent 記憶的安全

1. 攻擊

隨著 Agent 被部署在長期任務中，記憶成為了攻擊。其主要的攻擊方式分為兩類：

• 竊取攻擊（Extraction-based Attack）：把隱私「套」出來，攻擊者的目標是 “偷數(shù)據(jù)”，其手段是利用精心設(shè)計的 Prompt 誘導 Agent。例如，黑客可能偽裝成系統(tǒng)管理員，套取 Agent 長期記憶中存儲的用戶敏感信息。
• 投毒攻擊（Poisoning-based Attack）：把思想「改變」，攻擊者的目標是「壞腦子」。首先第一種是后門植入：向記憶庫中注入帶有「觸發(fā)器」的惡意數(shù)據(jù)，平時 Agent 表現(xiàn)正常，一旦遇到特定的指令，就會觸發(fā)惡意行為。其次是注入大量噪聲或偏見數(shù)據(jù)的認知污染：讓 Agent 的判斷力退化，變得糊涂或產(chǎn)生嚴重的價值觀偏差。

2. 防御

面對這些威脅，綜述提出了有三道防線，構(gòu)筑起從源頭到輸出的閉環(huán)防御體系。

• 檢索防御（Retrieval-based）：在 Agent 讀取記憶之前進行清洗。例如，通過多路檢索驗證一致性。
• 響應防御（Response-based）：在 Agent 生成回答時進行監(jiān)控。通過引入審查機制或利用自我反思機制，在輸出前預測潛在后果，攔截包含惡意意圖的響應。
• 隱私防御（Privacy-based）：在底層存儲上做文章。將記憶分為「公有」和「私有」區(qū)域，對敏感數(shù)據(jù)進行匿名化處理，確保了 Agent 在協(xié)作時只傳遞必要信息，不泄露核心隱私。

未來展望

1.多模態(tài)記憶

未來的 Agent Memory 需要打破模態(tài)的界限。目前的 Agent 在面對視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)時，往往采用「暴力壓縮」或「轉(zhuǎn)寫為文字」的方式，這會導致大量豐富的視覺細節(jié)（如微表情、光影變化）和聽覺情感在轉(zhuǎn)換中丟失。未來的記憶系統(tǒng)應該是全模態(tài) (Omni-modal)的，不僅存文本，還存儲壓縮后的視覺 / 聽覺特征向量，其終極目標是使 Agent 不僅能「讀」懂，還能「看」見，真正理解物理世界。

2.Agent Skills

現(xiàn)在的 Agent memory 往往是孤立。訓練好一個專為寫代碼的 Agent，它的經(jīng)驗（記憶）很難直接傳給另一個專為數(shù)學的 Agent，這導致了嚴重的重復造輪子。

這是因為不同的 Agent 之間的異構(gòu)性，導致記憶接口的不一致，因此記憶很難直接移植重用。論文借用了 Anthropic 提出的「Agent Skills」概念，即 Agent 將指令集、可執(zhí)行腳本和相關(guān)資源封裝到結(jié)構(gòu)化目錄單元中。這就好比游戲里的「裝備」或「技能書」可以在不同玩家間重復使用。

綜述提出兩個可能的未來研究方向：

• 多模態(tài)信息的統(tǒng)一存儲與表示：當前的記憶系統(tǒng)主要是為文本形式設(shè)計的。如何構(gòu)建支持多模態(tài)信息的統(tǒng)一存儲框架，包括文本、圖像、音頻和視頻，同時設(shè)計跨模態(tài)檢索和推理機制，是支持跨模態(tài) skills 遷移的關(guān)鍵。
• 跨 Agent 的 skills 轉(zhuǎn)移和適應機制：不同的 Agent 結(jié)構(gòu)，例如那些建立在不同基礎(chǔ)模型上的 Agent，表現(xiàn)出差異在能力特征和接口規(guī)范方面。設(shè)計通用的 skills 描述語言，使 skills 能夠無縫地轉(zhuǎn)移并且跨異構(gòu)代理的重用構(gòu)成了實現(xiàn)真實代理的關(guān)鍵挑戰(zhàn) skill-sharing 生態(tài)系統(tǒng)。