AI時代的內存優化,本質上就是一個數據庫的安全問題。若想避免人工智能Agent成為新的攻擊對象,就必須像對待數據庫那樣對待Agent內存,控制好防火墻、審計機制以及嚴格的訪問權限管理。
![]()
大型語言模型(LLM)發展帶來的挑戰
大型語言模型(LLM)的迅猛發展,讓人始料未及。以技術達人艾莉·米勒的親身實踐為例,她近期對首選的 LLM 用于多項任務進行了評價,卻坦言“相信下周情況就會改變”。原因在于,不同模型間的競爭激烈,有的會加速迭代,有的會在特定領域強化訓練。然而,當前這些 LLM 在處理高價值企業數據時,其“接地氣”的能力亟待提升。破解難題的關鍵在于,并非單純地跟上 LLM 的進化速度,而是要探索如何將內存優化經驗有效應用于人工智能領域。
若把 LLM 比作 CPU,那么內存就如同硬盤、上下文以及積累的智慧,是智能體有效運行的關鍵支撐。剝奪Agent的內存,它便淪為一個成本高昂的隨機生成器。與此同時,將記憶融入這些日益成熟的系統,也帶來了全新的、巨大的攻擊風險。
Agent內存優化,也是被忽視的“數據庫”危險
多數組織將Agent內存視作抓取板或 SDK 背后的簡單功能,卻未意識到它本質上是一個數據庫問題,而且可能是組織所擁有的最危險(同時也最具潛力)的數據庫問題。
不久前,我曾提出,看似普通的數據庫正逐漸成為人工智能的“海馬體”,為類似長期回憶的無狀態模型賦予外部記憶能力。當時,Agent系統浪潮尚未真正興起,如今風險已然大幅增加。
正如里士滿·阿萊克在“特工記憶”研究中反復強調的,LLM 記憶與Agent記憶存在本質區別。LLM 內存僅涉及參數權重和短暫的上下文窗口,會話結束后便消失不見。而Agent內存則是一種持久的認知架構,能讓Agent基于歷史互動積累知識、保持情境感知并調整行為。
阿拉克將這一新興領域稱為“記憶工程”,認為它是提示或情境工程的后續發展。其核心并非簡單地向上下文窗口填充更多代幣,而是構建一條將原始數據轉化為結構化、持久記憶的流程,涵蓋短期、長期、共享等多種類型。
這看似是人工智能領域的專業術語,實則是一個偽裝成數據庫的問題。一旦Agent能夠回溯自身記憶,每次交互都可能引發系統狀態變化,進而影響未來決策。此時,調整提示已無濟于事,因為運行的是一個實時、持續更新的數據庫,存儲著Agent對世界的認知。
若該數據庫出現錯誤,Agent會自信地犯錯;若遭到入侵,Agent將始終處于危險境地。這些威脅主要分為以下三類:
記憶中毒:攻擊者不直接破壞防火墻,而是通過正常交互向Agent灌輸虛假內容。開放全球應用安全項目(OWASP)將記憶中毒定義為損壞存儲數據,致使Agent在后續決策中出現缺陷。如今,像 Promptfoo 這類工具已配備專門的紅隊插件,用于測試Agent是否會被惡意記錄誤導。一旦發生這種情況,Agent對中毒記憶的后續判斷都將被扭曲。
工具濫用:Agent越來越多地獲得訪問各類工具的權限,如 SQL 終端、shell 命令、CRM API 和部署系統等。當攻擊者能夠誘導代理在錯誤上下文中調用正確工具時,其危害與掌握“內幕指令”的內部人員無異。OWASP 將此類問題歸類為工具濫用和Agent劫持,即Agent無法擺脫權限限制,被攻擊者利用謀取私利。
特權蔓延和妥協:隨著時間推移,Agent會積累涉及敏感數據的角色、密鑰和心理快照。例如,若某Agent先協助首席財務官,后又為初級分析師服務,就可能“記住”不應在下游分享的信息。Agent人工智能安全類稅務信息明確指出,特權妥協和訪問風險會隨著動態角色或審計不力政策的實施而增加。
新問題的本質是數據安全問題
這些威脅看似新穎,本質上卻都是數據問題。回顧人工智能發展歷程,這些問題正是數據治理團隊多年來致力于解決的。
我一直建議企業應從“快速轉型”轉向“快速實現數據的有效管理”,并將其作為人工智能平臺的核心選擇標準。對于Agent系統而言,這一點尤為重要。Agent以機器速度處理人體數據,若數據錯誤、陳舊或標注有誤,Agent出錯的速度將遠超人類管理能力。
沒有有效“治理”的“快速”發展,無異于高速疏忽。問題在于,多數Agent框架都自帶小型內存存儲,如默認的向量數據庫、JSON 文件以及內存中的快速緩存,這些緩存可能在后續悄然投入生產使用。從數據治理角度看,這些屬于影子數據庫,通常缺乏模式定義、訪問控制列表和嚴肅的審計跟蹤記錄。
我們實際上是為Agent專門搭建了第二個數據棧,卻還疑惑為何安全人員對Agent接觸重要事務心存顧慮。顯然,這種做法不可取。若Agent要保存影響真實決策的內存,該存儲應與處理客戶記錄、人力資源數據和財務數據的受管控數據基礎設施屬于同一體系。Agent是新事物,但保護它們的方法并不用是最新的。
一種行業覺醒,Agent記憶與數據庫設計的融合
業界逐漸意識到,“Agent記憶”實質是“數據持久化”的“新包裝”。仔細審視,大型云服務提供商的舉措已初具數據庫設計雛形。例如,亞馬遜的 Bedrock AgentCore 引入“內存資源”作為邏輯容器,明確規定了留存周期、安全邊界以及原始交互如何轉化為持久洞察,這無疑是數據庫語言的運用,即便帶有人工智能品牌標識。
將向量嵌入視為獨立于核心數據庫的特殊數據類型毫無意義,若核心事務引擎能夠原生處理向量搜索、JSON 和圖形查詢,這種分離更顯多余。將內存整合到存儲客戶記錄的數據庫中,可繼承數十年的安全強化成果。正如布里吉·潘迪所指出,數據庫多年來一直是應用架構的核心,智能人工智能不僅無法改變這一現狀,反而會強化其地位。
然而,許多開發者仍繞過這一成熟架構,構建獨立的向量數據庫,或使用 LangChain 等框架的默認存儲,創建無模式、無審計跟蹤的無管理嵌入堆。這便是前面提到的“高速疏忽”。解決方案很簡單:將向量內存視為一流數據庫。
具體實踐包括:
定義思想模式:通常人們將內存視為非結構化文本,這是錯誤的。Agent存儲器需要結構化設計,明確記錄說話者、時間、信心水平等信息。如同不會將財務記錄隨意丟進文本文件,Agent記憶也不應存入通用向量存儲,需借助元數據管理想法的生命周期。
創建內存防火墻:將寫入長期記憶的每一項內容都視為不可信輸入。構建一個“防火墻”邏輯層,執行模式驗證、約束檢查以及數據丟失防護,甚至可在數據寫入磁盤前,使用專用安全模型掃描提示注入或記憶中毒跡象。
數據庫層實施訪問控制:為Agent的“大腦”實施分級安全機制。在Agent為用戶提供初級審核(如初級分析師權限)前,必須有效記錄所有高級記憶(如首席財務官權限)。此操作應在數據庫層而非提示層執行,若Agent試圖查詢無權限內存,數據庫應返回零結果。
審計“思想鏈”:傳統安全審計關注誰訪問了表格,而Agent安全需審計原因。需將Agent的實際行為追溯到觸發它的特定記憶譜系。若Agent泄露數據,要能夠調試其內存,找出有毒記錄并清除。
構建信任機制,從內存層開始的Agent系統設計
我們常以抽象概念談論人工智能信任,如倫理、一致性、透明度等,這些固然重要,但對于在實體企業中運行的Agent系統,信任是具體可衡量的。
當前處于炒作周期階段,各方都希望構建能“直接應對”的Agent機構,這不難理解,畢竟Agent能自動化許多過去需團隊協作的工作流程和應用程序。但每一次精彩演示背后,都隱藏著一個不斷積累事實、印象、中間計劃和緩存工具結果的存儲庫。這個存儲庫必須被當作一流數據庫處理,否則將面臨嚴重風險。
那些已掌握數據譜系、訪問控制、留存和審計管理方法的企業,在進入Agent時代時具有結構性優勢,無需重新發明治理體系,只需將其擴展至新的工作負載。
若你正在設計Agent系統,請從內存層入手,明確其定義、存儲位置、構建方式和管理策略。之后,再讓Agent投入運行。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.