OpenClaw 創始人 Peter 近期推薦了一款名為 lossless-claw 的開源項目,試圖解決大語言模型 Agent 長期面臨的"失憶"困境——當對話上下文超出模型窗口限制時,傳統方案選擇直接截斷,而該項目提出了一條截然不同的技術路徑:零截斷、全壓縮、DAG 化存儲。
「滿了就截斷」:當前 Context 管理的原生缺陷
![]()
大語言模型的上下文窗口(Context Window)是其核心瓶頸之一。以 OpenClaw 為例,其內置的 context 管理機制遵循行業通行做法:當歷史對話累積的 token 數量觸及模型上限時,系統從最早的消息開始丟棄,以確保新輸入能夠進入窗口。這種「截斷式」策略簡單粗暴,卻埋下嚴重隱患。
Agent 的「失憶」問題由此產生。一個執行復雜任務的 AI 代理,可能在第 50 輪對話時徹底遺忘第 5 輪確立的關鍵約束條件,或在多步驟推理中丟失早期收集的重要證據。Peter 在推薦語中直指痛點:「如果你的 agent 經常因為忘事出問題」,這正是截斷機制導致的系統性缺陷。更隱蔽的風險在于,開發者往往難以預判哪段歷史會被截斷,調試成本居高不下。
截斷策略的流行有其歷史合理性——早期模型窗口僅 4K token,精打細算的裁剪是無奈之舉。但隨著 Claude 3 200K、GPT-4 Turbo 128K 等長窗口模型普及,問題本質已發生轉移:核心矛盾從「裝不下」轉向「找不著」。即使物理上能容納十萬 token,模型注意力機制的衰減仍會導致「中間丟失」現象,關鍵信息淹沒在噪聲中。
lossless-claw 的技術突圍:DAG 摘要與無損存儲
lossless-claw 的方案設計體現了對問題本質的重新理解。該項目采用三層架構:原始消息全量存入 SQLite 數據庫,自動提取摘要構建 DAG(有向無環圖)結構,最終向模型上下文注入的是經過拓撲排序的摘要版本而非原始文本。
這一設計的精妙之處在于信息分層。原始記錄零丟失,滿足審計與回溯需求;DAG 結構則捕捉對話中的邏輯依賴關系——哪條消息引用了哪條前提、哪個結論支撐了后續推理——形成可導航的知識圖譜。當需要填充上下文窗口時,系統基于當前查詢的相關性,從 DAG 中檢索最相關的摘要節點,而非機械地截取時間序列片段。
代價是顯性的:摘要生成與 DAG 維護需要額外消耗 token。但 lossless-claw 的命名本身即是對技術路線的宣示——「lossless」指向原始數據的完整保留,「claw」則隱喻精準抓取的能力。在 token 成本持續下降的行業背景下,以可量化的開銷換取確定性的信息留存,這筆賬對生產級 Agent 愈發劃算。
SQLite 的選型同樣值得玩味。相較于向量數據庫的流行方案,關系型數據庫的事務性與結構化查詢能力,更適配 DAG 的圖遍歷需求。這一選擇暗示了項目設計者的務實取向:不追逐技術時髦,而是為特定問題尋找最契合的工程解。
從「能記住」到「記得準」:Context 工程的范式轉移
lossless-claw 的出現,標志著 Context 管理正在經歷從「容量競賽」到「結構優化」的范式轉移。2023 年行業焦點是窗口長度的軍備競賽,各廠商競相推出 100K、200K 甚至百萬級 token 的模型;2024 年的關鍵問題則變成:如何讓模型真正利用這些窗口?
Peter 的背書具有信號意義。作為 OpenClaw 創始人,他公開推薦一個與自家產品內置機制理念相悖的方案,既體現了開源社區的開放心態,也暗示「截斷 vs 壓縮」的技術路線之爭尚未塵埃落定。對于開發者而言,這意味著需要根據任務特性做出選擇:高頻短對話場景下,截斷機制的開銷更低;復雜長程推理任務中,DAG 結構的信息密度優勢將放大。
更深層的啟示在于,大模型應用的基礎設施正在快速分層。底層是模型提供商的窗口擴展,中間層是如 lossless-claw 的 context 優化框架,上層則是面向垂直場景的 Agent 編排。每一層的創新空間都在打開,而「不截斷,只壓縮」的思路,很可能啟發更多針對注意力機制缺陷的架構創新——例如基于重要性評分的動態壓縮,或結合強化學習的上下文檢索策略。
當行業逐漸意識到「長窗口不等于長記憶」,lossless-claw 的 DAG 方案提供了一個可落地的參考實現。它的真正價值或許不在于技術本身的先進性,而在于證明了:在 LLM 應用的工程實踐中,對信息結構的精細化設計,比盲目追逐模型參數更能解決實際問題。對于飽受 Agent「失憶」困擾的開發者,這值得一試。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.