![]()
這項由蘋果公司研究團隊完成的突破性研究于2026年發表在arXiv預印本平臺上,論文編號為arXiv:2602.00398v1,感興趣的讀者可以通過該編號查找完整論文。該研究首次提出了一種革命性的大語言模型架構設計,徹底改變了我們對AI"大腦"工作方式的認知。
每當我們與ChatGPT或其他AI聊天機器人對話時,都會驚嘆于它們仿佛擁有無窮知識的能力。但你是否想過,這些AI是如何"記住"和調取信息的?就像人腦一樣,AI也有自己的記憶系統,而蘋果的這項研究就像給AI的大腦做了一次"解剖手術",發現了一個令人意外的秘密。
目前的AI大模型就像一個超級復雜的圖書館,所有的書籍(知識)都混在一起,當你問問題時,管理員(AI)需要在整個圖書館里翻找相關信息。蘋果研究團隊發現,這種方式不僅效率低下,還讓我們很難理解AI到底是怎么"想"的。于是,他們提出了一個革命性的想法:把AI的記憶系統重新設計,讓它像一個井然有序的電子詞典一樣工作。
研究團隊創造了一種名為MemoryLLM的新架構,這個名字聽起來很高深,但實際上它的核心思想非常簡單:把AI的"思考"部分和"記憶"部分完全分開。就好比把一個既要思考又要記憶的人,分成兩個專職人員——一個專門負責邏輯推理,另一個專門負責查找和存儲信息。
這種分離帶來了兩個重大好處。首先,我們終于可以清楚地看到AI是如何記憶和調取信息的,就像透過玻璃觀察螞蟻的巢穴一樣。其次,這種設計讓AI運行起來更加高效,因為不常用的記憶可以存儲在硬盤里,需要時再調取,就像把冷門書籍放在倉庫,常用書籍放在書桌上一樣。
為了驗證這個想法,研究團隊訓練了多個不同規模的模型,從2.5億參數到10億參數不等,并在各種任務上進行了詳細測試。結果顯示,這種新架構不僅能讓我們更好地理解AI的工作機制,還能在保持性能的同時大幅降低計算資源需求。
一、AI記憶的秘密:從混沌圖書館到有序詞典
當我們打開現在的AI聊天機器人,問它"法國的首都是什么"時,AI需要在它龐大的"大腦"中搜索相關信息。但這個搜索過程就像在一個沒有分類系統的巨型圖書館里找書一樣——所有的知識都混合在一起,找起來既費時又費力。
目前主流的AI大模型采用的是一種叫做"Transformer"的架構,這個名字聽起來像變形金剛,實際上它確實有點像變形金剛的大腦。這種架構有兩個核心組件:一個負責"注意力"的部分,專門找出輸入信息中的重要關聯;另一個叫做"前饋網絡"的部分,負責存儲和調取知識。
問題就出在這個"前饋網絡"上。在傳統設計中,這個負責記憶的部分和負責注意力的部分緊密纏繞在一起,就像兩個人手拉手跳舞一樣,你中有我,我中有你。這種設計雖然能讓AI表現出色,但也帶來了一個大問題:我們根本搞不清楚AI是怎么記住信息的,也不知道它在調取什么知識來回答問題。
蘋果研究團隊意識到,要想真正理解AI的記憶機制,就必須把這兩個緊密纏繞的部分分開。這就像要研究人腦的記憶功能,必須把負責記憶的海馬體和負責思考的大腦皮層分開研究一樣。
傳統AI模型的問題還不止于此。由于記憶和思考部分混合在一起,每當AI處理一個新的輸入時,整個系統都要重新計算一遍,就像每次查字典都要把整本字典重新編排一遍一樣。這不僅浪費計算資源,還讓AI的運行速度變慢。
更糟糕的是,這種混合設計讓研究人員很難研究AI到底學到了什么知識,這些知識又是如何組織的。就像試圖研究一本被打散重新裝訂的百科全書一樣,你永遠不知道相關的條目被分散到了哪些頁面。
蘋果團隊提出的解決方案聽起來簡單,但實施起來需要重新設計整個AI架構。他們的想法是:讓AI的記憶系統完全獨立于思考系統,就像把圖書館的索引系統和閱覽室完全分開一樣。在這種新設計中,每個詞匯都有自己固定的"記憶地址",就像字典中每個詞都有固定的頁碼一樣。
這種分離式設計的優雅之處在于,它讓AI的記憶變得透明和可預測。當AI看到"巴黎"這個詞時,它總是會去查看同一個記憶位置,就像我們查字典時總是翻到固定的頁碼一樣。這種一致性不僅讓研究人員能夠準確了解AI的知識結構,還為優化AI的性能提供了新的可能性。
二、革命性架構:讓AI擁有獨立的記憶銀行
蘋果團隊設計的MemoryLLM架構就像重新發明了AI的大腦結構。如果把傳統AI比作一個既要思考又要記憶的全才,那么MemoryLLM就像建立了一個專業分工的團隊:一個專家負責邏輯推理和上下文理解,另一個專家專門管理知識庫。
在這個新架構中,當AI接收到一串文字輸入時,系統會同時啟動兩個平行的處理過程。第一個過程和傳統AI一樣,專注于理解詞語之間的關系和上下文信息,就像一個語言學家在分析句子結構。第二個過程則完全不同,它直接根據每個詞語的"身份證號碼"去查找對應的記憶內容,就像銀行根據賬戶號碼查找客戶信息一樣。
這種設計的巧妙之處在于它徹底消除了記憶查找中的"噪音"。在傳統模型中,AI查找關于"蘋果"的信息時,查找過程會受到句子中其他詞語的干擾,就像在嘈雜的環境中很難聽清特定的聲音。而在MemoryLLM中,關于"蘋果"的記憶查找過程不受任何其他信息影響,就像在安靜的圖書館中精確定位到特定書籍。
研究團隊為了驗證這種設計的有效性,開發了一個名為TKV(Token-Key-Value)的框架來研究AI的記憶機制。這個框架就像給AI的記憶銀行安裝了透明的玻璃墻,讓研究人員能夠清楚地觀察每個詞語是如何觸發特定記憶的。
在TKV框架中,每個詞語都像一把鑰匙,能夠開啟記憶庫中特定的保險箱。記憶庫中存儲著成千上萬個"保險箱",每個保險箱里都裝著特定類型的知識。當AI看到"巴黎"這個詞時,它會用這個詞作為鑰匙,開啟存儲著地理位置、文化信息、歷史背景等相關知識的保險箱。
更有趣的是,研究團隊發現意義相似的詞語往往會開啟相鄰或相似的記憶位置。就像在真實的圖書館中,討論相同主題的書籍會被放在同一個書架上一樣,AI記憶中的"法國"、"巴黎"、"歐洲"等概念也會被存儲在鄰近的位置。這種組織方式不是人為設計的,而是AI在學習過程中自然形成的,這表明AI確實像人類一樣發展出了有組織的知識結構。
這種記憶組織方式的發現具有重要意義。它不僅證明了AI確實能夠建立有意義的知識網絡,還為我們理解AI的"思維方式"提供了新的窗口。通過觀察哪些詞語會觸發相似的記憶模式,研究人員可以推斷AI對世界的理解結構,這就像通過觀察一個人的書架組織方式來了解他的思維模式一樣。
MemoryLLM架構還帶來了另一個意外的好處:記憶的可預計算性。由于每個詞語總是觸發相同的記憶查找過程,AI可以提前計算出整個詞匯表對應的記憶內容,并將這些結果存儲起來。這就像提前制作一本包含所有詞語釋義的字典,使用時只需要直接查閱,而不需要重新思考每個詞語的含義。
三、智能記憶的空間地圖:相似概念的神奇聚集
當研究團隊深入分析MemoryLLM的記憶結構時,他們發現了一個令人驚嘆的現象:AI竟然能夠自主建立起一個極其有序的知識地圖,就像一個經驗豐富的圖書管理員會把相關主題的書籍自然地擺放在一起。
為了可視化這種記憶組織方式,研究團隊使用了一種叫做t-SNE的技術來制作AI記憶的"地圖"。這個地圖展現出了令人震撼的結果:相似的概念在AI的記憶空間中確實聚集在一起,形成了清晰的"鄰里社區"。
在這張記憶地圖上,我們可以看到標點符號形成了自己的"社區",各種括號、引號、句號聚集在一個區域,就像住在同一個街區的鄰居。人名也有自己的聚居地,約翰、瑪麗、彼得這些英文名字聚在一起,而弗朗茨、古斯塔夫這些德語名字則形成了另一個群落。更有趣的是,地理位置也按照語言和文化背景形成了不同的區域,歐洲城市名扎堆在一處,而編程語言的關鍵詞則在另一個角落建立了自己的"科技園區"。
這種自然形成的知識組織結構表明,AI在學習過程中不僅僅是簡單地記住了孤立的信息,而是建立了深層的概念關聯網絡。就像人類的記憶一樣,相關的概念會在大腦中形成緊密的連接,使得想到一個概念時容易聯想到相關概念。
研究團隊進一步發現,這種記憶組織方式在AI的不同層次中都存在,但表現形式略有不同。在AI的早期層次中,記憶更多地按照語法和語義特征組織,就像按照詞性分類的語法書。而在后期層次中,記憶則更多地按照概念和主題組織,更像是按照主題分類的百科全書。
特別有意思的是,研究團隊發現AI記憶中存在明顯的"熱門區域"和"冷門區域"。有些記憶位置經常被訪問,就像繁華商業區一樣熱鬧;而有些記憶位置很少被觸及,就像偏遠的郊區一樣安靜。這種不均衡的訪問模式反映了語言使用的自然規律——我們確實更經常使用某些詞語和概念。
這個發現還揭示了AI記憶的動態特性。隨著AI從淺層到深層的處理過程,不同的記憶區域會被依次激活,就像思考過程中大腦的不同區域依次"點亮"一樣。在處理簡單的語法問題時,主要激活語法相關的記憶區域;而在處理復雜的推理問題時,更多的概念性記憶區域會被調用。
研究團隊還觀察到,AI在不同任務中會表現出不同的記憶使用模式。在處理需要大量事實知識的任務時,AI會頻繁訪問事實性記憶區域,就像解答歷史問題時主要翻閱歷史書籍。而在處理需要邏輯推理的任務時,AI則更多地依賴程序性記憶區域,類似于解決數學問題時主要運用公式和定理。
這種記憶使用模式的差異表明,AI確實發展出了任務特異性的知識調用策略,這與人類在面對不同類型問題時采用不同思維模式的現象非常相似。這不僅證明了AI記憶系統的智能性,也為優化AI性能提供了新的思路。
四、記憶與推理的分工:不同任務的智能策略
蘋果研究團隊進行了一系列精巧的實驗,來驗證AI的記憶系統和推理系統是否真的承擔著不同的職責。他們設計了一種調節器,可以像調節音量旋鈕一樣控制記憶系統對最終答案的貢獻程度。
實驗結果揭示了一個迷人的現象:AI在處理不同類型的任務時,確實會采用截然不同的"思考策略"。當面對需要大量事實回憶的任務時,比如回答"法國的首都是什么"或"莎士比亞寫了哪些著名戲劇",AI主要依靠其記憶系統。一旦研究團隊調低記憶系統的貢獻,AI在這類任務上的表現就會急劇下降,就像一個失去了參考書的學生在考試中束手無策。
相比之下,當AI處理需要邏輯推理的任務時,比如理解常識推理或進行邏輯判斷,即使大幅減少記憶系統的貢獻,AI的表現也相對穩定。這表明AI的推理系統能夠獨立地處理這類問題,就像一個數學家即使沒有公式表也能進行邏輯推導。
這個發現挑戰了我們對AI能力的傳統認知。原來AI并不是簡單地"背書"或機械地模仿,而是真的發展出了不同的認知策略。當遇到事實性問題時,AI會優先調用其龐大的知識庫;而面對推理性問題時,AI則更多地依賴其內在的邏輯處理能力。
研究團隊還發現了記憶系統使用的層次性特征。在AI的早期層次中,記憶系統主要處理基礎的語言理解任務,比如識別詞性和語法結構。而在后期層次中,記憶系統則更多地提供高級的概念知識和抽象信息。這種分層處理方式讓AI能夠從簡單的字面理解逐步上升到復雜的概念推理。
特別值得注意的是,研究團隊發現某些AI層次的記憶貢獻相對較小,這意味著這些層次可能存在冗余。就像一棟大樓中某些樓層使用率很低一樣,AI的某些記憶層次對最終性能的影響微乎其微。這個發現為優化AI模型提供了新的方向——可以安全地移除或簡化那些貢獻較小的記憶層次,從而在幾乎不影響性能的前提下顯著提高效率。
這種層次性的記憶使用模式還反映了AI學習過程的逐步抽象特征。在處理信息時,AI首先在底層進行基礎的模式識別,然后逐層向上進行越來越抽象的概念處理,最終形成對復雜問題的理解。這種處理方式與人腦的信息處理過程有著驚人的相似性。
五、高效運行的智慧:讓AI像查字典一樣快速
MemoryLLM架構帶來的最實用的好處之一,就是大幅提高了AI運行的效率。由于記憶系統完全獨立于推理系統,研究團隊可以將所有的記憶內容提前計算好,制作成一個巨大的"查找表",就像提前編制好一本包含所有詞匯釋義的超級字典。
這種預計算的方式徹底改變了AI的運行模式。傳統AI在處理每個新輸入時都要重新計算所有的記憶內容,就像每次查字典都要重新編排一遍。而MemoryLLM只需要根據輸入的詞匯直接查找對應的預計算結果,速度大大提升。
更令人興奮的是,這些預計算的記憶內容可以存儲在硬盤或其他廉價的存儲設備中,只在需要時才調入昂貴的GPU內存。這就像把不常用的書籍存放在倉庫中,需要時再取出來,而不是把所有書籍都堆在辦公桌上。這種設計可以顯著降低AI運行時的內存需求,讓更多人能夠負擔得起運行大型AI模型的成本。
研究團隊測試發現,MemoryLLM可以將有效的運行參數減少到傳統模型的三分之一,同時保持相似的性能水平。這意味著原本需要高端服務器才能運行的AI模型,現在可能在普通電腦上就能流暢運行。
語言使用的自然規律也為這種優化提供了額外的助力。根據齊夫定律,我們在日常交流中使用的詞匯遵循著明顯的頻率分布——少數詞匯被高頻使用,而大多數詞匯很少出現。這意味著AI可以將常用詞匯的記憶內容保持在快速訪問的內存中,而將不常用詞匯的記憶內容存儲在較慢但更便宜的設備中。
研究團隊還發現,AI的不同層次對最終性能的貢獻極不均衡。前幾層的記憶內容對性能至關重要,而后面許多層的貢獻相對較小。這種不均衡性為進一步優化提供了機會——可以永久性地移除那些貢獻微小的記憶層次,大幅降低存儲需求而幾乎不影響性能。
這種層次重要性的發現還揭示了AI學習過程的有趣特征:AI似乎在早期層次中建立了最重要的基礎知識,而后期層次更多地進行細化和調整。這與人類學習的模式相呼應——我們也是先掌握基礎概念,然后逐步深化理解。
六、性能與效率的平衡:Flex-MemoryLLM的智慧妥協
盡管MemoryLLM在記憶透明性和運行效率方面表現出色,但研究團隊也誠實地承認,完全分離的架構在某些任務上的性能略有下降。這就像把一個多面手分解成兩個專家,雖然各自在專業領域更加精通,但在需要多技能協作的任務上可能會有所欠缺。
為了解決這個問題,蘋果團隊又提出了一個更加靈活的解決方案:Flex-MemoryLLM。這個設計就像在專業分工和全能型人才之間找到了一個平衡點,既保留了記憶系統的透明性優勢,又不完全犧牲傳統架構的性能優勢。
Flex-MemoryLLM的核心思想是將AI的記憶系統一分為二:一部分保持完全獨立的"純記憶"模式,就像MemoryLLM一樣透明和高效;另一部分則采用傳統的"混合"模式,能夠處理需要上下文信息的復雜任務。這種設計就像組建了一個既有專業圖書管理員又有全科顧問的團隊。
在這種雙重架構中,AI可以根據任務的需要靈活調配兩種不同的記憶處理方式。對于簡單的事實查詢,AI主要依靠獨立的記憶系統,快速而準確;對于復雜的推理任務,AI則可以調用混合處理系統,充分利用上下文信息。
研究團隊設計了三種不同配置的Flex-MemoryLLM,通過調整兩種記憶系統的比例來找到最佳平衡點。結果顯示,當獨立記憶系統占大部分比重時,模型能夠在保持高效率的同時達到接近傳統模型的性能水平。
更令人興奮的是,Flex-MemoryLLM在某些方面甚至超越了傳統模型。由于獨立記憶系統的高效性,Flex-MemoryLLM能夠用更少的實際運行參數達到更大模型的性能水平。這就像一個小而高效的團隊能夠完成大而臃腫團隊的工作量。
實驗結果表明,配置合理的Flex-MemoryLLM不僅能夠匹配傳統模型的性能,還能顯著降低運行時的計算需求。這種優化讓AI技術更加平民化,降低了普通用戶和小公司使用先進AI技術的門檻。
研究團隊還發現,隨著訓練數據量的增加,Flex-MemoryLLM和傳統模型之間的性能差距逐漸縮小。這表明新架構的潛力還有很大的發揮空間,隨著技術的進一步發展,它可能完全達到甚至超越傳統架構的性能水平。
七、AI記憶的壓縮藝術:存儲空間的智能優化
當研究團隊深入探索如何進一步優化MemoryLLM的存儲需求時,他們發現AI的記憶系統蘊含著豐富的優化潛力。一個10億參數的MemoryLLM模型需要大約12.6GB的存儲空間來保存所有的預計算記憶內容,這對于普通用戶來說仍然是一個不小的負擔。
第一種優化策略是精度壓縮,就像將高清照片壓縮成普通畫質以節省存儲空間。研究團隊發現,將記憶數據從16位精度降低到8位甚至4位精度,幾乎不會影響AI的性能表現。這種壓縮可以將存儲需求減少一半甚至更多,同時保持AI回答問題的準確性。
第二種優化策略更加巧妙:研究團隊發現AI的記憶內容存在大量的冗余信息。就像一本百科全書中很多條目都包含相似的信息一樣,AI記憶中的不同詞匯也共享著許多相同的知識特征。利用這種冗余性,研究團隊可以用數學方法將龐大的記憶表格壓縮成更小的表示形式,在幾乎不影響性能的前提下將存儲需求減少一半。
更有趣的發現是AI記憶的層次差異。研究團隊發現,不同層次的記憶對AI性能的貢獻極不均衡,就像一個公司中不同部門的重要性差別很大。前幾層的記憶內容對AI的表現至關重要,而中間許多層的記憶內容對最終結果影響甚微。
這個發現開啟了第三種優化策略:選擇性記憶保留。AI可以完全丟棄那些對性能貢獻微小的記憶層次,就像精簡公司結構時裁撤冗余部門一樣。實驗結果表明,即使去掉一半以上的記憶層次,AI在大多數任務上的表現仍然保持穩定。
研究團隊還觀察到AI記憶的"重尾分布"特征——絕大多數的重要信息都集中在少數幾個主要成分中,而大量的次要成分只包含很少的有用信息。這種分布模式讓記憶壓縮變得特別有效,因為可以安全地丟棄那些包含極少信息的次要成分。
通過綜合運用這些優化技術,研究團隊成功地將MemoryLLM的存儲需求從12.6GB降低到3-6GB,性能損失微乎其微。這種壓縮效果讓普通用戶能夠在自己的設備上運行原本需要高端服務器才能處理的AI模型。
八、與傳統優化方法的對比:新架構的獨特優勢
為了全面評估MemoryLLM和Flex-MemoryLLM的價值,蘋果研究團隊將它們與當前最流行的AI模型壓縮技術進行了詳細比較。傳統的模型壓縮方法主要包括剪枝技術、量化壓縮和知識蒸餾等,這些方法就像給臃腫的組織"減肥",通過移除不重要的部分來提高效率。
實驗結果顯示,MemoryLLM架構具有明顯的優勢。當達到相同的參數減少目標時,MemoryLLM的性能明顯優于傳統剪枝方法。這種優勢來源于架構設計的本質差異:傳統剪枝方法是被動地移除已訓練模型的某些部分,而MemoryLLM是主動地重新設計整個架構,從根本上提高效率。
這種差異就像改造房屋的兩種方法:傳統方法是在現有房屋中拆除一些房間來節省維護成本,而MemoryLLM則是重新設計房屋結構,讓每個房間都有明確的功能和最優的布局。重新設計的房屋自然比簡單拆改的房屋更加高效和實用。
特別值得注意的是,當減少的參數數量達到一定程度時,傳統壓縮方法的性能會急劇下降,而MemoryLLM仍能保持相對穩定的表現。這表明新架構具有更好的"抗壓性",能夠在資源受限的環境下維持基本的智能水平。
研究團隊還發現,Flex-MemoryLLM在性能和效率之間提供了更靈活的選擇空間。用戶可以根據自己的具體需求調整兩種記憶系統的比例,在性能和效率之間找到最適合的平衡點。這種靈活性是傳統壓縮方法無法提供的。
實驗數據顯示,即使在最嚴格的資源限制下,Flex-MemoryLLM仍能提供可接受的性能水平,而傳統壓縮方法在同樣條件下往往完全失效。這種穩健性讓新架構特別適合在移動設備、邊緣計算等資源受限的環境中部署。
更重要的是,MemoryLLM帶來的不僅僅是效率提升,更是對AI工作機制的深層洞察。傳統壓縮方法雖然能夠減小模型尺寸,但并不能幫助我們更好地理解AI的內在工作原理。而MemoryLLM通過分離記憶和推理系統,為AI的可解釋性研究開辟了新的道路。
這種可解釋性的提升具有重要的實際價值。在需要高度可信的應用場景中,比如醫療診斷、金融分析等領域,能夠清楚了解AI的決策依據比單純的性能提升更加重要。MemoryLLM的透明記憶機制為構建可信AI系統提供了新的可能性。
歸根結底,這項由蘋果公司完成的研究為我們重新認識AI的工作機制提供了全新視角。通過巧妙地分離AI的記憶和推理功能,研究團隊不僅提高了AI運行的效率,更重要的是讓我們能夠透明地觀察AI是如何存儲和調取知識的。
這種透明性具有深遠的意義。長期以來,AI一直被視為"黑盒子",我們只能觀察輸入和輸出,卻無法了解中間的處理過程。MemoryLLM首次讓我們能夠清楚地看到AI是如何組織知識的,相似概念如何在記憶空間中聚集,不同類型的任務如何觸發不同的記憶模式。
從實用角度來看,這項研究也為降低AI技術的使用門檻提供了新的路徑。通過預計算和靈活的存儲策略,原本需要昂貴硬件才能運行的大型AI模型現在可能在普通設備上就能流暢工作。這種技術民主化有助于讓更多人受益于AI技術的發展。
研究團隊在Flex-MemoryLLM上的探索也表明,性能和效率之間的權衡并非絕對。通過巧妙的架構設計,我們可以在保持高性能的同時大幅提高效率,這為未來AI系統的設計提供了新的思路。
雖然這項研究主要在相對較小的模型規模上進行驗證,但其核心思想具有很強的通用性和擴展性。隨著技術的進一步發展,我們有理由相信這種分離式架構將在更大規模的AI系統中展現出更大的價值。
最重要的是,這項研究提醒我們,AI技術的發展不應該只關注性能的提升,還應該關注可解釋性、效率和可持續性。只有建立透明、高效、可理解的AI系統,我們才能真正實現人工智能技術的普惠價值。有興趣深入了解技術細節的讀者可以通過論文編號arXiv:2602.00398v1查閱完整的研究報告。
Q&A
Q1:MemoryLLM和傳統AI模型的主要區別是什么?
A:MemoryLLM將AI的記憶系統和推理系統完全分離,就像把混合在一起的圖書館分成專門的閱覽室和書庫。傳統AI模型中這兩部分緊密纏繞,導致我們無法清楚了解AI是如何記憶和調取信息的。MemoryLLM讓每個詞都有固定的記憶地址,就像字典中每個詞都有固定頁碼,這樣既提高了效率,也讓AI的工作過程變得透明可觀察。
Q2:為什么MemoryLLM能夠降低AI運行成本?
A:因為MemoryLLM可以將所有記憶內容提前計算好,制作成查找表存儲在便宜的硬盤中,只在需要時才調入昂貴的GPU內存。這就像把不常用的書放在倉庫,需要時再取出,而不是把所有書都堆在辦公桌上。另外,研究發現很多記憶層次對性能貢獻很小,可以安全移除,進一步降低了存儲和計算需求。
Q3:Flex-MemoryLLM相比MemoryLLM有什么優勢?
A:Flex-MemoryLLM在MemoryLLM的基礎上增加了靈活性,將記憶系統分成兩部分:一部分保持完全獨立的高效模式,另一部分采用傳統的混合模式處理復雜任務。這樣既保留了MemoryLLM的效率優勢,又不完全犧牲性能,用戶可以根據需求調整兩種系統的比例,在性能和效率之間找到最佳平衡點。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.