四川
英偉達聯(lián)合多所頂尖機構推出的TTT-E2E記憶壓縮方案，直接打破效率瓶頸。不用額外緩存，還能實現(xiàn)數(shù)倍提速，這波操作屬實驚艷。
TTT-E2E的核心亮點就是擺脫額外緩存依賴，走動態(tài)學習路線。這和DeepSeek的Engram模塊差異明顯，后者靠的是按需查表的靜態(tài)路徑。
團隊還設計了三項優(yōu)化策略平衡效率與穩(wěn)定性。迷你批處理加8K滑動窗口組合，解決單token梯度更新爆炸問題。精準更新僅針對部分網絡塊，減少計算成本。
這項技術已在視頻生成領域落地應用。據澎湃新聞報道，研究人員利用TTT層增強預訓練Transformer，微調后生成了60秒《貓和老鼠》動畫片段。
TTT-E2E并非完美無缺，存在兩處明顯局限。大海撈針類精準回憶細節(jié)任務中，表現(xiàn)遠不如全注意力模型。
核心原因是它會過濾看似無關的細節(jié)，而全注意力模型能近乎無損召回所有信息。另外訓練階段的元學習需計算梯度的梯度，實現(xiàn)速度比標準預訓練慢。
教育領域也有嘗試，把方案應用到在線題庫解析中，能快速處理超長題干和解析內容，響應速度較之前縮短至三分之一。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
