你的AI agent每花12塊，就有5塊在空轉

一個保險理賠，用戶申請50塊，系統花了12塊4才批下來。LLM（大型語言模型）把同一個數據庫查了7遍，對話上下文重新總結了4遍，還幻覺出一個不存在的工具，重試，報錯，再試。最終響應到達時，用戶已經走了8.3秒。

這不是極端案例。這是常態。

作者審計了8個生產級agent部署，發現35%-45%的token消耗根本與用戶意圖無關——無限循環、重復計算、幻覺調用。他給這筆錢起了個名字：隨機稅（Stochastic Tax）。

為什么你的agent在"空轉"

LLM本質是概率推理器，不是可靠執行器。它不知道自己什么時候該停，不記錄已經試過什么，也記不住超出當前窗口的上下文。每個決策都是從概率分布里采樣出來的。

這在第三步之后必然崩。

作者觀察到一個典型模式：用GPT-4或Claude Sonnet做意圖路由，相當于用1750億參數的模型干70億參數就能干的活。成本差100倍。

「前沿模型成本是小模型的100倍，」作者寫道，「你在為175B+參數推理付費，實際只需要7B參數分類。」

更隱蔽的損耗是上下文重處理。每次步驟推進，naive架構會把整段對話歷史喂給模型重新總結。5步工作流下來，70%的token花在重復咀嚼已經知道的信息。

三層止血方案

作者給出的解法不是更好的提示詞，是架構層面的確定性控制。

第一層：分級模型路由

3B模型做意圖分類，8B模型調用工具，70B模型做綜合推理，前沿模型只負責最后潤色。1萬次日請求的成本對比：純GPT-4路線每年燒掉284萬，分級路由壓到50萬出頭。首月省下的錢就夠付工程師工資。

第二層：硬編碼退出條件

永遠別讓agent無限循環。作者建議的guardrail包括：工具調用失敗≥2次立即轉人工；token消耗超過閾值強制終止；檢測到循環模式自動降級。

第三層：增量上下文快照

用結構化快照替代全歷史重傳。只傳遞自上次步驟以來的delta（增量），token消耗直降70%。

從F1分數到token效率

作者拋出一個反直覺觀點：別再優化F1分數了。生產環境該盯的是token-to-action比率（每個動作消耗多少token）、錯誤恢復成本（搞砸一次要花多少token補救）、以及模型升級彈性（換模型時架構是否扛得?。?/p>

他算了一筆賬：某保險公司日處理1萬筆理賠，實施這套方案后年省284萬，工程投入10萬，5周交付。ROI 28.4倍，回本周期13天。

實施路徑也給了：第一周審計現狀，跑1000條生產請求算浪費基線；第二三周搭分級路由；第四周上監控guardrail；第五周替換上下文機制；第六周驗證token-to-action<2500。

作者最后補了一句：「第一月的收益就夠付工程師工資?！?/b>