Cloudflare把AI代碼執行壓到毫秒級

2026年3月，Cloudflare工程師博客扔出一組數據：用傳統容器跑AI生成的代碼，冷啟動動輒數秒；換成他們新推出的Dynamic Workers，延遲直接壓到個位數毫秒。這不是優化，是換了一條賽道——把Linux容器換成V8隔離沙箱，讓AI自己寫執行腳本，而不是反復調用工具。

80%的推理成本就這么省下來的。

但省錢只是副產品。真正讓開發者興奮的是，這套架構終于解決了AI Agent的"便秘式交互"——以前LLM每執行一個工具就要停下來等網絡往返，現在它一次性寫完整個執行計劃，代碼在邊緣節點直接跑完。

ReAct為什么成了瓶頸

現在的AI Agent大多跑在ReAct（推理-行動）循環里。LLM發現需要查天氣，停下來發請求；后端執行完把結果塞回上下文窗口；LLM讀完再決定下一步。每一步都是一次完整的網絡往返加Token計費。

Cloudflare算過賬：一個復雜任務可能需要20輪交互，每輪都要把越來越長的對話歷史重新喂給模型。Token費用指數級膨脹，用戶盯著加載圈的時間也指數級膨脹。

研究人員想了個狠招——讓LLM直接生成TypeScript函數。給它API文檔，它輸出一段代碼把查詢、過濾、計算全打包。這叫"Code Mode"，LLM只介入一次：寫計劃，不監督執行。

Token消耗砍掉八成，延遲從秒級壓到毫秒級。

但這里卡著一個死結：AI寫的代碼能隨便跑嗎？

容器的冷啟動是原罪

傳統解法是用Linux容器或microVM做沙箱。安全是安全了，代價是每次啟動都要拉鏡像、初始化環境。對于需要即時響應的AI場景，這相當于讓賽車手等紅綠燈。

Cloudflare的Dynamic Workers換了個思路：不跑完整OS，只起V8隔離（Isolate）。每個Worker是輕量級JavaScript運行時，從代碼推送到全球邊緣節點執行，中間沒有容器啟動的卡頓。

關鍵數據：V8 Isolate的創建時間以毫秒計，內存占用以兆字節計。對比之下，一個最小化的Linux容器也需要數百毫秒啟動，內存開銷上百兆。

Cloudflare把這套能力開放給動態代碼場景——LLM生成的腳本可以即時編譯、即時執行、即時銷毀。用完即走，沒有殘留。

安全沙箱怎么不拖后腿

執行不可信代碼需要三層防護：網絡隔離、資源限制、代碼審查。容器方案把這三層做得太重，Dynamic Workers則利用V8的內置機制重新設計。

網絡層面，每個Isolate只能訪問顯式聲明的API端點，默認零外聯。資源層面，CPU時間和內存硬封頂，超時自動終止。代碼層面，TypeScript在編譯期就能攔截危險調用。

Cloudflare的工程師在博客中強調：Isolate的 attack surface 比完整OS小兩個數量級。沒有shell、沒有文件系統、沒有系統調用接口，能泄露的東西本身就少。

這意味著開發者可以把AI生成的代碼直接丟給邊緣節點，不用預審核，不用人工過一遍。

實際測試里，一段調用3個外部API、做數據聚合的腳本，從LLM生成到執行完畢返回結果，全程控制在200毫秒內。同樣邏輯用傳統ReAct跑，網絡延遲 alone 就能吃掉2秒。

動手：搭一個最小可用的Agent

Cloudflare提供了完整的TypeScript模板。核心就三步：定義API Schema、讓LLM生成函數、把函數塞進Dynamic Worker。

Schema用JSON描述可用工具，包括端點、參數、返回值類型。LLM（Claude或GPT-4級別）讀取后輸出符合類型的TypeScript函數，內部用fetch串行或并行調用。

生成的代碼通過Cloudflare的API推送，平臺自動完成編譯、分發、執行。開發者拿到的是執行結果，中間過程全托管。

一個典型場景：用戶問"對比過去7天北京和上海的氣溫趨勢"。傳統做法需要4輪LLM調用（拆任務→查北京→查上海→寫結論），Code Mode下一輪生成函數，內部并發兩個請求，聚合后直接返回。

Cloudflare的實測案例顯示，這類查詢的端到端延遲從4.2秒降到180毫秒，Token消耗從12k降到2.1k。

目前Dynamic Workers處于Beta階段，免費額度包含每月10萬次調用。Cloudflare沒有公布正式定價，但按Workers的歷來策略，邊緣計算的費用會比中心化推理低一個數量級。

開源社區已經開始適配。LangChain團隊實驗了Code Mode的集成，發現復雜Agent的響應速度提升后，用戶完成率顯著提高——沒人喜歡等。

Cloudflare在博客結尾埋了個問題：當AI能自己寫執行代碼，我們還需要那么多預置的工具鏈嗎？