Prompt 緩存的四種策略：從精確匹配到語義檢索

自然語言理解、摘要生成、代碼編寫、邏輯推理，OpenAI 等廠商的模型把這些事情做得相當(dāng)好。但是只有一個(gè)問題，那就是 “貴".尤其是在應(yīng)用上了規(guī)模之后，API 調(diào)用費(fèi)用的增長(zhǎng)速度會(huì)讓人心跳加速。

Prompt 緩存是應(yīng)對(duì)這個(gè)問題最直接也最容易被忽視的手段。本文會(huì)從原理講到實(shí)踐，覆蓋四種不同層級(jí)的緩存策略，配有代碼示例和架構(gòu)圖。

LLM 的成本為什么漲得這么快

LLM API 的定價(jià)模型就三個(gè)維度：輸入 Token 數(shù)（也就是 Prompt 長(zhǎng)度）、輸出 Token 數(shù)（響應(yīng)長(zhǎng)度）、調(diào)用次數(shù)。

比如FAQ 機(jī)器人、聊天式新人引導(dǎo)助手、內(nèi)部開發(fā)者工具、AI 儀表板——這些應(yīng)用有一個(gè)共同特征：大量重復(fù)或高度相似的 Prompt 被反復(fù)發(fā)送，而期望得到的回答幾乎一樣。

如果不做緩存的話，每次調(diào)用都要按量計(jì)費(fèi)，那費(fèi)用肯定就爆炸了。

Prompt 緩存是什么

一句話概括：

當(dāng)相同或等價(jià)的 Prompt 再次出現(xiàn)時(shí)，直接復(fù)用之前的 LLM 響應(yīng)，而不是重新調(diào)用 API。

先查緩存，命中就直接返回；沒命中再去調(diào) LLM，拿到結(jié)果后存入緩存。

就這一個(gè)改動(dòng)，成本就能降低 30%–90%，具體數(shù)字取決于工作負(fù)載的重復(fù)程度。

策略 1：精確匹配緩存

這是最基礎(chǔ)的方案。邏輯非常簡(jiǎn)單：完全相同的 Prompt 字符串出現(xiàn)時(shí)，直接返回緩存結(jié)果。

適用場(chǎng)景包括靜態(tài) FAQ、政策說明文檔、"解釋 X"這一類 Prompt，以及聊天機(jī)器人中反復(fù)出現(xiàn)的 system prompt。

下面是 Node.js 的實(shí)現(xiàn)：

import crypto from "crypto";
const cache = new Map();
function hashPrompt(prompt) {
return crypto.createHash("sha256").update(prompt).digest("hex");
}
async function getLLMResponse(prompt) {
const key = hashPrompt(prompt);
// Step 1: Cache lookup
if (cache.has(key)) {
return cache.get(key);
}
// Step 2: Call LLM API
const response = await callLLM(prompt);
// Step 3: Store in cache
cache.set(key, response);
return response;
}

為什么要對(duì) Prompt 做哈希？因?yàn)?Prompt 本身可能很長(zhǎng)，哈希之后得到固定長(zhǎng)度的 key，查找速度快，SHA-256 的碰撞概率也低到可以忽略。

內(nèi)存緩存的優(yōu)點(diǎn)是極快，單實(shí)例或小規(guī)模系統(tǒng)用起來非常合適。但是這樣做也進(jìn)程重啟緩存就沒了，多實(shí)例之間也無法共享。

策略 2：規(guī)范化緩存

精確匹配有一個(gè)很容易遇到的問題：Prompt 里多一個(gè)空格、少一個(gè)換行、大小寫不同，就被當(dāng)成不同的 key 了。實(shí)際上這些差異對(duì)語義毫無影響。

解決辦法是在緩存前先做規(guī)范化處理。舉個(gè)例子：

規(guī)范化之前：

"Explain REST APIs"
"Explain REST APIs "
"Explain REST APIs"

規(guī)范化之后全部變成：

"explain rest apis"

代碼實(shí)現(xiàn)：

function normalizePrompt(prompt) {
return prompt
.toLowerCase()
.replace(/\s+/g, " ")
.trim();
}
function getCacheKey(prompt) {
return hashPrompt(normalizePrompt(prompt));
}

不必要的 cache miss 減少了，命中率明顯上升，同時(shí)整個(gè)過程依然是確定性的、安全的。

策略 3：語義緩存

"What is REST?" 和 "Explain REST architecture" 說的其實(shí)是同一件事，但無論精確匹配還是規(guī)范化匹配都會(huì)把它們當(dāng)作兩個(gè)完全不同的請(qǐng)求。

所以思路是引入向量嵌入。把 Prompt 編碼成向量，通過余弦相似度之類的指標(biāo)判斷兩個(gè) Prompt 是否"足夠接近"。如果相似度超過閾值，直接返回緩存結(jié)果。

語義緩存流程

工具選型方面，Embedding 可以用 OpenAI 的接口，向量存儲(chǔ)可以選 Pinecone、Weaviate 這類專門的向量數(shù)據(jù)庫，小規(guī)模場(chǎng)景下在內(nèi)存里做相似度搜索也夠用。

偽代碼如下：

const SIMILARITY_THRESHOLD = 0.90;
async function getSemanticResponse(prompt) {
const embedding = await getEmbedding(prompt);
const match = await vectorDB.findClosest(embedding);
if (match && match.score > SIMILARITY_THRESHOLD) {
return match.response;
}
const response = await callLLM(prompt);
await vectorDB.store({
embedding,
response
});
return response;
}

語義緩存的風(fēng)險(xiǎn)

語義緩存的核心風(fēng)險(xiǎn)在于閾值設(shè)定。設(shè)得太低會(huì)把不相關(guān)的 Prompt 混為一談，返回錯(cuò)誤結(jié)果；設(shè)得太高又和精確匹配沒什么區(qū)別。0.90 是一個(gè)比較常見的起步值，具體數(shù)字需要根據(jù)業(yè)務(wù)場(chǎng)景調(diào)優(yōu)。

策略 4：分層緩存架構(gòu)

生產(chǎn)環(huán)境一般不會(huì)只用單一緩存策略，而是按層級(jí)組合。典型的三層架構(gòu)長(zhǎng)這樣：

L1 Cache (In-memory, per instance)
|
L2 Cache (Redis / Shared Cache)
|
L3 Semantic Cache (Vector DB)
|
LLM Provider

每一層的定位不同。L1 是進(jìn)程內(nèi)存緩存，速度最快但作用域最??；L2 一般用 Redis，多個(gè)實(shí)例可以共享同一份緩存；L3 是語義緩存層，處理那些文本不同但意思相近的 Prompt。只有三層都沒命中的情況下，請(qǐng)求才會(huì)打到 LLM Provider。

緩存過期與失效

Prompt 緩存不能"設(shè)了就忘"。以下幾種情況必須主動(dòng)失效：模型版本升級(jí)了，Prompt 模板改了，或者緩存的內(nèi)容涉及時(shí)效性信息。

最簡(jiǎn)單的做法是設(shè) TTL：

cache.set(key, response, {
ttl: 60 * 60 * 24 // 24 hours
});

成本影響

緩存帶來的收益是雙重的——成本下降，延遲也降低了。對(duì)于重復(fù)率高的工作負(fù)載，這兩個(gè)指標(biāo)的改善都非?？捎^。

總結(jié)

在 LLM 系統(tǒng)的各種優(yōu)化手段中，Prompt 緩存的投入產(chǎn)出比可能是最高的。入手門檻低，可以漸進(jìn)式迭代，而且到了一定規(guī)模之后幾乎是剛需。

可以先從精確緩存做起，這是成本最低、風(fēng)險(xiǎn)最小的方案。規(guī)范化處理應(yīng)該盡早加上，代碼量很小但效果明顯。語義緩存只在業(yè)務(wù)確實(shí)需要時(shí)才引入，因?yàn)樗鼛砹祟~外的復(fù)雜度和向量計(jì)算開銷。TTL 和版本控制是必須配套的機(jī)制。最后緩存命中率要持續(xù)監(jiān)控，因?yàn)檫@是判斷緩存策略是否有效的核心指標(biāo)。

如果正在生產(chǎn)環(huán)境跑 AI 系統(tǒng)卻沒做 Prompt 緩存，可以試試上面的方法，肯定會(huì)為你省錢。

https://avoid.overfit.cn/post/10623b71c58d425dae471f5333a54e4c

作者： Vasanthan K