LMCache：基于KV緩存復用的LLM推理優化方案

LLM推理服務中，（Time-To-First-Token）一直是個核心指標。用戶發起請求到看見第一個token輸出，這段時間越短體驗越好，但實際部署中往往存在各種問題。

LMCache針對TTFT提出了一套KV緩存持久化與復用的方案。項目開源，目前已經和vLLM深度集成。

原理

大模型推理有個特點：每次處理輸入文本都要重新計算KV緩存。KV緩存可以理解為模型"閱讀"文本時產生的中間狀態，類似于做的筆記。

問題在于傳統方案不復用這些"筆記"。同樣的文本再來一遍，整個KV緩存從頭算。

LMCache的做法是把KV緩存存下來——不光存GPU顯存里，還能存到CPU內存、磁盤上。下次遇到相同文本（注意不只是前綴匹配，是任意位置的文本復用），直接取緩存，省掉重復計算。

實測效果：搭配vLLM，在多輪對話、RAG這類場景下，響應速度能快3到10倍。

偽代碼大概是這樣：

# Old way: Slow as molasses
def get_answer(prompt):
memory = build_memory_from_zero(prompt) # GPU cries
return model.answer(memory)
# With LMCache: Zippy and clever
import lmcache
def get_answer(prompt):
if lmcache.knows_this(prompt): # Seen it before?
memory = lmcache.grab_memory(prompt) # Snag it fast
else:
memory = build_memory_from_zero(prompt)
lmcache.save_memory(prompt, memory) # Keep it for later
return model.answer(memory)

幾個特性

緩存讀取速度比原生方案快7倍左右，吞吐量也有提升。文本不管在prompt的什么位置，只要重復出現就能命中緩存。

存儲層面支持多級——GPU顯存、CPU內存、磁盤都行，甚至可以接NIXL這種分布式存儲，GPU壓力能減輕不少。

LMCache和vLLM v1集成得比較深，支持跨設備共享KV緩存、跨節點傳遞等特性。生產環境里可以配合llm-d、KServe這些工具用。

做聊天機器人或者RAG應用的話，這東西能在不升級硬件的情況下把延遲壓下來一部分。

安裝

LMCache目前主要支持Linux，Windows上得走WSL或者社區的適配方案。

基本要求：Python 3.9+，NVIDIA GPU（V100、H100這類），CUDA 12.8以上。裝好之后離線也能跑。

pip直接裝：

pip install lmcache

自帶PyTorch依賴。遇到奇怪報錯的話，建議換源碼編譯。

想嘗鮮可以裝TestPyPI上的預發布版：

pip install --index-url https://pypi.org/simple --extra-index-url https://test.pypi.org/simple lmcache==0.3.4.dev61

驗證一下版本：

import lmcache
from importlib.metadata import version
print(version("lmcache")) # Should be 0.3.4.dev61 or newer

具體版本號去GitHub看最新的。

源碼編譯

喜歡折騰的可以clone下來自己編：

git clone https://github.com/LMCache/LMCache.git
cd LMCache
pip install -r requirements/build.txt
# Pick one:
# A: Choose your Torch
pip install torch==2.7.1 # Good for vLLM 0.10.0
# B: Get vLLM with Torch included
pip install vllm==0.10.0
pip install -e . --no-build-isolation

跑個驗證：

python3 -c "import lmcache.c_ops"

不報錯就行。

用uv的話會快一些：

git clone https://github.com/LMCache/LMCache.git
cd LMCache
uv venv --python 3.12
source .venv/bin/activate
uv pip install -r requirements/build.txt
# Same Torch/vLLM choices
uv pip install -e . --no-build-isolation

Docker部署

如果嫌麻煩直接拉鏡像：

# Stable
docker pull lmcache/vllm-openai
# Nightly
docker pull lmcache/vllm-openai:latest-nightly

AMD GPU（比如MI300X）需要從vLLM基礎鏡像開始，加上ROCm編譯參數：

PYTORCH_ROCM_ARCH="gfx942" \
TORCH_DONT_CHECK_COMPILER_ABI=1 \
CXX=hipcc \
BUILD_WITH_HIP=1 \
python3 -m pip install --no-build-isolation -e .

小結

KV緩存復用這個思路已經是基本操作了，但LMCache把它做得比較完整：多級存儲、任意位置匹配、和vLLM的原生集成，這些組合起來確實能解決實際問題。對于多輪對話、RAG這類prompt重復率高的場景，3-10倍的TTFT優化是實打實的。

LMCache目前主要綁定vLLM生態，Linux優先，AMD GPU支持還在完善中。但作為一個開源方案，值得關注。

項目地址：https://avoid.overfit.cn/post/7854fe6d56b24e6fb836c6bfe42981fb

作者：Algo Insights