北京
vLLM 0.11.2正式版已發(fā)布
https://github.com/vllm-project/vllm/releases
0.11.0之后 徹底移除V0引擎
0.11.1之后 默認(rèn)CUDA更新至12.9.1
vLLM 0.11.2 官方Docker鏡像也已發(fā)布
https://hub.docker.com/r/vllm/vllm-openai/tags
支持linux的amd64和arm64架構(gòu)
Docker官方也在與vLLM高度結(jié)合
Docker Model Runner 集成了vLLM
簡單看了一下，有點(diǎn)使用Ollama的感覺
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
