vLLM 0.11.2正式版已發布
https://github.com/vllm-project/vllm/releases
0.11.0之后 徹底移除V0引擎
0.11.1之后 默認CUDA更新至12.9.1
vLLM 0.11.2 官方Docker鏡像也已發布
https://hub.docker.com/r/vllm/vllm-openai/tags
支持linux的amd64和arm64架構
Docker官方也在與vLLM高度結合
Docker Model Runner 集成了vLLM
簡單看了一下,有點使用Ollama的感覺
![]()
![]()
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.