如何在Kubernetes上運行AI/ML？

　　在機器學(xué)習(xí)（ML）領(lǐng)域，訓(xùn)練出高性能模型只是第一步，真正的挑戰(zhàn)在于如何將模型快速、可靠且經(jīng)濟、高效地部署到生產(chǎn)環(huán)境中進行推理。特別是在大規(guī)模場景下，GPU資源管理、延遲優(yōu)化、批處理策略、模型版本控制、可觀測性以及輔助服務(wù)（如預(yù)處理器、特征存儲庫和向量數(shù)據(jù)庫）的編排，都是亟待解決的難題。Kubernetes作為容器編排領(lǐng)域的佼佼者，為AI/ML應(yīng)用提供了一個可擴展、可移植的平臺，不僅能夠有效管理GPU等計算資源，還能自動調(diào)整工作負載規(guī)模，以應(yīng)對批處理任務(wù)以及實時推理的不同需求。

　　Kubernetes，一個為AI/ML高效分配資源的理想平臺

　　Kubernetes通過其強大的調(diào)度能力，能夠高效分配GPU和其他計算資源，實現(xiàn)工作負載的緊密打包和自動伸縮。同時，還能協(xié)調(diào)包含模型服務(wù)器、預(yù)處理器、向量數(shù)據(jù)庫和特征存儲在內(nèi)的復(fù)雜系統(tǒng)，確保低延遲端點的穩(wěn)定運行。容器化技術(shù)為模型環(huán)境提供了可重復(fù)性和一致性，使得模型的持續(xù)集成與持續(xù)部署（CI/CD）成為可能。Kubernetes內(nèi)置的滾動更新、流量分割以及指標(biāo)追蹤功能，進一步增強了生產(chǎn)環(huán)境的安全性和可靠性。

　　對于追求操作簡便性的團隊，托管端點服務(wù)或許是一個選擇，但在需要高度控制、可移植性、高級編排以及實時服務(wù)能力的場景下，Kubernetes無疑是首選。

　　典型ML推理設(shè)置，KServe在Kubernetes上的應(yīng)用

　　使用KServe在Kubernetes上進行機器學(xué)習(xí)推理，有一個典型架構(gòu)，那就是客戶端（如數(shù)據(jù)科學(xué)家、應(yīng)用程序或批處理作業(yè)）通過Ingress向KServe的InferenceService發(fā)送請求。內(nèi)部，通過可選的Transformer組件負責(zé)預(yù)處理輸入數(shù)據(jù)，預(yù)測器用來加載模型并提供預(yù)測功能，而可選的解釋器則提供模型洞察。模型工件從模型存儲中提取，并通過TensorFlow、PyTorch、scikit-learn、ONNX或Triton等運行時進行處理。整個系統(tǒng)運行在Knative/Kubernetes之上，支持CPU和GPU計算層，并可與AWS、Azure、Google Cloud等云服務(wù)提供商集成。

　　至于，MLFlow與KServe的集成如何操作？MLFlow是一個開源的機器學(xué)習(xí)框架，旨在解決模型從實驗到生產(chǎn)過程中遇到的常見問題，如實驗數(shù)據(jù)丟失、結(jié)果重現(xiàn)困難以及模型版本管理混亂。它通過跟蹤運行情況、保存環(huán)境代碼和管理模型版本，為模型部署提供了有序的流程。MLFlow還支持將模型打包為Docker鏡像，便于分發(fā)到Kubernetes等服務(wù)平臺。

　　MLFlow與Kubernetes的集成，有一個關(guān)鍵點需要注意，雖然MLFlow提供了基于FastAPI的推理服務(wù)器，并通過mlflow models build-docker命令支持容器化部署，但這種方法在大規(guī)模生產(chǎn)環(huán)境中可能不夠高效。FastAPI的輕量級特性使其難以應(yīng)對極端并發(fā)或復(fù)雜的自動伸縮模式。相比之下，KServe（前身為KFServing）為TensorFlow、XGBoost、scikit-learn和PyTorch等主流機器學(xué)習(xí)庫提供了高性能、可擴展且與框架無關(guān)的推理平臺。

　　更好地托管AutoML，把Azure ML轉(zhuǎn)為AKS

　　首先，Azure ML與AKS進行集成。Azure ML是一個全面的機器學(xué)習(xí)生命周期管理平臺，支持實驗跟蹤、模型注冊表、訓(xùn)練、部署和監(jiān)控。對于需要高度控制運行時、擴展和網(wǎng)絡(luò)的場景，Azure Kubernetes Service（AKS）是一個理想的選擇。它允許自定義運行時、進行嚴格的性能調(diào)整，并與現(xiàn)有Kubernetes基礎(chǔ)設(shè)施集成。

　　其次，進行分步操作，在AKS上部署Azure ML AutoML模型。

　　讓Kubernetes上的LLM服務(wù)更好地運行，還需要vLLM與KServe的集成。接下來的問題是，如何把LLM與Kubernetes進行結(jié)合？在Kubernetes上運行大型語言模型（LLM）可以實現(xiàn)可靠、可擴展且可重復(fù)的推理。Kubernetes提供了GPU調(diào)度、自動伸縮和基本功能編排，而vLLM等優(yōu)化運行時則提供了高通量、高內(nèi)存效率的推理能力。通過結(jié)合請求批處理和可觀測性（指標(biāo)、日志記錄和健康檢查），可以提供低延遲的API服務(wù)。

　　使用vLLM和KServe部署LLM的步驟如下：

　　1.準(zhǔn)備集群和KServe。配置Kubernetes集群（AKS/GKE/EKS或本地），并安裝KServe。

　　2.獲取vLLM?？寺LLM倉庫，安裝vLLM，并在本地測試vllm serve命令。

　　3.創(chuàng)建vLLM服務(wù)運行時/容器。構(gòu)建容器鏡像，或使用KServe支持的vLLM服務(wù)時間配置。

　　4.部署InferenceService。應(yīng)用KServe InferenceService YAML文件，引用vLLM服務(wù)的運行時和模型存儲。

　　5.驗證和調(diào)諧。通過Ingress/負載均衡器調(diào)用端點，測量延遲/吞吐量，并調(diào)整vLLM批處理/令牌緩存設(shè)置和KServe自動伸縮規(guī)則。

　　另外， vLLM、KServe，還要與BentoML進行集成。vLLM，作為高通量、GPU高效的推理引擎，負責(zé)實際執(zhí)行LLM；BentoML，封裝模型加載、自定義預(yù)處理/后處理以及穩(wěn)定的REST/gRPC API，構(gòu)建可重復(fù)的Docker鏡像或工件；KServe，作為Kubernetes控制平面，部署B(yǎng)ento鏡像或vLLM鏡像，并處理自動伸縮、路由、健康檢查和生命周期管理。最終，通過BentoML打包模型和請求邏輯，KServe將該容器以InferenceService的形式運行，提供自動伸縮、流量控制和可觀測性。

　　值得一提的是，不同的技術(shù)路線選擇，都有自己的優(yōu)缺點。KServe作為Kubernetes-原生機器學(xué)習(xí)服務(wù)與編排框架，提供了豐富的路由、內(nèi)置遙測和解釋器集成以及多運行時支持，但學(xué)習(xí)曲線較陡，操作面較大。BentoML以Python為中心，提供了出色的開發(fā)者人體工學(xué)設(shè)計和可重復(fù)的圖像，但集群原生控件較少。NVIDIA Triton推理服務(wù)器則以其出色的GPU吞吐量和混合幀支持著稱，但同樣需要額外的設(shè)置來實現(xiàn)自動伸縮和高級Kubernetes操作。

　　結(jié)論

　　在生產(chǎn)環(huán)境中運行可靠、低延遲的AI/ML應(yīng)用，同時控制成本、性能和可重復(fù)性，是每個ML團隊的目標(biāo)。Kubernetes通過其強大的編排能力，為模型及其支持服務(wù)提供了所需的資源管理和自動伸縮功能。結(jié)合優(yōu)化的運行時、服務(wù)層和推理引擎，我們可以在保持高輸入性能的同時，獲得生產(chǎn)級操作控制。從小處著手，使用單個模型進行驗證，然后根據(jù)清晰的SLO選擇符合性能和操作需求的服務(wù)棧，最終迭代出彈性且可擴展的服務(wù)。