這家中國公司，讓GPU利用率飆升！全球AI圈熱議

最近，我遇到一個十分頭疼的問題，K哥團隊有一組集群機器，配了4張GPU顯卡，平時主要用來測評大模型、開發(fā)AI應用。本來應該是夠用了，但是在使用GPU的時候經(jīng)常是獨占式的，一個任務占了整張卡，利用率卻只有30%，別的任務就要排隊。

一邊是GPU大把閑置，一邊是開發(fā)人員排隊等資源。就像餐廳里明明有空位，但因為每桌只坐了一個人，后面的客人還得等位。造成了算力資源的浪費，很多企業(yè)應該都面臨類似的困境。

01

GPU資源管理困局

關于GPU資源管理的問題，其實遠不止利用率不高這一點，在使用過程中普遍會遇到以下四個問題：

1、資源顆粒度太粗。如前面說的場景，一張16GB的T4卡，只能整卡分配，利用率只有30%，白白浪費11G多。

2、調(diào)度機制不夠智能。K8s原生調(diào)度只知道“有卡”或“沒卡”，不知道卡上還剩多少顯存、算力，就好比一個停車場雖然車位滿了，但是還能夠塞進很多輛摩托車。

3、資源隔離難。開發(fā)、測試、生產(chǎn)環(huán)境混在一起，沒法給不同團隊單獨的工作區(qū)間，避免相互干擾。

4、管理成本高。傳統(tǒng)的資源申請要走人工審批，出了問題也要排查很久，導致管理成本很高。

如何才能更高效地管理GPU資源，難道以上問題就沒有更好的解決方案嗎？

02

OrionX社區(qū)版，初體驗

一次偶然的機會，我了解到OrionX社區(qū)版。這是由趨動科技開發(fā)的，OrionX的輕量級部署版本，幫助用戶構(gòu)建數(shù)據(jù)中心級AI算力資源池、降本增效。它的核心理念是：用軟件定義AI算力，讓GPU資源像云計算一樣靈活。

原理也不復雜，就是把顯卡、算力按很小的粒度進行切分，然后根據(jù)用戶實際需要進行組合。傳統(tǒng)的GPU管理就像飯店的包間，你一個人也得開一間，而OrionX社區(qū)版把包間改成拼桌，來幾個人就坐幾個位子，靈活調(diào)整，絕不浪費。

OrionX社區(qū)版究竟能不能解決GPU管理的困境呢？我上手做了個測評，下面跟隨我一起來體驗吧。

首先，從官網(wǎng)上提交申請，掃碼填寫信息：

審核通過后，會收到一封確認郵件，獲取授權(quán)碼、下載地址。

下載安裝文件，上傳到服務器，準備開始安裝。

安裝的過程很簡單，主要是基于K8S環(huán)境進行部署。開始部署前需要對安裝環(huán)境做基礎檢查，包括：

GPU驅(qū)動檢查：nvidia-smi

Kubernetes環(huán)境檢查：get node -owide

Nvidia Container Toolkit檢查：

docker info | grep 'Default Runtime'

狀態(tài)正常，就可以開始部署了。

1）部署文件上傳

上傳OrionX部署文件yaml.tar.gz至K8S管理節(jié)點任意位置，并解壓.

2）K8S節(jié)點標記

編輯部署文件tools/label.sh腳本，按資源規(guī)劃修改如下內(nèi)容，然后對執(zhí)行K8S集群節(jié)點進行標記：

3）創(chuàng)建命名空間和配置信息對象

執(zhí)行如下操作，創(chuàng)建名為orionx的命名空間，創(chuàng)建OrionX配置信息ConfigMap對象，命令如下：

kubectl apply -f base/

4）部署orionx-ocenter-all-in-one組件

執(zhí)行如下操作，部署orionx-ocenter-all-in-one組件，命令如下：

kubectl apply -f deploy/orionx-ocenter-all-in-one.yaml

5）導入License

通過瀏覽器訪問http://，打開OrionX GUI管理頁面，通過激活頁面，添加激活文件按鈕導入License，導入后會顯示證書信息，如下圖所示：

:30125

6）部署orionx-k8s-scheduler組件

執(zhí)行如下操作，部署orionx-k8s-scheduler組件，命令如下：

kubectl apply -f deploy/orionx-k8s-scheduler-extender.yaml

7）部署orionx-server組件

部署orionx-server組件，修改配置文件如下，并執(zhí)行命令：

kubectl apply -f deploy/orionx-gpu-server.yaml

8）部署orionx-k8s-device-plugin組件

執(zhí)行如下操作，部署orionx-k8s-device-plugin組件，命令行：

kubectl apply -f deploy/orionx-k8s-device-plugin.yaml

9）部署orionx-gpu-exporter組件

執(zhí)行如下操作，部署orionx-gpu-exporter組件，會部署于所有OrionX GPU計算節(jié)點：

kubectl apply -f deploy/orionx-gpu-exporter.yam

10）部署orionx-k8s-admission-webhooks組件

執(zhí)行如下命令，部署orionx-k8s-admission-webhooks組件：

kubectl apply -f deploy/orionx-k8s-admission-webhooks.yaml

11）部署orionx-container-runtime組件

執(zhí)行如下操作，部署orionx-container-runtime組件：

kubectl apply -f deploy/orionx-container-runtime.yaml

現(xiàn)在就可以開始使用Orion社區(qū)版了，整體安裝過程很絲滑，下面就可以到后臺去操作了。瀏覽器訪問http://地址，打開OrionX GUI，進行登錄，初始用戶名密碼見安裝手冊。

:30125

進入節(jié)點詳情頁面可以查看該節(jié)點GPU資源使用率監(jiān)控統(tǒng)計圖。

還可以進行節(jié)點管理。在OrionX GUI左側(cè)導航欄選擇“節(jié)點”，在節(jié)點信息頁面可以禁用或啟用節(jié)點。

整個安裝過程很順滑，只要具備基本的Linux使用能力，就可以輕松完成。

03

輕松管理你的GPU資源池

下面談談我對OrionX社區(qū)版的總體使用感受，主要有四點體會：

1、資源分配靈活，告別“大鍋飯”。更細粒度地分配GPU資源，提高資源利用率，這就解決了我們團隊遇到的GPU獨占的問題，而且申請資源無須再等待，提升了日常管理效率。

2、智能調(diào)度，讓資源分配更合理。GPU的調(diào)度是智能化的，可以做到節(jié)點均勻，設備緊湊，節(jié)點優(yōu)先，這就解決了一些節(jié)點負載高、一些負載低的問題，并且策略是可配置的。

3、超分，榨干GPU每一滴性能。很多任務不是一直滿負荷用GPU，推理任務經(jīng)常是突發(fā)式的，通過統(tǒng)一內(nèi)存管理和算力復用，可以分配出更多vGPU，合理使用超分功能可以進一步提升GPU效能。

4、可視化管理，一目了然。Orion社區(qū)版的GUI界面做得很不錯，資源監(jiān)控很直觀，點進某個節(jié)點，可以看到詳細的監(jiān)控曲線、GPU利用率曲線（最近24小時）、顯存使用趨勢。

04

立刻開啟GPU資源池化時代

OrionX社區(qū)版通過構(gòu)建算力資源池，將粗放的管理轉(zhuǎn)變?yōu)榫毣\營，這是中國科技企業(yè)在AI基礎設施領域的突破。正如凱文·凱利在《必然》中所說：“技術的真正力量，不在于它能做什么，而在于它讓更多人能做什么。”AI算力池化技術的價值，恰恰在于讓研發(fā)團隊也能用得起、用得好AI算力，打破算力壟斷的壁壘。

如果你的團隊也面臨GPU資源管理困境，立即掃碼申請使用OrionX社區(qū)版。

有興趣的朋友提交上面表單信息后，也可以添加下方小助手微信進行交流。