![]()
以往大家習(xí)慣將 AI 能力依賴于公有云服務(wù),而隨著 OpenClaw 等智能體工具的快速普及,不管是個(gè)人開發(fā)者還是企業(yè)更需要一個(gè) 7×24 小時(shí)運(yùn)行在本地、可直接響應(yīng)指令的 “數(shù)字員工”。但云端方案存在的數(shù)據(jù)隱私風(fēng)險(xiǎn)與持續(xù)高昂的 API、Token 成本,讓工業(yè)級智能體在規(guī)模化落地時(shí)面臨瓶頸,獨(dú)立部署大模型服務(wù)已成為企業(yè)構(gòu)建自主可控 AI 能力的必然選擇。
眾智FlagOS 是一款完全開源的 AI 系統(tǒng)軟件棧,支持多款異構(gòu) AI 芯片,可讓 AI 模型與智能體輕松實(shí)現(xiàn)快速部署。本次 FlagOS 聯(lián)合騰訊云 HAI(面向AI和科學(xué)計(jì)算的容器鏡像中心),將 Qwen3-4B-hygon-flagos 模型鏡像正式上線騰訊云 HAI 社區(qū),開發(fā)者可直接拉取使用。基于該鏡像,可快速在加速卡上運(yùn)行FlagOS + OpenClaw,實(shí)現(xiàn)小模型驅(qū)動智能體執(zhí)行,為企業(yè)和開發(fā)者從公有云 API 轉(zhuǎn)向自建本地 AI 服務(wù)提供了可落地的實(shí)踐方案。
安裝及測試過程
基于 FlagOS 系統(tǒng)軟件棧的跨芯能力,眾智 FlagOS 社區(qū)把 Qwen3-4B 適配至多款GPU硬件。以下內(nèi)容重點(diǎn)介紹如何部署與配置 FlagOS 版 Qwen3-4B的過程,僅用于復(fù)現(xiàn)實(shí)驗(yàn)結(jié)果,不影響對 Agent 能力的判斷。
1.安裝Qwen3-4B-hygon-flagos
- 首先,從 HAI 社區(qū)平臺找到 Qwen3-4B-hygon-FlagOS,根據(jù)md拉取模型并啟動服務(wù)。
以 ModelScope為例,下載模型權(quán)重
Plain Text pip install modelscope modelscope download –model Qwen/Qwen3-4B –local_dir /share/Qwen3-4B
Plain Text docker pull haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0
- 通過下面的代碼,啟動容器。
這段代碼可直接復(fù)制使用,也可以根據(jù)需要修改容器名,即在第4行–name=flagos對 name 進(jìn)行修改。
SQL #Container Startupdocker run -it \ –name=flagos \ –network=host \ –privileged \ –ipc=host \ –shm-size=16G \ –memory=”512g” \ –ulimit stack=-1:-1 \ –ulimit memlock=-1:-1 \ –cap-add=SYS_PTRACE \ –security-opt seccomp=unconfined \ –device=/dev/kfd \ –device=/dev/dri \ –group-add video \ -u root \ -v /opt/hyhal:/opt/hyhal \ -v /share:/share \ haihub.cn/baai/flagrelease_hygon_qwen3:v1.0.0 \ /bin/bash
- 進(jìn)入容器(如果上一步修改了容器名,這里要將flagos對 name 進(jìn)行修改。
Plain Text docker exec -it flagos bash
- 啟動服務(wù)
Plain Text flagscale serve qwen32.安裝配置OpenClaw
安裝過程: 參見:https://github.com/openclaw/openclaw?spm=5176.28103460.0.0.696675514ZMILC , 通過源碼方式,安裝 OpenClaw。
Python git clone https://github.com/openclaw/openclaw.git cd openclawpnpm install pnpm ui:build # auto-installs UI deps on first run pnpm build pnpm openclaw onboard –install-daemon # Dev loop (auto-reload on TS changes) pnpm gateway:watch配置過程:
- 訪問鏈接以下鏈接:https://cloud.tencent.com/developer/article/2625144,文中有給出通用的”模型配置”文件格式,可以直接套用,套用后命令如下。
需要注意的是,配置本地模型時(shí),廠商一定是加速推理工具如vllm。
SQL pnpm openclaw config set ‘models.providers.vllm_local’ –json ‘{ “baseUrl”: “http://1.15.51.106:9033/v1”, “apiKey”: “anykey”, #key不可為空,如果原來模型沒有配置key,任意填寫即可 “api”: “openai-completions”, “models”: [ { “id”: “Qwen3-4B-hygon-flagos”, “name”: “遠(yuǎn)程模型” } ] }’
執(zhí)行之后出現(xiàn)如下信息提示:![]()
啟用并設(shè)置為默認(rèn)模型
Plain Text 合并配置模型 pnpm openclaw config set models.mode merge
Plain Text 切換為當(dāng)前模式 pnpm openclaw models set vllm_local/Qwen3-4B-hygon-flagos
![]()
可以看到當(dāng)前默認(rèn)模型已經(jīng)切換為 Qwen3-4B-hygon-flagos。
- 執(zhí)行下面代碼,可以看到模型已經(jīng)切換完成。
Plain Text pnpm openclaw configure
![]()
可以看到模型已經(jīng)切換完成。
3、配置 channel 為QQ
參考文檔: https://cloud.tencent.com/developer/article/2626045,這部分需要替換為自己的ID和secret。配置完成后,進(jìn)行以下操作:
- 啟動openclaw網(wǎng)關(guān), 命令如下:
pnpm openclaw gateway
- 啟動成功后,您可以在QQ軟件中嘗試和已經(jīng)打通OpenClaw的QQ機(jī)器人進(jìn)行單獨(dú)聊天,或者在群里與QQ機(jī)器人進(jìn)行對話。如果QQ機(jī)器人能夠以AI的方式對話,則說明您已經(jīng)成功完成OpenClaw應(yīng)用接入QQ機(jī)器人。

接下來您就可以開始進(jìn)一步探索OpenClaw接入QQ機(jī)器人之后的更多使用場景。
趨勢展望
這次在 OpenClaw 連接QQ的場景中對 Qwen3-4B-hygon-flagos 進(jìn)行了測試,發(fā)現(xiàn)Agent的能力邊界正在發(fā)生轉(zhuǎn)移。
關(guān)鍵信號:
?小模型開始進(jìn)入Agent執(zhí)行層
Qwen3-4B-hygon-flagos 已經(jīng)可以在 OpenClaw 中穩(wěn)定承擔(dān)指令理解、工具調(diào)用、本地文件操作和協(xié)作入口控制等任務(wù)。這意味著,小模型第一次從“對話組件”走進(jìn)了Agent的執(zhí)行中樞。
?真正的瓶頸不在模型,而在系統(tǒng)
無論 4B 還是更大的模型,在文檔寫入等能力上同樣受限,說明 Agent 的上限越來越多地由平臺權(quán)限、接口設(shè)計(jì)和工程抽象決定,而不是模型本身。
如果你要的是一個(gè)能在本地跑、能調(diào)工具、能接企業(yè)系統(tǒng)的 Agent 內(nèi)核,
4B級模型,已經(jīng)開始成為一個(gè)現(xiàn)實(shí)且合理的默認(rèn)選項(xiàng)。
Less is More, FlagOS is the Key!
關(guān)于眾智FlagOS社區(qū)
眾智FlagOS是一款專為異構(gòu)AI芯片打造的開源、統(tǒng)一系統(tǒng)軟件棧,支持 AI 模型一次開發(fā)即可無縫移植至各類硬件平臺,大幅降低遷移與適配成本。它包括大型算子庫、統(tǒng)一AI編譯器、并行訓(xùn)推框架、統(tǒng)一通信庫等核心開源項(xiàng)目,致力于構(gòu)建「模型-系統(tǒng)-芯片」三層貫通的開放技術(shù)生態(tài),通過“一次開發(fā)跨芯遷移”釋放硬件計(jì)算潛力,打破不同芯片軟件棧之間生態(tài)隔離。
社區(qū)官網(wǎng):https://flagos.io
GitHub地址:https://github.com/flagos-ai
GitCode地址:https://gitcode.com/flagos-ai
關(guān)于HAI
高性能應(yīng)用服務(wù)(Hyper Application Inventor,HAI)是一款面向 AI 、科學(xué)計(jì)算的 GPU 應(yīng)用服務(wù)產(chǎn)品,提供即插即用的澎湃算力與常見環(huán)境,助力中小企業(yè)及開發(fā)者快速部署 LLM。
而HAI社區(qū)是一款面向AI和科學(xué)計(jì)算等GPU環(huán)境的容器鏡像中心,提供豐富的官方與社區(qū)維護(hù)的開發(fā)資源。助力企業(yè)和開發(fā)者快速部署AIGC大模型、計(jì)算機(jī)視覺、自然語言處理、數(shù)據(jù)科學(xué)等容器,原生集成開發(fā)工具與組件。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.