基于異構(gòu)邊緣終端的端側(cè)AI統(tǒng)一架構(gòu)研究與實踐

通信世界網(wǎng)消息（CWW）近年來，隨著家庭智能設(shè)備的普及，像智慧中屏這類具備算力的新型終端，逐漸變成家庭服務(wù)“中樞”。過去很多依賴云端的功能，包括語音識別、圖像解析等，隨著終端本身算力的提高，逐漸由云端處理向終端本地服務(wù)遷移。同時隨著安全意識的普及，用戶越來越希望對話、影像等敏感數(shù)據(jù)能在本地設(shè)備上處理，而不是上傳至云端，此類需求推動“端側(cè)AI”成為家庭智能終端升級的核心方向。但市面上家庭終端的芯片算力、內(nèi)存、操作系統(tǒng)五花八門，若在這些異構(gòu)邊緣終端部署多類AI模型，會遇到硬件接口五花八門、模型更新煩瑣、終端資源分配無序、接入網(wǎng)絡(luò)復(fù)雜等各類問題。針對上述實際痛點(diǎn)，結(jié)合運(yùn)營商大規(guī)模研發(fā)與部署智慧中屏等家庭智能設(shè)備的實踐經(jīng)驗，本文設(shè)計并搭建了一套用于異構(gòu)終端部署的端側(cè)AI統(tǒng)一架構(gòu)，在此基礎(chǔ)上設(shè)計了一套云邊端三層協(xié)同推理流程，覆蓋管理模型從上線、更新到下線的全生命周期，讓AI能力能夠更穩(wěn)定、可控地集成到邊緣終端上。

1 集中式云端AI方案技術(shù)現(xiàn)狀

智能家居業(yè)務(wù)在早期發(fā)展階段，一般采用在云端集中化部署AI能力的方式。該方式實現(xiàn)簡單，屬于典型的集中式部署模式，具備語音識別、圖像處理及內(nèi)容推薦等多方面能力，但在實際家庭使用場景中存在不少技術(shù)缺陷。

由網(wǎng)絡(luò)依賴引起時延的問題：云端AI服務(wù)是通過互聯(lián)網(wǎng)傳輸相關(guān)數(shù)據(jù)的，而家庭Wi-Fi信號存在時強(qiáng)時弱的情況，在網(wǎng)絡(luò)帶寬不足、網(wǎng)絡(luò)時延較高的情況下，無論是語音交互還是視頻分析類的應(yīng)用都存在較明顯的時延，導(dǎo)致用戶體驗波動較大。

攝像頭、麥克風(fēng)等傳感設(shè)備廣泛部署于家庭場景，用于持續(xù)采集環(huán)境數(shù)據(jù)，而如果將所有的原始數(shù)據(jù)都上傳至云端進(jìn)行處理，則會給用戶的隱私帶來極大的安全隱患。

因此，業(yè)界認(rèn)識到應(yīng)進(jìn)行AI端云結(jié)合，將一部分AI能力放到終端，這才是合理的方向。

2 端側(cè)AI統(tǒng)一架構(gòu)的基礎(chǔ)概念與設(shè)計

2.1 端側(cè)AI基礎(chǔ)概念

“端側(cè)AI”通過邊緣終端所具備的算力實現(xiàn)部分感知、推理、決策等功能。相比于“云端AI”，端側(cè)推理由于其具備低時延、本地算力和隱私保護(hù)等優(yōu)點(diǎn)，在智慧家庭等智能場景具有明顯優(yōu)勢[7]。例如，對于家庭智能而言，如果語音或者圖像識別在智慧中屏本地執(zhí)行，其語音或圖像交互效果會明顯優(yōu)于云端AI計算方案。此外，相關(guān)研究顯示，推理下沉至端側(cè)能大幅降低語音、圖像上傳頻率，減少帶寬占用，防范隱私泄露的風(fēng)險。

2.2 云邊端協(xié)同理念

近幾年，對于云計算本身以及智能計算而言，以云邊端協(xié)同為核心的技術(shù)架構(gòu)已成為行業(yè)共識：一方面盡可能保護(hù)好數(shù)據(jù)的隱私；另一方面，可以利用終端側(cè)的低時延優(yōu)勢與云端的強(qiáng)算力、大容量優(yōu)勢，充分發(fā)揮三者的協(xié)同增益效應(yīng)。

通常情況下，在這種結(jié)構(gòu)中，云端負(fù)責(zé)比較復(fù)雜的模型訓(xùn)練和管理，并將模型能力下發(fā)至終端；終端側(cè)負(fù)責(zé)輕量化、時間敏感的推理任務(wù)，并將必要的結(jié)果反饋至云端，從而形成持續(xù)優(yōu)化的閉環(huán)。

行業(yè)實踐也明確了類似的思路，在中興通訊的6G內(nèi)生AI網(wǎng)絡(luò)方案中，采取了分層設(shè)計模式，并通過模型和資源管理模塊實現(xiàn)云邊端統(tǒng)一調(diào)度。NextG聯(lián)盟、歐盟6G-IA等產(chǎn)業(yè)聯(lián)盟亦強(qiáng)調(diào)要從6G設(shè)計伊始，就重點(diǎn)考慮終端算力、跨層協(xié)同等問題。

從現(xiàn)有研究結(jié)果及產(chǎn)業(yè)發(fā)展相關(guān)情況看，云邊端的融合能夠充分利用三者各自的計算能力，根據(jù)應(yīng)用的不同需求靈活調(diào)動云邊端三級資源，對于提升整個系統(tǒng)的性能與穩(wěn)定性具有很大的增益作用。

2.3 模型生命周期管理

在端側(cè)AI協(xié)同體系的構(gòu)建過程中，模型生命周期的管理是不可回避的問題。例如IBM提出的AI Gateway架構(gòu)，通過統(tǒng)一對接接口、統(tǒng)一抽象封裝等方式實現(xiàn)模型版本管控，并支持更新、回滾等全生命周期管理，其核心思路是降低高層應(yīng)用與底層模型的耦合。

類似的思路也可應(yīng)用于端側(cè)AI環(huán)境，為終端搭建一套統(tǒng)一的模型接口與模型集中管理體系，在不影響業(yè)務(wù)的前提下可實現(xiàn)模型升級替換；在邊緣終端設(shè)備中通過容器化或分批更新的方式，待模型下發(fā)、升級及安裝完成后，再啟動設(shè)備上線服務(wù)；除了模型的更新之外，還應(yīng)注意端側(cè)AI落地在工程方面的問題，如多層級日志采集、模型運(yùn)行狀態(tài)檢測等。

基于上述端側(cè)AI平臺設(shè)計思路，本文根據(jù)家庭智能終端場景的實際使用條件及限制因素，提出了更加適合工程落地的整體架構(gòu)以及相應(yīng)的具體方案。

2.4 系統(tǒng)架構(gòu)設(shè)計

針對家庭智慧中屏多模型并行運(yùn)行、任務(wù)類型復(fù)雜以及終端資源受限等特點(diǎn)，本文設(shè)計了一套分層、模塊化的端側(cè)AI中間件體系。整體架構(gòu)分為調(diào)用層、調(diào)度層和模型層，各層職責(zé)相對清晰，并通過統(tǒng)一接口和協(xié)議進(jìn)行協(xié)同。系統(tǒng)主要包括統(tǒng)一接口、模型更新、日志上報、生命周期管理以及協(xié)同調(diào)度等核心模塊，下面對其關(guān)鍵設(shè)計進(jìn)行說明。端側(cè)AI統(tǒng)一分層架構(gòu)如圖1所示。

圖1 端側(cè)AI統(tǒng)一分層架構(gòu)

底層推理框架以及硬件平臺的不同會對上層業(yè)務(wù)造成一定影響，在此情況下，由中間件統(tǒng)一對外提供通用應(yīng)用程序接口（API），無論使用哪種模型格式，均可使用同一種API進(jìn)行訪問；并且可以通過適配層屏蔽掉底層不同的框架或硬件之間的差異性，為上層提供統(tǒng)一操作體驗。通過分層設(shè)計，還可以將配置加載、任務(wù)分發(fā)、推理執(zhí)行以及結(jié)果輸出等操作分離成不同的功能模塊，進(jìn)而方便之后的進(jìn)一步開發(fā)與替換。

在模型更新方面，系統(tǒng)將更新邏輯獨(dú)立封裝為庫文件，與主業(yè)務(wù)解耦，執(zhí)行模型下載、校驗、版本切換以及舊模型清理等任務(wù)，采用A/B分區(qū)的后臺切換方案，在對用戶體驗沒有很大影響的情況下完成對用戶模型的升級。通過算力、模型大小來確定使用哪個版本的模型，讓灰度發(fā)布更加靈活，降低升級對服務(wù)質(zhì)量的沖擊。

為了便于日常運(yùn)維和問題分析，在端側(cè)全鏈路運(yùn)行日志中保存所有過程的耗時數(shù)據(jù)、系統(tǒng)資源占用、模型推理狀態(tài)、任務(wù)調(diào)度情況以及異常記錄等信息，并采用分層存儲的方式，當(dāng)網(wǎng)絡(luò)不通時先將日志本地緩存，預(yù)留一段時間后再上傳到云端，通過這種方式延長日志搜集時間，為現(xiàn)場人工檢測預(yù)留充足時間。根據(jù)現(xiàn)場測試情況，通過實施該機(jī)制，異常檢測效率平均提升約60%。

在生命周期管理方面，中間件可為模型提供完善的生命周期狀態(tài)管理，涵蓋加載、推理執(zhí)行、內(nèi)存分配與釋放、動態(tài)更新、異常處理等方面；中間件采用內(nèi)存池按需分配的方式，避免多模型并行運(yùn)行時發(fā)生資源搶占沖突，提高整個應(yīng)用系統(tǒng)的運(yùn)行穩(wěn)定性；應(yīng)用端的開發(fā)者，只需對接口發(fā)送指令就能輕松完成模型部署及監(jiān)控工作，無需關(guān)心底層的內(nèi)存分配與線程調(diào)度等問題。

各個算法任務(wù)對于實時性有不同需求，對此系統(tǒng)將采用基于云邊端協(xié)同的調(diào)度方式。當(dāng)任務(wù)下達(dá)至終端后，由調(diào)度模塊綜合當(dāng)前設(shè)備算力、網(wǎng)絡(luò)情況和任務(wù)特性等因素判斷最優(yōu)執(zhí)行方案。若任務(wù)對實時性要求高，則優(yōu)先在端側(cè)執(zhí)行；若任務(wù)需要較大的計算量或依賴大模型，則上交給邊緣或云端處理。此外，系統(tǒng)還提供了一系列端側(cè)推理接口、邊緣預(yù)處理接口以及云端協(xié)同推理接口等供業(yè)務(wù)方使用。

4 應(yīng)用場景與實踐效果

本文在端側(cè)AI統(tǒng)一架構(gòu)設(shè)計與實現(xiàn)過程中堅持工程可落地的目標(biāo)，兼顧后續(xù)長期穩(wěn)定地支撐實際產(chǎn)品和業(yè)務(wù)使用的需求。基于以上標(biāo)準(zhǔn)，本文選擇已經(jīng)量產(chǎn)的智慧中屏產(chǎn)品以及移動平臺（如四足機(jī)器人等），分別從多模態(tài)業(yè)務(wù)支撐能力、運(yùn)行效率及模型等維度，評估端側(cè)AI統(tǒng)一架構(gòu)的效果。

4.1 智慧中屏上的多模態(tài)AI業(yè)務(wù)實踐

智慧中屏是家庭場景的中樞，要支持多種AI能力，包括語音交互、圖像識別、人臉識別、畫質(zhì)增強(qiáng)等。在此之前，無論是通過拆分各個模態(tài)的獨(dú)立模塊實現(xiàn)，還是直接調(diào)用底層的接口進(jìn)行認(rèn)知任務(wù)處理，在處理上均會受到不同的影響和制約，無法很好地保障系統(tǒng)的整體性。在統(tǒng)一架構(gòu)引入后，上層業(yè)務(wù)通過標(biāo)準(zhǔn)API調(diào)用AI能力，不再直接依賴具體硬件平臺或推理實現(xiàn)，從而避免了同類模型在不同業(yè)務(wù)中重復(fù)接入的問題，整體資源調(diào)度更加集中可控。

在語音交互場景中，我們將端側(cè)語音活動檢測（VAD）、輕量級自動語音識別（ASR）以及本地意圖識別模型統(tǒng)一納入調(diào)度管理。實際測試結(jié)果顯示，端側(cè)指令的全鏈路平均時延由原有的310ms降至245ms。在復(fù)雜家庭環(huán)境下（如客廳嘈雜場景），系統(tǒng)穩(wěn)定性也得到改善。平均每小時的連續(xù)誤喚醒次數(shù)由4.3下降至1.1，語音鏈路整體響應(yīng)時間的波動范圍由原先的±90ms收斂至±35ms。

類似的優(yōu)化同樣體現(xiàn)在視覺相關(guān)功能中。對于需要長期運(yùn)行的人臉檢測與特征提取模型，在采用統(tǒng)一內(nèi)存池和按需加載機(jī)制后，多模型并行情況下的峰值內(nèi)存占用由612MB降至512MB。從用戶感知效果來看，人臉識別應(yīng)用在常規(guī)使用條件下的檢測幀率由21FPS提升至27FPS；在用戶頭部存在連續(xù)輕微晃動的情況下，識別過程中每分鐘的目標(biāo)丟失次數(shù)由約3減少至不足1。這些改進(jìn)使刷臉解鎖、家庭成員識別等日常應(yīng)用更加流暢穩(wěn)定。

4.2 視頻防抖算法在可移動終端設(shè)備中的應(yīng)用

智慧中屏作為固定安裝設(shè)備，其測試結(jié)果驗證了架構(gòu)在靜態(tài)場景的穩(wěn)定性。為進(jìn)一步檢驗通用性，本文在可移動的四足機(jī)器人上進(jìn)行了動態(tài)環(huán)境測試。在機(jī)器人運(yùn)動過程中，支撐結(jié)構(gòu)搭載的攝像頭會產(chǎn)生明顯晃動，在視頻中存在較多不穩(wěn)定運(yùn)動噪聲，影響后期視覺模型對運(yùn)動物體的識別效果。

針對這一問題，我們將自研的“光流估計+Kalman濾波”視頻防抖算法集成至統(tǒng)一架構(gòu)，使輸入視頻得到穩(wěn)定處理，實驗設(shè)定機(jī)器人運(yùn)動速度為0.8m/s，且機(jī)身繞中心軸的最大擺動幅度約為15°。未做處理前，視頻相鄰幀平均特征點(diǎn)偏移量為7.1像素，偏移量最大值大于18像素；利用防抖算法進(jìn)行穩(wěn)定后，平均偏移量降至2.8像素，偏移量最大值小于5.6像素。四足機(jī)器人視頻防抖對比效果如圖2所示。

圖2 四足機(jī)器人視頻防抖對比效果

畫面穩(wěn)定性的提升對下游視覺任務(wù)產(chǎn)生了直接影響。在相同運(yùn)動條件下，端側(cè)目標(biāo)檢測模型連續(xù)識別失敗次數(shù)由每分鐘約14降至3；姿態(tài)估計模型的關(guān)鍵點(diǎn)抖動幅度也由±11像素降低至±4像素。防抖模塊本身具備較好的實時性，在僅使用CPU的情況下，單幀處理時延控制在5～8ms，相比整條視覺推理鏈路約67ms的總體耗時，其額外開銷可以忽略。

在量產(chǎn)階段，端側(cè)AI軟件平臺結(jié)合A/B分區(qū)機(jī)制實現(xiàn)了模型的平滑升級。后臺統(tǒng)計顯示，單次模型升級周期（包括下載、校驗、版本切換與清理）的平均耗時穩(wěn)定在2.4～2.9s之間，升級失敗率由每萬次37次降至9次以下。系統(tǒng)每日匯聚約10萬條結(jié)構(gòu)化日志，總體規(guī)模波動控制在±8%以內(nèi)。

5 結(jié)論

本文針對家庭智能終端場景，提出了有助于端側(cè)穩(wěn)定可靠運(yùn)行的AI統(tǒng)一架構(gòu)。該架構(gòu)通過統(tǒng)一接口層，將模型加載、推理調(diào)用、資源管理等核心能力封裝為模塊化中間件，實現(xiàn)多模型并行運(yùn)行支撐，并采用基于A/B分區(qū)的模型熱更新、版本全量對比和保留舊版本用于回退等一系列完整流程，保障了模型替換對業(yè)務(wù)的影響可控。

除此之外，還建立了完整的推理全鏈路日志和生命周期管理機(jī)制，可以對端側(cè)模型進(jìn)行持續(xù)的運(yùn)行狀態(tài)追蹤，一旦發(fā)生異常情況可迅速找到對應(yīng)的異常問題點(diǎn)；通過結(jié)合云邊端的協(xié)同調(diào)度方式，在維持關(guān)鍵交互過程實時性的前提下，提升了整體算力資源的利用率。與之前的方案相比，任務(wù)響應(yīng)時間得到了有效縮短，模型更新效率得到了極大提高，系統(tǒng)的穩(wěn)定性和安全性都得到了改善，其中最直觀的體現(xiàn)是：在語音交互和視覺識別這兩類對時效性要求較高的家庭場景中，用戶體驗得到了顯著提升。

通過工程實踐可以看出，端側(cè)AI已經(jīng)在智能終端體系中起到關(guān)鍵作用。后續(xù)研究將進(jìn)一步開展該統(tǒng)一架構(gòu)在可穿戴設(shè)備、車載終端等異構(gòu)終端的適用性驗證，重點(diǎn)研究算力受限場景下模型的高效部署與穩(wěn)定運(yùn)行技術(shù)。