去年,安謀科技CEO陳鋒正式對外發布“AI arm CHINA”戰略發展方向,同時發布“周易”X3 NPU。自此以后,“All in AI”的安謀科技正在扮演“全球技術橋梁”角色,一方面引進Arm的前沿技術,另一方面深度融合本土自研IP創新,為中國集成電路產業提供全棧解決方案。
當前,安謀科技坐擁“周易”“星辰”“山海”“玲瓏”四大產品線,“周易”之后,“玲瓏”成為下一個全面擁抱AI的產品線。3月23日,安謀科技正式發布“玲瓏”V560/V760 VPU IP,堪稱VPU中的六邊形戰士。為此,EEWorld特此采訪了安謀科技的負責人,深度解讀了這一產品背后的故事。
值得注意的是,此次發布會亦是安謀科技喬遷至“西岸智塔”后的首場活動,此地作為AI產業高地,匯聚了完整的AI產業鏈。可見,安謀科技深化AI布局、積極融入本土生態、與產業伙伴共同開拓AI新生態的戰略決心。
藏在名字里的深意與產品路線圖
首先,我們要知道VPU的核心價值到底是什么?安謀科技Arm China多媒體產品線研發負責人周華介紹,VPU英文全稱為Video Processing Unit,指的是視頻處理單元,是各類應用的“超級視頻工匠”。由于視頻分辨率從4K到8K和10K,視頻分辨率在不斷提升,使得海量數據需要壓縮,通過專用的硬件編解碼,VPU能以極高的能效比完成視頻處理任務。從場景來看,VPU可應用在可穿戴設備和物聯、智能手機、平板/電腦、機器視覺、汽車電子、服務器等各種領域。
![]()
安謀科技Arm China多媒體處理器研發負責人周華
安謀科技的VPU以“玲瓏”為產品線命名,“玲瓏”二字寓意深遠,一是指圖像視頻的“玲瓏剔透”,追求極致的畫質,二是指“八面玲瓏,游刃有余”,象征產品能靈活覆蓋萬千應用場景。
值得一提的是,“玲瓏”產品線的所有產品代號均采用中國山峰的名字命名。周華對此解釋:“一個人也許可以走得更快,但一群人可以走得更遠,并肩翻越一座又一座的高山。”首款新品便以“峨眉”為號,體現了團隊對技術高峰的追求與協作精神的崇尚。
![]()
迄今,“玲瓏”已推出包括“玲瓏”V560/V760在內的五款產品:2021年的V5/V7主要增加了AVS 2.0的Decoder,H.264、H.265的編碼質量提高了15%;2022年 “玲瓏”V6/V8增加了AV1的Decoder,H.264的編碼質量相比V5/V7提高了10%;2024年 “玲瓏”V510/V710增加了H.266的編碼器和解碼器;2025年 “玲瓏”V520LE是專門為監控打造的編解碼一體產品。
![]()
縱觀過去“玲瓏”VPU演進圍繞三條主線展開:一是編碼格式,從H.264/H.265到AV1、H.266;二是編碼質量,從“能用”到追求極致;三是單核性能,用更小面積換取更高性能。此次發布代號為“峨眉”的V560/V760正是這一演進路線的最新成果,將成為面向AI應用的新一代視頻處理器IP。
![]()
堪稱“六邊形戰士”的“峨眉”
“AI正成為視頻的生產者、加工者和消費者。”安謀科技Arm China VPU產品總監汪弈磊Eason Wang指出,視頻應用是AI不可或缺的要素,AI獲取的數據80%的數據來自視頻。AI應用的蓬勃發展對視頻處理提出了更高要求:更強的性能、更高的質量、更低的延時。玲瓏V560/V760正是為滿足這些需求而生。
為什么說V560/V760堪稱VPU中的六邊形戰士,到底是哪六個邊?
汪弈磊指出,一是高性能,單核解碼性能較上一代提升100%;二是高魯棒性,強大的錯誤處理性能,丟包率高至20%情境下仍可糾錯解碼;三是高質量低碼率,通過創新的內容感知編碼技術,同等視頻碼率下解碼質量平均提升20%,同等編碼質量下視頻碼率平均降低20%;四是低延時,采用條帶級編解碼控制技術,延時可低至一幀的1/20;五是多OS支持,驅動支持Linux/Android/Windows/RTOS等多OS硬件支持多OS/虛擬化應用,滿足艙駕一體等復雜場景需求;六是信息安全,支持TrustZone內容保護機制,提供高級Mosaic(馬賽克)功能,提供完善的隱私保護,有效保護視頻中的人臉、車牌等敏感信息。
之所以擁有如此強勁的性能,是由五大技術優勢支撐強大功能:
- 條帶級編解碼控制技術:安謀科技的獨有的技術,實現了極致的靈活性與低延時,原理是將一幀畫面沿垂直方向切割成多個水平條帶,例如將一幀切成20個條帶,可以用20個核同時處理這20個條帶,實現真正的并行加速,與按整幀并行的方案相比,條帶間的依賴性更低,處理速度更快,延遲也更小;
- 靈活可配置的架構:編碼解碼二合一,支持多核并行處理,可靈活適配多種任務;
- 全格式支持:全面支持H.266及所有主流編解碼標準;
- 內容感知編碼技術:融入輕量化AI技術,自主識別圖像中的敏感與非敏感區域,提升編碼效率;
- 多配置全隔離的硬件運行機制:從硬件層面支持多OS和內容保護。
![]()
“峨眉”分為兩個SKU,V560面向4K及以下分辨率,最大兩核配置;V760面向8K及以下分辨率,最大四核配置。已有首批客戶獲得授權,其芯片產品將于今年陸續流片量產。
產品主要面向三大AI應用場景:一是Edge AI(邊緣AI),包括手持攝像設備、AI PC手機、Pad、TV、邊緣服務器、線上會議等,二是Cloud AI(云端AI),包括AI服務器、轉碼應用等;三是Physical AI(物理AI),如機器視覺。
汪弈磊向EEWorld表示,云端是安謀科技重點布局的場景,因為“峨眉”的高性能、低延遲、強糾錯等特性,與云端應用的需求高度契合。但這并不意味著端側不重要,得益于靈活的可配置架構,可以針對端側客戶的需求進行靈活配置。例如,有客戶只需求H.264/H.265編解碼,就能在“峨眉”基礎上提供面積非常小的精簡版本,用于圖傳等對功耗和誤碼率要求極高的設備。
此外,汪弈磊還強調,安謀科技不僅擁有強大的IP產品和全套多媒體解決方案,還擁有專業高效的團隊和完整的知識體系,能夠實現高交付質量,同時支持客戶定制需求。
![]()
安謀科技Arm China VPU產品總監汪弈磊Eason Wang
架構特點和技術亮點
“當前,從廣播電視、互聯網視頻到運動相機、機器視覺,再到海量涌現的AIGC內容,多元、實時、海量的視頻內容正爆炸式地呈現在我們面前。在這樣的背景下,設計一個能夠動態適配不同內容場景、靈活響應不同內容需求的VPU架構,是決定其產品競爭力的關鍵。”安謀科技Arm China VPU研發總監黃鑫博士向EEWorld介紹道。
以自動駕駛為例,安謀科技希望VPU架構不僅擁有強大的核心動力引擎,還能像智能駕駛系統一樣,具備不斷OTA升級迭代的能力。為此,安謀科技設計了一套軟件層、固件層、硬件層的三層VPU架構,三者深度協同、環環相扣,共同構建核心競爭力:
- 軟件層:負責動態分配編解碼任務,調配硬件資源;
- 固件層:在編碼側進行碼率控制與分配,在解碼側進行碼流容錯與修復,并協調多核工作;
- 硬件層:作為硬件加速器,追求面積、功耗與性能(PPA)的極致平衡,硬件層可細分為像素域引擎和碼流域引擎兩部分,像素域引擎負責圖像的切分與處理,碼流域引擎負責碼流的生成與解析。
通過構建這樣的架構,安謀科技的VPU擁有兩個特點:一是以條帶為基本處理單元,所有處理都以條帶級為單位,這使我們與前級的交互粒度更細,實時性得到保證;二是像素域與碼流域解耦,通過解耦,多任務切換更加靈活,無需等待碼流域工作完成即可切換,在時分復用場景下顯著降低延遲。
![]()
安謀科技Arm China VPU研發總監黃鑫博士
值得一提的是,V560/V760采用了“積木式堆疊”開發邏輯,確保在整體方案最優的前提下,實現IP的靈活授權,即在六個功能中隨意選擇搭配:底層視頻質量提升、內容感知編碼技術、基于H.266協議的全面提升、解碼性能翻倍、解碼容錯處理、低延遲解決方案。
這意味著,對于轉碼應用等客戶,安謀科技可以提供“高性能解碼+高質量編碼”等模塊組合;對于需要低延遲、低功耗的終端客戶,則可提供高容錯等模塊組合。每個客戶都能在統一的技術框架下,獲得專屬的最優解決方案。
![]()
黃鑫主要介紹了其中三個技術亮點:
首先是內容感知編碼(CAE)。該技術位于硬件處理的第一級。在獲取視頻信號時,V560/V760會對每個像素進行深度的語義分析,并結合淺層的像素語義處理,將兩類信息同時提供給下一級編碼單元,幫助其做出最優的編碼決策,從而在節省碼率的同時提升畫質。
比如在低光照視頻中,人眼不敏感的高頻信號對編碼器卻是負擔,開啟CAE后,可大幅節省碼率,特定場景下碼率最大可降低80%,同時主觀畫質得到保證,部分細節甚至得到增強;再比如,在高運動、低碼率場景中,開啟CAE后,畫面中如煙囪、字體等細節部分,噪聲更少,呈現更清晰。
![]()
其次是解碼魯棒性全面提升。在這一代產品中,安謀科技對解碼魯棒性做了全面升級。無論是對0.1%還是高達20%的丟包率,無論是簡單的比特翻轉還是整包丟失,容錯機制都能無縫支持。即便遇到極端錯誤,也可通過升級固件來保持產品的魯棒性。
![]()
最后是獨特的低延時解決方案。這一優勢得益于條帶技術,當前級數據準備好后,即可無縫進行編碼,無需等待整幀。此外,多條帶可在不同核上并行處理,實現性能的線性疊加。與友商通過切分畫面導致質量受損的方案不同,V560/760在多核并行時不切分圖像,在提升性能的同時確保了畫質零損失。
下一代AI VPU訓練框架
汪弈磊還特別介紹了“玲瓏”VPU的編碼技術演進路線圖,過往產品采用智能編碼器,被動接受系統調用,根據系統配置編碼;當前的“峨眉”則采用內容感知編碼(CAE)技術,自主識別敏感區域,像素級預處理,提升編碼效率和質量;未來的產品將采用端到端AI編碼技術,深度感知、全局最優,可針對不同應用訓練定制VPU版本。
![]()
黃鑫介紹,基于下一代的AI VPU訓練框架,安謀科技可以用更大的感知模型替換現有模塊,用更全面的AI應用替代主觀視覺判斷。
通過端到端的訓練方式,AI VPU編碼器將實現兩大跨越,一是從局部優化跨越到端到端優化,二是從主觀視覺跨越到AI萬象優化。
持續迭代,服務為王
“編碼格式、編碼質量、單核性能,是我們產品持續演進的三條主線。”周華向EEWorld坦言,當前市場非常“卷”,每年都必須進步。對此,汪弈磊舉了一個例子,比如客戶開始對編碼質量有了極致的追求。客戶現在會用專業工具一幀一幀地摳細節,比如對比不同編碼器下,樹葉的紋理、路面的細節保留得如何,主觀畫質和客觀指標都要求極高。
這種“卷”的方向,正是安謀科技持續迭代的動力。通過引入內容感知編碼等技術,在相同碼率下大幅提升畫質,或在相同畫質下大幅降低碼率,以滿足客戶在存儲、傳輸帶寬和最終應用效果上的苛刻要求。
當下VPU市場競爭也非常激烈,每家都有自己的優勢。安謀科技的核心優勢主要體現在四點:
- 技術領先性:如條帶級編解碼控制技術,能實現低延遲和多核并行的性能線性提升,且不損失畫質;
- 性能與面積:通過持續的微架構優化,力求用更小的面積實現更高的性能;
- 靈活性:架構支持編碼、解碼融合或分離,支持多核多任務,能靈活適應不同應用;
- 本地化服務:,安謀科技能夠提供及時、深入的技術支持,甚至可派遣工程師到客戶公司現場解決問題,這對客戶而言至關重要。
來源:電子工程世界(EEWorld) 作者:付斌
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.