
本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第11期
專家點(diǎn)評(píng)
近年來(lái),基于圖像高分辨率、高幀率(HFR)、高動(dòng)態(tài)范圍(HDR)、廣色域(WCG)、沉浸式音頻等新興視聽(tīng)技術(shù)的高新技術(shù)格式電影發(fā)展迅猛,顯著提升了電影的技術(shù)品質(zhì)、視聽(tīng)體驗(yàn)和產(chǎn)業(yè)效益,但其高圖像碼率和高數(shù)據(jù)量對(duì)攝制發(fā)行放映也提出了很高要求,迫切需要采用更加高效可行的圖像壓縮編碼技術(shù)來(lái)應(yīng)對(duì)上述需求。圖像壓縮編碼是數(shù)字電影技術(shù)系統(tǒng)的基石,數(shù)字電影自誕生以來(lái)就采用JPEG 2000核心編碼系統(tǒng)(ISO/IEC 15444-1)進(jìn)行圖像壓縮編碼。HTJ2K(高吞吐量JPEG 2000,ISO/IEC 15444-15)算法由ISO/IEC下設(shè)的聯(lián)合圖像專家組(JPEG)于2019年推出,其通過(guò)采用FBCOT塊編碼算法替代EBCOT塊編碼算法,顯著降低計(jì)算復(fù)雜度,大幅提高解碼速度和系統(tǒng)吞吐量。特別是在處理碼率高于500 Mbps圖像時(shí),HTJ2K的技術(shù)優(yōu)勢(shì)愈加明顯,相對(duì)于JPEG 2000,其解碼速度提升可超過(guò)30倍,從而為高新技術(shù)格式電影的發(fā)展與應(yīng)用提供了一種高效可行的圖像編解碼解決方案。《基于HTJ2K算法和國(guó)產(chǎn)GPU實(shí)現(xiàn)的數(shù)字電影圖像編解碼技術(shù)研究》一文,詳盡闡述了HTJ2K的算法原理、關(guān)鍵技術(shù)及其在電影行業(yè)應(yīng)用的技術(shù)優(yōu)勢(shì),提出了基于HTJ2K算法和國(guó)產(chǎn)GPU實(shí)現(xiàn)的數(shù)字電影圖像編解碼方法,通過(guò)采用CPU/GPU異構(gòu)協(xié)同計(jì)算架構(gòu)和并行算法設(shè)計(jì),并在摩爾線程S4000 GPU和MUSA編程框架下完成實(shí)證分析。本文的研究成果為采用HTJ2K算法和國(guó)產(chǎn)GPU用于電影制作發(fā)行放映提供了技術(shù)驗(yàn)證,也為電影核心裝備的國(guó)產(chǎn)化研制提供了借鑒參考。可以預(yù)見(jiàn),未來(lái)隨著國(guó)家科技自立自強(qiáng)戰(zhàn)略的大力實(shí)施和積極推進(jìn),基于國(guó)產(chǎn)芯片器件、自研技術(shù)和核心軟硬件系統(tǒng)的電影科技自主可控生態(tài)體系將愈加成熟完善。
——徐濤
正高級(jí)工程師
中國(guó)電影科學(xué)技術(shù)研究所
(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)副所長(zhǎng)
【項(xiàng)目信息】中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)基本科研業(yè)務(wù)費(fèi)項(xiàng)目“在國(guó)產(chǎn)GPU上實(shí)現(xiàn)高吞吐量JPEG2000的數(shù)字電影序列幀編解碼”(2024?DKS?6)。
作 者 簡(jiǎn) 介
崔 強(qiáng)
文強(qiáng)
中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)高級(jí)工程師,主要研究方向:數(shù)字電影、軟件工程、圖像處理、數(shù)字媒體技術(shù)。
摘要
為滿足數(shù)字電影對(duì)高分辨率、高幀率、高動(dòng)態(tài)范圍等技術(shù)的發(fā)展需求,解決傳統(tǒng)JPEG 2000解碼速度慢、難以適配國(guó)產(chǎn)設(shè)備的問(wèn)題,本文通過(guò)算法優(yōu)化與軟硬件協(xié)同設(shè)計(jì),基于國(guó)產(chǎn)GPU及MUSA編程框架,提出了基于CPU/GPU異構(gòu)協(xié)同計(jì)算架構(gòu)的數(shù)字電影高吞吐量JPEG 2000(HTJ2K)編解碼方案,通過(guò)離散小波變換(DWT)、量化/反量化及FBCOT算法編解碼的并行化實(shí)現(xiàn),結(jié)合共享內(nèi)存優(yōu)化與數(shù)據(jù)布局調(diào)整,在嚴(yán)格遵循DCI規(guī)范的基礎(chǔ)上,實(shí)現(xiàn)了2K/4K/8K分辨率圖像的高效處理。該成果為國(guó)產(chǎn)數(shù)字電影設(shè)備提供了低成本、高效率的圖像編解碼解決方案,有助于打破國(guó)外技術(shù)壟斷,推動(dòng)國(guó)產(chǎn)LED顯示與4K/8K標(biāo)準(zhǔn)的自主發(fā)展,對(duì)實(shí)現(xiàn)中國(guó)電影行業(yè)全鏈路技術(shù)自主可控具有較大應(yīng)用價(jià)值。
關(guān)鍵詞
HTJ2K;GPU;數(shù)字電影;JPEG 2000
1引言
當(dāng)前,圖像數(shù)據(jù)的產(chǎn)生和傳輸呈爆發(fā)式增長(zhǎng),無(wú)論是在醫(yī)學(xué)影像、衛(wèi)星遙感圖像,還是在高清視頻監(jiān)控、數(shù)字圖書(shū)館等領(lǐng)域,都需采用高效的圖像壓縮技術(shù),以減少數(shù)據(jù)存儲(chǔ)和傳輸成本。JPEG 2000(J2K)憑借其優(yōu)越的壓縮性能,被廣泛應(yīng)用于諸多領(lǐng)域。然而,由于J2K算法計(jì)算復(fù)雜度較高,難以滿足高吞吐量的要求。2019年,聯(lián)合圖像專家組(JPEG)推出了高吞吐量JPEG 2000(High?Throughput JPEG 2000, HTJ2K)壓縮技術(shù),以略微降低編碼效率為代價(jià),將J2K的解碼速度提高至少10倍。HTJ2K是JPEG 2000標(biāo)準(zhǔn)的第15部分(Rec.ITU-T T.814 | ISO/IEC 15444-15),其不僅保留了J2K原有的功能和特點(diǎn),而且比傳統(tǒng)J2K更快、更高效。
本文聚焦數(shù)字電影領(lǐng)域?qū)Ω叻直媛剩℉R)、高幀率(HFR)、高動(dòng)態(tài)范圍(HDR)、廣色域(WCG)內(nèi)容的處理需求,針對(duì)傳統(tǒng)J2K在解碼速度與國(guó)產(chǎn)設(shè)備適配性上的不足,展開(kāi)基于國(guó)產(chǎn)硬件與算法優(yōu)化的研究,在摩爾線程S4000國(guó)產(chǎn)圖形處理器(GPU)及元計(jì)算統(tǒng)一系統(tǒng)架構(gòu)(MUSA)編程框架下,構(gòu)建異構(gòu)協(xié)同計(jì)算架構(gòu),實(shí)現(xiàn)基于HTJ2K算法的編解碼。
2電影行業(yè)應(yīng)用HTJ2K的技術(shù)優(yōu)勢(shì)
為給觀眾帶來(lái)更加極致、更具沉浸感的視聽(tīng)體驗(yàn),電影行業(yè)不斷推動(dòng)高分辨率、高幀率、廣色域等一系列全新技術(shù)方案的應(yīng)用與演進(jìn)。在這些新技術(shù)方案的背景下,J2K編解碼運(yùn)算量較大的劣勢(shì)逐漸凸顯,難以滿足電影未來(lái)的發(fā)展需求。
2.1 HTJ2K支持更高技術(shù)格式的電影圖像編解碼
近年來(lái),應(yīng)用圖像高分辨率、高幀率、高動(dòng)態(tài)范圍、廣色域等新興視聽(tīng)技術(shù)的高新技術(shù)格式電影成為現(xiàn)代電影技術(shù)發(fā)展的新趨勢(shì)新特點(diǎn)。高分辨率意味著畫(huà)面包含更多像素,能夠提升畫(huà)面清晰度與細(xì)節(jié)表現(xiàn);高幀率技術(shù)能夠提升畫(huà)面的流暢度和真實(shí)感,有效減少快速運(yùn)動(dòng)中的模糊和卡頓,使動(dòng)作清晰平滑;高動(dòng)態(tài)范圍則極大地增強(qiáng)了畫(huà)面的對(duì)比度、層次感和立體感,能同時(shí)展現(xiàn)高光和暗部的豐富細(xì)節(jié),使視覺(jué)效果更接近人眼所見(jiàn);而廣色域通過(guò)顯著增加可顯示的色彩數(shù)量和色階,使畫(huà)面色彩更加豐富、鮮艷、真實(shí),過(guò)渡自然,從而更精準(zhǔn)地還原電影創(chuàng)作者的色彩意圖。高幀率、高動(dòng)態(tài)范圍和廣色域等技術(shù)在電影中的綜合應(yīng)用,給電影圖像編解碼帶來(lái)了數(shù)據(jù)量的幾何級(jí)增長(zhǎng)和編解碼復(fù)雜度的大幅提升,對(duì)數(shù)據(jù)存儲(chǔ)和網(wǎng)絡(luò)傳輸帶寬構(gòu)成巨大壓力。同時(shí),由于需要處理更精細(xì)的畫(huà)面信息,編解碼器在進(jìn)行幀內(nèi)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償時(shí)涉及更復(fù)雜的算法,顯著提高了編解碼的計(jì)算要求和處理時(shí)間。
例如,李安執(zhí)導(dǎo)的《比利·林恩的中場(chǎng)戰(zhàn)事》采用120 FPS、4K和 3D 格式進(jìn)行拍攝和制作,超高技術(shù)規(guī)格為觀眾帶來(lái)了極致的清晰度、流暢性和超強(qiáng)的真實(shí)沉浸感。然而,相較于標(biāo)準(zhǔn)的24 FPS電影,其產(chǎn)生的數(shù)據(jù)量約是標(biāo)準(zhǔn)影片的10倍[1]。為適應(yīng)電影高新技術(shù)格式的發(fā)展趨勢(shì),電影行業(yè)亟需更高效率的新一代圖像編解碼技術(shù)實(shí)現(xiàn)海量電影數(shù)據(jù)的高效處理。在相同的硬件條件下,HTJ2K解碼速度較J2K提升5~30倍[2],且輸入碼流越大,速率提升越明顯。同時(shí),HTJ2K算法中定義了新的文件格式JPH,該文件格式提供了高樣本精度以支持高動(dòng)態(tài)范圍,而J2K幾乎局限于8 bit位深。
2.2 終端解碼可免費(fèi)使用HTJ2K
VVC、MPEG-4等其他視頻編解碼標(biāo)準(zhǔn)需繳納授權(quán)費(fèi)才可使用。例如,在使用MPEG-4標(biāo)準(zhǔn)時(shí),編碼與解碼環(huán)節(jié)均需支付授權(quán)費(fèi),硬件設(shè)備通常按0.25~0.50美元/臺(tái)收取費(fèi)用,軟件按拷貝數(shù)量收取0.25~0.50美元/份[3]。而當(dāng)前J2K的專利主要聚焦于編碼器實(shí)現(xiàn),而解碼器的專利覆蓋范疇相對(duì)較窄。HTJ2K作為J2K國(guó)際標(biāo)準(zhǔn)系列中的一員,在實(shí)際應(yīng)用中無(wú)需支付費(fèi)用,能顯著降低技術(shù)應(yīng)用門檻,減少企業(yè)和用戶的成本負(fù)擔(dān),從而加速技術(shù)的推廣和普及。對(duì)于國(guó)產(chǎn)化而言,無(wú)專利費(fèi)用可避免因?qū)@跈?quán)問(wèn)題導(dǎo)致的成本增加,使國(guó)產(chǎn)設(shè)備制造商能以更具競(jìng)爭(zhēng)力的價(jià)格推出產(chǎn)品,有利于國(guó)產(chǎn)技術(shù)和設(shè)備的自主研發(fā),實(shí)現(xiàn)相關(guān)領(lǐng)域技術(shù)的自主可控。
2.3 HTJ2K算法完全兼容現(xiàn)有電影工作流程
應(yīng)用HTJ2K算法不會(huì)改變電影原工作流程,只需用HTJ2K編解碼器替換原J2K編解碼器即可。目前已經(jīng)有國(guó)際標(biāo)準(zhǔn)化組織(ISO)和電影電視工程師協(xié)會(huì)(SMPTE)發(fā)布的相關(guān)標(biāo)準(zhǔn)引入對(duì)HTJ2K的支持,具體包括:
(1)SMPTE ST 422:2019《素材交換格式—將JPEG 2000碼流映射到MXF 通用容器中》(
Material Exchange Format—Mapping JPEG 2000 Codestreams into the MXF Generic Container)。該標(biāo)準(zhǔn)旨在把J2K碼流映射至素材交換格式(MXF)通用容器(Generic Container)內(nèi)。因HTJ2K是對(duì)原始J2K Part 1(J2K-1)的加強(qiáng)與替代,所以其和J2K-1碼流結(jié)構(gòu)高度兼容,這使其能夠很大程度上“透明地”適配SMPTE ST 422最初為J2K-1所定義的MXF映射。
(2)SMPTE ST 428-24《數(shù)字電影發(fā)行母版—打包圖像》(
D?Cinema Distribution Master—Packed Image),于2024年7月發(fā)布。該標(biāo)準(zhǔn)屬于數(shù)字電影發(fā)行母版(DCDM)系列標(biāo)準(zhǔn)的組成部分,其明確了DCDM圖像映射至數(shù)學(xué)無(wú)損(Mathematically Lossless)J2K碼流的方式,此類碼流被命名為Packed Image。HTJ2K作為J2K標(biāo)準(zhǔn)的構(gòu)成部分,其編碼器在無(wú)損模式下生成的碼流,外部結(jié)構(gòu)遵循SMPTE ST 428-24的規(guī)定,可充當(dāng)DCDM Packed Image 的有效載荷。
(3)SMPTE ST 2067-40:2021《互操作母版格式—應(yīng)用規(guī)范#4: 影院中間格式》(
Interoperable Master Format—Application #4: Cinema Mezzanine)。該標(biāo)準(zhǔn)已更新,在使用 ISO/IEC 15444-15的無(wú)損模式時(shí),明確要求編碼器必須使用HTJ2K的高吞吐量(HT)塊編碼器生成數(shù)學(xué)無(wú)損的J2K碼流。
(4)SMPTE ST 2067-21《互操作母版格式—應(yīng)用規(guī)范#2E:工作室母版》(
Interoperable Master Format—Application #2E: Studio Master)明確引入了對(duì)HTJ2K編碼的支持。使用 SMPTE ST 2067-21能更高效地處理和交換用于工作室母版的 4K/8K、高動(dòng)態(tài)范圍內(nèi)容,從而顯著加快互操作母版格式(IMF)文件的生成、質(zhì)量控制(QC)和分發(fā)工作流程。該標(biāo)準(zhǔn)允許使用 HTJ2K 編碼來(lái)創(chuàng)建或交換用于特輯和連續(xù)劇的工作室母版;在最新的修訂版(SMPTE ST 2067-21 5ED)中,該標(biāo)準(zhǔn)正在進(jìn)一步增加對(duì)8K分辨率的支持,并完善了HTJ2K碼流的約束文檔,以適應(yīng)更高的技術(shù)規(guī)格要求。
2.4 采用HTJ2K算法有助于管理電影資產(chǎn)
從2005年數(shù)字電影倡導(dǎo)組織(DCI)提出《數(shù)字電影系統(tǒng)規(guī)范》(
Digital Cinema System Specification, DCSS) 1.0版開(kāi)始,數(shù)字電影的存檔便采用J2K對(duì)圖像內(nèi)容進(jìn)行編碼。為解決數(shù)字電影存檔問(wèn)題,HTJ2K算法在設(shè)計(jì)之初就考慮了相應(yīng)解決方案,能夠?qū)崿F(xiàn)J2K和HTJ2K圖像內(nèi)容的互相轉(zhuǎn)換。HTJ2K引入了HT塊編碼算法,通過(guò)其可逆轉(zhuǎn)碼的核心特性,解決了電影資產(chǎn)管理中的效率與功能平衡問(wèn)題。該機(jī)制允許將存儲(chǔ)在J2K-1格式(例如IMF規(guī)范中使用的格式)中的現(xiàn)有電影資產(chǎn)無(wú)損轉(zhuǎn)碼為HTJ2K格式進(jìn)行存儲(chǔ)和分發(fā),從而使解碼和處理的吞吐量顯著提高,大幅降低了計(jì)算負(fù)載和能源消耗。盡管HTJ2K為提高編解碼速率犧牲了J2K-1完整的質(zhì)量可伸縮性功能,但其能夠無(wú)損地逆轉(zhuǎn)碼回J2K-1格式,從而在需要時(shí)完全恢復(fù)原始代碼流的所有質(zhì)量分層、剖面和豐富功能(如互動(dòng)瀏覽或舊系統(tǒng)兼容性)。這種雙向無(wú)損轉(zhuǎn)換確保了資產(chǎn)的數(shù)據(jù)完整性和互操作性,允許電影行業(yè)自由選擇最適合當(dāng)前任務(wù)的格式。
3HTJ2K算法原理概述
3.1 總體流程
HTJ2K 作為J2K的一部分,在編解碼流程上和J2K基本相同。HTJ2K 圖像編碼過(guò)程主要包括預(yù)處理、變換編碼、量化、快速最優(yōu)截?cái)嗑幋a(Fast Block ? based Coding with Optimal Truncation, FBCOT)算法編碼等步驟。首先,對(duì)輸入圖像進(jìn)行預(yù)處理,如顏色空間轉(zhuǎn)換和直流分量(DC)電平位移。然后,通過(guò)離散小波變換將圖像分解成不同頻率子帶。之后,對(duì)變換系數(shù)進(jìn)行量化,降低數(shù)據(jù)精度以達(dá)到編碼目的。最后,使用基于塊的FBCOT算法進(jìn)行編碼,進(jìn)一步提高壓縮比。解碼過(guò)程則是編碼過(guò)程的逆操作。圖1顯示了HTJ2K編解碼所涉及的流程。
![]()
圖 1 HTJ2K編解碼流程圖
3.2 關(guān)鍵技術(shù)
HTJ2K的關(guān)鍵技術(shù)主要體現(xiàn)在解碼速度和高吞吐量?jī)煞矫妫捎没趬K的FBCOT算法替代了J2K使用的優(yōu)化截?cái)嗲度胧綁K編碼(Embedded Block Coding with Optimized Truncation, EBCOT)算法,F(xiàn)BCOT算法在圖像完成J2K第1部分或第2部分定義的多分量變換、非線性點(diǎn)變換、可逆或不可逆的離散小波變換處理后,針對(duì)生成HT塊編碼過(guò)程中產(chǎn)生的清理通道(Cleanup)、顯著性傳播通道(SigProp)和幅值細(xì)化通道(MagRef)采用優(yōu)化快速選擇操作,顯著提高解碼速度[4]。圖2以三種顏色清晰標(biāo)示了編碼過(guò)程的三個(gè)核心通道:首先執(zhí)行的清理通道、緊隨其后的顯著性傳播通道以及最終的幅值細(xì)化通道。圖中顯示,HTJ2K編碼技術(shù)與傳統(tǒng)的J2K編碼技術(shù)在處理流程上完全一致。兩者的根本區(qū)別在于其內(nèi)部實(shí)現(xiàn):HTJ2K并非改變了流程結(jié)構(gòu),而是通過(guò)采用全新的高速熵編碼核心替代了J2K中基于算術(shù)編碼的復(fù)雜瓶頸,從而在保持相同壓縮效率的同時(shí),實(shí)現(xiàn)了編碼速度數(shù)量級(jí)的提升。
![]()
圖 2 FBCOT與EBCOT算法對(duì)比
4基于國(guó)產(chǎn)GPU的HTJ2K實(shí)現(xiàn)
本文提出基于HTJ2K算法和國(guó)產(chǎn)GPU的2K、4K、8K分辨率的數(shù)字電影序列幀TIFF文件無(wú)損編解碼方法。國(guó)產(chǎn)芯片采用摩爾線程MTT S4000 GPU,基于第三代MUSA內(nèi)核架構(gòu),配備了Tensor核心,單卡支持48 GB顯存和768 GB/s的顯存帶寬。MUSA是摩爾線程推出的GPU編程框架[5],該架構(gòu)提供了豐富的編程接口和工具,使開(kāi)發(fā)者可方便地利用GPU的并行處理能力執(zhí)行多種計(jì)算任務(wù)。在HTJ2K的實(shí)現(xiàn)中,使用MUSA架構(gòu)內(nèi)核函數(shù),將HTJ2K的編解碼算法并行化,從而提高了數(shù)據(jù)處理能力,其核心技術(shù)包括異構(gòu)協(xié)同計(jì)算架構(gòu)和并行算法設(shè)計(jì)兩方面。
4.1 異構(gòu)協(xié)同計(jì)算架構(gòu)
本文方法通過(guò)異構(gòu)協(xié)同計(jì)算架構(gòu)(圖3),將CPU與GPU的優(yōu)勢(shì)充分結(jié)合,實(shí)現(xiàn)了計(jì)算資源的優(yōu)化配置。在中央處理器主機(jī)端(CPU Host),軟件負(fù)責(zé)用戶交互、任務(wù)調(diào)度及數(shù)據(jù)預(yù)處理等關(guān)鍵環(huán)節(jié);而在圖形處理器設(shè)備端(GPU Device),則依托GPU強(qiáng)大的并行計(jì)算能力,完成圖像編解碼的核心計(jì)算任務(wù)[6]。這種分工明確的處理流程,不僅提高了編解碼效率,還確保了系統(tǒng)的穩(wěn)定性和可靠性。同時(shí),異構(gòu)協(xié)同計(jì)算架構(gòu)還具有良好的擴(kuò)展性和靈活性,可便捷適配不同類型的國(guó)產(chǎn)GPU,為未來(lái)的軟件升級(jí)和功能擴(kuò)展提供了有力支持。
![]()
圖 3 異構(gòu)協(xié)同計(jì)算架構(gòu)
本文開(kāi)發(fā)的HTJ2K編解碼控制軟件(圖4),作為異構(gòu)協(xié)同計(jì)算架構(gòu)中的CPU Host處理流程,主要承擔(dān)用戶交互、任務(wù)調(diào)度及數(shù)據(jù)預(yù)處理等核心功能。本軟件采用模塊化設(shè)計(jì),主要包括圖形用戶界面層(基于GTK3構(gòu)建用戶界面并處理交互)、業(yè)務(wù)邏輯層(作為圖形用戶界面與核心庫(kù)間的橋梁,負(fù)責(zé)文件輸入和輸出、參數(shù)轉(zhuǎn)換、線程及日志管理)、核心編解碼層(調(diào)用摩爾線程庫(kù)執(zhí)行實(shí)際編解碼計(jì)算)、GPU監(jiān)控層(通過(guò)libmtml獲取硬件狀態(tài))及圖像工具層(封裝TIFF等圖像數(shù)據(jù)的讀寫與內(nèi)存管理功能)。核心編解碼層是作為異構(gòu)協(xié)同計(jì)算架構(gòu)中的GPU,其則專注于執(zhí)行計(jì)算密集型的并行任務(wù),該層主要承擔(dān)HTJ2K編解碼的核心計(jì)算工作,通過(guò)MTJPEG2K庫(kù)實(shí)現(xiàn)高效的數(shù)據(jù)編解碼。
![]()
圖 4 HTJ2K編解碼控制軟件界面
4.2 并行算法設(shè)計(jì)
在HTJ2K的編碼和解碼過(guò)程中,涉及大量的數(shù)學(xué)運(yùn)算,如離散小波變換、分塊 (Tile)并行處理等。GPU的并行處理能力可顯著提高這些運(yùn)算的速度,從而提高HTJ2K編解碼的速度[7]。
離散小波變換需將圖像劃分為多個(gè)尺寸適宜的分塊。在DCI規(guī)范中,對(duì)J2K碼流的分塊劃分和編碼風(fēng)格有明確要求,代碼塊(Code Block)為32×32[8],以優(yōu)化編碼效率[7]。每個(gè)分塊獨(dú)立進(jìn)行離散小波變換,利用GPU強(qiáng)大的線程并行性,為每一分塊分配一組線程。在 GPU 的線程管理體系中[9],線程束(Warp)是重要的執(zhí)行單元。在處理圖像時(shí),可將一個(gè)分塊劃分為多個(gè)并行任務(wù)(Parallel Task)塊,每一并行任務(wù)塊分配一個(gè)線程束進(jìn)行并行計(jì)算[10]。
由于編解碼的計(jì)算依賴于符號(hào)的上下文信息,并行化難度較大。本文采用流水線并行的創(chuàng)新方式,將圖像劃分為多個(gè)條帶,每個(gè)條帶獨(dú)立進(jìn)行編解碼[11]。在GPU上,不同條帶的編解碼任務(wù)可并行執(zhí)行。為減少上下文信息傳遞的開(kāi)銷,通過(guò)合理的緩存機(jī)制[12],為每個(gè)條帶設(shè)置獨(dú)立的上下文信息緩存。在編解碼過(guò)程中,線程優(yōu)先從緩存中讀取上下文信息進(jìn)行概率估計(jì)和編碼操作[13]。當(dāng)緩存中的信息過(guò)時(shí)或不足時(shí),再?gòu)娜謨?nèi)存中更新緩存。這樣可有效減少對(duì)全局內(nèi)存的頻繁訪問(wèn),提高編解碼的并行效率[14]。同時(shí),通過(guò)對(duì)條帶的合理劃分,確保不同條帶的編解碼任務(wù)能夠在GPU的各計(jì)算核心上均衡分配[15],避免出現(xiàn)計(jì)算資源閑置或過(guò)載的情況,進(jìn)一步提升整體編碼速度[16—18]。
5實(shí)驗(yàn)對(duì)比分析
5.1 實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)設(shè)計(jì)
實(shí)驗(yàn)平臺(tái)選型為摩爾線程的D800服務(wù)器、S4000 GPU。CPU采用Intel? Xeon? Gold 6430處理器,擁有32個(gè)核心,運(yùn)行Ubuntu 22.04操作系統(tǒng)。在該平臺(tái)上部署自行開(kāi)發(fā)的HTJ2K編解碼控制軟件,并從JPEG官網(wǎng)下載HTJ2K 的源代碼,編譯完成后可生成OpenJPH[19]軟件。
實(shí)驗(yàn)采用黑盒測(cè)試方法,對(duì)軟件的編碼和解碼功能進(jìn)行逐一驗(yàn)證,確保編解碼功能的正確性。測(cè)試分為功能測(cè)試和性能測(cè)試2個(gè)部分。功能測(cè)試使用HTJ2K編解碼控制軟件和OpenJPH軟件完成2K、4K、8K分辨率的TIFF文件編碼后,分別解碼對(duì)方軟件編碼后的文件,以驗(yàn)證功能的正確性。性能測(cè)試使用2K、4K、8K分辨率的TIFF文件,使用HTJ2K編解碼控制軟件和OpenJPH軟件分別進(jìn)行編碼和解碼,并記錄時(shí)間對(duì)比分析。
5.2 實(shí)驗(yàn)結(jié)果與分析
實(shí)驗(yàn)結(jié)果表明,HTJ2K編解碼控制軟件和OpenJPH軟件可互相解碼對(duì)方的編碼軟件,證明HTJ2K編解碼控制軟件的編解碼功能符合HTJ2K算法。
實(shí)驗(yàn)數(shù)據(jù)表明,在處理從2K到8K不同分辨率的16 bit 4∶4∶4無(wú)損壓縮圖像時(shí),GPU在編碼和解碼兩個(gè)環(huán)節(jié)均展現(xiàn)出遠(yuǎn)勝于CPU的性能效率。具體來(lái)看,在2K分辨率下,GPU的編碼用時(shí)(0.069 s)較CPU(0.154 s)縮短了超過(guò)一半,而其解碼用時(shí)(0.026 s)更是呈現(xiàn)出數(shù)量級(jí)的領(lǐng)先優(yōu)勢(shì);當(dāng)分辨率升至4K時(shí),GPU的編碼與解碼用時(shí)(0.249 s)均為CPU(0.729 s)的約34%,性能提升接近3倍;最終,在負(fù)載最重的8K分辨率下,GPU的處理用時(shí)(1.050 s)穩(wěn)定地維持在CPU用時(shí)(2.136 s)的一半以下,將其性能優(yōu)勢(shì)擴(kuò)大到約兩倍。這一趨勢(shì)有力地證實(shí),GPU憑借其強(qiáng)大的并行計(jì)算能力,不僅能顯著加速圖像處理流程,而且尤其擅長(zhǎng)應(yīng)對(duì)高分辨率數(shù)據(jù)帶來(lái)的巨大計(jì)算挑戰(zhàn),是高效處理高性能圖像編碼與解碼任務(wù)的理想選擇。
6結(jié)語(yǔ)
本文以國(guó)產(chǎn)GPU為硬件基礎(chǔ),結(jié)合HTJ2K算法構(gòu)建電影編解碼解決方案,為電影放映技術(shù)路徑提供了新的替代方案[20]。憑借全球第一的電影市場(chǎng)體量、日趨完善的產(chǎn)業(yè)鏈基礎(chǔ)與持續(xù)旺盛的觀影需求,未來(lái)全力發(fā)展國(guó)產(chǎn)4K/8K數(shù)字電影播放系統(tǒng),或?qū)⒊蔀槲覈?guó)實(shí)現(xiàn)電影放映設(shè)備全面自主可控的發(fā)展機(jī)遇。這不僅關(guān)乎產(chǎn)業(yè)升級(jí),更關(guān)乎國(guó)家在關(guān)鍵文化裝備領(lǐng)域的戰(zhàn)略安全。
在技術(shù)儲(chǔ)備層面,一批國(guó)內(nèi)企業(yè)已在GPU等核心芯片環(huán)節(jié)取得實(shí)質(zhì)性突破,逐步填補(bǔ)自主產(chǎn)業(yè)鏈的空白。例如,龍芯中科技術(shù)股份有限公司依托自主指令系統(tǒng),持續(xù)優(yōu)化其集成GPU的渲染效能;海思半導(dǎo)體有限公司在高端視頻編解碼芯片領(lǐng)域技術(shù)積累深厚;上海兆芯集成電路股份有限公司則擁有x86架構(gòu)下的GPU研發(fā)能力;航錦科技股份有限公司與摩爾線程智能科技(北京)股份有限公司等新興力量,也分別在專用與全功能GPU領(lǐng)域加速布局。這些核心芯片技術(shù)的進(jìn)步,與我國(guó)已在全球確立產(chǎn)業(yè)優(yōu)勢(shì)的LED顯示技術(shù)(從材料、面板到整機(jī))相結(jié)合,共同為構(gòu)建從“芯”到“屏”的全鏈路、自主知識(shí)產(chǎn)權(quán)國(guó)產(chǎn)電影放映系統(tǒng)奠定了堅(jiān)實(shí)基礎(chǔ)。
尤為關(guān)鍵的是,當(dāng)前主導(dǎo)全球數(shù)字影院建設(shè)的DCI規(guī)范,其標(biāo)準(zhǔn)仍主要圍繞2K/4K分辨率構(gòu)建,對(duì)下一代8K放映并未形成明確指引,這一“標(biāo)準(zhǔn)空窗期”,恰恰為我國(guó)提供了實(shí)現(xiàn)彎道超車的戰(zhàn)略機(jī)遇。這不僅能徹底打破國(guó)外技術(shù)在放映設(shè)備領(lǐng)域的長(zhǎng)期壟斷,更將助力中國(guó)在全球范圍內(nèi)率先實(shí)現(xiàn)8K電影放映系統(tǒng)從無(wú)到有的體系化突破,在新一代電影技術(shù)的全球格局中牢牢占據(jù)主導(dǎo)地位。
參考文獻(xiàn)
(向下滑動(dòng)閱讀)
[1] HURST A. Ben Gervais Walks the Line for 120P 4K Master on 'Billy Lynn' [N/OL]. (2022?03?23)[2025?11?03]. https://www.digitalmediaworld.tv/in-depth/ben-gervais-walks-the-line-for-120p-4k-master-on-billy-lynn.
[2] LEMIEUX P A, MATHEW R, NAMAN A, et al. High Throughput JPEG 2000 (HTJ2K) and the JPH file format: a primer[EB/OL]. [2024?10?27]. https://ds.jpeg.org/whitepapers/jpeg-htj2k-whitepaper.pdf.
[3] Via Licensing Alliance. AVC/H.264 License Fees[EB/OL]. [2024?10?27]. https://www.via-la.com/licensing-2/avc-h-264/avc-h-264-license-fees/.
[4] 崔強(qiáng).高吞吐量JPEG2000在電影中的應(yīng)用[J].現(xiàn)代電影技術(shù), 2021(5):33?36.
[5] 陶布曼,魏江力,柏正堯,等. JPEG2000圖像壓縮基礎(chǔ)、標(biāo)準(zhǔn)和實(shí)踐[M].北京:電子工業(yè)出版社,2004.
[6] TAUBMAN D S,NAMAN A T, MATHEW R, et al. High Throughput JPEG 2000 (HTJ2K): New Algorithms and Opportunities[J]. SMPTE Motion Imaging Journal, 2019, 128(5): 34?45.
[7] Information technology — JPEG 2000 image coding system: High?throughput JPEG 2000:ISO/IEC 15444-15:2019[S], 2019.
[8] Material Exchange Format — Mapping JPEG 2000 Codestreams into the MXF Generic Container:SMPTE ST 422:2019[S], 2019.
[9] Digital Cinema Initiatives. Digital Cinema System Specification (Version 1.4) [EB/OL]. [2025?11?05]. https://www.dcimovies.com/specifications/.
[10] Moore Threads Inc.MUSA Architecture Programming Guide[Z], 2023.
[11] NVIDIA Corporation.GPU?Accelerated Decoding for Medical Imaging[R],2024.
[12] 張為, 吳長(zhǎng)坤, 郝亞喆.基于FPGA的JPEG2000圖像壓縮芯片測(cè)試平臺(tái)設(shè)計(jì)[J]. 電子學(xué)報(bào), 2022, 50(8): 1520?1531.
[13] 李德振,孫健永,譚斌,等.基于GPU的JPEG2000醫(yī)學(xué)圖像壓縮方法研究[J].中國(guó)數(shù)字醫(yī)學(xué),2013(2).DOI:10.3969/j.issn.1673-7571.2013.02.027 .
[14] 趙麗麗,張盛兵,張萌,等.基于CUDA的高速FFT計(jì)算[J].計(jì)算機(jī)應(yīng)用研究,2011(4).DOI:10.3969/j.issn.1001-3695.2011.04.100 .
[15] 劉文松,朱恩,王健,等.JPEG2000算術(shù)編碼器的算法優(yōu)化和VLSI設(shè)計(jì)[J].電子學(xué)報(bào),2011(11).
[16] 童煒,劉鐸.基于CUDA的JPEG壓縮算法優(yōu)化[J].通信技術(shù),2011(4).DOI:10.3969/j.issn.1002-0802.2011.04.001 .
[17] 張潤(rùn)梅,王霄.基于CUDA架構(gòu)的MD5破解方法研究[J].計(jì)算機(jī)科學(xué),2011(2).DOI:10.3969/j.issn.1002-137X.2011.02.073 .
[18] 劉文松,朱恩,王健,等.JPEG2000全并行位平面編碼器的VLSI設(shè)計(jì)驗(yàn)證[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2011(6).DOI:10.3969/j.issn.1001-0505.2011.06.003 .
[19] Aous. OpenJPH: an open?source implementation of JPEG 2000 Part-15 HTJ2K (HDR)[EB/OL]. [2025?11?05]. https://github.com/aous72/OpenJPH.
[20] 楊云麟,羅忠奎,譚詩(shī)翰.基于GPU的高速圖像融合[J].計(jì)算機(jī)工程與設(shè)計(jì),2010(22).
![]()
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.