中科院團隊重大突破：讓視頻壓縮技術進入"超低碼率時代"

說到看視頻，相信大家都遇到過這樣的困擾：網絡不好時視頻變得模糊不清，或者手機存儲空間不夠時不得不刪除一些珍貴的視頻文件。這背后其實涉及一個非常重要的技術問題——視頻壓縮。最近，由中國傳媒大學信息與通信工程學院的毛麒、程昊、楊廷晗、金立彪教授，以及北京大學計算機學院馬思偉教授組成的研究團隊，在2025年12月發表了一項開創性研究成果。這項名為"基于視頻擴散先驗的生成神經視頻壓縮"的研究論文，首次將視頻生成技術與視頻壓縮技術巧妙結合，創造了一種全新的壓縮方法GNVC-VD。有興趣深入了解的讀者可以通過arXiv:2512.05016查詢完整論文。

這項研究的意義可以用一個簡單的比喻來理解。傳統的視頻壓縮就像是用力擠壓海綿，雖然體積變小了，但海綿的質感和彈性會受到很大損失。而這個團隊開發的新技術，則像是找到了一種神奇的方法，不僅能讓海綿變得極其緊湊，還能在需要時完美恢復原有的質感，甚至在某些方面比原來更好。具體來說，他們的方法在極低的數據傳輸量下（低于0.03比特每像素），不僅保持了視頻的清晰度，還顯著減少了傳統壓縮方法中常見的畫面閃爍問題。

研究團隊面臨的核心挑戰在于，當前的視頻壓縮技術在極低碼率下會產生嚴重的畫質損失和時間不一致性。傳統方法就像是用粗糙的工具切割精美的藝術品，結果往往是細節丟失、畫面模糊。即使是近年來出現的一些基于人工智能的壓縮方法，也主要依賴于圖像處理技術，缺乏對視頻時間連續性的考慮，導致畫面在不同幀之間出現明顯的跳躍和閃爍。

這項研究的突破性在于首次將專為視頻設計的擴散模型引入壓縮領域。擴散模型可以理解為一種非常智能的"圖像修復師"，它能夠從一些基本信息中重建出高質量的視頻內容。研究團隊巧妙地將這種技術與傳統壓縮方法結合，創造了一個兩階段的處理流程：首先對視頻進行智能壓縮，保留最重要的結構信息，然后使用視頻擴散模型來恢復細節和紋理，同時確保整個視頻序列的時間連貫性。

一、革命性的壓縮理念：從"減少信息"到"智能重建"

傳統的視頻壓縮技術基于一個相對簡單的理念：盡可能去除視頻中的冗余信息來減小文件大小。這就像是收拾行李箱時，我們會選擇帶走最重要的物品，放棄一些次要的東西。但問題在于，當壓縮比例過大時，很多重要的細節也會被迫舍棄，導致畫質嚴重下降。

研究團隊提出了一種全新的思路：與其被動地減少信息，不如主動地學會"智能重建"。他們的方法分為兩個關鍵步驟。第一步是使用一種叫做"時空潛在壓縮"的技術，將原始視頻轉換為一種更緊湊但包含豐富結構信息的表示形式。這個過程類似于將一幅復雜的油畫轉換為線條草圖，雖然去除了很多細節，但保留了最重要的結構和布局信息。

第二步是關鍵的創新所在：使用預訓練的視頻擴散變換器（VideoDiT）來進行"智能重建"。這個過程可以比作一位技藝精湛的畫家，僅僅根據線條草圖就能重新創作出細節豐富、色彩鮮艷的完整作品。重要的是，這位"畫家"不僅精通繪畫技巧，還深諳視頻的時間連續性規律，能夠確保重建的畫面在時間上保持一致和流暢。

這種方法的優勢在于，它不是簡單地恢復原有信息，而是利用人工智能模型從大量視頻數據中學到的規律和模式，來生成在視覺上更加真實和連貫的內容。研究結果顯示，在相同的壓縮比例下，這種方法產生的視頻不僅畫質更清晰，而且時間上的一致性也遠優于傳統方法。

二、技術核心：時空潛在壓縮的智慧

要理解這項技術的核心機制，我們可以把視頻比作一本立體的圖畫書。傳統的壓縮方法就像是逐頁處理這本書，每頁單獨壓縮，忽略了頁面之間的關聯。而新方法則是將整本書作為一個整體來處理，充分利用頁面之間的相似性和連續性。

具體來說，研究團隊開發了一種"上下文變換編碼"技術。這種技術的聰明之處在于，它在壓縮當前幀時會參考前一幀已經壓縮的信息，就像是在講故事時，后面的情節會自然地延續前面的內容。這樣不僅能減少重復信息的存儲，還能確保整個視頻序列的連貫性。

在技術實現上，研究團隊采用了分層處理的策略。對于視頻序列的第一幀（相當于故事的開頭），他們使用獨立的壓縮模塊來處理，確保有一個穩定的起點。而對于后續的幀，則采用預測性編碼，每一幀的壓縮都會借鑒前一幀的信息。這種設計巧妙地平衡了壓縮效率和重建質量之間的關系。

更進一步，這種壓縮方法產生的不僅僅是傳統意義上的壓縮數據，還包含了豐富的上下文特征信息。這些特征信息就像是給后續的智能重建過程提供的"指導手冊"，告訴擴散模型應該如何更好地恢復視頻內容。這種設計使得整個系統能夠在極低的數據傳輸量下仍然保持高質量的重建效果。

三、擴散模型的妙用：從噪聲中重建清晰畫面

擴散模型是近年來人工智能領域的一項重要突破，其工作原理可以用一個有趣的比喻來解釋。設想你有一張清晰的照片，然后逐漸在上面添加噪點，直到完全變成隨機噪聲。擴散模型學習的就是這個過程的逆向操作——從噪聲中逐步恢復出清晰的圖像。

在視頻壓縮的應用中，研究團隊對這個過程進行了巧妙的改造。傳統的擴散模型需要從完全的隨機噪聲開始工作，就像是要求一位畫家在完全空白的畫布上創作。而在壓縮場景中，研究團隊讓模型從已經包含部分信息的"草圖"開始工作，這樣既提高了效率，又確保了重建內容與原始視頻的一致性。

具體的重建過程采用了"流匹配"技術，這是一種更加高效和穩定的擴散方法。可以把這個過程想象成一條河流，從壓縮數據（源頭）流向高質量重建視頻（目的地）。流匹配技術學習的是這條河流的最優路徑，確保能夠平穩、高效地到達目標。

研究團隊還設計了一種"壓縮感知條件適配器"，這是整個系統的關鍵創新之一。這個適配器的作用就像是一位翻譯官，能夠將壓縮過程中產生的特征信息轉換為擴散模型能夠理解的"指令"。通過這種方式，擴散模型不僅知道要重建什么樣的內容，還知道如何在重建過程中保持與原始視頻的一致性。

四、兩階段訓練：讓系統學會"理解"和"創造"

為了讓這套復雜的系統能夠正常工作，研究團隊設計了一個精妙的兩階段訓練策略。這個策略可以比作培養一位既懂得臨摹又能夠創新的藝術家的過程。

第一階段被稱為"潛在級別對齊"，主要目標是讓系統學會如何在壓縮和重建之間建立準確的對應關系。在這個階段，系統需要學習如何從壓縮后的潛在表示中恢復出與原始視頻在結構上高度一致的內容。這就像是教授一個學生如何根據素描準確地重建原始模型。研究團隊使用了結合率失真優化和條件流匹配的損失函數，確保重建的潛在表示能夠準確反映原始視頻的語義和結構信息。

第二階段是"像素級別微調"，重點是提升最終輸出視頻的感知質量和時間連貫性。在這個階段，系統需要學會如何在像素層面生成既清晰又自然的視頻內容。訓練目標包括感知質量、失真度和碼率等多個方面的平衡。研究團隊特別強調了時間一致性的重要性，通過專門的損失函數來確保生成的視頻在不同幀之間保持平滑和連貫。

這種兩階段訓練策略的巧妙之處在于，它將復雜的學習任務分解為兩個相對簡單的子任務。第一階段確保系統能夠準確理解壓縮數據的含義，第二階段則專注于提升輸出質量。這種分層學習的方法不僅提高了訓練效率，還顯著改善了最終的性能表現。

五、實驗驗證：用數據說話的成功證明

為了驗證新方法的效果，研究團隊進行了大規模的實驗對比。他們選擇了多個標準的視頻測試數據集，包括HEVC Class B、UVG和MCL-JCV等，這些都是視頻壓縮領域公認的權威測試平臺。實驗的設計非常全面，不僅與傳統的視頻壓縮標準（如HEVC和VVC）進行對比，還與最新的神經網絡壓縮方法（如DCVC系列）以及其他生成式壓縮方法進行了詳細比較。

在感知質量方面，新方法展現出了顯著的優勢。使用LPIPS（學習感知圖像補丁相似性）和DISTS（深度圖像結構和紋理相似性）等先進的感知質量評估指標，GNVC-VD在超低碼率下（小于0.03比特每像素）實現了大幅度的性能提升。相比傳統的VVC標準，新方法在LPIPS指標上平均實現了86%以上的碼率節省，在DISTS指標上也有高達96%的改善。這意味著在相同的文件大小下，新方法能夠提供遠優于傳統方法的視覺體驗。

更重要的是，新方法在時間一致性方面表現出色。研究團隊使用了兩個關鍵指標來評估這一點：CLIP-F用于衡量語義連續性，Ewarp用于評估低層次的時間對齊。實驗結果顯示，相比其他生成式壓縮方法（如GLC-Video），新方法的時間閃爍問題得到了顯著緩解。具體來說，Ewarp指標從86.5降低到66.6，雖然仍然高于傳統方法，但考慮到在感知質量上的巨大提升，這種權衡是完全值得的。

研究團隊還進行了詳細的消融實驗，驗證了系統各個組件的貢獻。實驗發現，流匹配潛在細化模塊是性能提升的關鍵所在，去除這個模塊會導致LPIPS指標惡化18.1%。兩階段訓練策略同樣重要，缺少任何一個階段都會顯著影響最終效果。這些結果進一步證實了整個技術方案的合理性和有效性。

六、創新突破：首次實現視頻級別的智能壓縮

這項研究最大的突破在于，它是第一個真正意義上的"視頻原生"生成式壓縮方法。以往的相關研究主要依賴圖像生成模型，然后想辦法擴展到視頻領域。這種做法就像是用單人自行車的設計理念去制造雙人自行車，雖然在技術上可行，但始終無法完美解決協調性問題。

新方法從一開始就將視頻作為一個整體來考慮，充分利用了視頻在時間維度上的連續性和相關性。這種設計理念的轉變帶來了質的飛躍。傳統方法在處理視頻時往往將每一幀視為獨立的圖像，即使有時間預測，也主要是基于簡單的運動估計和補償。而新方法則真正理解了視頻的時空結構，能夠在壓縮和重建過程中始終保持這種結構的完整性。

另一個重要創新是"部分噪聲初始化"策略的引入。傳統的擴散模型需要從完全隨機的噪聲開始生成內容，這個過程既耗時又容易產生與目標內容不符的結果。研究團隊巧妙地利用了壓縮后的數據作為起點，只添加適量的噪聲，然后通過擴散過程逐步細化和改善。這種方法不僅提高了效率，還確保了生成內容與原始視頻的高度一致性。

研究團隊還設計了專門的"壓縮感知條件機制"，這是連接壓縮域和生成域的關鍵橋梁。通過這種機制，擴散模型能夠準確理解壓縮過程中保留的信息，并據此進行針對性的重建。這種設計避免了盲目生成的問題，確保重建內容既符合視覺感知要求，又與原始內容保持一致。

七、對比優勢：遠超傳統方法的性能表現

與現有技術相比，新方法在多個關鍵指標上都展現出了顯著優勢。在感知質量方面，GNVC-VD相比目前最好的生成式壓縮方法GLC-Video，在DISTS指標上實現了額外10%以上的改進。更重要的是，在時間一致性方面，新方法幾乎完全解決了困擾生成式壓縮的閃爍問題。

從壓縮效率角度看，新方法在超低碼率范圍內的表現尤為突出。在0.01比特每像素的極限條件下，傳統的VVC和HEVC標準產生的視頻幾乎不可觀看，而新方法仍然能夠提供清晰、流暢的視覺體驗。這種能力對于帶寬受限的應用場景，如移動網絡視頻傳輸或衛星通信，具有重要的實用價值。

研究團隊還進行了大規模的用戶評估實驗。結果顯示，在與各種基準方法的對比中，用戶對GNVC-VD的偏好度都超過了85%，在與圖像基礎的生成式方法對比時，偏好度更是高達98.8%。這些主觀評估結果與客觀指標完全一致，進一步證實了新方法的實用價值。

從計算復雜度角度來看，雖然新方法在解碼時需要運行擴散模型，計算量相對較大，但研究團隊通過優化算法和參數配置，將解碼時間控制在了實際可接受的范圍內。在1920×1080分辨率下，單幀解碼時間約為1.5秒，雖然無法實現實時播放，但對于離線處理和存儲應用來說是完全可行的。

八、技術細節：深度解析核心算法機制

從技術實現的角度來看，GNVC-VD系統的核心是一個精心設計的三模塊架構。第一個模塊是3D因果變分自編碼器（VAE），負責將原始視頻轉換為緊湊的潛在表示。這個編碼器采用了時間因果設計，確保編碼過程符合實際應用中的實時性要求。編碼器將輸入視頻從RGB空間轉換為16維的潛在特征空間，同時在時間維度上實現4倍下采樣，在空間維度上實現8倍下采樣。

第二個模塊是上下文潛在編解碼器，這是整個系統的壓縮核心。該模塊采用了類似DCVC-RT的設計理念，但針對潛在空間進行了特殊優化。對于序列的第一幀（I幀），系統使用獨立的變換編碼，采用殘差瓶頸塊和注意力機制構建的分析和合成變換。對于后續的預測幀（P幀），系統利用前一幀的信息進行條件編碼，通過DC塊構建的變換網絡實現高效的時間預測。

第三個模塊是基于VideoDiT的潛在細化器，這是系統的創新核心。該模塊使用了預訓練的視頻擴散變換器作為骨干網絡，但引入了專門的條件適配器來處理壓縮特定的信息。適配器采用類似VACE的設計，能夠將壓縮域的特征有效地注入到擴散模型的中間層，使模型能夠根據壓縮信息進行針對性的細化。

在流匹配的具體實現上，研究團隊采用了改進的概率路徑設計。不同于標準擴散模型的[0,1]時間范圍，系統使用了[tN,1]的部分時間范圍，其中tN是可調節的噪聲起始時間。這種設計允許系統從已經包含信息的狀態開始細化，而不是從純噪聲開始生成。速度場的學習采用了殘差形式，將預訓練模型的輸出作為基礎，學習一個修正項來適應壓縮場景的特殊需求。

九、應用前景：開啟視頻處理的新紀元

這項技術的成功不僅僅是學術研究的突破，更預示著視頻處理和傳輸領域的重大變革。在最直接的應用層面，該技術能夠顯著改善移動設備上的視頻體驗。用戶可以在有限的存儲空間內保存更多高質量的視頻內容，同時在網絡條件不佳的情況下仍然享受流暢的視頻播放體驗。

對于視頻流媒體服務提供商而言，這項技術意味著巨大的成本節約潛力。通過大幅減少視頻傳輸所需的帶寬，服務商可以在相同的基礎設施條件下為更多用戶提供高質量服務，或者在保持服務質量的前提下顯著降低運營成本。特別是在發展中國家或網絡基礎設施相對落后的地區，這種技術的價值尤為突出。

在專業視頻制作領域，該技術也具有重要意義。電影制作公司可以使用這種方法來壓縮和存檔大量的原始素材，既節省存儲成本又保持必要的質量水平。對于需要跨地區協作的項目，高效的視頻壓縮技術能夠大大加快素材傳輸速度，提高工作效率。

更進一步，這項技術還可能催生全新的應用場景。例如，在遠程教育領域，教師可以制作高質量的教學視頻，通過高效壓縮技術傳遞給世界各地的學生，即使在網絡條件較差的地區也能保證良好的學習體驗。在醫療領域，醫學影像和手術視頻的高效傳輸對于遠程診斷和醫學培訓具有重要價值。

值得注意的是，隨著5G和6G網絡的普及，雖然網絡帶寬會大幅提升，但視頻內容的分辨率和幀率也在不斷增加（如4K、8K甚至更高），因此對高效壓縮技術的需求仍將持續存在。該技術為未來的超高清視頻傳輸提供了重要的技術儲備。

十、技術挑戰與未來發展

盡管這項研究取得了顯著成果，但研究團隊也坦誠地指出了當前技術面臨的挑戰和局限性。最主要的限制是計算復雜度相對較高，特別是在解碼過程中需要運行復雜的擴散模型，這使得當前的實現還無法達到實時播放的要求。在1920×1080分辨率下，單幀解碼需要約1.5秒時間，這對于某些實時應用來說仍然是一個障礙。

另一個需要關注的問題是模型大小。整個GNVC-VD系統包含超過23億個參數，其中大部分來自預訓練的VideoDiT模型。這樣的模型規模對部署環境提出了較高要求，特別是在移動設備或邊緣計算場景中可能面臨挑戰。研究團隊指出，未來的工作將重點關注模型壓縮和加速技術，以降低部署門檻。

在技術發展方向上，研究團隊提出了幾個重要的改進思路。首先是開發更高效的變換編碼模塊，通過改進網絡架構和優化算法來提升壓縮效率。其次是加速擴散基礎的細化過程，可能的方法包括蒸餾技術、早停策略或更高效的采樣算法。

此外，研究團隊還計劃探索多模態壓縮的可能性。當前的方法主要關注視覺信息，但實際的視頻通常還包含音頻內容。如何在保持時空一致性的同時有效壓縮音視頻同步信息，是一個值得深入研究的方向。

從更廣闊的角度來看，這項研究代表了"生成式人工智能"與傳統信號處理技術融合的成功嘗試。隨著大模型技術的快速發展，可以預見會有更多類似的交叉創新出現，不僅在視頻壓縮領域，也包括圖像處理、音頻處理等多個相關領域。

說到底，這項由中國傳媒大學和北京大學聯合開展的研究，不僅在技術層面實現了重大突破，更重要的是為整個視頻處理領域指明了一個全新的發展方向。通過將視頻生成模型的強大能力與傳統壓縮技術相結合，研究團隊成功地證明了"智能重建"比"簡單壓縮"能夠達到更好的效果。這種思路的轉變可能會影響未來很多年的技術發展趨勢。

對于普通用戶來說，這項技術的成功意味著在不久的將來，我們可能會看到視頻質量和傳輸效率的顯著提升。無論是在手機上觀看視頻、進行視頻通話，還是在網絡環境不佳的情況下下載視頻內容，都會有更好的體驗。當然，技術從實驗室走向實際應用還需要時間，但這項研究無疑為我們展示了一個充滿希望的未來圖景。

對于相關領域的研究者和工程師而言，這項工作提供了許多值得借鑒的思路和方法。特別是如何將大規模預訓練模型適配到特定應用場景的策略，以及如何設計有效的多階段訓練流程，這些經驗都具有重要的參考價值。隨著更多研究團隊的跟進和改進，相信這個技術方向會迎來更加蓬勃的發展。

Q&A

Q1：GNVC-VD視頻壓縮技術的核心創新是什么？

A：GNVC-VD的核心創新是首次將專為視頻設計的擴散模型引入壓縮領域，不再像傳統方法那樣簡單減少信息，而是學會"智能重建"。它先對視頻進行智能壓縮保留結構信息，然后用視頻擴散模型恢復細節和紋理，同時確保整個視頻序列的時間連貫性，就像一位技藝精湛的畫家能根據草圖重新創作出完整作品。

Q2：這種新的視頻壓縮方法在實際效果上比傳統方法好多少？

A：在超低碼率下（小于0.03比特每像素），GNVC-VD相比傳統VVC標準在LPIPS感知質量指標上平均實現了86%以上的碼率節省，在DISTS指標上有高達96%的改善。更重要的是，它幾乎完全解決了困擾其他生成式壓縮方法的畫面閃爍問題，用戶偏好度在對比實驗中超過85%。

Q3：GNVC-VD技術什么時候能在普通設備上使用？

A：目前該技術還面臨計算復雜度較高的挑戰，在1920×1080分辨率下單幀解碼需要約1.5秒，無法實現實時播放。整個系統包含超過23億個參數，對設備性能要求較高。研究團隊表示未來將重點關注模型壓縮和加速技術，降低部署門檻，但具體的商用時間表還需要進一步技術優化。