Ant Group團隊打造實時視頻生成新突破：23.1幀流暢畫面如何煉成

這項由浙江大學、Ant Group、華中科技大學和上海交通大學聯合團隊完成的研究發表于2024年12月，研究團隊包括盧云宏、曾彥宏、李浩博、歐陽浩等多位學者。感興趣的讀者可以通過論文編號arXiv:2512.04678v1查詢完整論文。

想象一下，你正在觀看一部電影，突然間畫面開始卡頓，動作變得僵硬，就像老式錄像帶播放時出現的問題。這正是當前AI視頻生成技術面臨的困境。雖然現在的AI已經能夠制作出非常逼真的短視頻，但一旦要求它們生成較長的視頻，就會出現各種問題：畫面可能會突然回到最初的狀態，就像時光倒流一樣；或者整個視頻變得毫無生氣，像一幅靜止的畫作。

這個問題的根源在于當前的視頻生成技術就像一個健忘的畫家。當它開始創作一幅長畫卷時，為了記住開頭的內容，會不斷回頭查看最初畫的部分，結果越看越依賴，最后整幅畫都變成了第一筆的復制品。同時，由于計算資源的限制，這個畫家只能專注于畫面的靜態美感，而忽略了動作的流暢性和自然性。

正是為了解決這些問題，研究團隊開發了一套名為"Reward Forcing"的全新技術框架。這個框架的核心理念可以比作培訓一位既有記憶力又有創造力的超級畫家。與傳統方法不同，這位"畫家"不會過度依賴初始畫面，而是能夠平衡地記住整個創作過程，同時優先關注那些動感十足、生動有趣的內容。

研究團隊的創新突破體現在兩個關鍵技術的巧妙結合。首先是EMA-Sink技術，它就像給AI裝上了一個智能記憶系統。傳統的AI在處理長視頻時，會把最開始的幾幀畫面當作"錨點"一直保存著，這就導致了后續內容總是受到開頭畫面的強烈影響。而EMA-Sink技術則采用了一種更加聰明的策略：它會將過去的信息進行"融合記憶"，就像人類記憶一樣，既保留了重要的歷史信息，又不會讓某個特定時刻的畫面占據主導地位。

具體來說，當AI處理視頻的每一幀時，EMA-Sink技術會將即將被"遺忘"的舊幀信息通過指數移動平均的方式融入到記憶庫中。這種做法類似于烹飪中的"老湯"概念：每次做湯時，都會保留一部分之前的湯底，然后加入新的食材，這樣既保持了整體的風味連貫性，又能融入新鮮元素。通過這種方式，AI既能記住視頻的整體脈絡，又不會被某個特定畫面所束縛。

第二個核心技術是Re-DMD（獎勵分布匹配蒸餾），這可以理解為給AI裝上了一個"動感雷達"。傳統的訓練方法就像一個不會區分好壞的老師，對所有學生的作品都一視同仁地評分。而Re-DMD技術則像一個經驗豐富的導演，它能夠識別哪些畫面更有動感、更吸引人，然后告訴AI要重點學習這些精彩的部分。

這個"動感雷達"的工作原理是使用一個專門的視覺語言模型來評估每個視頻片段的運動質量。當AI生成的畫面充滿活力和自然動作時，這個評估系統會給出高分；當畫面顯得呆板或不自然時，分數就會較低。然后，訓練系統會根據這些分數來調整AI的學習重點，讓它更多地關注那些高質量、高動感的內容。這就像教一個學生畫畫時，老師會特別強調那些畫得生動有趣的部分，讓學生重點學習這些技巧。

在技術實現層面，整個系統的工作流程可以比作一個高效的電影制作流水線。當用戶輸入一個文本描述后，系統首先會生成一些基礎的噪聲信息，然后通過多個步驟逐漸細化成清晰的視頻內容。在這個過程中，EMA-Sink技術負責維持視頻的整體連貫性，確保前后畫面的邏輯關系；而Re-DMD技術則負責增強畫面的動感效果，確保生成的視頻不會顯得呆板。

為了驗證這套技術的實際效果，研究團隊進行了大量的測試和比較。他們使用了多個標準的視頻生成測試集，包括VBench等權威評估平臺。測試結果顯示，使用Reward Forcing技術生成的視頻在多個關鍵指標上都超越了現有的最先進方法。

在速度方面，這套系統能夠達到每秒23.1幀的實時生成速度，這意味著它可以實時創建流暢的視頻內容。相比之下，許多現有的高質量視頻生成系統往往需要幾分鐘甚至幾小時才能生成幾秒鐘的視頻。這種速度的提升對于實際應用來說意義重大，它使得實時視頻創作、即時視頻會議背景生成、游戲場景實時渲染等應用成為可能。

在質量方面，該系統生成的視頻在動態表現上有了顯著改善。測試中發現，傳統方法生成的長視頻往往會出現"回到初始幀"的問題，畫面會突然跳回到開頭的狀態，就像DVD播放時出現的跳幀現象。而使用Reward Forcing技術生成的視頻則能夠保持連續流暢的動作發展，避免了這種不自然的跳躍。

更令人印象深刻的是，這套系統在處理復雜動態場景時表現出色。比如生成一個人在海灘上跑步的視頻時，傳統方法可能會讓人物在某個時刻突然"定格"，或者讓整個背景變得靜止不動。而Reward Forcing技術則能夠維持人物動作的自然性，同時保證海浪、云朵等背景元素的持續運動，創造出更加真實可信的視覺效果。

研究團隊還測試了系統的交互性能力。他們發現，這套技術支持在視頻生成過程中動態改變文本提示，就像在拍攝過程中臨時修改劇本一樣。例如，可以在生成視頻的前半段使用"一只貓在陽光下睡覺"的提示，然后在中途切換到"貓咪突然聽到聲音醒來"，系統能夠自然地銜接這兩個不同的場景，創造出連貫的故事情節。

在具體的技術細節上，EMA-Sink機制的工作方式可以更詳細地解釋為一種智能的信息壓縮和存儲系統。當系統處理視頻序列時，它會維護一個固定大小的"記憶緩存"。隨著新幀的加入，最老的幀會被移除，但在移除之前，這些幀的信息會通過數學運算融入到整體記憶中。這個融合過程使用了指數移動平均算法，確保近期的信息權重更大，而歷史信息則以遞減的方式保留。

EMA-Sink技術的一個重要參數是衰減因子α，研究團隊經過大量實驗發現，當α設置為0.99時效果最佳。這意味著系統會保留99%的歷史記憶，同時融入1%的新信息。這種比例確保了記憶系統既穩定又靈活，既不會完全忘記過去，也不會完全拒絕變化。

Re-DMD技術的實現則更像是一個智能的教練系統。在訓練過程中，系統會為每個生成的視頻片段計算一個"動感分數"，這個分數綜合考慮了多個因素：物體運動的自然性、場景變化的流暢性、以及整體視覺效果的吸引力。分數計算使用了先進的視覺語言模型VideoAlign，這個模型經過大量真實視頻的訓練，能夠準確識別什么樣的運動看起來更自然、更吸引人。

當系統獲得這些動感分數后，它會調整訓練策略，讓AI模型更多地學習那些高分的視頻片段。這個過程類似于一個學生在準備考試時，會重點復習那些最重要、最有可能考到的知識點。通過這種有針對性的學習，AI模型逐漸掌握了生成高質量動態內容的技巧。

為了確保系統的實用性，研究團隊還關注了計算效率的優化。他們發現，通過合理的注意力窗口設置，可以在保證視頻質量的同時大幅提升生成速度。注意力窗口大小的選擇就像攝影師選擇鏡頭焦距一樣：窗口太小會失去上下文信息，導致視頻不連貫；窗口太大則會消耗過多計算資源，影響生成速度。經過反復測試，團隊找到了最佳的平衡點。

在實際應用方面，這套技術的潛力非常廣泛。在教育領域，教師可以實時生成個性化的教學視頻，根據學生的理解情況動態調整內容。在娛樂行業，內容創作者可以快速制作原型視頻，大大縮短創意到成品的時間周期。在商業應用中，企業可以實時生成產品演示視頻，根據客戶需求即時定制內容。

研究團隊還進行了用戶體驗研究，邀請20位參與者對不同技術生成的視頻進行評價。評價維度包括時間連貫性、動態復雜性和整體偏好。結果顯示，使用Reward Forcing技術生成的視頻在所有維度上都獲得了最高評分，平均分數接近"良好"水平（滿分4分中的3.6-3.7分），遠超其他現有技術。

參與者特別指出，傳統技術生成的長視頻經常出現"畫面突然回到開頭"的現象，就像播放器出現故障一樣。而Reward Forcing技術生成的視頻則能保持自然的時間流動，畫面發展符合邏輯預期。在動態表現方面，參與者認為新技術生成的視頻"更有生命力"，物體運動看起來更加自然真實。

值得注意的是，這項技術還具有良好的擴展性。研究團隊表示，Reward Forcing框架是通用的，可以輕松集成到現有的視頻生成系統中，無需對底層架構進行大規模修改。這意味著其他研究團隊和公司可以相對容易地采用這項技術來改進他們自己的視頻生成產品。

在技術挑戰方面，研究團隊也坦誠地討論了當前系統的一些限制。首先是獎勵函數與評估標準之間可能存在的偏差問題。由于用于評估動感質量的模型本身也有局限性，有時候可能會對某些特定類型的動作給出不夠準確的評分。其次是視頻獎勵模型仍需要進一步改進，特別是在處理長距離時間依賴關系和復雜語義屬性方面。

為了解決這些挑戰，研究團隊建議未來的工作方向可以包括開發更加精準的多目標獎勵模型，建立能夠在不同時間尺度上評估質量的分層模型，以及引入人類反饋機制來不斷改進獎勵系統的準確性。他們還提出了領域自適應獎勵模型的概念，使系統能夠根據不同類型的視頻內容調整評估標準。

在社會影響方面，這項技術既帶來了機遇也伴隨著挑戰。積極方面，更高效的視頻生成技術可以降低內容創作的門檻，讓更多人能夠參與視頻制作，促進創意表達的民主化。同時，較低的計算需求也意味著更少的能源消耗，有助于綠色AI的發展。

但是，研究團隊也意識到技術可能被誤用的風險。更便捷的視頻生成能力可能會被用來制作虛假信息或深度偽造內容，對社會造成負面影響。因此，他們強調需要建立相應的技術標準和倫理準則，包括在生成內容中加入數字水印、開發檢測合成視頻的工具、建立清晰的內容標識規范等。

研究團隊還呼吁建立跨學科的合作機制，讓技術研究者、政策制定者和社會團體共同參與，制定負責任的AI發展指導原則。他們建議在技術部署時采用透明的數據實踐、多元化的評估標準，以及持續的社會影響監測機制。

總的來說，這項研究代表了視頻生成技術的一個重要里程碑。通過巧妙地結合智能記憶管理和動感質量優化，Reward Forcing技術成功解決了困擾該領域多年的核心問題。23.1幀每秒的實時生成速度，配合顯著改善的視頻質量，為實用化的AI視頻生成應用打開了新的可能性。

從技術創新的角度看，EMA-Sink和Re-DMD這兩項核心技術的結合展示了如何通過深入理解問題本質來設計有效的解決方案。EMA-Sink解決的是記憶管理問題，而Re-DMD解決的是質量優化問題，兩者相輔相成，共同推動了整體性能的飛躍。

從實際應用的角度看，這項技術的成熟將可能改變多個行業的內容創作方式。無論是教育、娛樂、營銷還是新聞媒體，實時高質量的視頻生成能力都將為創新應用提供強有力的技術基礎。隨著技術的不斷完善和成本的進一步降低，我們很可能會看到更多創新性的應用場景涌現。

當然，技術進步也提醒我們需要更加深入地思考AI與社會的關系。如何在享受技術便利的同時確保其被負責任地使用，如何在促進創新的同時保護公眾利益，這些都是需要全社會共同面對的重要課題。研究團隊在論文中體現出的技術創新精神和社會責任意識，為未來的AI研究發展提供了良好的示范。

Q&A

Q1：Reward Forcing技術是如何解決視頻生成中的"畫面回跳"問題的？

A：Reward Forcing技術通過EMA-Sink機制解決了這個問題。傳統方法會把最開始的幾幀畫面當作"錨點"一直保存，導致后續內容受到開頭畫面的強烈影響。而EMA-Sink技術采用智能記憶系統，將過去的信息通過指數移動平均方式融合，就像烹飪中的"老湯"概念，既保持整體連貫性又融入新元素，避免了畫面突然跳回開頭的不自然現象。

Q2：23.1幀每秒的生成速度在實際應用中意味著什么？

A：這個速度實現了真正的實時視頻生成，相比現有技術需要幾分鐘甚至幾小時才能生成幾秒視頻，這是巨大的突破。它使得實時視頻創作、即時視頻會議背景生成、游戲場景實時渲染等應用成為可能。用戶可以像使用攝像頭一樣即時獲得AI生成的高質量視頻內容，大大提高了實用性。

Q3：Re-DMD技術是如何讓AI學會生成更有動感的視頻的？

A：Re-DMD技術就像給AI裝上了"動感雷達"，使用專門的視覺語言模型VideoAlign來評估每個視頻片段的運動質量。當畫面充滿活力和自然動作時獲得高分，呆板不自然時得分較低。然后訓練系統根據這些分數調整學習重點，讓AI更多關注高質量、高動感的內容，就像老師會特別強調學生畫得生動有趣的部分一樣。