視頻生成DeepSeek時(shí)刻!清華&生數(shù)開源框架提速200倍,一周2k Star

編輯｜杜偉

在 2025 年的最后時(shí)刻，一個(gè)全新視頻生成加速框架的開源宣告了：「等待數(shù)分鐘才能生成一個(gè)視頻」的時(shí)代已經(jīng)終結(jié)！

這個(gè)框架正是清華大學(xué) TSAIL 團(tuán)隊(duì)與生數(shù)科技聯(lián)合發(fā)布的 TurboDiffusion

加速效果有多夸張呢？在幾乎不影響生成質(zhì)量的前提下，主流視頻生成模型在單張 RTX 5090 上生成 5 秒 720p 視頻的速度可以提升約 200 倍，同時(shí)一個(gè) 5 秒 480p 視頻的生成時(shí)長(zhǎng)可以被壓縮到不到 2 秒（如下動(dòng)圖）。

這意味著，AI 視頻創(chuàng)作進(jìn)一步突破了傳統(tǒng)的「渲染與等待」模式，來到了向「實(shí)時(shí)生成」時(shí)代轉(zhuǎn)變的關(guān)鍵節(jié)點(diǎn)。這項(xiàng)突破迅速引起了學(xué)界的廣泛關(guān)注。

TurboDiffusion 無異于拋下了一顆「重磅炸彈」，擊破了擴(kuò)散模型生成高質(zhì)量視頻所面臨的主要壁壘 ——高推理延遲。由于模型在生成高分辨率視頻時(shí)需要處理大量時(shí)空信息并捕捉視頻幀之間的細(xì)節(jié)與動(dòng)態(tài)變化，這就需要處理海量的 token，導(dǎo)致推理耗時(shí)嚴(yán)重。

以往，主流擴(kuò)散模型往往需要幾分鐘甚至幾十分鐘才能生成幾秒的高質(zhì)量視頻，較高的時(shí)間延遲極大地限制了模型的實(shí)際可用性。而現(xiàn)在，隨著加速框架 TurboDiffusion 的開源，視頻生成的等待時(shí)間大大縮短，更能滿足實(shí)時(shí)生成的需求。

目前，TurboDiffusion 在 GitHub 上已經(jīng)收獲 2k Star，社區(qū)關(guān)注度持續(xù)提升。

項(xiàng)目地址：https://github.com/thu-ml/TurboDiffusion

現(xiàn)在，用戶可以體驗(yàn) TurboDiffusion 支持下的高效文生視頻、圖生視頻的模型版本。

這不禁令我們好奇，TurboDiffusion 究竟采用了哪些技術(shù)手段，才能實(shí)現(xiàn)視頻生成推理速度的百倍提升？

TurboDiffusion：擴(kuò)散模型視頻加速的更優(yōu)解

通過放出的 TurboDiffusion 技術(shù)報(bào)告，我們對(duì)其采用的訓(xùn)推及優(yōu)化策略有了更多的了解。

• GitHub：https://github.com/thu-ml/TurboDiffusion
• 技術(shù)報(bào)告：https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf

作為一項(xiàng)復(fù)雜的工程性任務(wù)，擴(kuò)散模型在視頻生成加速上面臨的核心難點(diǎn)是如何既能保持生成質(zhì)量，又能系統(tǒng)性地完成減少計(jì)算量、加速推理并保證不同模態(tài)協(xié)同一致性等多個(gè)目標(biāo)

這些挑戰(zhàn)涉及到了架構(gòu)設(shè)計(jì)、硬件適配、策略優(yōu)化等多個(gè)方面，需要在算法和系統(tǒng)協(xié)同的基礎(chǔ)上進(jìn)行有的放矢的精細(xì)化處理。

TurboDiffusion 通過一系列創(chuàng)新技術(shù)，成功克服了傳統(tǒng) AI 視頻在生成效率方面的主要瓶頸。

其中，在推理階段采用的混合注意力加速、高效步數(shù)蒸餾以及 W8A8 線性層量化等「四大核心技術(shù)」，成為視頻生成百倍加速的關(guān)鍵驅(qū)動(dòng)力，它們均由清華大學(xué) TSAIL 團(tuán)隊(duì)聯(lián)合生數(shù)科技自主研發(fā)。

首先是混合注意力加速（Attention Acceleration），包括兩項(xiàng)正交的注意力加速技術(shù)，即SageAttentionSparse-Linear Attention（SLA）

其中使用 SageAttention 進(jìn)行低比特量化注意力加速。它是一系列通過量化實(shí)現(xiàn)高效注意力機(jī)制的工作，自 2024 年 10 月以來陸續(xù)推出了 V1、V2 和 V3，能夠在無損準(zhǔn)確率的情況下，在大多數(shù) GPU 上實(shí)現(xiàn)即插即用的加速效果。

這里，TurboDiffusion 使用的是「SageAttention2++」變體。

項(xiàng)目地址：https://github.com/thu-ml/SageAttention

同時(shí)，TurboDiffusion 使用 Sparse-Linear Attention（SLA）實(shí)現(xiàn)稀疏注意力加速。作為一種可訓(xùn)練的注意力方法，SLA 結(jié)合使用稀疏注意力和線性注意力來加速擴(kuò)散模型的計(jì)算過程。

SLA 架構(gòu)示意圖，圖左展示了高層次思路，注意力權(quán)重被分為三類，并分配給不同復(fù)雜度的計(jì)算；圖右展示了使用預(yù)測(cè)的壓縮注意力權(quán)重的 SLA 前向算法。圖源：https://github.com/thu-ml/SLA

不僅如此，由于稀疏計(jì)算與低比特 Tensor Core 加速是正交的，SLA 可以構(gòu)建在 SageAttention 之上，兩者的共同作用在推理過程中進(jìn)一步獲得了數(shù)倍的額外加速。

接下來是高效步數(shù)蒸餾（Step Distillation），具體表現(xiàn)為引入了rCM 蒸餾方法

rCM 通過引入分?jǐn)?shù)正則化和連續(xù)時(shí)間一致性的概念，優(yōu)化擴(kuò)散模型生成視頻的時(shí)間步長(zhǎng)，從而以更少的采樣步數(shù)完成生成任務(wù)，比如將采樣步數(shù)從原本的 100 步大幅減少到極小值（3 到 4 步），并能保持最佳視頻質(zhì)量。

使用蒸餾后的 Wan2.1 T2V 14B 生成的 5 個(gè)隨機(jī)視頻，生成過程中采用了 4 步采樣。圖源：https://github.com/NVlabs/rcm

最后是W8A8 線性層量化（Linear Layer Quantization）

TurboDiffusion 對(duì)線性層的參數(shù)（模型權(quán)重）和激活值（Activations）進(jìn)行 8-bit 量化，過程中在 128x128 的塊粒度上進(jìn)行分塊量化。這種量化方式將模型大小壓縮約一半，并利用 INT8 Tensor Cores 加速線性層計(jì)算。

得益于以上四項(xiàng)核心技術(shù)的協(xié)同作用，TurboDiffusion 的視頻生成加速效果被提升到了前所未有的水平。加之訓(xùn)練階段的并行訓(xùn)練策略，進(jìn)一步平衡了推理效率和生成質(zhì)量。

整體訓(xùn)練過程分為兩部分并行進(jìn)行：一是將預(yù)訓(xùn)練模型的全注意力替換為稀疏線性注意力（SLA）并進(jìn)行微調(diào)， 減少注意力計(jì)算的復(fù)雜度，降低計(jì)算資源消耗；二是使用 rCM 將預(yù)訓(xùn)練模型蒸餾為少步數(shù)學(xué)生模型，通過減少采樣步數(shù)加速生成過程。最后將 SLA 微調(diào)和 rCM 訓(xùn)練的參數(shù)更新合并到一個(gè)單一模型中，進(jìn)一步提升模型推理速度和生成質(zhì)量。

此外，TurboDiffusion 還采用其他一些優(yōu)化策略，比如使用 Triton 或 CUDA 重新實(shí)現(xiàn) LayerNorm 和 RMSNorm 等操作，以獲得更高的執(zhí)行效率。

多項(xiàng)推理加速技術(shù)加持下，視頻生成時(shí)長(zhǎng)從 4767 秒降至 24 秒，提速近 200 倍。

這套技術(shù)組合拳驗(yàn)證了：在不犧牲視頻表現(xiàn)力的前提下，擴(kuò)散模型仍具備巨大的壓縮與提速空間，為未來更大規(guī)模模型的實(shí)時(shí)部署提供了可借鑒的標(biāo)準(zhǔn)范式。

尤其是推理階段的四項(xiàng)核心技術(shù)對(duì) AI 多模態(tài)大模型的技術(shù)突破與產(chǎn)業(yè)落地具有里程碑式的價(jià)值與深遠(yuǎn)影響力。其中 SageAttention 更是全球首個(gè)實(shí)現(xiàn)注意力計(jì)算量化加速的技術(shù)方案，已被工業(yè)界大規(guī)模部署應(yīng)用。

例如，SageAttention 已成功集成至 NVIDIA 推理引擎 Tensor RT，同時(shí)完成在華為昇騰、摩爾線程 S6000 等主流 GPU 平臺(tái)的部署與落地。此外，騰訊混元、字節(jié)豆包、阿里 Tora、生數(shù) Vidu、智譜清影、百度飛槳、昆侖萬維、Google Veo3、商湯、vLLM 等國(guó)內(nèi)外頭部科技企業(yè)及團(tuán)隊(duì)，均已在核心產(chǎn)品中應(yīng)用該技術(shù)，憑借其卓越性能創(chuàng)造了可觀的經(jīng)濟(jì)效益。

單張消費(fèi)級(jí)顯卡，不到 2 秒生成高清視頻

TurboDiffusion 在技術(shù)層面的領(lǐng)先性，為其在實(shí)戰(zhàn)中的驚艷效果做好了鋪墊。

先來看圖生視頻的加速效果。

我們以 14B 大小的模型生成 5 秒 720p 的視頻為例，TurboDiffusion 可以在單張 RTX 5090 上實(shí)現(xiàn)幾乎無損的端到端119 倍加速。

基線模型與引入 TurboDiffusion 后的生成時(shí)長(zhǎng)與效果對(duì)比。

文生視頻的加速效果同樣突出。

我們先以 1.3B 大小的模型生成 5 秒 480p 的視頻為例，在單張消費(fèi)級(jí)顯卡 RTX 5090 上，使用官方實(shí)現(xiàn)需要 184 秒才能生成。引入 TurboDiffusion 之后，則只要1.9 秒就能搞定。

兩者相比，速度整整提升了97 倍

基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時(shí)長(zhǎng)與效果對(duì)比。

對(duì)于 14B 大小的模型生成 5 秒 720p 的視頻，TurboDiffusion 的加速效果更加顯著。

從下圖可以看到，在單張 RTX 5090 上生成時(shí)長(zhǎng)從 4767 秒銳減到24 秒，實(shí)現(xiàn)幾乎無損的端到端200 倍加速。

基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時(shí)長(zhǎng)與效果對(duì)比。

生數(shù)科技自研的 Vidu 模型上，TurboDiffusion 的加入也可以在不損失視頻生成質(zhì)量的前提下，獲得極高的推理加速效果。

舉例來說，在生成 8 秒 1080p 的視頻時(shí)，相較于沒有任何推理加速優(yōu)化的方案，TurboDiffusion 將端到端的生成延遲從 900 秒提速到了 8 秒。如下視頻 1 為加速前：

視頻 2 為 TurboDiffusion 加速后：

加速前后，視頻生成質(zhì)量依然保持在較高水準(zhǔn)。

文中視頻鏈接：https://mp.weixin.qq.com/s/uBD48AEpc9lDkNgENhFzyA

2025 年可謂是 AI 視頻生成爆發(fā)的一年，從年初到年末，國(guó)內(nèi)外頭部大模型廠商「上新」的節(jié)奏一直沒有停下。

這一年里，視頻生成模型不僅在畫質(zhì)和時(shí)長(zhǎng)上取得了突破，也在物理規(guī)律理解、音畫同步生成等多個(gè)維度實(shí)現(xiàn)質(zhì)的飛躍。

如今，TurboDiffusion 加速框架的引入，更開啟了秒級(jí)生成與實(shí)時(shí)交互視頻創(chuàng)作新范式的關(guān)鍵轉(zhuǎn)折點(diǎn)

一方面，高端視頻創(chuàng)作能力從昂貴的 H100 等顯卡下沉到個(gè)人創(chuàng)作者能負(fù)擔(dān)起的消費(fèi)級(jí)顯卡，極大降低算力門檻。另一方面，隨著視頻生成從「離線等待」無限接近「實(shí)時(shí)預(yù)覽」，創(chuàng)作者可以通過快速調(diào)整 prompt 獲得即時(shí)反饋，提升了藝術(shù)探索的上限。

未來，包括 TurboDiffusion 在內(nèi)的視頻生成加速技術(shù)勢(shì)必會(huì)更加成熟，我們可以想象更長(zhǎng)時(shí)長(zhǎng)的 1080p 甚至 4k 分辨率的視頻同樣可以做到實(shí)時(shí)生成。到那時(shí)，AI 視頻直播、個(gè)性化視頻流、AR/VR 實(shí)時(shí)內(nèi)容渲染等需要即時(shí)反饋的應(yīng)用場(chǎng)景有望更快更好地落地。