殺進(jìn)全球榜TOP2！國(guó)產(chǎn)視頻模型黑馬剛剛出現(xiàn)了

全球視頻大模型榜單，國(guó)產(chǎn)模型殺進(jìn)前2。

就在最近，權(quán)威第三方機(jī)構(gòu)Artificial Analysis更新了排行榜——

來(lái)自昆侖天工的SkyReels-V4，直接干到了文轉(zhuǎn)視頻（含音頻）全球榜第2，位列Veo 3.1、Sora 2之前。

歷史榜（包括所有模型的那種）也沖到第4位，穩(wěn)居全球第一梯隊(duì)：

要知道Artificial Analysis可是目前公認(rèn)的“AI領(lǐng)域的Gartner”，其所有測(cè)試均在內(nèi)部獨(dú)立進(jìn)行，不依賴各家實(shí)驗(yàn)室自行報(bào)告的數(shù)據(jù)，所以上述成績(jī)背后的含金量可想而知。

而且更關(guān)鍵的是，這不單單是一次“純文生視頻”的勝利。

當(dāng)大多數(shù)模型還在卷文生視頻時(shí)，SkyReels-V4已經(jīng)玩起了組合技：

「圖像A的主體」+「視頻B的動(dòng)作」+「音頻C的背景音」= 一條完整視頻。

文本、圖像、視頻片段、掩碼、音頻參考全部可混合輸入，主打一個(gè)全模態(tài)參考、一體化生成。

好好好，一個(gè)月前才剛開(kāi)源SkyReels-V3，這次V4直接帶著全球TOP2的成績(jī)單登場(chǎng)。

只能說(shuō)這公司節(jié)奏夠快，成績(jī)夠硬。

全球第2，現(xiàn)場(chǎng)表演一個(gè)

不過(guò)還是那句老話，光說(shuō)不練假把式，咱這不得召喚SkyReels-V4給大家表演一個(gè)（doge）。

鏘鏘鏘鏘上場(chǎng)，先給大家來(lái)個(gè)自我介紹：

• （我是）全球首個(gè)同時(shí)支持多模態(tài)輸入、聯(lián)合音視頻生成、統(tǒng)一生成/修復(fù)/編輯任務(wù)的視頻基礎(chǔ)模型。

沒(méi)記住不要緊，四個(gè)技能show這就給觀眾姥爺獻(xiàn)上：

多模態(tài)精準(zhǔn)控制

先來(lái)點(diǎn)有意思的，用圖像的主體+視頻的動(dòng)作和音樂(lè)生成新視頻。

• 把@video_1中左側(cè)身穿白上衣配牛仔褲跳舞的女性替換為@image_1里的狗， 并將@video_1中右側(cè)身穿全套西裝跳舞的男性替換為@image_2 里的貓，確保動(dòng)作保持一致。

SkyReels-V4看一眼兩張參考圖：把狗和貓的毛色、身形全都扒下來(lái)，但摒棄了兩張圖的背景。

再看一眼原視頻（來(lái)自昆汀電影《低俗小說(shuō)》片段）：噢～倆人在跳舞，女生在左邊，男生在右邊，他們?cè)瓉?lái)是這么跳的。

然后直接開(kāi)干，人物主體無(wú)縫切換了，狗替女生，貓?zhí)婺猩?；但舞臺(tái)、觀眾、音樂(lè)、動(dòng)作可都沒(méi)變。

就連這生成的視頻中，狗狗彎腰的動(dòng)作變化時(shí)機(jī)都和原版女生動(dòng)作變化的時(shí)機(jī)對(duì)得上，大概在10s左右，這波動(dòng)作和音樂(lè)可是真·卡點(diǎn)了～

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

這個(gè)案例的背后，體現(xiàn)的是SkyReels-V4對(duì)多模態(tài)參考的精準(zhǔn)控制。

首先，咱可以看出來(lái)，模型支持文本、圖像、視頻片段等多種輸入組合。

而且實(shí)際上掩碼和音頻它也能參考，參考完了就能實(shí)現(xiàn)：

• 
  
• 基于參考圖像的風(fēng)格遷移與主體保留：就拿上面參考的狗和貓圖像來(lái)說(shuō)，從毛色、體態(tài)到身形大小的細(xì)節(jié)，都被精準(zhǔn)保留并遷移到了視頻人物身上；
• 音頻驅(qū)動(dòng)的動(dòng)作生成：參考視頻的背景音樂(lè)，模型能讓兩者的舞步踩準(zhǔn)節(jié)拍，甚至連動(dòng)作變化都精準(zhǔn)卡點(diǎn)；
• 多參考融合創(chuàng)作：這個(gè)替換案例的整個(gè)指令本身就是典型的多模態(tài)參考，有多個(gè)圖像的主體形象、視頻的舞蹈動(dòng)作和音樂(lè)節(jié)拍，好幾種素材都無(wú)痛融在了一起。

專業(yè)級(jí)視頻修復(fù)

放完組合技之后，再來(lái)個(gè)更高級(jí)的。

SkyReels-V4還支持對(duì)已有內(nèi)容進(jìn)行專業(yè)級(jí)修復(fù)——

在不破壞整體結(jié)構(gòu)的前提下，替換視頻主體、去除水印、抹掉字幕等，幾乎都是手拿把掐。

• 區(qū)域智能修復(fù)：能精準(zhǔn)替換視頻中的主體、修改屬性（如服裝顏色、物體形狀）、更換背景；
• 元素智能移除：能自動(dòng)識(shí)別并去除水印、字幕、Logo，保持背景內(nèi)容自然連貫；
• 參考引導(dǎo)修復(fù)：可基于參考圖像的風(fēng)格一致性修復(fù)，確保編輯前后視覺(jué)統(tǒng)一。

就拿去字幕這事兒來(lái)說(shuō)吧，真到了要用的時(shí)候那可真是急得人團(tuán)團(tuán)轉(zhuǎn)，往往社交媒體全扒一遍也沒(méi)有真正好用的。

但交給SkyReels-V4，它還真行。

你瞅，原視頻是一個(gè)10s左右、含大量英文字幕的小片段：

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

但魔法這么一施，字幕這就沒(méi)！了！整個(gè)畫(huà)面立馬變得干干凈凈。

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

該說(shuō)不說(shuō)，SkyReels-V4真是一位后期小能手，它能在保留大部分原視頻的情況下，實(shí)現(xiàn)局部精準(zhǔn)改動(dòng)。

全維度視頻編輯

當(dāng)然了，既然專業(yè)后期的活都能干，那各種日常編輯豈不是輕輕松松。

一次生成不滿意，SkyReels-V4也支持隨心改、自由改。

插一嘴，雖然都是改，但“專業(yè)級(jí)視頻修復(fù)”和“全維度視頻編輯”側(cè)重的點(diǎn)還不一樣。

用一個(gè)例子來(lái)區(qū)分就是，假設(shè)原視頻為一個(gè)女生在草地上走路，“專業(yè)級(jí)視頻修復(fù)”追求的是極致的真——消除路人、改衣服顏色等，改完之后，她還是走在那片草地上，整個(gè)視頻結(jié)構(gòu)不變；

而“全維度視頻編輯”追求的是創(chuàng)造的自由——比如讓草地瞬間變?yōu)橘惒┡罂硕际?，甚至讓鏡頭從定點(diǎn)拍攝變?yōu)殡娪凹?jí)的推拉搖移，整個(gè)視頻想要表達(dá)的意境內(nèi)容可能都變了。

針對(duì)后者當(dāng)中的局部編輯，先給SkyReels-V4上個(gè)開(kāi)胃小菜，給視頻憑空增加素材。

一張帽子圖+一段女團(tuán)舞視頻，要求模型給c位dancer戴上帽子。

• 將@image_1中的藍(lán)色羅紋針織無(wú)檐帽添加到@video_1中中央舞者的頭上。

注意看細(xì)節(jié)，帽子的顏色和logo需要記住，下面要考。

5s練習(xí)室視頻也多看幾眼：

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

然后，SkyReels-V4交卷了。拿著我的放大鏡仔細(xì)瞅，沒(méi)想到還真沒(méi)挑出毛病。

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

帽子和原圖一致，而且也確實(shí)按要求戴在了c位女生頭上，整個(gè)視頻幾乎就是她戴上帽子重新又跳了一遍。

光增加元素怎么夠，再來(lái)個(gè)反向操作：直接刪除視頻中的人物或元素。

原視頻是幾個(gè)小伙伴一起深夜探險(xiǎn)：

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

結(jié)果鏡頭一轉(zhuǎn)，“消失的他們”原地上演，驚悚感撲面而來(lái)：

• 移除@video_1中最右邊那位手持手電筒的淺金色短發(fā)年輕男子，以及那位身穿深紫色上衣、留著金色長(zhǎng)卷發(fā)的女子。
• 
  

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

敲黑板，SkyReels-V4不僅支持上述局部編輯，而且還能一鍵替換視頻風(fēng)格（全局編輯）、改變運(yùn)鏡（相機(jī)運(yùn)動(dòng)控制）等等。

高品質(zhì)音頻生成

來(lái)來(lái)來(lái)，還沒(méi)完，接下來(lái)是演技大賞。

先挑三個(gè)演員（從左到右依次為扮演者A、B、C）：

再給個(gè)劇本（簡(jiǎn)化版）：

A眼神中透露著玩味和審視，用從容且略帶挑釁的語(yǔ)氣說(shuō)：“這么多年來(lái)，這十億明明在身邊卻花不了，是不是很可惜？”

B原本正閉目沉思，聽(tīng)到話語(yǔ)后緩緩睜眼看向A；

C突然出現(xiàn)在畫(huà)面中，他憤怒地彎下腰，發(fā)出一聲重重地拍擊桌面的撞擊聲；

鏡頭再次轉(zhuǎn)向B，他神色緊張地抬起手指向前方，語(yǔ)氣急促而擔(dān)憂地低吼道 ：“志杰，你說(shuō)什么呢！”

視頻地址：https://mp.weixin.qq.com/s/5AXAnxerlKDNfBujX9VHhQ

短劇拍完咱一看，這情緒表現(xiàn)力夠?qū)I(yè)啊，你就說(shuō)演技和臺(tái)詞功底夯不夯吧。

除了看演技，咱也往深處扒一扒細(xì)節(jié)。

首先，能演得這么好，肯定離不開(kāi)AI優(yōu)秀的指令遵循能力。

除此之外，最讓人意外的就是這音頻生成質(zhì)量了，臺(tái)詞不糊嘴，還充分表現(xiàn)出了玩味和審視的人物情緒，敲擊桌子的聲音真實(shí)到能聽(tīng)出是木質(zhì)的桌面，仔細(xì)聽(tīng)還有環(huán)境回音。

這是因?yàn)槟Ｐ蛢?nèi)置了多語(yǔ)言語(yǔ)音合成、音效生成、背景音樂(lè)適配等一系列能力，支持情感語(yǔ)音、歌詞同步演唱這些高階玩法。

整體音頻質(zhì)量在信號(hào)清晰度、音色真實(shí)度、動(dòng)態(tài)范圍這些硬指標(biāo)上，確實(shí)做到了不輸專業(yè)音頻生成工具的水準(zhǔn)。

表演看完了，想必你也對(duì)SkyReels-V4的實(shí)力有了近距離感受。

我們看下來(lái)，SkyReels-V4的核心優(yōu)勢(shì)幾乎可以用兩個(gè)詞來(lái)概括：全面、全能。

全面體現(xiàn)在多模態(tài)上，包括但不限于圖像、音頻、文本，它基本都能消化吸收，給出的結(jié)果也都符合預(yù)期。

全能則體現(xiàn)在這種一體化創(chuàng)作能力上，從靈感激發(fā)、腳本設(shè)計(jì)，到音視頻生成、后期剪輯、音效配樂(lè)，甚至多語(yǔ)言配音和字幕同步，整個(gè)流程幾乎都能在同一個(gè)平臺(tái)上完成，全部All in one。

而基于“多模態(tài)輸入+全功能集成”，無(wú)論是搞創(chuàng)意還是回到實(shí)際應(yīng)用，整個(gè)應(yīng)用想象空間一下子就被打開(kāi)了。

從以往實(shí)踐來(lái)看，今后用SkyReels-V4快速生成產(chǎn)品宣傳視頻、進(jìn)軍短劇制作、視效大片生成，甚至制作教學(xué)課件或多語(yǔ)言科普內(nèi)容，都變得可行且門(mén)檻更低了。

那么問(wèn)題來(lái)了，SkyReels-V4到底怎么做到的？

答案，全都藏在論文里了。

雙流架構(gòu)，一體生成

老實(shí)說(shuō)，雖然當(dāng)下AI視頻生成看起來(lái)玩法很多，但要真正做到好用實(shí)屬不易。

痛點(diǎn)呢繞不開(kāi)三個(gè)：

• 畫(huà)面沒(méi)聲音：后期配樂(lè)對(duì)口型耗時(shí)費(fèi)力還容易翻車；
• 輸入方式單一且編輯不靈活：大多模型只認(rèn)文字，想塞參考圖、丟參考視頻？不支持；想給視頻改個(gè)背景、給人物換件衣服？只能再重來(lái)一遍；
• 畫(huà)質(zhì)和速度難兼得：要高清就得等，要流暢就只能忍受馬賽克畫(huà)質(zhì)。

而SkyReels-V4就是沖著這三刀下去的。

它采用雙流MMDiT架構(gòu)，把音、視頻從底層就焊在了一起。

視頻和音頻兩個(gè)分支并行跑，共享同一個(gè)多模態(tài)大語(yǔ)言模型（MLLM）編碼器。

畫(huà)面和聲音在模型內(nèi)部就能完成聯(lián)合生成，不再依賴后期拼湊的模式。

團(tuán)隊(duì)還在每個(gè)Transformer模塊里都加了雙向交叉注意力——

視頻看音頻調(diào)整節(jié)奏，音頻看視頻匹配細(xì)節(jié)。

再配合RoPE（旋轉(zhuǎn)位置編碼）頻率縮放，哪怕視頻與音頻的Token數(shù)量級(jí)完全不同，也能在微秒級(jí)的時(shí)間軸上精準(zhǔn)對(duì)齊。

嘴唇動(dòng)幾下、腳步聲踩在哪一幀，都能嚴(yán)絲合縫，畫(huà)面一出，聲音就同步到位。

一個(gè)月前的上一代V3還要手動(dòng)提供音頻，現(xiàn)在V4的音頻分支已經(jīng)可以直接生成對(duì)白、環(huán)境音和配樂(lè)，并支持音頻參考引導(dǎo)。

（這迭代速度真得手動(dòng)給個(gè)大拇指）

輸入和編輯也不再是死穴。

它搞了套通道拼接+時(shí)序拼接的雙維玩法，把文字、圖片、視頻、遮罩、音頻參考全都吃進(jìn)去。

通道維度上，把帶噪視頻、條件幀、遮罩疊在一起，不管文生視頻、圖生視頻、視頻延長(zhǎng)還是局部編輯，本質(zhì)上都變成“帶掩碼的修復(fù)類”任務(wù)。

想改哪，打個(gè)遮罩就改哪，不影響別處。

時(shí)序維度上，參考圖或視頻幀直接拼進(jìn)生成序列前端，模型像翻參考冊(cè)一樣學(xué)里面的風(fēng)格、動(dòng)作、人物特征。

加上多模態(tài)大語(yǔ)言模型的指令跟隨能力，你甚至可以說(shuō)：

“讓參考圖A里這個(gè)女孩，在參考視頻B的海邊，跳參考視頻C的舞，配參考D音頻的輕音樂(lè)”。

SkyReels-V4是真能聽(tīng)懂，也真能一次生成出來(lái)。

畫(huà)質(zhì)和速度極限二選一的問(wèn)題，它也給出了工程解法。

采用先快速出低清全序列，再單獨(dú)拎幾個(gè)高清關(guān)鍵幀，然后用專門(mén)的超分和插值模型補(bǔ)細(xì)節(jié)、優(yōu)化過(guò)渡的策略。

訓(xùn)練上走的是“逐級(jí)爬坡”的路線，從低分辨率到高分辨率，從單模態(tài)到音視頻聯(lián)合，一步步抬高難度。

音頻分支單獨(dú)訓(xùn)練后再和視頻分支合練，最后兩階段精修收尾。

每一步踩實(shí)了，生成的畫(huà)面才穩(wěn)、動(dòng)作才順、音視頻才真的長(zhǎng)在一起。

此外，再配合視頻稀疏注意力（VSA）機(jī)制，把長(zhǎng)序列注意力計(jì)算壓縮到原來(lái)的約1/3。

計(jì)算量降下來(lái)，效率提上去，最終畫(huà)面穩(wěn)在1080p、32幀、15秒的電影級(jí)水準(zhǔn)。

從文生視頻到音視頻同步生成，再到多模態(tài)輸入、全流程編輯，SkyReels-V4這一步，算是把AI視頻生成從單點(diǎn)工具推到了全流程的一體化創(chuàng)作。

當(dāng)然這事還沒(méi)完。團(tuán)隊(duì)表示后面還有更長(zhǎng)視頻、更高分辨率、4K甚至8K的難題要啃；

跨語(yǔ)言創(chuàng)作、復(fù)雜場(chǎng)景的音視頻協(xié)同要優(yōu)化；另外還會(huì)繼續(xù)降推理成本，讓這套工具落到更多行業(yè)、更多場(chǎng)景里。

單看昆侖天工這“月更”速度，估計(jì)咱不久后就又能用上了～

昆侖天工真跟多模態(tài)死磕到底了

說(shuō)實(shí)話，“多模態(tài)”三個(gè)字，現(xiàn)在誰(shuí)都在喊，但真正從底層架構(gòu)去做原生統(tǒng)一的玩家并不算多。

而在這個(gè)賽道中，昆侖天工還是比較“執(zhí)拗”的一個(gè)，從天工系列大模型開(kāi)始，就堅(jiān)持自研多模態(tài)原生對(duì)齊。

統(tǒng)一編碼、統(tǒng)一對(duì)齊邏輯、統(tǒng)一訓(xùn)練范式……這些聽(tīng)著抽象，但一旦走上這條路，基本就是燒時(shí)間、燒算力、燒耐心。

當(dāng)然了，現(xiàn)在看上去好處也非常直接——

當(dāng)SkyReels做到V4時(shí)，音視頻的協(xié)同是結(jié)構(gòu)級(jí)的，而不是外掛式的。

從產(chǎn)品節(jié)奏上看，它的路徑并不跳躍，一步一個(gè)腳印。

• 早期從文生圖、圖生圖打底，夯實(shí)視覺(jué)生成與指令對(duì)齊能力；
• 隨后推出SkyReels系列，把能力推向時(shí)間維度，做文生視頻、圖生視頻；
• 再到自研音樂(lè)模型Mureka系列，補(bǔ)齊音頻生成鏈路，讓聲音正式進(jìn)入多模態(tài)主干框架。
• 上個(gè)月的SkyReels-V3階段強(qiáng)化參考驅(qū)動(dòng)，支持圖像、視頻、音頻多模態(tài)條件輸入，驗(yàn)證跨模態(tài)對(duì)齊穩(wěn)定性；
• 到了V4，就把音視頻同步生成、編輯與inpainting統(tǒng)一進(jìn)同一架構(gòu)，音頻從外掛能力變成了原生分支。

這一步步看似功能擴(kuò)張，實(shí)則是從token對(duì)齊到架構(gòu)共享、再到訓(xùn)練范式統(tǒng)一的持續(xù)收束，逐步逼近原生多模態(tài)一體化。

△圖片由AI生成

另外值得留意的是，昆侖天工不只是悶頭做模型，還在用產(chǎn)品矩陣把多模態(tài)能力真正落地到創(chuàng)作場(chǎng)景里。

有了自研技術(shù)打底之后，他們會(huì)快速推出面向垂直場(chǎng)景的產(chǎn)品和平臺(tái)，再配合昆侖萬(wàn)維在游戲出海這塊積累的全球化運(yùn)營(yíng)經(jīng)驗(yàn)，這些AI能力在海外的起量速度相當(dāng)快。

產(chǎn)品本身是各司其職，但到了其旗下DramaWave和FreeReels這種短劇平臺(tái)，就變成了多模態(tài)能力的綜合試驗(yàn)場(chǎng)。

創(chuàng)作者剪片子，視頻從SkyReels來(lái)，配樂(lè)從Mureka調(diào)，字幕和腳本靠文本模型生成，更不用說(shuō)現(xiàn)在還能音畫(huà)同步生成……一個(gè)作品里就能把多模態(tài)能力全用上。

用戶用完了，數(shù)據(jù)回來(lái)了，模型再迭代，這套正向循環(huán)一旦跑起來(lái)，比單純堆參數(shù)要扎實(shí)得多。

當(dāng)然，這種打法也不輕松。

重資產(chǎn)自研加上高頻迭代，本身就是高風(fēng)險(xiǎn)模式，尤其是當(dāng)分辨率、時(shí)長(zhǎng)繼續(xù)往上卷時(shí)，算力成本會(huì)再度成為壓力點(diǎn)。

昆侖天工未來(lái)在更長(zhǎng)序列、更高分辨率、跨語(yǔ)言音視頻協(xié)同上能走多遠(yuǎn)，還要看后續(xù)表現(xiàn)。

但至少?gòu)默F(xiàn)階段來(lái)說(shuō)，在多模態(tài)視頻生成這條線上，他們已經(jīng)成了存在感很強(qiáng)的競(jìng)爭(zhēng)者。

你看昆侖天工目前的更新頻率和能力躍升就能發(fā)現(xiàn)，他們這股“死磕”的勁頭，還在繼續(xù)……

SkyReels-V4技術(shù)報(bào)告：
https://arxiv.org/abs/2602.21818