CineTrans: 首個(gè)轉(zhuǎn)場(chǎng)可控多鏡頭視頻生成模型，打破閉源技術(shù)壁壘

本文一作吳曉雪目前是復(fù)旦-上海人工智能實(shí)驗(yàn)室的聯(lián)培博士生，目前的研究方向是可控多鏡頭生成、長(zhǎng)視頻生成。

隨著視頻生成模型的快速發(fā)展，其在畫面質(zhì)量、條件控制、美學(xué)表現(xiàn)上都已表現(xiàn)出影視級(jí)效果。然而，影視級(jí)長(zhǎng)視頻往往并非為單個(gè)鏡頭的無限延續(xù)，而是具有轉(zhuǎn)場(chǎng)的多鏡頭序列（Multi-shot Sequence）。閉源模型 Sora2、Veo3 中多鏡頭視頻已經(jīng)能夠表現(xiàn)出驚艷的效果。

如何使生成的視頻帶有自然的轉(zhuǎn)場(chǎng)，如何指定轉(zhuǎn)場(chǎng)的位置，如何令多個(gè)鏡頭形成豐富的語義流信號(hào)，是視頻生成模型在未來所面臨的新挑戰(zhàn)。

針對(duì)這些問題，來自上海人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了一種基于掩碼機(jī)制的全新方法 CineTrans。

基于對(duì)注意力特性的觀察，CineTrans 提出塊對(duì)角掩碼的通用機(jī)制，使視頻生成模型能高效地自動(dòng)化轉(zhuǎn)場(chǎng)。為了進(jìn)一步提升轉(zhuǎn)場(chǎng)模型的效果和準(zhǔn)確性，作者設(shè)計(jì)了詳細(xì)的多鏡頭視頻生產(chǎn)管線，并收集了一個(gè)高質(zhì)量、多鏡頭數(shù)據(jù)集 Cine250K，大幅提升多鏡頭轉(zhuǎn)場(chǎng)視頻生成的效果。作為首個(gè)時(shí)間級(jí)可控的自動(dòng)化轉(zhuǎn)場(chǎng)模型，CineTrans 為這一領(lǐng)域的眾多后續(xù)方法提供了關(guān)鍵技術(shù)。

本文將深入介紹這篇被 ICLR 2026 接收的工作。

• 論文標(biāo)題：CineTrans: Learning to Generate Videos with Cinematic Transitions via Masked Diffusion Models
• 論文鏈接：https://arxiv.org/pdf/2508.11484
• 項(xiàng)目鏈接：https://uknowsth.github.io/CineTrans/
• 代碼鏈接：https://github.com/Vchitect/CineTrans
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/NumlockUknowSth/Cine250K

來看看 CineTrans 的效果：

Multi-Shot Case 觀測(cè)：

擴(kuò)散模型是如何理解多鏡頭的

首先思考：在鏡頭轉(zhuǎn)場(chǎng)情境中，相比于單鏡頭視頻，模型在處理多鏡頭序列時(shí)有何不同。對(duì)于這點(diǎn)，作者假設(shè)，對(duì)于兩個(gè)相鄰幀之間的相關(guān)性，過渡點(diǎn)與非過渡點(diǎn)之間存在顯著差異，前者需要在像素級(jí)（pixel-level）差異的前提下保證語義級(jí)（semantic-level）的一致性，后者則需要實(shí)現(xiàn)視覺連貫性。

而在 Attention Layer 中，所有 visual token 的交互是平等的，但 Q 對(duì)于不同 K、V 的關(guān)注度則會(huì)有所不同，這表明了使用 Attention Map 作為重要觀測(cè)工具的可能性。

作者對(duì)大規(guī)模預(yù)訓(xùn)練模型中概率出現(xiàn)的 Multi-Shot Case 進(jìn)行觀測(cè)，如預(yù)期地發(fā)現(xiàn)，某些 Layer 表現(xiàn)出較強(qiáng)的鏡頭內(nèi)關(guān)聯(lián)（Intra-shot）和較弱的鏡頭間關(guān)聯(lián)（Inter-shot）。更具體地說，Attention Map 矩陣呈現(xiàn)塊對(duì)角結(jié)構(gòu)。經(jīng)過量化（intra-shot vs. inter-shot probability 26.88, r=0.71），這一點(diǎn)被進(jìn)一步證實(shí)。

此外，作者還在某些 Layer 發(fā)現(xiàn)了所有 visual token 對(duì)第一幀信息的高度關(guān)注。這啟發(fā)了利用 Attention 內(nèi)部隱式理解達(dá)成外部條件顯式轉(zhuǎn)場(chǎng)控制的方法設(shè)計(jì)。

CineTrans：

基于掩碼的控制方法

基于前文的觀察，作者提出了塊對(duì)角掩碼架構(gòu)（Block-Diagonal Mask Mechanism），并將第一幀作為錨點(diǎn)（Anchor），符合 Diffusion Model 本身的特性，意圖在不破壞模型本身結(jié)構(gòu)和先驗(yàn)知識(shí)的前提下實(shí)現(xiàn)預(yù)定義的轉(zhuǎn)場(chǎng)時(shí)間控制。

將該掩碼應(yīng)用在部分 Attention Layer 中，作者發(fā)現(xiàn)，即使在未經(jīng)訓(xùn)練（training-free）的情況下，模型也能在保持視覺質(zhì)量的同時(shí)實(shí)現(xiàn)較強(qiáng)的時(shí)間級(jí)控制效果。

包括逐鏡頭生成（Shot-by-Shot）與端到端生成（End-to-End）的以往工作都可視作從兩個(gè)維度解決多鏡頭問題：

• 轉(zhuǎn)場(chǎng)的發(fā)生：確保視頻中的兩幀發(fā)生明顯的像素級(jí)跳變，鏡頭邊界不出現(xiàn)局部崩壞、粘連的情況。
• 轉(zhuǎn)場(chǎng)前后的一致性維持：確保發(fā)生轉(zhuǎn)場(chǎng)前后的畫面內(nèi)容在語義上呈現(xiàn)強(qiáng)關(guān)聯(lián)，令畫面的切換不會(huì)打斷觀看者的體驗(yàn)。

逐鏡頭的生成通過分別合成每個(gè)鏡頭自然保證的轉(zhuǎn)場(chǎng)的發(fā)生，但將一致性的依賴至于模型外部（external），例如條件注入（conditioning）、關(guān)鍵幀生成（keyframe）；端到端的生成通過 visual token 在前向過程中完全交互來維持整體一致性，但并不顯式區(qū)分鏡頭間與鏡頭內(nèi)，從而需要大規(guī)模訓(xùn)練才能讓模型學(xué)會(huì) multi-shot 的概念，且缺乏明確的時(shí)間級(jí)控制手段。

相比之下，CineTrans 通過選擇性的掩碼策略在這兩個(gè)維度實(shí)現(xiàn)了一種平衡方案：

• 全局信息交互：通過第一幀的 anchor 與未經(jīng)掩碼的 full attention，visual token 進(jìn)行全局交互，實(shí)現(xiàn)來自模型內(nèi)部（internal）的一致性保證。
• 鏡頭內(nèi)局部交互：在塊對(duì)角掩碼的作用下，鏡頭間的交互被限制，相鄰鏡頭之間的像素信息自然形成跳變，在保持全局一致性的前提下形成穩(wěn)定的轉(zhuǎn)場(chǎng)。

進(jìn)一步地，在通過多鏡頭視頻數(shù)據(jù)集微調(diào)以后，CineTrans 也具備了電影級(jí)剪輯的先驗(yàn)知識(shí)，將轉(zhuǎn)場(chǎng)前后的鏡頭關(guān)聯(lián)理解內(nèi)化在模型參數(shù)中，實(shí)現(xiàn)更具備電影美學(xué)的轉(zhuǎn)場(chǎng)效果。此外，為了更豐富的內(nèi)容表現(xiàn)，CineTrans 也在 video-text cross attention 結(jié)構(gòu)中使用了 shot-level 的掩碼機(jī)制，實(shí)現(xiàn)內(nèi)容上的細(xì)粒度控制。

Cine250K：

豐富的多鏡頭數(shù)據(jù)集

文章還提出了 Cine250K，這也是 CineTrans 微調(diào)所采用的多鏡頭數(shù)據(jù)。Cine250K 經(jīng)過了精細(xì)的設(shè)計(jì)，捕捉人類剪輯序列中的先驗(yàn)知識(shí)，提供優(yōu)秀美學(xué)表現(xiàn)、精確鏡頭標(biāo)簽、層級(jí)細(xì)節(jié)標(biāo)注的視頻數(shù)據(jù)。其構(gòu)建過程主要由三個(gè)階段構(gòu)成：

• 分割縫合階段（Split & Stitch）：經(jīng)過鏡頭切換識(shí)別后，基于鏡頭間相鄰幀之間的語義相似性將視頻縫合起來，并刪除軟過渡的幀，明確鏡頭界限，奠定模型間鏡頭一致性的基調(diào)，提供時(shí)間級(jí)鏡頭標(biāo)注。
• 篩選階段（Selection）：基于鏡頭數(shù)量、視頻基本信息、美學(xué)表現(xiàn)等進(jìn)行篩選。
• 多層級(jí)標(biāo)注（Caption）：為了細(xì)粒度語義控制，對(duì)逐個(gè)鏡頭進(jìn)行內(nèi)容、風(fēng)格、氛圍多個(gè)維度的標(biāo)注，同時(shí)得到總體信息，為多粒度控制提供可能。

經(jīng)過處理，最后得到了約 25 萬個(gè)經(jīng)過精細(xì)處理的多鏡頭視頻-文本對(duì)，它提供了豐富的剪輯藝術(shù)先驗(yàn)信息，對(duì)多鏡頭生成任務(wù)來說，具有重要意義。

實(shí)驗(yàn)結(jié)果評(píng)估與分析

文中將 CineTrans 的轉(zhuǎn)場(chǎng)效果與多種 Multi-shot 生成方法進(jìn)行對(duì)比，包括逐鏡頭生成方法（StoryDiffusion + CogVideoXI2V）、大規(guī)模預(yù)訓(xùn)練方法（HunyuanVideo）和定制化方法（Cinematron LoRA）。結(jié)果表現(xiàn)出了大幅度超過基線的轉(zhuǎn)場(chǎng)控制得分（Transition Control Score），以及在 Unet 和 DiT 架構(gòu)上的泛化性。

此外，為了更好地比較鏡頭間一致性，作者還提出了基于 JS 散度的新指標(biāo)，以衡量真實(shí)剪輯的數(shù)據(jù)與生成數(shù)據(jù)的分布差異。經(jīng)過可視化，CineTrans 生成的視頻在一致性分布也最接近人類剪輯的視頻數(shù)據(jù)，表現(xiàn)出了貼近人類剪輯習(xí)慣的多鏡頭生成能力。

總結(jié)與展望

利用擴(kuò)散模型本身對(duì)多鏡頭序列的理解構(gòu)建掩碼，CineTrans 實(shí)現(xiàn)了符合模型先驗(yàn)的時(shí)間級(jí)轉(zhuǎn)場(chǎng)控制，同時(shí)保持了鏡頭間一致性與視頻質(zhì)量。作為從逐鏡頭生成轉(zhuǎn)向端到端生成的重要工作，它在轉(zhuǎn)場(chǎng)與一致性之間的權(quán)衡問題上給出了一個(gè)行之有效的答案，為未來針對(duì)鏡頭設(shè)計(jì)、更多剪輯藝術(shù)先驗(yàn)的多鏡頭視頻探索打下了堅(jiān)實(shí)的基礎(chǔ)。

目前，CineTrans 的代碼、模型權(quán)重、數(shù)據(jù)集已在 GitHub 開源，歡迎社區(qū)進(jìn)一步研究與使用。