剪映要變天了？字節(jié)Vidi2自動根據(jù)素材剪輯視頻

當(dāng)你拍攝了一段長達半小時的旅行視頻，想從中找出"戴紅帽子的小女孩追逐海鷗"的片段。如果是你自己來找，可能要反復(fù)拖動進度條幾分鐘；但如果有一位“視頻偵探”，你只需要描述一下想找的畫面，他不僅能告訴你這個片段在第幾分幾秒，還能在畫面中精確框出那個小女孩的位置，這就是字節(jié)跳動最新發(fā)布的Vidi2模型所做的事情。

2025年11月24日，字節(jié)跳動智能創(chuàng)作部門的智能編輯團隊，在arXiv上公開技術(shù)報告。這支團隊一直致力于解決一個困擾普通用戶的難題：如何讓AI像專業(yè)剪輯師一樣理解視頻內(nèi)容，并自動完成復(fù)雜的編輯工作。

為什么我們需要一個"視頻偵探"？

視頻已經(jīng)成為我們在互聯(lián)網(wǎng)上交流和表達創(chuàng)意的主要方式。無論是短視頻平臺上的有趣片段，還是長視頻網(wǎng)站上的影視劇集，視頻內(nèi)容正在以爆炸式的速度增長。然而，制作一段高質(zhì)量的視頻對大多數(shù)人來說依然是一件令人頭疼的事情，尤其是當(dāng)你需要在手機上完成剪輯和編輯操作時。

假設(shè)你是一位婚禮攝影師，剛剛拍攝了三個小時的婚禮全程視頻。新人希望你能剪出一個十分鐘的精華片段，重點展示"新郎看到新娘出場時的表情"、"交換戒指的瞬間"以及"所有賓客舉杯祝福的場景"。有時候可能需要一幀一幀地瀏覽三個小時的素材，用肉眼尋找這些特定的畫面，然后手動標記時間點，再進行剪輯。整個過程可能需要花費你整整一天的時間。

字節(jié)跳動在2024年發(fā)布了第一代Vidi模型，它已經(jīng)展現(xiàn)出了強大的時序理解能力。也就是說，當(dāng)你告訴它"找出新郎第一次看到新娘的畫面"時，它能夠告訴你這個片段大概在視頻的哪個時間段。但這還不夠精確。如果畫面中同時出現(xiàn)了新郎、伴郎和新娘的父親，模型雖然找到了正確的時間段，卻無法告訴你"新郎"具體在畫面的哪個位置。

Vidi2的突破性進展正是解決了這個問題。它不僅能夠找到正確的時間段，還能在每一幀畫面中用一個精確的"框"標出你要找的那個人或物體。用我們的"偵探"比喻來說，第一代Vidi像是一位能告訴你"嫌疑人大約在下午三點出現(xiàn)在商場里"的偵探，而Vidi2則升級成了能夠指著監(jiān)控畫面說"看，他就在這里，穿藍色外套的那個人"的超級偵探。

Vidi2的三大"偵探技能"

要成為一名優(yōu)秀的視頻偵探，需要掌握哪些本領(lǐng)呢？Vidi2主要具備三種核心能力，它們就像偵探工具箱里的三件寶貝，分別用于不同的"破案"場景。

第一項技能叫做"時空定位"，在論文中被稱為STG（Spatio-Temporal Grounding）。這是Vidi2最引以為傲的獨門絕技，也是它與其他模型拉開差距的關(guān)鍵所在。想象你在看一部武俠電影，想找出"主角第一次使出絕世劍法"的片段。時空定位不僅能告訴你這個精彩瞬間發(fā)生在第45分鐘到第47分鐘之間，還能在每一秒的畫面中準確圈出主角的位置，即使畫面中同時有十幾個人在打斗。這就像偵探不僅知道案發(fā)時間，還能在人群照片中準確指出嫌疑人一樣。

研究團隊在論文中展示了一個具體的例子：在一段將近七分鐘的視頻中，用戶輸入的查詢是"那個從跪姿站起來的男人"。這個場景發(fā)生在一個光線昏暗的環(huán)境中，畫面里有好幾個人。Vidi2不僅準確定位到這個動作發(fā)生在第1分01秒到第1分03秒之間，還在每一秒的畫面中用精確的坐標框出了目標人物。模型預(yù)測的邊界框坐標與人工標注的真實坐標相差無幾。比如在第1分01秒的畫面中，預(yù)測坐標是(0.452, 0.355, 0.530, 0.652)，而真實坐標是(0.462, 0.391, 0.537, 0.657)，誤差非常小。

第二項技能是"時序檢索"，論文中稱為TR（Temporal Retrieval）。如果說時空定位是精確到"畫面中的哪個位置"，那么時序檢索就是專注于"視頻中的哪個時間段"。這項技能在第一代Vidi中就已經(jīng)表現(xiàn)出色，到了Vidi2則更加精進。時序檢索特別適合處理那些只需要知道時間段、不需要精確到具體位置的查詢。比如你想找出一段播客視頻中"主持人討論人工智能話題"的所有時間段，時序檢索就能快速給你答案。

第三項技能是"視頻問答"，也就是Video QA。這是Vidi2相比前一代的重要升級。有了這項能力，Vidi2不再只是一個"搜索工具"，而是變成了一個能夠理解視頻內(nèi)容并回答問題的"智能助手"。你可以問它"視頻里的主角最后去了哪里"、"那個紅色的盒子里裝的是什么"這樣的問題，它會像一個看過整個視頻的朋友一樣給你答案。

值得一提的是，這三項技能并非孤立存在，而是相互配合、協(xié)同工作的。就像一位真正的偵探，既需要知道案發(fā)時間、案發(fā)地點，還需要能夠分析案件來龍去脈一樣。Vidi2把這三種能力整合在一個統(tǒng)一的模型架構(gòu)中，用戶只需要用自然語言描述自己的需求，模型就會自動調(diào)用合適的技能來完成任務(wù)。

"偵探"是如何煉成的：Vidi2的技術(shù)架構(gòu)

了解了Vidi2能做什么之后，你可能會好奇：這個"超級偵探"到底是怎么訓(xùn)練出來的？讓我用一個更通俗的比喻來解釋。

想象你要培養(yǎng)一個能夠同時理解文字、圖像和聲音的全能助手。傳統(tǒng)的做法是分別訓(xùn)練三個專家：一個只懂文字的、一個只懂圖像的、一個只懂聲音的，然后讓他們開會討論。但Vidi2的做法不同，它從一開始就把文字、圖像和聲音放在一起學(xué)習(xí)，讓模型天然地理解這三種信息之間的關(guān)聯(lián)。

Vidi2的"大腦"建立在一個名為Gemma-3的大型語言模型之上。你可以把Gemma-3想象成一個已經(jīng)閱讀過海量書籍、具備強大理解能力的"學(xué)霸"。研究團隊在這個學(xué)霸的基礎(chǔ)上，額外教會了它"看"（理解圖像和視頻）和"聽"（理解音頻）的能力。整個模型的參數(shù)量是120億，雖然這個數(shù)字聽起來很大，但在當(dāng)今的大模型時代，這實際上是一個相對精簡的配置，意味著它可以在不那么昂貴的硬件上運行。

在處理視頻時，Vidi2面臨一個有趣的挑戰(zhàn)：視頻有長有短，短的可能只有幾秒鐘，長的可能超過一個小時。如何讓同一個模型既能處理短視頻又能處理長視頻呢？研究團隊設(shè)計了一種"自適應(yīng)壓縮"策略。你可以把這想象成一個智能的"摘要系統(tǒng)"：對于短視頻，它會仔細看每一幀；對于長視頻，它會聰明地挑選關(guān)鍵幀，就像你快速翻閱一本厚書時會在重要章節(jié)多停留一會兒一樣。

訓(xùn)練Vidi2的"食譜"也很講究。首先，研究團隊準備了大量的"合成數(shù)據(jù)"，這些通過算法生成的訓(xùn)練樣本，保證了數(shù)據(jù)的覆蓋面和穩(wěn)定性。但光有合成數(shù)據(jù)還不夠，就像學(xué)廚藝不能只看菜譜，還需要真正下廚實踐一樣。團隊還加入了大量真實視頻數(shù)據(jù)，這對于提升模型在各種視頻任務(wù)上的表現(xiàn)至關(guān)重要。特別是對于時空定位這個新技能，研究團隊不僅利用了已有的圖像級空間定位數(shù)據(jù)集來"舉一反三"，還專門標注了大量真實視頻的時空定位數(shù)據(jù)，確保模型能夠在實際場景中準確工作。

如何評判一個"偵探"的水平：全新的評估基準

在學(xué)術(shù)研究中，要證明一個新模型確實比之前的模型更強，就需要有一套公平、全面的"考試題目"。Vidi2的研究團隊不僅開發(fā)了新模型，還精心設(shè)計了兩套新的評估基準，這就像是為視頻理解領(lǐng)域貢獻了一套標準化的"高考試卷"。

第一套基準叫做VUE-STG，專門用于評估時空定位能力。這套基準有四個與眾不同的特點，讓它比以往的同類數(shù)據(jù)集更加貼近真實應(yīng)用場景。

首先是視頻長度的多樣性，以前的學(xué)術(shù)數(shù)據(jù)集里，視頻通常都很短，可能只有幾秒到幾十秒。但現(xiàn)實生活中，我們經(jīng)常需要在十幾分鐘甚至半小時的長視頻中尋找特定內(nèi)容。VUE-STG包含的視頻從十秒到三十分鐘不等，總計982個視頻、1600個查詢，總時長超過204小時。這意味著模型不僅要能處理短視頻，還要能在"大海撈針"般的長視頻中準確定位。

其次是查詢格式的優(yōu)化，在標注這套數(shù)據(jù)集時，研究團隊特別注意消除歧義。舉個例子，如果原始描述是"一個球員被抬上救護車"，這個描述其實有歧義，你想找的是"球員"還是"救護車"？團隊會把這樣的描述改寫成更明確的形式，比如"正在被球員登上的那輛救護車"或"正在被抬上救護車的那位球員"，這樣模型和評估者都能清楚知道目標是什么。

第三個特點是標注質(zhì)量，與許多依賴自動標注或眾包標注的數(shù)據(jù)集不同，VUE-STG中的所有時間范圍和邊界框都是由人工精確標注的。雖然這種方式成本更高、速度更慢，但能確保評估結(jié)果的可靠性。

第四個特點是評估指標的設(shè)計，研究團隊提出了一套完整的評估體系，包括時序指標（衡量時間段找得準不準）和時空指標（同時衡量時間和空間位置）。其中最重要的指標叫做vIoU（視頻交并比），它綜合考慮了時間和空間兩個維度的準確性，作為模型排名的主要依據(jù)。

第二套基準叫做VUE-TR-V2，是對之前VUE-TR的升級版本，專門用于評估時序檢索能力。升級后的數(shù)據(jù)集總視頻時長從107小時增加到了311小時，增長了將近三倍。更重要的是，它包含了更多的長視頻和超長視頻（超過一小時的視頻），讓評估更加貼近真實場景。同時，查詢的格式也更加接近普通用戶的自然表達方式，而不是學(xué)術(shù)化的精確描述。

"偵探大比武"：Vidi2與頂尖對手的較量

有了公平的考試題目，接下來就是真刀真槍的比拼了。研究團隊讓Vidi2與當(dāng)前最強大的幾個商業(yè)模型進行了正面較量，包括谷歌的Gemini 3 Pro（預(yù)覽版）、OpenAI的GPT-5，以及阿里巴巴的Qwen3-VL-32B。

在時空定位任務(wù)上，Vidi2展現(xiàn)出了壓倒性的優(yōu)勢。整體來看，Vidi2的時序交并比（tIoU）達到了53.19%，而Gemini 3 Pro只有27.50%，GPT-5更是只有16.40%。用通俗的話說，如果把找準時間段比作射箭，Vidi2有超過一半的箭能射中靶心附近，而競爭對手只有四分之一甚至更少。

在空間定位方面，差距更加懸殊。Vidi2的空間交并比（vIoU）是32.57%，而Gemini 3 Pro只有4.61%，GPT-5是5.47%。這意味著在"框出畫面中具體位置"這件事上，Vidi2的準確度是競爭對手的六到七倍。這個差距之所以這么大，主要是因為時空定位本身就是一項全新的、難度極高的任務(wù)，而Vidi2是第一個專門為此優(yōu)化的模型。

研究團隊還做了更細致的分析，看看不同條件下模型的表現(xiàn)差異。一個有趣的發(fā)現(xiàn)是：隨著視頻長度增加，所有模型的表現(xiàn)都會下降，但Vidi2下降得最慢。在十到三十分鐘的"中等長度"視頻上，Vidi2的tIoU仍然保持在47.27%，而Gemini 3 Pro跌到21.13%，GPT-5更是只有4.10%。這說明Vidi2在處理長視頻時的"耐力"遠超競爭對手。

另一個值得關(guān)注的維度是目標物體的大小。當(dāng)要找的物體在畫面中占據(jù)的面積很小（不到10%）時，所有模型的表現(xiàn)都會變差，因為小目標本身就更難定位。但即使在這種困難條件下，Vidi2的vIoU仍有23.31%，是Gemini 3 Pro（2.33%）的十倍，是GPT-5（3.66%）的六倍多。

在時序檢索任務(wù)上，Vidi2同樣表現(xiàn)優(yōu)異。在VUE-TR-V2基準上，Vidi2的整體IoU達到48.75%，超過Gemini 3 Pro的37.58%十多個百分點，更是大幅領(lǐng)先GPT-5的17.15%。特別是在超長視頻（超過60分鐘）這個最具挑戰(zhàn)性的類別上，Vidi2的IoU是38.65%，而Gemini 3 Pro只有21.19%，GPT-5是12.49%。

為了確保比較的公平性，研究團隊為每個競爭模型都精心設(shè)計了適合其特性的輸入格式和提示語。比如GPT-5不支持直接輸入視頻，只能接受一系列圖片幀，所以團隊按照一定規(guī)則從視頻中提取幀序列來輸入。這些細節(jié)上的考量確保了評估結(jié)果的可信度。

那么在視頻問答這個更通用的任務(wù)上表現(xiàn)如何呢？研究團隊在三個公開的學(xué)術(shù)基準上進行了測試：LVBench、LongVideoBench和VideoMME。這三個基準都采用選擇題的形式，便于客觀評估。結(jié)果顯示，Vidi2在LVBench上得分45.8%，在LongVideoBench上得分57.1%，在VideoMME上得分63.5%。這些成績與同等規(guī)模的開源模型Qwen2.5-VL-7B相當(dāng)（45.3%、54.7%、65.1%），雖然與頂尖的Gemini-2.5-Pro（78.7%、84.3%）還有差距，但考慮到Vidi2主要針對時序檢索和時空定位進行優(yōu)化，能在通用問答任務(wù)上達到這個水平已經(jīng)很不錯了。

"偵探"能幫我們做什么：實際應(yīng)用場景

說了這么多技術(shù)細節(jié)，你可能最關(guān)心的還是：這個"視頻偵探"到底能在現(xiàn)實生活中幫我們做什么？研究團隊在論文中展示了三個非常實用的應(yīng)用場景。

第一個應(yīng)用是"自動生成精彩片段"。想象你拍了一段將近十分鐘的寵物視頻，想分享給朋友，但又不想讓他們看完整段。有了Vidi2，你只需要告訴它"幫我找出視頻中最精彩的片段，并給每個片段起個標題"。模型會自動掃描整個視頻，挑選出幾個亮點時刻，并生成諸如"這只兔子的晨間例程有點……與眾不同"、"當(dāng)你想安靜，但朋友偏不讓你消停"這樣生動有趣的標題。論文中展示的例子是一段關(guān)于兔子的視頻，Vidi2自動提取了三個精彩片段，每個片段都配有一個幽默且貼切的標題。

第二個應(yīng)用是"劇情理解"。如果你是影視愛好者或視頻編輯從業(yè)者，這個功能會特別有用。現(xiàn)代影視作品往往有復(fù)雜的人物關(guān)系和情節(jié)線索，即使是專業(yè)編輯人員，想要按照特定角色或特定情節(jié)來剪輯視頻，也需要花費大量時間反復(fù)觀看。Vidi2可以幫你"認人"，識別出畫面中的不同角色并追蹤他們的位置。更厲害的是，它還能理解復(fù)雜的情節(jié)邏輯。論文中的例子是一部電影片段，用戶問"那個牙醫(yī)的財務(wù)操作是什么，她為什么要雇傭Bernice？"Vidi2不僅識別出畫面中的兩個角色（牙醫(yī)Dr. Cynthia Sheldrake和Bernice Rhodenbarr），還推理出劇情要點：牙醫(yī)是個逃稅者，她需要雇傭Bernice來追回被偷的珠寶，但又不能報警，因為那樣會暴露她自己的非法行為。

第三個應(yīng)用是"基于故事線的視頻創(chuàng)作"。這是一個更高級的應(yīng)用，目標是讓AI像專業(yè)剪輯師一樣，根據(jù)敘事邏輯來組織多個視頻素材。論文展示了一個例子：輸入六段不同的美食視頻片段，讓模型"用這些素材創(chuàng)作一個有情感弧線的故事"。Vidi2會生成一份完整的剪輯腳本，包括場景設(shè)定（"這個視頻以'閨蜜觀察日記'的形式呈現(xiàn)，幽默地記錄朋友的日常"）、敘事結(jié)構(gòu)（"故事遵循'瞬間集錦'的框架，先建立反差，再展現(xiàn)溫情"）、情感核心（"視頻的核心是閨蜜之間溫暖又互相調(diào)侃的情感"）以及具體的剪輯指令（哪個片段放在哪里、用什么速度、配什么旁白、用什么字幕樣式）。最終渲染出來的成品視頻包含了旁白、音樂、動畫和轉(zhuǎn)場效果，展現(xiàn)了模型自動化整個創(chuàng)意剪輯流程的潛力。

這三個應(yīng)用場景，從簡單到復(fù)雜，從個人用戶到專業(yè)場景，展示了Vidi2的廣泛適用性。對于普通用戶來說，它可以讓視頻編輯變得像發(fā)微信一樣簡單，只需要說出你想要什么，AI就能幫你完成；對于專業(yè)人士來說，它可以大幅提升工作效率，讓他們把更多精力放在創(chuàng)意構(gòu)思而非繁瑣的素材整理上。

至頂AI實驗室洞見

Vidi2代表了視頻AI領(lǐng)域的一個重要里程碑。它第一次真正實現(xiàn)了端到端的時空定位能力，讓AI不僅能理解"什么時候發(fā)生了什么"，還能精確指出"在畫面的哪個位置"。這看似簡單的進步，實際上打開了一扇通往智能視頻編輯的大門。

回想一下，十年前我們可能從未想過，有一天可以對著手機說一句話就能搜索到想要的信息。而今天，語音助手已經(jīng)成為我們?nèi)粘Ｉ畹囊徊糠帧idi2的出現(xiàn)讓我們有理由相信，不久的將來，我們可能只需要對著電腦說"幫我把這段視頻里所有笑得最開心的鏡頭剪出來做成一個合集"，AI就能自動完成所有工作。

雖然Vidi2在時空定位和時序檢索上取得了領(lǐng)先優(yōu)勢，但在通用視頻問答方面，它與頂尖的商業(yè)模型還有明顯差距。說明要打造一個真正"全能"的視頻AI助手，還有很長的路要走。同時論文里展示的應(yīng)用場景雖然令人興奮，但從學(xué)術(shù)演示到大規(guī)模商業(yè)落地之間，通常還需要經(jīng)歷大量的工程優(yōu)化和產(chǎn)品打磨。

不過有一點是確定的：視頻正在成為互聯(lián)網(wǎng)上最主要的內(nèi)容形式，而能夠真正"理解"視頻的AI，將會深刻改變我們創(chuàng)作、編輯和消費視頻內(nèi)容的方式。Vidi2讓我們看到了這個未來的一角。對于普通用戶來說，這意味著視頻創(chuàng)作的門檻將進一步降低；對于專業(yè)人士來說，這意味著效率工具將變得更加強大；而對于整個行業(yè)來說，這預(yù)示著一場關(guān)于視頻內(nèi)容生產(chǎn)方式的深刻變革正在醞釀之中。

那么問題來了：當(dāng)AI能夠像你一樣理解視頻內(nèi)容，甚至比你更快更準確地完成編輯工作時，人類創(chuàng)作者的價值將體現(xiàn)在哪里？或許，正是這個問題，才是Vidi2這類技術(shù)留給我們最值得思考的課題。

論文地址：https://arxiv.org/abs/2511.19529v1

本文來自至頂AI實驗室，一個專注于探索生成式AI前沿技術(shù)及其應(yīng)用的實驗室。致力于推動生成式AI在各個領(lǐng)域的創(chuàng)新與突破，挖掘其潛在的應(yīng)用場景，為企業(yè)和個人提供切實可行的解決方案。

Q&A

Q1：Vidi2是什么？

A：Vidi2是字節(jié)跳動智能編輯團隊開發(fā)的大型多模態(tài)視頻理解模型，它能夠根據(jù)文字描述在視頻中精確定位特定時間段，并在畫面中框出目標物體的位置。簡單來說，它就像一個"視頻偵探"，你描述想找的內(nèi)容，它就能幫你在茫茫視頻中精準定位。

Q2：Vidi2和GPT-5、Gemini相比誰更強？

A：在時空定位和時序檢索這兩項專業(yè)任務(wù)上，Vidi2大幅超越GPT-5和Gemini 3 Pro，準確率是它們的數(shù)倍。但在通用視頻問答方面，Vidi2與頂尖模型還有差距，因為它主要針對視頻定位任務(wù)進行了專門優(yōu)化。

Q3：普通人能用Vidi2做什么？

A：普通人可以用它自動提取長視頻中的精彩片段、為片段生成標題，或者通過自然語言描述來快速定位視頻中的特定畫面。目前Vidi2還處于技術(shù)發(fā)布階段，尚未以消費級產(chǎn)品形式向公眾開放，但它預(yù)示了未來視頻編輯工具的發(fā)展方向。