創智+模思發布開源版Sora2，音視頻同步生成，打破閉源技術壟斷

編輯｜澤南、Panda

今天上午，上海創智學院 OpenMOSS 團隊聯合初創公司模思智能（MOSI），正式發布了端到端音視頻生成模型 ——MOVA（MOSS-Video-and-Audio）。

作為中國首個高性能開源音視頻模型，MOVA 實現了真正意義上的「音畫同出」。它不僅能生成長達 8 秒、最高 720p 分辨率的視聽片段，更在多語言口型同步、環境音效契合度上展現了極高的工業水準。

更具行業意義的是，在 Sora 2 和 Veo 3 等頂尖技術普遍走向閉源的當下，MOVA 選擇將模型權重、訓練代碼、推理代碼以及微調方案進行全棧開源。

它生成視頻的效果，給人一種身臨其境的真實感

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

• GitHub: https://github.com/OpenMOSS/MOVA
• 項目主頁: https://mosi.cn/models/mova

效果亮眼

可稱開源最強

過去一年，視頻生成模型（Video Generation）經歷了爆發式增長。從 Sora 到 Wan，再到 LTX Video，AI 輸出的畫面越來越逼真，能生成的時間越來越長。但仔細觀察 AI 生成的視頻你就會發現，這些視頻有的是「啞巴」，有的配音出戲。音視頻生成（Video-Audio Generation）模型正是通過端到端的模態融合彌補了傳統視頻模型的音頻維度缺陷。

雖然以 Veo3 為代表的音視頻端到端模型展示了極高的生成上限，但是其閉源的策略造成了嚴重的技術壟斷，割裂了技術生態的連貫性，也讓社區難以通過協作改進模型缺陷（如幻覺、不同步等），導致音視頻生成領域缺乏像 LLM 時代那樣的「開源爆發式」演進。

為了推倒這堵墻，讓音視頻生成能力真正回歸社區，MOVA應運而生。它具備高質量的端到端音視頻生成能力，完整開源了 360p、720p 兩個基礎模型，以及包括微調、推理、生成工作流在內的全鏈路組件，補全了音視頻生成基礎模型的開源拼圖。

電影級別物理智能：音與畫的共振

在物理仿真層面，MOVA 展現了極其出色的「物理直覺」。在這里，聲音是具備空間感與質感的環境反饋，而不僅僅是可有可無的音效。

當一輛 SUV 在沙漠中高速掉頭時，漫天飛舞的狂沙不僅在視覺上極具沖擊力，音軌中同步生成的馬達轟鳴聲與配樂緊密交織，營造出極強的速度感：

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

提示詞：一輛 SUV 在沙漠里奔馳，并打方向盤掉頭，狂沙飛舞，配上激動人心的音樂，并聽到馬達轟鳴聲。

這種聲畫邏輯在復雜的巷戰模擬中更為突出：

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

360p 模型生成，提示詞：在陰天漫射光下的城市巷道中，多名穿沙色迷彩的武裝人員保持固定防御隊形：左前跪姿射手持續向左側射擊，左中射手掩護，右側兩到三名隊員貼墻半蹲警戒，塵土飛揚、電線密集、街道縱深明顯，固定穩定中景偏廣機位、紀錄片式電影寫實質感、低飽和灰黃色調與輕微顆粒，短促橙色槍口火光但曝光穩定，音頻包含密集近距槍聲、子彈掠過與擊中聲、街區混響、裝備摩擦與急促呼吸，人物、站位與構圖始終不變。

這種對物理動態的捕捉同樣體現在日常生活場景中。比如在下面的例子中，本?斯蒂勒在公路上滑滑板，隨著他左右搖擺加速，耳邊會傳來風掠過路面的呼嘯聲，可以說相當好地還原了他在《白日夢想家》中的經典場景。

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

提示詞：畫面是一名穿著紅色上衣、灰色褲子的男子在空曠的公路上滑板的場景，公路周邊是草地和低山。男子通過左右搖擺的方式不斷加速，展開手臂沿著公路不斷滑行。背景聲音為高速滑行時風吹過的呼嘯聲。

電影級別的口型同步能力：精準捕捉敘事靈魂

MOVA 另一大突破在于其電影級別的口型同步（Lip-sync）能力。它能夠根據中英文指令，生成與語義、情感高度契合的多人物談話場景。比如下面的公園散步視頻中，對話的銜接極其自然：

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

提示詞：畫面中是一個男子和孩子在公園中散步的場景。男子轉過頭疑惑地問孩子說：“你長大想要干什么？” 男孩一臉自信地回答：“債券交易員。唐恩就是做這個的，他帶我去過他的辦公室”。男子笑了笑，回答道：“是一個不錯的職業?！?/p>

MOVA 也能流利地說英語，下面就還原了《王牌特工：特工學院》中「看到西裝男人別去惹他，你打不過他的」的經典名場面。這里可以看到，人物的口型、表情與語調的變化嚴絲合縫，告別了以往 AI 視頻中的「對口型感」。

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

提示詞：畫面中是在一處英國大街上發生的談話，背景包含了西歐風格的建筑物、電線桿和一面英國的國旗。畫面左邊穿著灰色西裝、戴著墨鏡的男子說道：“成為紳士和口音毫無關系，真正的高貴在于超越自我。” 右邊穿著黃黑色夾克、戴著白色帽子的青年臉色逐漸嚴肅地回答道：“我記住了?！?隨后陷入了沉思。（原提示詞為英文）

涌現出來的進階能力：視頻文字生成

有意思的是，在提升 MOVA 模型口型精度和語音能力的過程中，OpenMOSS 團隊還收獲了一個「意外之喜」：文字生成能力

MOVA 能夠生成視頻中的文字內容。比如下面這個例子，雖在「快」這里還有些瑕疵，但整體效果已超越了很多前沿閉源模型，表現令人相當滿意。

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

提示詞：畫面開始于創智學院寬敞而對稱的中庭，日光透過透明的玻璃天窗灑落下來。鏡頭沿著中軸線緩緩向前移動，空間逐漸發生變化，光線化作細小的粒子向上飄散，空中浮現出若隱若現的數據流與抽象的智慧圖形。天窗之外的天空逐漸轉化為深邃的星空，仿佛整座建筑與宇宙連通。隨著鏡頭推進，玻璃與植物微微發光，整個大廳呈現出安靜而充滿想象力的未來氛圍。畫面接近尾聲時，所有光芒在中央匯聚，形成閃耀著星光的文字：“上海創智學院祝您 2026 年元旦快樂！” 神秘而震撼的電子配樂始終伴隨畫面，在文字出現時略微收束。

作為對比，Veo 3.1 使用同樣提示詞的結果是這樣的：

https://mp.weixin.qq.com/s/ZP1-Sv1ygvvXCX97ohUYDw

在驚艷的效果背后，更加值得關注的是 MOVA 模型的一體化架構。下面我們就來系統性地看看 MOVA 背后的技術。

背后的技術

從模態孤島到端到端共鳴

全球音視頻生成 AI 模型正處于一個從「純視頻生成」向「音視頻端到端生成」（Native Video-Audio Generation）跨越的關鍵時期，視頻生成 AI 模型的優先目標已不再僅僅是更擬真的畫面，而是聲音與視覺的完美共鳴。

在音視頻生成問題上，傳統的解決方案是「級聯流水線」：先生成無聲的視頻，再通過 Video-to-Audio 模型配音；或者先有語音，再驅動畫面。這種「拼湊」感導致了音畫割裂 —— 爆炸聲可能比火光慢半拍，人物口型由于缺乏底層交互而顯得僵硬。

對此，OpenMOSS 團隊決定挑戰最為困難，但效果更好的音視頻端到端生成模式。

他們針對音視頻生成任務專門構建了一個基礎模型 MOVA（MOSS Video and Audio），其不僅能合成與視頻同步的語音，也能精準地合成環境音效。從名字也能看出來，該模型屬于模思智能的 MOSS 系列 —— 此前已有文本到對話生成模型 MOSS-TTSD、語音到語音生成模型 MOSS-Speech 以及多說話人語音識別模型 MOSS-Transcribe-Diarize。

MOVA 是一個規模約 320 億參數（MoE 架構，推理時激活 180 億參數）的模型，支持圖像 - 音視頻和文本 - 音視頻的處理方式。

具體技術上，OpenMOSS 團隊進行了模型架構、數據工程、訓練策略等多方面的創新，驗證了音視頻大模型的規?；厔菖c性能提升。

下面我們就來看看 MOVA 是如何煉成的。

異構雙塔與跨模態時間對齊

針對音頻和視頻兩個模態本身的信息密度，MOVA 巧妙地搭建了一套非對稱雙塔架構，結合了大尺寸的預訓練視頻塔和小尺寸的預訓練音頻塔。

具體來說，OpenMOSS 團隊采用了 14B 參數的 Wan 2.2 I2V 作為視頻骨干網絡（用于圖像 + 文本條件的 I2VA），并預訓練了 1.3B 的文本到音頻擴散模型作為音頻骨干網絡。

MoVA 通過一個雙向橋接模塊將一個 A14B 視頻 DiT 主干網絡與一個 1.3B 音頻 DiT 主干網絡耦合在一起，實現模態融合與交互

在這兩座「塔」之間，團隊引入了一個雙向橋接模塊（Bridge）。這個模塊的存在，讓視頻與音頻的隱藏狀態在每一層都能進行深度的交叉注意力運算。這意味著畫面在生成的每一瞬間，圖像都在感知聲音的節奏，而音頻也在捕捉畫面的光影。

然而，音視頻的物理屬性天然互斥。視頻通常以每秒 24 幀的頻率離散存在，而音頻信號的密度則要高出幾個量級。為了防止兩者在生成過程中產生時間軸上的「漂移」，團隊設計了Aligned ROPE（對齊旋轉位置嵌入）機制。通過精確的縮放比例映射，視頻與音頻的 Token 被巧妙地放置在了同一個物理時間尺度上，避免了音頻和視頻模態的天然不對齊。

多階段細粒度數據管線

成功的模型根基于架構，更離不開數據。多階段的高質量音視頻數據處理管線是 MOVA 成功規模化的保障。

為了把海量數據真正轉化為模型訓練真正用得上的知識，OpenMOSS 團隊構建了一套涵蓋三階段的精細化管線。

三階段的數據處理流程：第一階段，將原始數據預處理為固定長度的視頻片段，分辨率為 720p，幀率為 24fps，時長為 8.05 秒。第二階段，根據音頻質量、視頻質量以及音視頻同步性對這些片段進行篩選，以獲得高質量且同步的視頻片段。第三階段，分別使用音頻理解模型和視覺理解模型對視頻中的音頻和視覺信息進行單模態標注，并最終利用大語言模型將這些單模態描述進行融合，形成細粒度音視頻描述。

相比于傳統的視頻數據處理管線，MOVA 提出的管線盡可能多地保留了原始音視頻數據，減少了裁剪和丟棄，并且通過細粒度的標注避免不同類型和質量的數據之間互相影響，使得模型具備了復雜場景泛化的潛力。

多階段規?；呗?/strong>

音視頻生成的大規模訓練是一項計算量非常大的任務，在大規模訓練過程中，MOVA 團隊展現了敏銳的工程直覺，設計了三階段由粗到細的訓練策略。首先，為了平衡隨機初始化的 Bridge 模塊與已經具備強大預訓練先驗的雙塔，他們采用了異構學習率的策略。Bridge 模塊的學習率被設為兩倍于骨干塔，從而加快 Bridge 模塊的參數更新效率，取得比較快的初步收斂。

不同訓練階段口型同步指標隨著訓練步數的持續下降趨勢

為了提升訓練效率，MOVA 將訓練過程分為了三個階段，360P 訓練、360P 退火訓練以及720P 訓練，并持續監控口型同步指標隨著訓練步數增長的變化。更有趣的創新在于Dual Sigma Shift（雙模態噪聲偏移）。對于音視頻雙模態聯合去噪的模型，業界并沒有明確最優的加噪方案，由于音頻和視頻模態天生的特性，使用同樣的噪聲偏移不一定能達到最優的學習效果，可能會導致隱式的模態依賴?；谶@個猜測以及先前的研究工作，因此，MOVA 在第一階段訓練中對于音頻和視頻模態使用了不同的 Sigma Shift 進行加噪，希望避免可能出現的隱式模態依賴。

具體來說，一開始的 Stage 1 用的是 360p 的低分辨率，本質目標不是追求畫面細節，而是讓模型盡快學會「音頻和嘴型應該怎么對齊」。因為 Bridge 是隨機初始化的，如果一開始就追求高畫質，很容易學不穩或者學偏。所以這里故意讓視頻端去更激進地去噪，音頻端相對平滑，再配合比較高的文本 dropout，讓模型不得不依賴音頻和視覺之間的橋接關系來建立對齊能力。你可以從曲線看到，雖然一開始誤差還有點波動，但整體 LSE-D 很快下降、LSE-C 明顯上升，說明模型逐步抓住了嘴型同步的基本規律。

進入 Stage 2 之后，分辨率仍然是 360p，但重點從「學會對齊」轉為「把對齊質量拉高、穩定下來」。這里把音頻和視頻的噪聲調度對齊起來，本質是在時間尺度上讓兩種模態更加同步，這樣跨模態注意力會更穩定；同時降低文本 dropout，讓文本重新參與細化語義和細節，而不是完全靠音視頻對齊硬學；再通過響度歸一化避免 CFG 帶來的音量失真。你能看到在這一段，LSE-D 繼續緩慢下降，LSE-C 有一個明顯躍升，說明模型不只是「能對上」，而是「對得更自信、更一致」。

最后的 Stage 3 才真正把分辨率拉到 720p，這一步更像是「高清重制」。此時模型已經具備穩定的跨模態對齊能力，所以可以安全地把算力用在更高分辨率和更細致的空間建模上，而不會破壞之前學到的嘴型同步結構。為了應對高分辨率帶來的顯存和收斂速度變化，引入了更細粒度的 checkpoint 和更激進的并行優化策略。從曲線看，這一階段 LSE-D 進一步壓低并趨于平臺，LSE-C 穩定在較高水平，說明性能已經進入收斂區間，更多是在做質量的精修。

Agent 工作流

讓模型更好理解需求

擁有了高性能的基模，并不意味著能直接產出完美的視聽大片。在 MOVA 的實際部署中，研發團隊設計了一套 Agent 工作流，以適應不同粒度和風格的用戶輸入，最大程度激發模型能力。

三階段協同工作流

為了解決視頻生成中常見的「描述與視覺不一致」問題 —— 即當用戶文本與初始幀存在細微偏差時，生成過程容易偏離首圖先驗并誤解用戶意圖 ——MOVA 并未讓基模單獨承擔對齊壓力，而是設計了一套三階段生成流程，將理解、改寫與生成分工協作，顯著提升首幀一致性與指令遵循能力。

三階段 Agent 工作流，賦予 MOVA 產品級理解能力，更好的處理更加原始、多樣的用戶需求。

1. 視覺解析：系統首先通過 Qwen3-VL 對用戶提供的初始圖進行結構化解析，將畫面的色彩基調、構圖信息、核心主體與文字元素抽取為可執行的視覺約束。
2. 提示詞重構：在視覺約束與用戶原始指令共同輸入下，借助通用 LLM（如 Gemini）進行上下文示例驅動的提示詞重寫，將需求轉譯為更貼近訓練分布、具備動態敘事的生成提示詞。
3. 雙重條件生成：最后，MOVA 結合重寫后的提示詞和初始幀圖像進行「雙重條件生成」，使視頻在產生運動與變化的同時，最大化保持首幀圖的視覺風格與關鍵元素，并更好地對齊用戶意圖。

這種多模型協同的思路，讓 MOVA 不僅僅是一個基模，更像是一套成熟的視聽內容生產系統。

除此之外，MOVA 也展現出扎實的純文本音視頻生成能力：即使不提供真實首幀，用戶僅需輸入文本，系統會自行傳入一張純色占位圖作為初始條件，并生成音畫同步、觀感統一的高質量視頻，從而降低素材門檻，讓「零素材創作」成為可能。

雙重 CFG：在畫質與對齊間尋找平衡

在推理邏輯的底層，OpenMOSS 團隊引入了雙重 Classifier-Free Guidance (Dual CFG)公式。

在傳統的視頻生成中，CFG 往往只服務于「讓畫面更像描述」。但在音視頻聯合生成任務中，存在文本指令和模態橋接（Bridge）兩個控制源。如果盲目追求提示詞契合度，往往會犧牲音畫同步率；反之亦然。

MOVA 允許用戶根據場景調整這兩者的權重：

• 在一般的生成任務中，側重文本引導以保證畫質和意圖實現。
• 在對話、演講等「口型敏感」場景下，則通過強化模態橋接的引導力，實現毫秒級的對齊精度。

針對高強度引導可能帶來的「音量爆炸」和波形畸變，MOVA 還內置了 LUFS 響度歸一化算法，將輸出音頻強制修正至 -23 dB 的廣播級標準，確保了即便在極端推理參數下，聲音依然清晰自然。

實驗表現

打破閉源巨頭的技術壟斷

為了驗證 MOVA 的視聽對齊能力，OpenMOSS 團隊將其與目前開源社區最頂尖的兩個項目 LTX-2 和 Ovi，以及「WAN 2.1 + MMAudio」這一傳統級聯方案進行了全方位對比。

最佳的口型精度

在 Verse-Bench 上的視聽生成性能的量化比較。Audio 和 AV-Align 指標是在所有子集上進行評估的；Lip Sync 和 Speech 指標是在 Verse-Bench set3 上進行評估的；ASR Acc 是在團隊提出的多說話人子集上進行評估的。加粗和下劃線的數值分別表示最佳和第二佳結果。

在最能拉開差距的口型同步（Lip-sync）任務中，MOVA 展現出了明顯的優勢。根據 Lip Sync Error 指標，在開啟 Dual CFG 模式后，MOVA-720p 的 LSE-D 得分為 7.094，LSE-C 得分為 7.452。其次，在反應語音準確度和說話人切換準確度的 cpCER 指標上，MOVA 也取得了最佳的結果。

競技場真實評估

考慮到當前音視頻生成模型的客觀評價體系仍不夠完善，MOVA 引入了競技場（Arena）人為主觀評測范式，包含了全球最新的開源音視頻生成模型，累計獲得 5000 次有效投票并對結果進行了系統統計。評測結果顯示，MOVA 生成內容在整體偏好上保持領先：其在對戰中更頻繁獲得用戶選擇，ELO 評分達到了 1113.8（初始分 1000），顯著高于各基線模型；并穩定保持超過 50% 的勝率，其中面對 OVI 和級聯系統（WAN+MMAudio）的勝率更是超過了 70%。

開源突圍與國產生態

補全多模態拼圖

MOVA 的出現對于音視頻生成 AI 方向有著重要意義。目前全球范圍內，處于第一梯隊、被大眾或行業認可的模型，如我們耳熟能詳的 Sora 2、Veo 3、Kling 2.6、Runway Gen-3 等，絕大多數是閉源的，它們甚至僅向小部分付費用戶開放；而在開源的另一邊，Wan 2.1、HunyuanVideo 等模型著重于純視頻生成的質量，支持端到端音視頻的較少。

MOVA 的出現，改變了「領先技術不開源」的現狀。

作為中國首個高性能開源音視頻模型，MOVA 通過全棧開源的方式，將訓練代碼、推理代碼、模型權重以及微調代碼全部公開。這意味著，開發者不僅可以用 MOVA 生成視頻，也能深入底層，理解雙塔 Diffusion 架構如何處理多模態數據的交互，甚至在此基礎上訓練出垂直領域的專用模型。

MOVA 支持了 SGLang 等主流高性能推理框架。其 360p 版本更加面向于較低的硬件門檻，讓音視頻生成不再是僅限于 GPU 集群的奢侈游戲。在整個音視頻生成領域趨向于閉源的大環境下，MOVA 的出現是一次開源社區的突圍，它補全了中國音視頻生成基模的開源版圖，或許能夠驅使音視頻生成領域走向開源共創。

在 MOVA 音視頻大模型的研發進程中，昇騰AI提供了全棧算力支撐，助力MOVA完成了從數據標注到預訓練驗證的關鍵環節。目前，MOVA 已成為昇騰首個支持的開源多模態音視頻一體生成模型，微調與推理功能已同步上線社區。

MOVA 的發布，距離模思智能上一款引發行業熱議的語音識別模型 ——MOSS-Transcribe-Diarize 僅僅過去了 20 多天的時間。而 MOSS-Transcribe-Diarize，也在 MOVA 的快速迭代中發揮了關鍵作用。

如果說上一次發布的語音識別模型讓 AI 學會了在嘈雜真實環境中「聽懂」人類復雜對話的能力，那么今天發布的 MOVA，則宣告了他們讓 AI 具備了「創造」同步音視頻的能力。

從感知到生成，從單一模態到端到端多模態，從理解到生成，環環相扣，死磕情境智能（Contextual Intelligence）每一個關鍵環節的模思智能正在快速構建它的多模態基礎模型版圖。

研究、創新、與學生培養

MOVA 是上海創智學院與模思智能在研究、創新和學生培養模式上的一次成功實踐。上海創智學院「研創學」模式成功融合了學術研究的深度與產業落地的敏銳度，讓研究不再拘泥于簡單場景，也同時深入到了工業場景，并從中培養一流 AI 人才。

在上海創智學院，學生被視為共同創新創業的合伙人，他們在 MOVA 這種千卡級規模的工業級基模訓練中承擔核心任務。這種陣地式培養讓學生在解決大規模訓練 Infra 框架、高性能海量數據分布式處理框架、模型架構從 0 到 1 設計等硬核工程問題的過程中，積累了極具稀缺性的實戰經驗。

模思智能作為創新的出口，一方面為人才培養提供了驗證大規?；Ｐ阅艿拈]環環境，并通過持續的技術迭代，將前沿理論轉化為可商用的生產力工具。在這一機制下，技術研發與商業價值形成了互為因果、相互加速的良性循環。

這一模式更深遠的意義在于對 AI 頂尖人才培養路徑的重塑，讓年輕大腦在技術演進最前線接受真火淬煉，為未來的 AGI 競爭儲備具備破局能力的澎湃力量。