港大開源ViMax火了，實現AI自編自導自演

想象一下，只需要一句話描述，AI 就能為你拍出一部完整的短劇？以后可能真的人人都能當導演了。不用學復雜的拍攝技巧，不用買昂貴設備，甚至不用找演員。有個好想法，AI 就能幫你實現。

為了讓這個想法變成現實，香港大學黃超教授團隊開源了 ViMax 框架，并在 GitHub 獲得 1.4k + 星標，專注于 Agentic Video Generation 的前沿探索。通過多智能體協作，ViMax 實現了真正的 "自編自導自演"—— 從創意構思到成片輸出的完整自動化，把傳統影視制作的每個環節都搬進了 AI 世界。

ViMax 的 "一人劇組" 有多強？ 它就像一個數字化的全能團隊 ——AI 編劇負責寫劇本，AI 導演掌控節奏和鏡頭語言，AI 攝像師負責構圖和視覺呈現，AI 剪輯師精心打磨每個細節。這些 AI 小伙伴會自己討論創意，分配任務，協調配合。你只需要輸入一個想法，AI 就能獨立完成整個制作流程，輸出千贊級別的視頻內容。

在 AI 視頻制作領域，我們正在見證一場從 "片段生成" 到 "系統化制作" 的重要轉變。這不僅僅是技術升級，更是創作方式的根本改變。

• 實驗室地址：https://sites.google.com/view/chaoh
• 開源地址：https://github.com/HKUDS/ViMax

長視頻生成：核心技術挑戰

當前主流的文本到視頻模型，如 Sora、Runway 等，雖然在短片段生成上表現亮眼，但面對真正的長視頻制作時，卻遭遇了兩個核心瓶頸：

1. 敘事規劃的復雜度爆炸

長視頻制作需要統籌數百個鏡頭的敘事邏輯，涉及角色發展、情節推進和主題呼應等多個維度。這種多層次的故事架構已經超出了當前語言模型的單輪處理極限。關鍵挑戰在于：如何將龐大的故事脈絡拆解成可操作的規劃模塊，同時確保整體敘事的邏輯自洽和情感連貫。

2. 跨鏡頭視覺連貫性難題

現有生成模型各自為戰，缺乏對前序內容的記憶能力，這導致角色形象、場景風格、空間布局在不同鏡頭間頻繁 "變臉"。這種視覺記憶缺失在長視頻中會產生雪球效應，嚴重影響觀眾的沉浸感和故事可信度。

如何突破這兩大技術瓶頸，成為 AIGC 中長視頻亟待解決的關鍵問題。

端到端多智能體協同架構

ViMax 采用分層協作的設計思路，將長視頻制作分解為五個相互協調的階段，每個階段由專門的智能體負責：

階段 1：劇本創作（Screenwriting）

無論用戶輸入的是簡單的一句話想法、完整小說還是劇本片段，編劇智能體都能將其重新組織為標準化的影視劇本，包括場景設定、角色臺詞和故事節奏安排。

階段 2：分鏡規劃（Shot Planning）

分鏡智能體運用專業電影制作理論，為每個劇本場景設計精確的鏡頭語言 —— 從攝像機位置、運動軌跡，到光影布局、角色調度，再到每個鏡頭的時間把控，形成完整的拍攝藍圖。

階段 3：視覺資產生成（Visual Asset Creation）

制作智能體采用 "先圖后視頻" 的兩步生成策略：首先創建核心視覺元素（角色造型、場景設計、關鍵畫面），然后以此為基礎生成對應的動態視頻片段，確保視覺風格的精準控制。

階段 4：質量把控（Quality Assessment）

對于每個生成任務，系統會同時產出多個版本，由質檢智能體運用視覺語言模型進行專業評估，篩選出最符合分鏡要求的版本。若所有候選都未達標，系統將自動調優參數并重新生成。

階段 5：統籌協調

導演智能體擔任總指揮，監控全流程的協調運轉，維護各階段輸出的風格統一，并負責智能體間的任務分配與信息同步。

從敘事到鏡頭：三層遞歸規劃體系

遞歸式敘事分解策略

ViMax 采用遞歸分解機制來馴服長視頻敘事規劃的復雜性挑戰。系統將完整劇本按照敘事邏輯分解為三個層次化管理單元：

• 事件層（Events）：捕獲核心敘事節點，如故事起始、情感轉折、結局收束等關鍵劇情錨點，構建整體故事骨架。
• 場景層（Scenes）：將抽象事件具象化為可執行的戲劇單元，如 "雨夜咖啡廳的告別對話" 或 "辦公室里的緊張對峙"，明確時空背景和情境設定。
• 鏡頭層（Shots）：為每個場景輸出精確的執行指令，涵蓋鏡頭語言（特寫、全景、移動軌跡）、演員調度、光影氛圍等具體制作參數。

這種分層遞歸策略確保語言模型在每個認知層次都面對適度的規劃范圍，既避免了整體敘事處理的認知瓶頸，又通過層次間的依賴傳遞維持了故事內在的邏輯連貫性和情感節奏。

RAG 增強的全局上下文同步

分層分解雖然有效控制了復雜度，但也帶來了上下文碎片化的風險 —— 原始素材中的豐富背景信息可能在層次切分中丟失。ViMax 通過集成檢索增強生成（RAG）系統來應對這一挑戰：

• 建立全局知識庫：系統首先對原始劇本或小說進行深度解析，構建包含角色關系、情節脈絡、主題元素的綜合索引庫。
• 動態上下文檢索：在每個分解階段，系統根據當前生成的文本描述，智能檢索相關的全局背景信息，包括前文伏筆、角色設定、情感基調等關鍵要素。
• 上下文融合生成：將檢索到的全局信息與當前層次的局部規劃需求相融合，生成既滿足具體制作要求又保持整體故事邏輯的詳細描述。

這種 RAG 機制確保每個局部規劃決策都能 "看見" 更大的故事圖景，有效避免了角色性格突變、情節邏輯矛盾、主題偏離等常見問題，讓 AI 在處理復雜敘事時既見樹木，又見森林。

圖網絡驅動的視覺一致性方案

基于圖結構的視覺元素追蹤機制

為解決跨鏡頭視覺一致性難題，ViMax 設計了基于依賴關系的智能生成框架。系統在規劃階段對所有鏡頭描述進行深度解析，自動識別共享視覺元素 —— 包括角色身份、場景環境、道具物件等關鍵要素，并構建反映這些元素間依賴關系的有向圖結構。

在生成執行階段，系統對依賴圖進行拓撲排序優化：無依賴關系的獨立鏡頭可實現并行批量生成，而存在依賴關系的鏡頭則啟用條件引導生成模式 —— 以先前生成的視覺內容為參考基準，而非單純依賴文本描述進行從零生成。

這種圖網絡驅動的方案在確保視覺連貫性的同時，通過智能并行化處理顯著提升了整體生成效率。

過渡視頻的空間幾何約束機制

針對同一場景內的多視角拍攝需求，ViMax 引入了過渡視頻生成技術來維護空間幾何的嚴格一致性。當多個鏡頭需要從不同角度展現同一物理空間時，保持準確的空間關系對避免 3D 布局沖突至關重要。

系統首先識別需要空間連貫性約束的場景組合，然后生成連接不同視角的流暢攝像機運動軌跡。這些過渡視頻充當空間校準錨點，確保場景內所有視角都遵循統一的 3D 幾何約束。

例如，在生成兩角色對話的正反打鏡頭時，系統會先創建一個從角色 A 視角平滑過渡到角色 B 視角的連續運動視頻，以此為幾何基準生成兩個獨立的對話鏡頭，從而保證空間位置關系的完美契合。

多智能體協同的專業化分工

ViMax 的核心智能體角色

• 導演智能體（Director Agent）：擔任全流程總指揮，統籌任務調度、進度監控和品質審核，確保各環節協調配合和整體輸出標準。
• 編劇智能體（Screenwriter Agent）：專門處理各種形式的輸入內容，將用戶的創意想法轉化為標準化、結構完整的劇本格式。
• 分鏡智能體（Shot Planning Agent）：具備深度的影視語言專業知識，運用鏡頭美學、敘事節奏和視覺表達理論，為每個劇本段落設計精確的視聽呈現策略。
• 視頻生成智能體（Video Generation Agent）：執行核心創作任務，從角色造型設計、場景環境構建到動態視頻合成，負責將抽象描述轉化為具體視覺內容。
• 質量控制智能體（Quality Control Agent）：基于先進視覺語言模型的多維度評估體系，對生成內容進行嚴格的質量檢驗和智能化迭代引導。

VLM 驅動的迭代質量優化機制

系統采用多候選并行生成策略，為每個創作任務同時產出多個版本，隨后通過視覺語言模型進行綜合評估。評估體系涵蓋視覺真實感、敘事邏輯連貫性、分鏡技術規格執行度等關鍵質量指標。

當所有候選版本均未達到預設質量閾值時，系統啟動智能迭代機制：基于 VLM 提供的詳細反饋信息，自動調優生成參數配置，并重新執行生成過程，直至輸出符合標準的高質量內容。

這種閉環質量控制機制確保每個制作環節都能輸出專業級別的成果，為最終的完整視頻奠定堅實基礎。

https://mp.weixin.qq.com/s/AgFk-DstU4GQ0ayeCXnTxA?click_id=1

技術展望與未來方向

ViMax 標志著 AI 視頻生成從 "碎片化拼接" 向 "體系化創作" 的重要躍遷，但仍有不少提升空間：

• 計算效率提升：目前系統需要頻繁調用外部 API，后續可通過模型集成或蒸餾技術來降低計算開銷，提高響應速度。
• 交互編輯功能：支持用戶在制作過程中隨時介入調整，比如修改某個鏡頭設計或調整劇情節奏，讓創作更靈活。
• 多元文化支持：擴展對不同地區敘事風格和視覺傳統的理解，讓系統能創作出更有地域特色的內容。
• 音頻制作整合：補齊音效、配樂、對白等音頻環節，形成完整的影視制作流程。

從技術發展角度看，ViMax 的核心價值在于找到了一種將專業制作經驗轉化為系統化流程的方法。這種思路不僅適用于視頻制作，對其他需要多環節協作的復雜創作任務也有借鑒意義。隨著技術成熟，我們有理由期待看到更多專業創作工具的自動化突破。