![]()
智東西
作者 程茜
編輯 漠影
全民低成本自制爽劇的時代真來了?
短劇行業正迎來爆發式增長,去年微短劇市場規模首超電影票房。
同時眼下,AI也正顛覆短劇產業,深度滲透至短劇創作全鏈路,瞄準了分鐘級出片,和“一人劇組”的工業化生產模式。
但對于短劇觀眾而言,很多AI短劇目前還未能徹底解決口型對不上、劇情存在邏輯硬傷等槽點;尤其是純AI驅動的創作,往往還會帶來超長劇本架構失控、角色場景設定前后矛盾等等問題。這讓觀眾不得不陷入“邊罵邊追更”的狀態,恨不得自己上手改劇本。
今天,商湯科技在產品發布周上,推出了全新升級的行業首個創編一體、多劇集生成智能體——Seko 2.0版本,其圍繞著上述痛點全面更新,高效率、低門檻的特征,讓個人創作者也能秒變“一人劇組”。
今年7月上線以來,Seko已經成為諸多視頻創作者的必備工具。其聯合專業團隊打造的《婉心計》登上抖音AI短劇榜斷層第一,熱度超200萬。
下面正是創作者使用Seko創作出的視頻效果:
從Seko 2.0的重磅更新出發,我們試圖拆解商湯科技在AI視頻創作領域的獨特打法,解析其底層技術布局。
一、靈感成真!Seko 2.0讓AI短劇創作一步到位
主打一步成片的Seko這次更新,將視頻生成的高交互性與低門檻拉滿了。其更新圍繞著三大功能:UI升級、支持100集以內劇本連續創作、Agent智能調度。
首先是UI升級,Seko提供了沉浸式的創意體驗,用戶在生成過程中對人物、分鏡、圖片、場景的編輯、交互性增強。
打開Seko可以發現,交互界面包含的元素增多。在對話框下方,用戶可以直接選擇提示靈感,或者可以自行輸入提示詞。在對話框中,用戶還可以直接上傳劇本、選擇模型、添加主體、添加畫風。
在對話框右下角就是另一個重要更新多劇集Agent,打開“多劇集”,用戶就能進行長劇集多文本創作。
![]()
該Agent會分析文本、給出多劇集大綱、塑造整個劇集的人物和場景塑造,商湯科技Seko產品負責人王子彬稱,相比于Seko 1.0,2.0可以直接在編輯界面對所有人物和場景進行精確控制和剪輯。
可以看到在畫面左側,用戶能點擊+號生成下一集,其會延續第一集的故事設定,保持人物和場景一致。用戶還能進行更為細節的交互式處理,如每一個圖片、分鏡、口型、畫布等都可以進行修改。
![]()
在上述更新之上,Seko 2.0可以支持多達100集的劇本連續創作。
這波更新,一方面為專業創作者提供了更全面的工具支持,另一方面讓非專業人士也能快速上手,輕松將創意想法轉化為實際視頻。
智東西也體驗了下Seko 2.0的生成效果,在沒有結合其他視頻創作工具的同時,從輸入靈感、生成大綱、分鏡到調整分鏡圖、生成視頻、導出,智東西在十幾分鐘內就得到了1分鐘左右的一集AI短劇。
生成分鏡后,用戶可以點擊分鏡圖上方的畫布編輯和對口型,對應修改這一部分的視頻內容,或者直接在左下角的對話框輸入提示詞重新生成圖片。
![]()
生成的短劇視頻中,女主角的形象在不同場景切換、不同表情變化的過程中始終保持高度一致,無違和感與割裂感。
![]()
并且主角人物表情變化十分細膩,在女主角內心獨白時,其通過皺眉到低頭、神色緩和的表情變化,將人物內心變化準確刻畫了出來。
此次版本更新后,我們在Seko 2.0平臺上的整體操作更加流暢自然,它中間還支持用戶對細節的自定義修改,生成內容更加契合用戶需求。從生成的結果來看,不僅劇情連貫,人物、場景能前后保持一致。更關鍵的是,對于專業創作者而言,一次就可以完成100集的超長制作!
二、四大核心技術加持,AI短劇告別換臉穿幫、口型對不上
從上面的視頻生成效果來看,Seko 2.0已經支持在多人連續對話時精準匹配口型,且能在切換場景與劇集時保證人物表情、形象全程一致,且生成速度高效快捷。
這背后是商湯科技針對性的技術全棧升級。
第一是角色一致性技術SekoIDX,其通過擴散模型優化,平衡參考圖相似性與提示詞響應性,使得生成效果精準可控。
短劇創作中,換臉式穿幫問題會因為人臉變形、特征失真等瑕疵破壞畫面真實感,影響觀眾的沉浸式觀看體驗,同時在保證一致性的同時還要讓人臉隨場景、表情變化更加自然、真實。
基于此,其會提供正向和反向的參考圖,適當加入副參考圖,以兼顧主體的多樣性和一致性,避免直接像復制粘貼主體形象。
第二是多人對口型方案SekoTalk,這也是業內首個支持超過2人對口型的方案。對于短劇而言,多人對口型是強需求,且往往在制作過程中會面臨多人對話、連續切換說話人、口癖還原等核心痛點。
商湯科技的實時語音驅動數字人技術SekoTalk,可以在8卡服務器上達到25 FPS的生成速度,首幀延遲低至3.5秒,同時做到多人、多語言的口型精準匹配和超長時間穩定生成。
第三是效率提升技術Phased DMD蒸餾,進一步降低多劇集生成成本。
擴散模型低步數生成的質量受限于等效模型質量,如果等效模型容量不足,低步數生成的視頻就會出現模糊、細節缺失、邏輯混亂等問題。主流SOTA視頻生成模型已經驗證了MoE技術的優勢,不需要增加推理階段的計算開銷。
商湯科技研究團隊創新性提出Phased DMD技術,既能提升蒸餾模型生成的動態效果和多樣性,使SekoTalk推理開銷在降低1/25的同時,仍保持教師模型良好的肢體運動效果和情緒表現力。
同時Seko 2.0已經支持性價比更高的寒武紀芯片適配方案。
最后是商湯開源的行業首個能夠達到實時視頻生成的推理框架LightX2V,其與模型協同設計,支持低資源部署。
商湯科技在模型和系統設計之初,就讓它們融入低比特量化感知訓練、稀疏注意力等原生優化,配合自研“SPARSE+NVFP4+低比特通信”高效注意力算子,模型訓練完成后可直接低資源部署。這一開源框架的累計下載量已超350萬次。
總的來看,Seko 2.0的升級正是聚焦短劇行業痛點,真正達成生成質量與效率的雙向平衡。其能實現分鐘級出片,還能通過多劇集一致性保證生成視頻的質量,更將成本壓至最優,破解行業的產能與質量焦慮。
三、Seko進化:讓AI短劇進入分分鐘出片、零基礎上手的全民時代
以Seko為代表的AI視頻創作平臺的出現與升級迭代,讓AI短劇迎來風口。
談及Seko的產品迭代理念,王子彬談道,他們的產品定位是和創作者做朋友、為創作者提供便利、滿足創作者的需求,也就是真正把“一切圍繞創作者”落到實處。
這也可以從Seko的用戶畫像看出來,他補充說,其有固定創作需求的用戶占比在50%~60%之間,這類用戶分兩類,一類是專業高頻創作者,他們對自己的內容有高度把控性和要求,更看重工具易用性;另一類是MCN創作者,其對視頻創作有自己的理解,有固定每周1~2個視頻創作需求。
王子彬談道,《婉心計》就是專業創作團隊基于Seko打造的AI短劇,創作團隊會使用Seko完成大部分流程,然后調用其他工具進行高精修完善創作。
▲AI短劇《婉心計》片段
最后一部分是完全沒有創作經驗的用戶,其占比達到30%-40%,這部分用戶一般而言沒有二次創作需求,很難長期留存。
無論是具備AI視頻創作基礎的進階用戶,還是意欲嘗鮮體驗的入門群體,Seko均可全面覆蓋其差異化需求。
如今Seko再度更新,為AI短劇創作門檻帶來一場降維革命。
此前視頻制作需要專業的創作團隊,且成本甚至高達百萬元級別,如今普通人就可以在家用PC制作一部成片,讓視頻創作應用到了更為廣泛的場景。
如山西一位語文老師通過Seko,將學生的作文直接轉換成了視頻,在播放的過程中,通過視頻形式增強學生對好的作文內容的認同感與共鳴感,同時能進一步增強其創造力和想象力。
此外還有不少跨界創作熱潮,如程序員借Seko圓了武俠夢、作家讓筆下小說一鍵變身可視化影像、公務員用它制作生動的歷史動畫……使得AI視頻工具打破行業壁壘,釋放更大的產業價值。
在視頻創作領域,新人入門難、產能低的難題也被破解。
過去漫劇新人需掌握分鏡設計、剪輯、模型適配等專業技能,上手周期長且易因操作失誤影響產出;而Seko通過簡化交互、智能調度模型等功能,讓新人無需復雜學習就能快速啟動創作。據了解,已經有漫劇工作室新人通過Seko快速上手,日均產出3-4集成片。
產業發展有一大規律是,當創作工具實現普惠,必將催生行業增長的正向循環。
Seko進一步拉低視頻創作的門檻,使得更多元化的創作者團隊入局,讓更多創意大神將腦洞變成新穎的視頻,緩解短劇劇情同質化的困境,帶動產業規模化增長。
結語:AI視頻制作工具,正加速拆掉短劇創作門檻
伴隨AI技術進階,視頻生成正在打破視頻生成的壁壘,從此前依賴高端、專業團隊的創作形式,向普通人也能輕松參與其中的方式擴展。
從Seko的發展軌跡來看,AI視頻生成工具正朝著推動視頻生成產業實現質量與規模同步提升發展,既通過多維度的技術優化保障內容輸出的高質量,又以高效生成能力支撐規模化生成創意視頻,人人都是創作者的時代真要來了。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.