![]()
編輯|冷貓、+0
原來,視頻生成卷到極致,就是突破大腦和視覺的邊界,讓想象力進入 AI 構建的虛擬空間。
昨天,PixVerse R1突然上線。一開始我們以為這只是一次普通的版本更新,但那種「即時響應、即看即創」的全新交互體驗,卻是前所未有的。讀完技術報告我們發現,這不僅僅是一次卷到極致的性能提升,更是量變帶來的質變。
回顧過去,23 年推出第一版模型,隨后 Web 端、移動端全面鋪開,愛詩科技在 DiT 路線上一路狂奔:從 24 年底的 10 秒生成,到 25 年 2 月實現 5 秒生成社交級視頻,再到 11 月將 1080P 視頻生成壓縮至 30 秒。在自研模型技術和工程化落地的思想下,PixVerse 確實將「傳統視頻生成」的速度推向了極限。
與此同時,行業加速從未停歇。就在上個月,生數科技宣布其與清華大學團隊研發的 TurboDiffusion 框架,也讓視頻生成正式邁入「秒級」門檻。
但時間上的「卷」就是視頻生成的全部嗎?
顯然,再快的速度,如果不能生產出符合制作需求的畫質和一致性,依然無法成為通用的標準。
PixVerse 曾是業界第一個把 5 秒視頻生成做到 5 秒之內的團隊,而當一切看似達到極限時,在 2026 年開年,PixVerse R1 模型與產品同步橫空出世。
通過將計算效率提升數百倍,它不再局限于「秒級」,而是做到了人類肉眼感知范圍內的「實時」生成。發布即實裝,這是一款真正的「通用」實時世界模型。這已不僅是單點的技術突破,而是一步到位、直接實現應用層級質變的代際跨越。
以下,我們將通過技術報告,為您詳細解析 R1 的這次突破。
![]()
文中視頻鏈接:https://mp.weixin.qq.com/s/LybgC6RD9cu0kJyGbTJlog
看了這個視頻,大家或許理解了什么是「無限內容」的視頻生成。
在這個模型創造的世界里,「漢語竟是上古禁咒」,你只要說出「春」即刻綠草如茵,說出「鳥」即刻飛鳥成群。一切都是如此連續,直白,世界實時響應你的呼喚,時間和空間都在你的掌控之中。或許,PixVerse R1 已經徹底掌握了「無限流」的真諦。
簡單來說,PixVerse R1 是全球首個支持最高 1080P 分辨率通用實時世界模型。
這也是第一次,AI 可以基于用戶的意圖實時生成一個持續演化、物理上合理的世界,標志著視頻生成正式從「靜態輸出」邁入「實時交互」的全新階段。
回顧視頻生成技術的發展路徑,行業始終受困于速度、質量與成本的不可能三角:高畫質往往意味著高延遲(如傳統擴散模型),而追求速度又不得不犧牲物理一致性。PixVerse R1 沒有盲目追求參數軍備競賽,而是找到了一條通往「通用」的平衡之路:
當一個模型首先做到了打破物理極限的實時響應(IRE),并以此為基礎結合了通用全模態(Omni)與長時序世界模擬(自回歸),它就已經超越了傳統意義上的視頻生成工具。
![]()
- 技術博客鏈接:https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model
交互的物理極限:
瞬時響應引擎(IRE)
在通往通用世界模型的路徑上,「實時性」始終是阻礙技術從實驗室走向大規模應用的核心工程障礙。
傳統擴散模型的生成邏輯本質上是一種精細的迭代去噪過程,通常需要 50 步甚至更多的采樣步驟,才能將高斯噪聲轉化為清晰的視覺內容。這種機制雖然在一定程度上保證了生成質量,但其帶來的秒級甚至分鐘級的高延遲,使得 AI 視頻生成長期停留在「離線制作、預錄制回放」的階段,無法滿足即時交互的嚴苛需求。
不過,生成速度始終是 PixVerse 的強項,其在響應時間上一騎絕塵。早在 PixVerse V4.5 的時候我們就實測過,即使我們將各項生成指標拉滿,平臺輸出結果的時間也沒有超過 1 分鐘
但是,為了更進一步,實現徹底的「實時響應」,PixVerse 在 R1 上決心徹底重構底層推理架構,提出了瞬時響應引擎(Instantaneous Response Engine,IRE)。
這是一套針對采樣過程的系統級加速方案,通過三大關鍵技術,在保持 1080P 高分辨率生成的前提下,將推理時間壓縮到極致。
時間軌跡折疊
不同于傳統方法在加噪去噪過程上進行漫長的逐步逼近,該技術引入「直接傳輸映射」作為結構先驗,建立噪聲到數據的直線通路,能夠直接預測干凈數據的分布路徑。
這種方法在數學上有效地「折疊」了原本冗長的時間維度,將傳統擴散模型所需的 50+ 采樣步數暴力壓縮至僅需1-4 步。這一數量級的步數縮減,直接從源頭上解決了計算量過大的問題,實現了推理速度的質變。
引導校正
針對為了保證生成質量通常采用的無分類器引導策略(Classifier-Free Guidance,CFG)所帶來的雙倍計算開銷問題,PixVerse R1 團隊通過將條件梯度直接融合進模型內部,使得系統在推理階段無需再進行正負樣本的雙重計算。
這一優化成功繞過了傳統 CFG 的計算瓶頸,在不犧牲指令遵循能力的情況下,進一步降低了計算復雜度。
自適應稀疏注意力
為了應對高分辨率視頻生成帶來的巨大顯存與計算壓力,IRE 采用了自適應稀疏注意力機制。
該機制能夠動態分析視頻生成過程中的上下文依賴,智能識別并剪除長程依賴中的冗余計算,從而顯著壓縮了計算圖,大幅提升了整體推理效率。
![]()
即時響應引擎由三個模塊組成:時間軌跡折疊、引導修正和自適應稀疏注意力學習。
通用的認知底座:
Omni 原生多模態基礎模型
如果說「瞬時響應引擎」解決了傳輸的速度問題,那么一個強大的底座模型,則決定了傳輸內容的質量與上限。
底座模型是一切新功能新特性的基礎。構建通用實時世界模型的第一步,在于打破單一模態的感知壁壘,只有設計一個完全端到端的原生多模態基礎模型,才能徹底超越傳統生成流程的局限。
在當前的視頻生成技術棧中,多為非端到端的生成方式。往往需要生成一種模態之后通過級聯的方式生成另一種模態,這種方式下需要反復的鋪路搭橋,尤其是在處理復雜的跨模態交互上,自然顯著影響了生成的效率,也限制了模型的通用性。
為了實現無限的通用性,模型必須強調:原生,原生,還是原生。
PixVerse R1 提出的 Omni原生端到端多模態基礎模型,正是通過底層架構的重構,實現了「因原生而通用」。
原生統一表示
Transformer 架構給了生成模型無窮的想象和可能性。
Omni 模型引入了統一 Token 流架構。該架構基于 Transformer,摒棄了異構模型拼接的傳統路徑,將文本、圖像、音頻與視頻等不同模態的數據,統一編碼為單一的生成序列。
在這一框架下,模型不再是將文本「翻譯」為視覺信號,而是在原生層面上實現了對多模態數據的聯合處理與理解。這種全模態的「通感」能力,使得模型能夠精準捕捉文本指令與視聽內容之間的深層關聯,從而支撐起游戲、影視等多領域的通用化應用。
原生分辨率
除了多模態數據的原生處理,第二個原生,是實現高分辨率視頻生成的核心特性:原生分辨率。
Omni 模型引入這一機制,旨在解決傳統視頻生成模型中因數據預處理而導致的畫面構圖破壞與幾何失真問題。
為了適配固定的模型輸入結構,傳統方案往往采取「強制裁剪」或「縮放拉伸」的策略。這種「削足適履」的方式,會導致畫面關鍵信息被裁切丟失,或使物體形態發生非物理的扭曲變形(如被壓扁或拉長)。
相比之下,Omni 模型堅持在原生分辨率和原始比例下進行端到端的學習。這一架構使其能夠自適應處理任意長寬比的素材,從根源上消除了因裁切或縮放帶來的視覺偏差,確保了生成內容在構圖完整性與物理幾何上的真實感。
![]()
Omni 原生多模態基礎模型的端到端架構,統一設計使 Omni 模型能夠接受任意多模態輸入并同時生成音頻和視頻。
值得一提的是,模型通過原生學習大量真實世界視頻數據,來確保真實世界的內在物理定律和動態的真實性。因此,Omni 模型的功能,似乎不僅限于生成引擎,更具備構建世界模型的潛力。
世界的連續演化:
自回歸流式生成機制
構建「世界模型」的挑戰之一,在于如何從生成分段的「切片」,跨越到模擬連續的「過程」。在這一維度上,PixVerse R1 重點解決的是長視頻生成中普遍存在的「長時序一致性」難題,以及伴隨而來的顯存成本瓶頸。
在傳統的視頻生成流程中,模型通常受限于固定時長的生成窗口。當試圖延長視頻長度時,往往面臨「時間誤差累積」的問題:隨著生成幀數的增加,微小的預測偏差會不斷疊加,導致畫面內容逐漸偏離初始設定,例如角色的外貌特征發生漂移,或物理環境邏輯出現崩壞。
此外,為了維持上下文的一致性,傳統架構需要保存海量的歷史狀態,導致顯存消耗呈指數級上升,使得長視頻生成在計算成本上變得不可控。尤其是在 PixVerse R1 追求的「無限內容」的生成模式下,以上問題如果沒有妥善處理,會出現嚴重的問題。
針對上述痛點,PixVerse R1 摒棄了傳統的全局預測模式,構建了自回歸流式生成機制。
無限流式生成
在生成范式上,R1 采用了自回歸建模。系統將視頻合成任務重構為逐幀預測的流式過程,而非一次性生成固定片段。
這種架構從根本上解除了時長的硬性約束,實現了理論上的「無限流式生成」。視頻不再是受限的幀組合,而成為可以根據即時輸入,無限向前延展的時間流。
時間一致性
為了在無限延展中保持邏輯自洽,傳統方法下基于幀上下文的特征記憶,大多有著數十秒的時間限制,顯然是不夠用的。
為此,R1 引入了記憶增強注意力模塊。該模塊能夠顯式地提取并鎖定視頻中的關鍵特征(如角色的身份特征、場景的空間布局等),將其轉化為緊湊的記憶單元。
在生成后續內容時,模型無需回頭重算所有歷史數據的全量注意力,而是直接調用「記憶」。這一設計在維持長程依賴的同時,極大地優化了計算效率,避免了顯存資源的爆炸式增長。
![]()
集成自回歸建模與全能基礎模型。
從技術邏輯上看,這一機制賦予了 AI 模型「長期記憶」的能力,打破了傳統幀間上下文的限制,確保了 PixVerse R1 生成的內容不再是孤立、破碎的視覺片段,而是一個具備持續演化能力的「平行時空」。
無論生成時長如何延伸,核心主體的統一性與環境邏輯的連貫性始終保持穩定,這種物理與邏輯的持久性,正是「通用實時世界模型」成立的關鍵基石。
結語:
正在發生的現在
正如愛詩科技 CEO 王長虎所言:傳統視頻是被記錄的歷史,而 PixVerse R1 開創了「正在發生的現在」。
PixVerse R1 開啟的是 AI 原生游戲、互動電影、實時仿真等全新媒介形態的大門,是未來「可交互的數字世界」的計算基礎設施。
視頻內容的消費邊界正在消融。
媒體形態將不再局限于預先渲染的固定畫面,而是轉向由用戶意圖驅動的即時生成流。
PixVerse R1 以「通用實時世界模型」的形態,為這一未來提供了可落地的技術樣本,也讓視聽媒介真正從「回放過去」邁向了「未來創作」。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.