何愷明帶大二本科生顛覆擴(kuò)散圖像生成：扔掉多步采樣和潛空間，一步像素直出

何愷明，再次出手精簡(jiǎn)架構(gòu)。

新方法Pixel Mean Flow（pMF），突破傳統(tǒng)擴(kuò)散模型/流模型限制。

兩大傳統(tǒng)組件多步采樣和潛空間都被砍了，現(xiàn)在只需一步，直接在像素空間生成圖像。

在ImageNet 256×256分辨率上，pMF達(dá)到了2.22 FID；512×512分辨率上則是2.48 FID。這是目前單步、無(wú)潛空間擴(kuò)散模型在該基準(zhǔn)上取得的最佳成績(jī)之一。

砍掉擴(kuò)散模型的兩大件

現(xiàn)代擴(kuò)散模型生成圖像，一直離不開多步采樣和潛空間編碼。

多步采樣意味著生成一張圖需要跑幾十甚至上百次神經(jīng)網(wǎng)絡(luò)，潛空間則需要先把圖像壓縮到一個(gè)低維空間再進(jìn)行操作。兩者的共同目的是把一個(gè)極度復(fù)雜的生成問題拆解成若干個(gè)相對(duì)簡(jiǎn)單的子問題。

近年來，研究社區(qū)分別在這兩個(gè)方向上取得了進(jìn)展：

一致性模型（Consistency Models）和何愷明團(tuán)隊(duì)2025年提出的MeanFlow在少步、單步采樣上持續(xù)突破。

何愷明團(tuán)隊(duì)2026年1月提出的JiT（Just image Transformers）則證明了在原始像素空間做擴(kuò)散模型的可行性。

但把這兩條路合到一起，難度陡增。

少步模型要求單個(gè)網(wǎng)絡(luò)能夠處理不同起點(diǎn)和終點(diǎn)的軌跡；像素空間模型則需要在沒有預(yù)訓(xùn)練tokenizer的情況下完成壓縮和抽象。

兩邊的挑戰(zhàn)疊加在一起，對(duì)架構(gòu)設(shè)計(jì)提出了更高的要求。

pMF的核心設(shè)計(jì)

pMF的思路可以概括為：網(wǎng)絡(luò)直接輸出像素級(jí)別的去噪圖像，但訓(xùn)練時(shí)用速度場(chǎng)來計(jì)算損失。

具體來說，pMF定義了一個(gè)新的場(chǎng)x，它是從平均速度場(chǎng)u通過簡(jiǎn)單變換得到的。

x場(chǎng)的關(guān)鍵特性是看起來像干凈的圖像。

論文通過追蹤ODE軌跡進(jìn)行可視化發(fā)現(xiàn)，平均速度場(chǎng)u對(duì)應(yīng)的是噪聲圖像，而變換后的x場(chǎng)則對(duì)應(yīng)近乎干凈或略微模糊的圖像。

這背后的假設(shè)是流形假設(shè)（manifold hypothesis）：自然圖像實(shí)際上位于一個(gè)低維流形上，讓網(wǎng)絡(luò)直接預(yù)測(cè)這個(gè)低維流形上的量，比預(yù)測(cè)高維噪聲空間中的量要容易得多。

團(tuán)隊(duì)用一個(gè)2D玩具模型驗(yàn)證了這一點(diǎn)。

當(dāng)把2D數(shù)據(jù)投影到512維觀察空間時(shí)，傳統(tǒng)的u-prediction直接崩潰，而x-prediction仍然能夠正常工作。

在真實(shí)的ImageNet實(shí)驗(yàn)中也是如此：256×256分辨率下，patch維度達(dá)到768（16×16×3），u-prediction的FID直接飆到164.89，而 x-prediction則保持在個(gè)位數(shù)。

pMF還有一個(gè)獨(dú)特優(yōu)勢(shì)：

因?yàn)榫W(wǎng)絡(luò)直接輸出像素圖像，可以自然地使用感知損失（perceptual loss）。

這本是潛空間方法在訓(xùn)練VAE時(shí)才能用的技巧，pMF把它帶到了生成器本身的訓(xùn)練中。實(shí)

實(shí)驗(yàn)顯示，加入感知損失后，F(xiàn)ID從9.56直接降到3.53，提升了約6個(gè)點(diǎn)。

實(shí)驗(yàn)結(jié)果與對(duì)比

在ImageNet 256×256上，pMF-H/16模型以2.22 FID的成績(jī)，超越了此前唯一的同類方法EPG（8.82 FID）。與GAN方法相比，pMF達(dá)到了相近的FID，但計(jì)算量大幅下降——StyleGAN-XL每次前向傳播需要1574 Gflops，是pMF-H/16的5.8倍。

在512×512分辨率上，pMF采用了32×32的大patch尺寸，保持與256×256相近的計(jì)算開銷，達(dá)到了2.48 FID。

另外，潛空間方法還有一筆經(jīng)常被忽略的開銷：VAE解碼器。

標(biāo)準(zhǔn)SD-VAE解碼器在256分辨率下需要310 Gflops，512分辨率下需要1230 Gflops，這個(gè)開銷已經(jīng)超過了pMF整個(gè)生成器的計(jì)算量。

論文還進(jìn)行了大量消融實(shí)驗(yàn)：

優(yōu)化器方面，Muon比Adam收斂更快且效果更好；

時(shí)間采樣方面，MeanFlow的全平面采樣策略不可或缺，只在r=t或r=0單線上采樣都會(huì)導(dǎo)致失??；

預(yù)條件器（pre-conditioner）方面，傳統(tǒng)的EDM和sCM風(fēng)格設(shè)計(jì)在這個(gè)高維場(chǎng)景下不如直接的 x-prediction有效。

團(tuán)隊(duì)介紹

一個(gè)圖像生成模型，本質(zhì)上就是從噪聲到像素的映射。

多步采樣和潛空間編碼都是歷史上為了降低難度而引入的折中方案，但隨著模型能力的提升和訓(xùn)練技巧的進(jìn)步，這些“拐杖”正在變得不那么必要。

團(tuán)隊(duì)在結(jié)尾寫道：希望這項(xiàng)工作能夠鼓勵(lì)未來對(duì)直接、端到端生成建模的探索。從實(shí)驗(yàn)結(jié)果來看，單步無(wú)潛空間生成已經(jīng)從“是否可行”進(jìn)入到“如何做得更好”的階段了。

共同一作Yiyang Lu（陸伊煬）、Susie Lu、Qiao Sun（孫啟傲）、Hanhong Zhao（趙瀚宏）為MIT本科生。

其中孫啟傲是IMO金牌得主，趙瀚宏是國(guó)際物理奧林匹克競(jìng)賽IPhO金牌得主，陸伊煬是全國(guó)中學(xué)生物理競(jìng)賽CPhO金牌得主。

論文地址：
https://arxiv.org/abs/2601.22158

文章來源：量子位。