LeapAlign如何從根本上改變圖像生成的對齊方式

這項由澳大利亞國立大學與字節跳動Seed團隊聯合開展的研究，以預印本形式發布于2026年4月16日，論文編號為arXiv:2604.15311。感興趣的讀者可以通過該編號在arXiv平臺上查閱完整論文。

一、當AI繪圖遇上"偏科"難題

每當你在網上看到那些令人嘆服的AI生成圖像，背后的圖像生成模型經過了大量的訓練，學會了如何把一團白噪聲一步一步"雕刻"成精美的畫面。然而，這類模型并不總是能精準理解人類的喜好——有時候畫出來的東西雖然看起來不錯，但就是差那么一口氣，要么色彩不夠對味，要么物體擺放位置別扭，要么數量對不上。

為了解決這個問題，研究人員發展出了一套叫做"偏好對齊"的技術，簡單來說就是讓AI模型更好地迎合人類審美和指令。這就好比訓練一位廚師：廚師原本會做各種菜，但要讓他做出顧客真正喜歡的味道，就需要通過顧客的反饋不斷調整烹飪方式。

在這個領域里，目前主要有兩大流派的訓練方法。第一種流派借鑒了語言模型的訓練思路，用一種叫做"策略梯度"（以GRPO為代表）的方法，通過反復試錯來調整模型，就像廚師靠不斷試吃顧客的反饋來改進菜品。第二種流派則走了一條更直接的路：因為圖像生成過程在數學上是連續可微的，所以可以把"顧客滿意度"的信號直接通過整個生成過程反向傳遞，告訴模型每一步到底哪里出了問題。后者被稱為"直接梯度法"，理論上更精準、收斂更快。

但問題來了。圖像生成不是一步完成的，而是像一部電影制作一樣分成許多工序。以當前頂尖的Flux模型為例，生成一張圖片往往需要25步甚至更多步驟。早期步驟（就像電影的劇本創作階段）決定了畫面的整體構圖和布局；晚期步驟（就像后期特效階段）負責細節打磨。如果想把"顧客不滿意"的信號從最終的圖像一路傳回到早期步驟，梯度需要穿越漫長的計算鏈條，會導致兩個嚴重問題：一是內存爆炸——要記錄每一步的中間狀態需要天文數字的顯存；二是梯度爆炸——信號在傳遞過程中會越來越大或越來越小，最終變得毫無意義，就像一條電話信號太弱的線路，傳到終點時已經是噪音。

正因為如此，現有的直接梯度方法大多只能在生成過程的最后幾步上做文章，對于決定整體構圖的早期步驟束手無策。這就相當于你只能調整廚師最后的擺盤工序，卻無法干預食材選擇和烹飪火候，效果自然大打折扣。

來自澳大利亞國立大學和字節跳動Seed團隊的研究人員決心正面突破這一瓶頸。他們提出了LeapAlign，一種全新的對齊訓練方法，核心思路是：與其讓梯度跋涉整條漫長的生成路徑，不如在路徑上找兩個關鍵節點，用"跨越式跳躍"把它們直接連接起來，構建一條只有兩步的超級捷徑。沿著這條捷徑，梯度可以輕松到達生成過程的任意位置，包括那些至關重要的早期步驟。

二、流匹配模型：AI繪圖的底層邏輯

在深入了解LeapAlign的設計之前，有必要先理解它所針對的"流匹配模型"究竟是怎么工作的。

流匹配模型的核心思想可以用一個制冰的比喻來理解。假設有一大盆渾濁的熱水（這代表隨機噪聲，數學上叫高斯噪聲），和一塊精雕細琢的透明冰雕（這代表一張高質量的圖片）。流匹配模型學習的是一條從熱水到冰雕的"變化路徑"——它在每一個時間點預測水應該朝哪個方向流動、以什么速度凝固，最終讓混沌的噪聲一步步變成有序的圖像。這個"朝哪個方向流動"就是所謂的"速度場"。

用數學語言說，在時間步t處，中間狀態$x_t$可以表達為干凈圖像$x_0$和純噪聲$x_1$的加權組合：$x_t = \\alpha_t x_0 + \\beta_t x_1$，其中$\\alpha_t$和$\\beta_t$是隨時間變化的權重系數。神經網絡$v_\heta$的任務就是預測這個速度場，訓練目標是讓預測的速度和真實速度盡可能接近。

特別地，當采用"整流流匹配"這一最簡化的版本時，$\\alpha_t = 1-t$，$\\beta_t = t$，速度就等于$x_1 - x_0$，路徑是一條直線。這種簡潔的設計賦予了流匹配模型一個極其有用的性質：從任意時間步k處的狀態$x_k$，可以直接用一步公式估算另一個時間步j處的狀態，即$\\hat{x}_{j|k} = x_k - (k-j) \\cdot v_\heta(x_k, k)$。這個公式就是LeapAlign的基石——它允許模型"跨越"多個時間步，直接從一個位置跳到另一個位置，而不需要逐步前進。

三、LeapAlign的"躍遷捷徑"：如何用兩步走完全程

現在到了核心設計部分。LeapAlign的運作方式就像是在漫長的生產流水線上安裝了一條內部專用快速通道。

每次訓練迭代時，LeapAlign首先完整地運行一次圖像生成過程，從純噪聲開始，經歷全部25步（或更多步），生成一張完整的圖像。這個完整生成過程產生了一系列中間狀態，就像制冰過程中每一分鐘拍下的照片，從熱水到冰雕的每個階段都有記錄。

然后，從這串中間狀態中隨機選取兩個時間點k和j，且k比j更靠近噪聲端（k > j）。這兩個時間點就是捷徑的兩個錨點。

接下來構建"躍遷軌跡"：第一躍，從時間步k處的真實狀態$x_k$出發，用一步跳躍公式直接預測時間步j處的狀態，得到$\\hat{x}_{j|k}$；第二躍，從時間步j處的真實狀態$x_j$出發，再次用一步跳躍公式直接預測最終圖像，得到$\\hat{x}_{0|j}$。這樣，整條訓練用的"躍遷軌跡"就只有兩步，內存消耗固定在一個很小的數值，完全不隨原始生成步數增加而膨脹。

但這里有一個微妙的設計細節，研究團隊稱之為"潛變量連接器"。問題在于，一步跳躍得到的$\\hat{x}_{j|k}$只是對真實$x_j$的近似，兩者之間存在誤差。如果直接拿近似值做第二躍的起點，誤差會累積。研究團隊的解決方案是：讓第二躍從真實的$x_j$出發，但同時保持梯度只沿著近似預測的路徑流動。用技術語言說，就是$x_j = \\hat{x}_{j|k} + \ext{stop\\_gradient}(x_j - \\hat{x}_{j|k})$，其中stop_gradient操作讓那個誤差修正項在反向傳播時"隱形"，不參與梯度計算。同樣的處理也用在最終圖像上：$x_0 = \\hat{x}_{0|j} + \ext{stop\\_gradient}(x_0 - \\hat{x}_{0|j})$。

這個設計的精妙之處在于：正向計算時，我們用真實狀態保證了數值的準確性；反向傳播時，梯度只沿著那條簡潔的兩步捷徑傳遞，既避免了內存爆炸，又讓早期步驟能夠收到來自最終圖像質量的直接信號。

由于k和j是從整個生成軌跡中隨機選取的，有時候捷徑橫跨早期的大跨度時間段，有時候集中在晚期的精細調整階段。這種隨機性確保了模型在訓練過程中，早期步驟和晚期步驟都能得到充分的梯度更新，就像輪換訓練一支球隊的不同球員，而不是只盯著幾個明星球員反復練習。

四、梯度折扣：留住有用信號，去除危險噪聲

構建了躍遷軌跡之后，研究團隊還需要解決另一個數學問題：梯度爆炸。

當梯度沿著這條兩步捷徑傳遞時，它包含三個組成部分。第一個是"單步梯度k"，來自第一躍預測的貢獻；第二個是"單步梯度j"，來自第二躍預測的貢獻；第三個是"嵌套梯度"，這是跨越兩步才會出現的交叉項，它捕獲了兩個時間步之間的相互作用關系。

嵌套梯度的存在是雙刃劍。它包含了跨步驟的有用信息——畢竟早期步驟和晚期步驟并不是完全獨立的，知道它們如何相互影響對訓練很有價值。然而，嵌套梯度的數值可能非常大（它的系數包含了兩個時間差之積j×(k-j)），一旦數值過大就會導致梯度爆炸，讓訓練崩潰。

以前的DRTune方法選擇了一刀切的做法：直接把嵌套梯度完全去掉，從根本上消除爆炸風險。這就像為了防止一鍋湯太辣，直接把辣椒全扔了——安全是安全了，但湯的風味也損失了。

LeapAlign的做法更為精細。研究團隊引入了一個叫做"梯度折扣因子"$\\alpha$（取值在0到1之間）的參數，通過修改第二躍的計算方式，讓嵌套梯度乘以$\\alpha$這個折扣系數：$\\hat{x}_{0|j} = x_j - j \\cdot v_\heta(\\alpha x_j + (1-\\alpha) \ext{stop\\_gradient}(x_j))$。在正向計算時，這個表達式和原來一樣，因為$\\alpha x_j + (1-\\alpha)x_j = x_j$；但在反向傳播時，嵌套梯度會被縮小到$\\alpha$倍。

當$\\alpha = 0$時，嵌套梯度被完全移除，相當于DRTune的策略；當$\\alpha = 1$時，嵌套梯度保持原始大小，風險最高；當$\\alpha$取中間值（實驗中最優為0.3）時，嵌套梯度保留了大部分有用信息，同時數值被壓縮到安全范圍。實驗證明，即使只用嵌套梯度來訓練早期步驟（移除單步梯度k），適當折扣（$\\alpha=0.3$）下的性能也遠超完全去除（$\\alpha=0$）或完全保留（$\\alpha=1$）的情況。

五、讓相似軌跡說更多話：軌跡相似度加權

訓練過程中還存在另一個微妙問題。躍遷軌跡是對真實生成路徑的近似，近似程度有時好有時差。當一步跳躍的預測$\\hat{x}_{j|k}$與真實值$x_j$差異很大時，梯度信號的可靠性就大打折扣——這就好比在一張錯誤的地圖上導航，即使走得認真，也可能越走越偏。

為此，LeapAlign引入了"軌跡相似度加權"機制，讓那些與真實軌跡更接近的躍遷軌跡在訓練中獲得更大的權重，影響更大；而那些誤差較大的躍遷軌跡則相應降權。

具體衡量方式是計算兩個連接點處的預測誤差：$d_j = \ext{mean}|x_j - \\hat{x}_{j|k}|$代表第一躍的誤差，$d_0 = \ext{mean}|x_0 - \\hat{x}_{0|j}|$代表第二躍的誤差。權重因子定義為$w_\ext{sim} = \\frac{1}{\\max(d_j, \au) + \\max(d_0, \au)}$，其中$\au = 0.1$是一個最小值截斷，防止當兩者誤差都極小時權重無限大。最終的訓練損失是加權損失：$\\mathcal{L} = \ext{stop\\_gradient}(w_\ext{sim}) \\cdot \\mathcal{L}_\ext{raw}$，權重本身不參與梯度計算，只是一個調節系數。

實驗驗證了這個設計的有效性：只考慮$d_j$處誤差或只考慮$d_0$處誤差都能帶來提升，同時考慮兩個連接點的誤差效果最好。

六、訓練目標：給滿意的圖像更高獎勵，避免"作弊"

在確定如何傳遞梯度之后，還需要確定訓練的優化目標——模型應該朝著什么方向調整。

LeapAlign采用了一個樸素而有效的"鉸鏈式"損失函數：$\\mathcal{L}_\ext{raw} = \\max(0, \\lambda - r(x_0))$，其中$r(x_0)$是獎勵模型對生成圖像的打分，$\\lambda$是一個閾值參數。這個損失函數的含義很直觀：只有當圖像的獎勵分數低于閾值$\\lambda$時，模型才會受到懲罰，驅動它提升質量；一旦超過閾值，損失歸零，模型不再受到額外驅使。這種設計防止了所謂的"獎勵作弊"——如果模型被要求無限制地提高獎勵分，它可能會學會一些投機取巧的技巧，產生表面上分數很高但實際質量很差的圖像，就像有些學生專門研究考試技巧而不是真正學好知識。

獎勵評估使用的是完整生成的真實圖像$x_0$，而非躍遷預測的近似圖像$\\hat{x}_{0|j}$。這個選擇看似微小，實則重要：近似圖像可能包含各種偽影和模糊，獎勵模型對它的評估不夠可靠；而真實圖像直接反映了完整生成流程的最終質量，給出的評分更準確，提供了更可靠的訓練信號。

七、實驗結果：全面超越競爭對手

研究團隊對Flux（黑森林實驗室開發的頂尖開源流匹配圖像生成模型）進行了大量實驗，涵蓋兩個核心任務：通用偏好對齊和組合對齊（即讓生成圖像精確匹配復雜文字描述中的物體數量、顏色、空間關系等）。

在通用偏好對齊任務中，LeapAlign使用HPSv2.1作為獎勵模型，在HPDv2數據集的50,000條提示詞上訓練300次迭代，然后在400條測試提示詞（每條生成4張，共1600張圖）上評估。評估指標涵蓋了多個獨立的人類偏好評分系統：HPSv2.1、HPSv3、PickScore、ImageReward，以及UnifiedReward-Alignment（圖文一致性）和UnifiedReward-IQ（圖像整體質量）。

與策略梯度方法相比，LeapAlign的表現全面領先。DanceGRPO在HPSv2.1得分約0.345，MixGRPO（使用了三個獎勵模型聯合訓練）達到0.369，而LeapAlign僅用單個獎勵模型就達到了0.409，提升幅度相當顯著。與直接梯度方法相比，ReFL約0.385，DRaFT-LV約0.386，DRTune約0.388，LeapAlign同樣以0.409居首。在HPSv3等域外評估指標上，LeapAlign同樣保持領先，說明它不是單純地"擬合"訓練用的獎勵模型，而是真正提升了圖像質量。

在組合對齊任務中，優勢更為突出。GenEval基準測試包含六類任務：單物體生成、雙物體生成、計數、顏色、空間位置和屬性綁定。原始Flux模型的整體得分為0.654。經過訓練后，MixGRPO達到0.723，DRTune達到0.710，而LeapAlign達到0.742，在"位置"（從19.5%提升到30.25%）、"屬性綁定"（從45.25%提升到66%）、"顏色"（從74.47%提升到80.59%）等難度較高的任務上提升最為明顯。這些任務恰恰是需要模型在生成早期就建立正確的空間布局和語義結構的，LeapAlign能夠更新早期步驟的優勢在此得到了充分體現。

訓練曲線的對比同樣說明問題。在相同的迭代次數內，LeapAlign的獎勵分數上升速度明顯快于DRTune，最終達到的高度也更高，說明它的訓練效率更高。

質性結果方面，對于像"一張有一匹馬和一列火車的照片"或"一張長椅在熊左邊的照片"這樣需要精確空間關系的提示，ReFL和DRaFT-LV生成的圖像布局與原始Flux模型差別不大，因為它們只更新了晚期步驟；而LeapAlign生成的圖像則能顯著調整全局構圖，讓物體的數量、位置、顏色都準確對應文字描述。

在不同獎勵模型和不同數據集上的泛化實驗（使用PickScore在HPDv2上訓練，或用HPSv3在MJHQ-30k上訓練）也證實了LeapAlign的一致優越性。此外，將LeapAlign應用于另一個流匹配模型Stable Diffusion 3.5 Medium同樣取得了最優結果，證明這套方法不是為Flux專門定制的，而是具有通用性的。

八、深入剖析：每個設計選擇的價值

研究團隊對LeapAlign的每個核心設計進行了獨立的消融實驗，驗證其必要性。

關于梯度折扣因子$\\alpha$的選擇，實驗顯示$\\alpha=0$（完全去除嵌套梯度，等同于DRTune策略）得到HPSv2.1分數0.406，$\\alpha=1$（完全保留嵌套梯度，無折扣）得到0.405，而$\\alpha=0.3$得到0.409，是三者中最優的。這證明嵌套梯度有其價值（保留比去除好），但需要控制幅度（折扣比完全保留好）。值得注意的是，即使在$\\alpha=0$的情況下（退化為只有單步梯度，類似DRTune），LeapAlign的0.406仍然高于DRTune的0.388，說明性能提升不只來自嵌套梯度，躍遷軌跡的設計本身也有獨立貢獻。

關于躍遷步數的選擇，研究團隊比較了使用一步、兩步和三步躍遷軌跡的效果。一步版本得分0.403，兩步版本得分0.409，三步版本得分0.408，但內存消耗更高（約是兩步版本的1.05倍）。兩步版本在性能和內存消耗之間達到了最佳平衡點，且一步版本雖然不如兩步版本，但仍然超越了DRTune（0.388）和ReFL（0.385），再次證明LeapAlign的其他設計（真實圖像獎勵評估、軌跡相似度加權）的獨立貢獻。

關于獎勵評估輸入的選擇，直接使用真實的$x_0$得分0.409，使用躍遷預測的$\\hat{x}_{0|j}$加上$d_0$的相似度加權得0.407，直接使用$\\hat{x}_{0|j}$則跌至0.404。真實圖像作為獎勵輸入效果最好，印證了研究團隊關于"近似圖像的獎勵評估可靠性不足"的判斷。

關于訓練時間步范圍的影響，將k和j限制在后半段生成軌跡（范圍[0, 1/2]）的GenEval分數為0.711，而在整個軌跡范圍（[0, 1]，1代表最早的純噪聲步）內隨機選取則達到0.742。這清楚地表明，能夠更新早期生成步驟對于組合對齊任務至關重要，而LeapAlign的隨機選擇策略正好充分利用了這一點。

關于k和j的選擇策略，隨機選擇（0.409）略優于固定k和j之間距離為1/2的策略（0.408），差距雖小但證明隨機性有其合理性，同時隨機選擇實現更簡單，因此作為最終設計。

損失閾值$\\lambda$的選擇也經過了仔細驗證。$\\lambda=0.35$時模型優化不足（HPSv2.1為0.386），$\\lambda=0.55$時表現最佳（0.409），$\\lambda=0.75$時域內分數相近（0.409）但域外ImageReward有所下降（1.484 vs 1.510），$\\lambda=0.95$時性能全面下滑（0.402）。最終選定$\\lambda=0.55$，這個值在優化力度和泛化能力之間取得了最佳平衡。

說到底，LeapAlign的成功不是某一個單一設計的功勞，而是躍遷軌跡構建、梯度折扣、真實圖像獎勵評估和軌跡相似度加權四個模塊協同作用的結果。每個模塊都有其獨立價值，疊加在一起產生了超過各部分之和的整體效果。

歸根結底，這項研究解決的問題可以用一句話概括：之前的AI圖像訓練方法就像只能給廚師調整最后擺盤動作的反饋，而LeapAlign讓反饋信號能夠一路傳回到食材選購階段，從根本上改變了烹飪的方向。這種能力在復雜場景生成（多物體、精確顏色、空間關系）上的價值尤為突出，因為這類任務的關鍵恰恰在于那些"早期決策"。

對于普通用戶來說，這意味著未來基于LeapAlign訓練的圖像生成應用，在處理"左邊有一只棕色的貓，右邊有一輛藍色的自行車，背景是夕陽下的海灘"這類復雜描述時，會有更高的成功率，而不是生成一張大概對味但細節錯誤的圖片。

當然，LeapAlign目前還有其局限：它需要可微分的獎勵模型，那些依靠人工評分或規則判斷的非可微獎勵還無法直接使用。研究團隊也坦言，將LeapAlign擴展到視頻生成領域是下一步的工作方向，因為視頻的生成時間更長、每一幀的早期決策影響更大，LeapAlign的設計思路在那里可能同樣甚至更有價值。

有興趣深入了解技術細節的讀者，可以通過arXiv編號2604.15311獲取完整論文，其中包含了完整的數學推導、算法偽代碼和更多實驗結果。

Q&A

Q1：LeapAlign和之前的DRTune、ReFL這些方法有什么本質區別？

A：LeapAlign最大的區別在于能夠有效更新圖像生成的早期步驟。DRTune雖然也能更新早期步驟，但它通過截斷嵌套梯度來防止爆炸，丟失了跨步驟的交互信息；ReFL和DRaFT-LV則只能更新接近最終圖像的晚期步驟。LeapAlign用兩步躍遷軌跡直接連接任意兩個時間點，配合梯度折扣保留了嵌套梯度的部分價值，同時加入軌跡相似度加權來篩選可靠的訓練信號，四個設計共同作用使得早期步驟的有效更新成為可能。

Q2：LeapAlign訓練出來的Flux模型，在生成復雜場景圖片時提升有多大？

A：以GenEval基準測試為例，原始Flux模型整體得分約0.654。經過LeapAlign訓練后達到0.742，提升幅度明顯。其中提升最顯著的是空間位置（從19.5%到30.25%）和屬性綁定（從45.25%到66%）這兩類任務，也就是說模型更能準確理解"左邊""右邊""紅色的""方形的"這類修飾關系，而不是大致生成一堆物體就算完成任務。

Q3：LeapAlign只能用于特定的獎勵模型嗎？

A：LeapAlign的要求是獎勵模型必須是可微分的，即能夠計算梯度。研究團隊已經用HPSv2.1（基于CLIP的獎勵）、PickScore（同樣基于CLIP）和HPSv3（基于視覺語言模型的獎勵）分別驗證了有效性，三種風格不同的獎勵模型都能配合LeapAlign取得最佳結果。目前無法直接支持的是人工打分、規則判斷這類不可微分的獎勵，對此研究團隊提出了未來通過可微分價值模型作為中間橋梁來擴展的方向。