海外華人團(tuán)隊(duì)打造，統(tǒng)一理解與生成的圖像模型，超越Nano banana

機(jī)器之心編輯部

上周，谷歌推出了 Nano Banana 2，主打一個(gè)又快又便宜，迅速在社交平臺(tái)刷屏。

網(wǎng)友們?cè)?X 上曬出各種效果圖，有像素級(jí)還原的產(chǎn)品渲染、細(xì)節(jié)拉滿的人物寫真、風(fēng)格各異的插畫……

這股熱浪還未消退，海外 AI 初創(chuàng)公司 Luma 也發(fā)布了一款最新圖像生成模型 Uni-1。

這是 Luma 首個(gè)將「理解」與「生成」統(tǒng)一在同一套架構(gòu)里的模型，試圖讓 AI 不只會(huì)畫，還真的會(huì)想。

比如，它生成的極具視覺沖擊力的時(shí)尚雜志大片：

Prompt：Figure seen from behind wearing a flowing white cloak and wide-brimmed black hat standing in a vast field of tall vivid red grass, rolling hill stretching to the horizon, deep saturated blue sky with no clouds, strong color contrast between red field white fabric and blue sky, shot on medium format film, infrared photography aesthetic, high fashion editorial feel, sharp shadows, portrait orientation

生成同一棵櫻花樹的四季景色更迭：

Prompt：The four seasons of a single cherry blossom tree shown simultaneously in one image, divided into four vertical strips left to right: spring with pink blossoms and rain, summer with full green canopy and butterflies, autumn with red and gold leaves falling, winter with bare branches and fresh snow. Same tree, same angle, seamless transitions between seasons.

該模型采用 decoder-only 自回歸 Transformer 架構(gòu)，在 RISEBench 推理式生成基準(zhǔn)上取得最優(yōu)成績(jī)，并在 ODinW-13 開放詞匯密集檢測(cè)等理解任務(wù)上展現(xiàn)出強(qiáng)勁競(jìng)爭(zhēng)力。

這款模型效果咋樣，還得拉出來遛遛。

這款模型成色幾何？

接下來，我們將通過多組任務(wù)，看看 Uni-1 在不同場(chǎng)景下的具體表現(xiàn)。所有對(duì)比均在相同 prompt 條件下與 GPT Image 1.5 和 Google Nano Banana Pro 進(jìn)行。

中文文字渲染：馬年新春賀卡

Prompt：生成一張包含「新春快樂」、「馬年大吉?萬事如意」、「馬年 二〇二六」等中文文字的馬年新春賀卡。

中文文字渲染長(zhǎng)期以來是圖像生成模型的薄弱環(huán)節(jié)，涉及字符級(jí)別的精確控制和排版語義理解。

Uni-1 生成的賀卡在文字完整性、排版合理性和視覺風(fēng)格一致性上均優(yōu)于對(duì)比模型。GPT Image 1.5 出現(xiàn)了文字排列混亂的問題，而 Nano Banana Pro 的文字渲染存在明顯的筆畫瑕疵。

信息圖理解與生成

海報(bào)提取為信息圖

Prompt：將一張「THE BEES NEED YOU」公益海報(bào)提取為可用于生產(chǎn)的信息圖，直接生成完整圖片，不帶任何占位框，清楚描述信息圖中所有可見文字。

該任務(wù)同時(shí)考驗(yàn)?zāi)Ｐ偷囊曈X理解能力（準(zhǔn)確提取海報(bào)中的文字和版式信息）和生成能力（重新組織為清晰的信息圖）。Uni-1 準(zhǔn)確還原了文字內(nèi)容、保持了正確的層級(jí)結(jié)構(gòu)。而 GPT Image 1.5 混淆了文字層級(jí)，部分文字難以辨認(rèn)；Nano Banana Pro 則未能完整呈現(xiàn)信息圖的內(nèi)容。

密集文字信息圖

Prompt：生成一張關(guān)于{水鐘（Clepsydra）與古代計(jì)時(shí)}的密集文字信息圖，包含多個(gè)知識(shí)板塊和精細(xì)插圖。

該任務(wù)要求模型在單張圖像中同時(shí)處理大量文字、圖表和插圖元素。Uni-1 在布局規(guī)劃、文字清晰度和圖文配合方面的表現(xiàn)優(yōu)于其他模型。其生成的信息圖在多個(gè)知識(shí)板塊之間保持了視覺層級(jí)和邏輯連貫性。

平鋪式信息圖

Prompt：生成「種子到植物生命周期」（Seed-to-Plant Life Cycle）的平鋪式信息圖。

Uni-1 準(zhǔn)確呈現(xiàn)了完整的生命周期階段，每個(gè)階段的插圖和標(biāo)注文字清晰可辨。值得注意的是，Uni-1 在處理「Young Plant」到「Mature Plant」的過渡階段時(shí)，正確呈現(xiàn)了植物形態(tài)的漸變關(guān)系，展現(xiàn)了對(duì)生物學(xué)常識(shí)的理解。

參考圖引導(dǎo)生成

多參考圖場(chǎng)景合成（對(duì)比）

Prompt：給定 4 張參考圖（兩只貓的形象、一位真人照片、Luma AI 的 logo），合成一個(gè)會(huì)議討論場(chǎng)景 —— 一只貓?jiān)谡故娟P(guān)于 Luma AI 的幻燈片，另一只貓?jiān)谂月牐瑫r(shí)融入真人照片和品牌 logo。

這一任務(wù)要求模型同時(shí)理解多張參考圖的語義身份，并將它們合理地組織在一個(gè)新場(chǎng)景中。Uni-1 準(zhǔn)確保留了每個(gè)參考對(duì)象的身份特征，并實(shí)現(xiàn)了合理的場(chǎng)景構(gòu)圖。相比之下，GPT Image 1.5 將參考圖的原始圖片直接嵌入了幻燈片區(qū)域，缺乏語義層面的融合；Nano Banana Pro 則未能有效利用全部參考信息。

5 張參考圖場(chǎng)景合成

Prompt：將 5 張參考圖 ——3 只動(dòng)物、一個(gè) logo 和學(xué)術(shù)畢業(yè)禮帽 —— 融合為一個(gè)連貫場(chǎng)景。

Uni-1 在處理 5 個(gè)不同參考源時(shí)，準(zhǔn)確保留了每只動(dòng)物各自的身份特征（毛色花紋、品種、頭部輪廓），同時(shí)將學(xué)術(shù)氛圍元素和品牌 logo 有機(jī)地融入了同一畫面，展現(xiàn)了對(duì)多源參考信息的精確控制能力。

漫畫角色參考（對(duì)比）

Prompt：融合角色設(shè)計(jì)圖和配色方案生成一個(gè)漫畫角色，同時(shí)將品牌 logo 自然地融入角色身上。

Uni-1 準(zhǔn)確地將配色方案應(yīng)用于二維漫畫角色，保持了角色設(shè)計(jì)和 logo 的完整性。GPT Image 1.5 則未能區(qū)分 2D 和 3D 風(fēng)格，生成了偏寫實(shí)的 3D 人偶；Nano Banana Pro 未能準(zhǔn)確識(shí)別角色設(shè)計(jì)圖的意圖。

草稿 + 材質(zhì)→產(chǎn)品渲染

Prompt：將外套設(shè)計(jì)草稿與面料材質(zhì)參考結(jié)合，生成寫實(shí)的產(chǎn)品概念圖。

Uni-1 準(zhǔn)確地將面料的紋理質(zhì)感 —— 燈芯絨的條紋、高級(jí)面料的光澤和垂墜感 —— 映射到了草稿的輪廓上，生成了具有商業(yè)可用度的產(chǎn)品渲染圖。這類任務(wù)在時(shí)裝設(shè)計(jì)和工業(yè)設(shè)計(jì)領(lǐng)域具有直接的應(yīng)用價(jià)值。

草稿引導(dǎo)編輯與轉(zhuǎn)化

草稿引導(dǎo)的照片編輯

Prompt：將手繪草稿疊加轉(zhuǎn)化為寫實(shí)編輯 —— 在一張貓的照片旁，以草稿為參考添加一只彩色蝴蝶。

Uni-1 將草稿的疊加轉(zhuǎn)化為寫實(shí)的照片編輯，保持了原始照片的細(xì)節(jié)完整性：貓的身份信息（毛色花紋、耳部形態(tài)）、環(huán)境（光線和背景）均未受影響，新增的蝴蝶自然融入了場(chǎng)景。

草稿轉(zhuǎn)漫畫

Prompt：將一張粗略草稿（貓站在書架上的多格漫畫分鏡）轉(zhuǎn)化為精細(xì)漫畫插圖。

Uni-1 將草稿的分鏡結(jié)構(gòu)、人物動(dòng)態(tài)和對(duì)話氣泡位置完整地轉(zhuǎn)化為專業(yè)漫畫畫面。所有細(xì)部信息均被保留并精細(xì)化：貓耳朵的弧度、卷煙缸的位置、書架上的書本排列，以及手機(jī)屏幕上顯示的「911」文字，體現(xiàn)了模型對(duì)草稿語義的深層理解。

風(fēng)格遷移與角色一致性

發(fā)型遷移至名畫

Prompt：將一位現(xiàn)代女性的棕金色層次發(fā)型遷移至蒙娜麗莎的畫像上，同時(shí)保留文藝復(fù)興油畫的藝術(shù)風(fēng)格。

該任務(wù)要求模型精確區(qū)分「需要遷移的元素」（發(fā)型的形態(tài)和色彩）和「需要保留的元素」（達(dá)?芬奇的暈涂法畫風(fēng)、背景、衣著、面部神態(tài)）。Uni-1 在兩個(gè)維度上均表現(xiàn)出良好的控制力，生成結(jié)果在風(fēng)格一致性和遷移準(zhǔn)確性之間取得了平衡。

角色姿態(tài)遷移

Prompt：將真實(shí)人物的姿態(tài)遷移到虛構(gòu)角色上，同時(shí)保留角色身份和環(huán)境設(shè)定。

參考圖中一名男子在電梯間的半蹲姿勢(shì)被遷移至一個(gè)穿宇航服的擬人化老鼠角色上，場(chǎng)景被重構(gòu)為工業(yè)風(fēng)格背景。Uni-1 在保持角色完整身份的同時(shí) —— 鱗片狀外衣、宇航服細(xì)節(jié)、耳機(jī)和口袋設(shè)計(jì) —— 準(zhǔn)確還原了參考姿態(tài)的關(guān)節(jié)角度和重心分布，體現(xiàn)了對(duì)人體動(dòng)力學(xué)和角色設(shè)計(jì)語義的雙重理解。

故事板生成：鋼琴前的一生

Prompt：生成 6 幀故事板，展示同一角色從童年到老年在鋼琴前的一生。

6 幀畫面中角色的身份特征保持一致 —— 面部結(jié)構(gòu)、膚色在不同年齡階段平滑演變，同時(shí)鋼琴、透視和畫面風(fēng)格保持穩(wěn)定。從第 1 幀的小男孩到第 6 幀的大家庭合照，全程維持了敘事連貫性和時(shí)間邏輯。這種跨幀的長(zhǎng)程角色一致性和時(shí)間推理能力，是當(dāng)前圖像模型面臨的核心挑戰(zhàn)之一。

多輪交互編輯

多輪編輯

Prompt：對(duì)一張?zhí)┑闲苷掌M(jìn)行連續(xù)三輪編輯 —— 第 1 輪「去掉面前這只熊」，第 2 輪 「背景上加一個(gè)黑色布簾」，第 3 輪「讓它變成黑白照片的風(fēng)格」。

多輪編輯是檢驗(yàn)統(tǒng)一模型優(yōu)勢(shì)的典型場(chǎng)景。每一輪編輯都需要模型在執(zhí)行新指令的同時(shí)，保持此前所有編輯結(jié)果的一致性和空間布局的穩(wěn)定性。Uni-1 在三輪編輯中均精準(zhǔn)執(zhí)行了指令，且主體身份和空間關(guān)系在各輪之間保持了連貫。這正是統(tǒng)一架構(gòu)的優(yōu)勢(shì)所在 —— 理解和生成在同一個(gè)模型內(nèi)完成，不需要在不同模塊間傳遞和對(duì)齊信息。

專業(yè)視覺任務(wù)

UV 貼圖生成（對(duì)比）

Prompt：給定一人從不同角度拍攝的三張照片（正面、左側(cè)、右側(cè)），生成一張標(biāo)準(zhǔn)面部拓?fù)?/ SMPL 體和布局的展開 UV 貼圖。

UV 貼圖生成是 3D 建模工作流中的關(guān)鍵環(huán)節(jié)。Uni-1 生成的 UV 貼圖在面部特征對(duì)齊、左右對(duì)稱性和膚色一致性方面均優(yōu)于對(duì)比模型。GPT Image 1.5 遭遇了正臉和側(cè)面貼圖的不一致問題，而 Nano Banana Pro 則未能生成符合標(biāo)準(zhǔn) UV 布局規(guī)范的結(jié)果。

技術(shù)路線：從「分治」到「統(tǒng)一」

在當(dāng)前的視覺 AI 領(lǐng)域，圖像理解（如視覺問答、物體檢測(cè)、圖像分割）和圖像生成（如文生圖、圖像編輯、風(fēng)格遷移）長(zhǎng)期以來是兩條獨(dú)立的技術(shù)路線，各自使用不同的模型架構(gòu)和訓(xùn)練范式。

這種「分治」策略雖然在各自領(lǐng)域取得了顯著進(jìn)展，但也帶來了明顯的局限：理解模型缺乏視覺想象力，生成模型缺乏深層語義理解，而需要兩者協(xié)同的復(fù)雜任務(wù)（如多輪引導(dǎo)編輯、基于推理的圖像合成）則往往需要拼接多個(gè)模型的復(fù)雜 pipeline。

Uni-1 的核心設(shè)計(jì)思路是將這兩種能力統(tǒng)一在單一模型中，即在一個(gè)具備推理能力的模型基礎(chǔ)上，同時(shí)賦予它視覺生成的能力

具體而言，Uni-1 采用decoder-only 自回歸 Transformer 架構(gòu)，將文本 token 和圖像 token 表示在同一個(gè)交錯(cuò)序列（interleaved sequence）中。在這一框架下，文本和圖像既可以作為輸入條件，也可以作為生成輸出，實(shí)現(xiàn)了對(duì)時(shí)間、空間和邏輯的聯(lián)合建模。

這種架構(gòu)選擇帶來了一個(gè)值得注意的發(fā)現(xiàn)：生成訓(xùn)練能夠顯著提升模型的細(xì)粒度理解能力

換言之，當(dāng)模型通過生成任務(wù)學(xué)會(huì)了「如何畫出」一個(gè)場(chǎng)景后，它對(duì)場(chǎng)景的理解 —— 包括物體關(guān)系、空間布局、語義層次 —— 也隨之增強(qiáng)。這與認(rèn)知科學(xué)中關(guān)于「生成式心智模型」的假說不謀而合。

Uni-1 的一個(gè)關(guān)鍵技術(shù)特征是推理式生成（reasoning-informed generation）。在接收到復(fù)雜的圖像合成指令后，模型并非直接進(jìn)入像素生成階段，而是首先進(jìn)行結(jié)構(gòu)化的內(nèi)部推理：分解指令語義、規(guī)劃畫面構(gòu)圖、確定元素間的邏輯關(guān)系，然后再執(zhí)行渲染。

在評(píng)估這一能力的 RISEBench 基準(zhǔn)測(cè)試中，Uni-1 取得了當(dāng)前最優(yōu)成績(jī)。RISEBench 覆蓋四個(gè)推理維度：時(shí)間推理、因果推理、空間推理和邏輯推理，是目前評(píng)估生成模型推理能力最全面的基準(zhǔn)之一。

理解能力方面，在 ODinW-13 開放詞匯密集檢測(cè)基準(zhǔn)上取得有競(jìng)爭(zhēng)力的成績(jī)。該基準(zhǔn)傳統(tǒng)上由專門的理解模型主導(dǎo)，Uni-1 作為統(tǒng)一模型在此基準(zhǔn)上的表現(xiàn)，驗(yàn)證了「生成訓(xùn)練提升理解能力」這一技術(shù)假說的有效性。

起底背后團(tuán)隊(duì)

Uni-1 的核心研究團(tuán)隊(duì)不到 15 人，由兩位華人學(xué)者領(lǐng)銜。

公司首席科學(xué)家宋佳銘，本科畢業(yè)于清華大學(xué)，博士就讀于斯坦福大學(xué)，師從 Stefano Ermon。

他最廣為人知的工作是發(fā)明了 DDIM—— 一種大幅加速擴(kuò)散模型采樣速度的算法，如今已被 Stable Diffusion、DALL?E 等主流圖像生成系統(tǒng)廣泛采用。

他在 ICLR 2022 上憑借這項(xiàng)工作拿到了 Outstanding Paper Award，引用量超過萬次。

隨后在 NVIDIA Research 工作了一段時(shí)間，再加入 Luma，先后主導(dǎo)了視頻生成模型 Dream Machine 和文生 3D 模型 Genie 的訓(xùn)練工作，Uni-1 是他帶隊(duì)推進(jìn)的最新成果。

另一位核心研究負(fù)責(zé)人 William Shen（沈博魁） 同樣是斯坦福計(jì)算機(jī)科學(xué)博士，師從 Silvio Savarese 和 Leonidas Guibas，本科也在斯坦福完成，畢業(yè)時(shí)獲得系里榮譽(yù)和全校杰出畢業(yè)生稱號(hào)。

他的研究橫跨計(jì)算機(jī)視覺、機(jī)器人、圖形學(xué)和生成模型，曾獲 CVPR Best Paper Award 和 RSS Best Student Paper Award 提名。

此外，沈博魁還曾作為 CEO 與聯(lián)合創(chuàng)始人創(chuàng)建 Apparate Labs，并主導(dǎo)推出一款讓魯迅說繞口令、赫本玩嘻哈的低延遲基礎(chǔ)模型 Proteus，而后被Luma AI收購。

這兩個(gè)人的履歷，放在任何一家頂級(jí)實(shí)驗(yàn)室里都不會(huì)顯得突兀。但他們選擇了一家初創(chuàng)公司，選擇了在資源有限的條件下做一件他們認(rèn)為正確的事。

結(jié)語

AI 領(lǐng)域從來不缺大力出奇跡的故事。

谷歌、OpenAI、Meta，每一家都在用巨量資源堆砌模型的上限，這是小公司難以復(fù)制的路徑。

然而 Luma 有另一套打法。在正確的方向上，用更聰明的架構(gòu)設(shè)計(jì)，做出超越規(guī)模優(yōu)勢(shì)的結(jié)果。

當(dāng)然，一張基準(zhǔn)測(cè)試榜單只是起點(diǎn)。Uni-1 目前還在向合作伙伴定向開放，距離大規(guī)模商業(yè)化還有距離。谷歌和 OpenAI 的迭代速度也從未放慢，Nano Banana 2 之后，下一個(gè)版本或許已經(jīng)在路上了。

Uni-1 也只是 Luma 邁向統(tǒng)一多模態(tài)智能的第一步，后續(xù)統(tǒng)一框架將從靜態(tài)圖像擴(kuò)展到視頻、語音和交互式世界模擬等模態(tài)，最終構(gòu)建能夠在一個(gè)連續(xù)流中完成「看、說、推理、想象」的多模態(tài)系統(tǒng)。

在這個(gè)從來不缺大玩家的賽場(chǎng)上，Uni-1 證明了以小博大的可能性，小規(guī)模精英團(tuán)隊(duì)在前沿 AI 研究中仍具有競(jìng)爭(zhēng)力。