KAIST突破：AI繪畫實(shí)現(xiàn)提示詞迭代優(yōu)化

這項(xiàng)由韓國(guó)科學(xué)技術(shù)院（KAIST）金秀彬團(tuán)隊(duì)領(lǐng)導(dǎo)，聯(lián)合浦項(xiàng)工科大學(xué)、Adobe公司和Meta公司共同完成的突破性研究，于2024年12月發(fā)表在計(jì)算機(jī)視覺頂級(jí)會(huì)議上。有興趣深入了解的讀者可以通過論文編號(hào)arXiv:2512.03534v1查詢完整論文。

當(dāng)我們用AI生成圖片或視頻時(shí)，經(jīng)常遇到這樣的困擾：明明給了很詳細(xì)的提示詞，但AI生成的內(nèi)容總是缺胳膊少腿，或者完全理解錯(cuò)了我們的意思。比如你讓它畫"一只沒有鞋帶的鞋子獨(dú)自站立"，結(jié)果AI畫出來的鞋子還是有鞋帶。傳統(tǒng)的解決方法就是不斷地重新生成，希望能撞大運(yùn)得到滿意的結(jié)果。但這就像閉著眼睛射箭一樣，既浪費(fèi)時(shí)間又效率低下。

KAIST的研究團(tuán)隊(duì)提出了一個(gè)全新的思路，他們開發(fā)了一個(gè)叫做PRIS（Prompt Redesign for Inference-time Scaling，推理時(shí)提示詞重新設(shè)計(jì)）的系統(tǒng)。這個(gè)系統(tǒng)就像一個(gè)會(huì)反思的藝術(shù)家，當(dāng)它發(fā)現(xiàn)自己畫錯(cuò)了什么，不會(huì)盲目地繼續(xù)畫下去，而是停下來分析問題出在哪里，然后調(diào)整畫筆和顏料（也就是提示詞），再重新創(chuàng)作。

研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)精密的"質(zhì)檢員"——元素級(jí)事實(shí)糾正驗(yàn)證器（EFC）。這個(gè)驗(yàn)證器能夠像專業(yè)的美術(shù)評(píng)委一樣，仔細(xì)檢查生成的圖片或視頻是否真正符合要求。它不會(huì)簡(jiǎn)單地給出"好"或"不好"的評(píng)價(jià)，而是會(huì)具體指出哪些部分畫對(duì)了，哪些部分畫錯(cuò)了。

在大量實(shí)驗(yàn)中，這套系統(tǒng)在文本到圖像生成任務(wù)上提升了7%的效果，在文本到視頻生成任務(wù)上更是達(dá)到了驚人的15%提升。這就好比原本十次生成只能成功六次，現(xiàn)在能成功七到八次，大大提高了AI創(chuàng)作的成功率和用戶體驗(yàn)。

一、傳統(tǒng)AI創(chuàng)作的盲點(diǎn)：為什么總是畫不對(duì)

在傳統(tǒng)的AI圖像和視頻生成過程中，就像讓一個(gè)從未見過世面的學(xué)徒按照食譜做菜一樣。你給了他一份詳細(xì)的食譜（提示詞），比如"做一道沒有胡蘿卜的燉菜"，但這個(gè)學(xué)徒理解能力有限，經(jīng)常會(huì)按照自己的習(xí)慣和經(jīng)驗(yàn)來操作，結(jié)果端上來的菜里還是有胡蘿卜。

當(dāng)我們發(fā)現(xiàn)結(jié)果不對(duì)時(shí)，傳統(tǒng)的做法就是讓這個(gè)學(xué)徒重新做一遍，但問題是我們給的還是同樣的食譜，學(xué)徒的理解方式也沒有改變，所以很可能還是會(huì)犯同樣的錯(cuò)誤。這就是為什么即使我們反復(fù)生成很多次，AI還是會(huì)在同樣的地方出錯(cuò)。

更要命的是，隨著生成次數(shù)的增加，效果提升會(huì)越來越小，就像撞大運(yùn)一樣，前幾次可能還能碰到一兩個(gè)稍微好一點(diǎn)的結(jié)果，但后面就完全是浪費(fèi)算力了。研究團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)方法在生成更多樣本時(shí)，質(zhì)量會(huì)快速達(dá)到一個(gè)瓶頸，再怎么增加數(shù)量也無法突破。

問題的根源在于，傳統(tǒng)方法把所有注意力都放在了"多做幾次"上，卻忽略了最關(guān)鍵的一點(diǎn)：食譜（提示詞）本身可能需要調(diào)整。就像如果你想讓學(xué)徒不放胡蘿卜，與其反復(fù)強(qiáng)調(diào)"不要放胡蘿卜"，不如直接說"用土豆、洋蔥和牛肉，確保沒有任何橙色的蔬菜"。

二、會(huì)反思的AI助手：PRIS系統(tǒng)的工作原理

PRIS系統(tǒng)的工作方式就像一個(gè)經(jīng)驗(yàn)豐富的藝術(shù)導(dǎo)師。當(dāng)學(xué)生（AI生成器）交上來一堆作品后，這個(gè)導(dǎo)師不會(huì)簡(jiǎn)單地說"重畫"，而是會(huì)仔細(xì)分析這些作品，找出學(xué)生經(jīng)常犯的錯(cuò)誤模式，然后調(diào)整教學(xué)方法和指導(dǎo)語(yǔ)言。

具體來說，PRIS的工作分為四個(gè)步驟，就像一個(gè)完整的教學(xué)循環(huán)。首先，它會(huì)讓AI按照原始提示詞生成一批作品，比如生成20張圖片。然后，質(zhì)檢員（EFC驗(yàn)證器）會(huì)像專業(yè)評(píng)委一樣，仔細(xì)檢查每張圖片，標(biāo)記出哪些部分符合要求，哪些部分有問題。

接著，PRIS會(huì)從這些作品中挑選出最好的幾張，通常是表現(xiàn)最優(yōu)秀的四分之一。這就像老師從學(xué)生作業(yè)中選出相對(duì)較好的幾份來分析。關(guān)鍵的是，PRIS不只是看這些作品哪里做得好，更重要的是找出即使在最好的作品中也反復(fù)出現(xiàn)的錯(cuò)誤。

比如說，如果你要求AI畫"一只沒有鞋帶的鞋子"，結(jié)果發(fā)現(xiàn)即使在最好的幾張圖里，鞋子上仍然有鞋帶，那么PRIS就會(huì)意識(shí)到這是一個(gè)系統(tǒng)性的理解問題。于是它會(huì)重新設(shè)計(jì)提示詞，可能改成"一只光滑表面的無系帶運(yùn)動(dòng)鞋，完全沒有任何系帶或綁帶裝置"這樣更明確的描述。

最后，PRIS會(huì)用這個(gè)改進(jìn)的提示詞，結(jié)合之前表現(xiàn)較好的圖片的"種子"（可以理解為創(chuàng)作的起點(diǎn)），重新生成一批圖片。這樣既保留了前面成功的元素，又針對(duì)性地改進(jìn)了問題所在。

三、精準(zhǔn)的質(zhì)檢員：EFC驗(yàn)證器如何工作

EFC驗(yàn)證器就像一個(gè)極其細(xì)致的質(zhì)量檢查員，它不會(huì)簡(jiǎn)單地給出"合格"或"不合格"的判斷，而是會(huì)逐一檢查每個(gè)細(xì)節(jié)是否符合要求。

傳統(tǒng)的驗(yàn)證方法就像問一個(gè)人："這張圖片畫得好嗎？"然后得到一個(gè)簡(jiǎn)單的"好"或"不好"的答案。但這種方式有很多問題，就像你問別人"這道菜做得怎么樣"，得到"還行"這樣的回答，你根本不知道是鹽放多了，還是火候不夠，或者是配菜有問題。

EFC的做法完全不同。它首先會(huì)把復(fù)雜的要求分解成一個(gè)個(gè)具體的檢查項(xiàng)目。比如對(duì)于"一只沒有鞋帶的鞋子獨(dú)自站立"這個(gè)要求，它會(huì)分解成：第一，畫面中有一只鞋子；第二，這只鞋子沒有鞋帶；第三，鞋子是獨(dú)自站立的，沒有配對(duì)出現(xiàn)。

然后，EFC會(huì)為每個(gè)檢查項(xiàng)目制定具體的驗(yàn)證方法。它不會(huì)直接問AI"這只鞋子有鞋帶嗎？"因?yàn)锳I可能會(huì)受到提示的影響而給出不準(zhǔn)確的答案。相反，EFC會(huì)先讓AI描述圖片內(nèi)容，然后分析這個(gè)描述是否與要求相符。

這就像讓一個(gè)人在不知道正確答案的情況下，客觀地描述他看到的內(nèi)容，然后再與標(biāo)準(zhǔn)答案對(duì)比，這樣能避免"投其所好"的偏見。如果描述中提到了"鞋帶"或"系帶"，那顯然就不符合"沒有鞋帶"的要求。

對(duì)于那些描述不夠清楚的項(xiàng)目，EFC還會(huì)進(jìn)行第二輪檢查。它會(huì)提出開放性的問題，比如"這只鞋子是通過什么方式固定在腳上的？"然后根據(jù)回答來判斷是否符合要求。

四、實(shí)戰(zhàn)效果：數(shù)字說話的改進(jìn)程度

研究團(tuán)隊(duì)在多個(gè)標(biāo)準(zhǔn)測(cè)試平臺(tái)上驗(yàn)證了PRIS系統(tǒng)的效果，結(jié)果讓人印象深刻。在文本到圖像生成任務(wù)中，PRIS在GenAI-Bench測(cè)試平臺(tái)上的表現(xiàn)比傳統(tǒng)方法提升了7%。這個(gè)數(shù)字看起來不大，但在AI領(lǐng)域，這已經(jīng)是相當(dāng)顯著的改進(jìn)了，就像馬拉松選手的成績(jī)提升幾個(gè)百分點(diǎn)就可能意味著從第十名躍升到前三名。

更令人驚訝的是在文本到視頻生成任務(wù)上的表現(xiàn)。在VBench2.0這個(gè)更具挑戰(zhàn)性的測(cè)試平臺(tái)上，PRIS實(shí)現(xiàn)了15%的提升。要知道，視頻生成比圖片生成復(fù)雜得多，因?yàn)樗粌H要考慮每一幀的內(nèi)容是否正確，還要確保時(shí)間序列上的邏輯關(guān)系合理。

舉個(gè)具體的例子，當(dāng)要求AI生成"一個(gè)人正在打開桌燈"的視頻時(shí)，傳統(tǒng)方法經(jīng)常會(huì)出現(xiàn)這樣的問題：要么燈從一開始就是亮的，要么人的動(dòng)作和燈的亮起沒有對(duì)應(yīng)關(guān)系，要么整個(gè)過程缺乏合理的時(shí)間順序。

但使用PRIS后，系統(tǒng)能夠識(shí)別出這些常見問題，然后將提示詞改進(jìn)為更具體的描述："一個(gè)年輕人輕輕地將手放在桌燈底座上，扭動(dòng)開關(guān)，溫暖的燈光逐漸照亮空間，從黑暗到光明的過渡突出了燈泡點(diǎn)亮的平靜效果"。這樣的描述能夠引導(dǎo)AI更準(zhǔn)確地理解和生成符合要求的視頻內(nèi)容。

在控制能力和創(chuàng)造性兩個(gè)重要維度上，PRIS分別實(shí)現(xiàn)了13.88%和15.19%的提升。控制能力指的是AI能否準(zhǔn)確按照用戶要求生成內(nèi)容，而創(chuàng)造性則關(guān)注生成內(nèi)容的豐富性和想象力。這表明PRIS不僅能讓AI更好地理解用戶意圖，還能激發(fā)它的創(chuàng)作潛力。

特別值得注意的是，PRIS在處理復(fù)雜的時(shí)間序列和因果關(guān)系方面表現(xiàn)突出。比如在"動(dòng)態(tài)屬性理解"和"動(dòng)作順序理解"這兩個(gè)最具挑戰(zhàn)性的任務(wù)上，PRIS的表現(xiàn)遠(yuǎn)超傳統(tǒng)方法。這些任務(wù)要求AI不僅要理解"什么"，還要理解"何時(shí)"和"為什么"，就像理解一個(gè)完整故事的情節(jié)發(fā)展一樣。

五、技術(shù)創(chuàng)新：突破傳統(tǒng)思維局限

PRIS系統(tǒng)最大的創(chuàng)新在于打破了傳統(tǒng)AI生成中的固化思維。過去，研究者們總是專注于如何讓AI生成更多樣本，如何優(yōu)化生成算法，如何調(diào)整模型參數(shù)，但很少有人想到要在生成過程中動(dòng)態(tài)調(diào)整輸入的提示詞。

這就像傳統(tǒng)的思路是不斷更換更好的畫筆和顏料，或者讓畫家畫更多幅作品，但從來沒想過要改進(jìn)畫家的理解方式和作畫指導(dǎo)。PRIS的方法相當(dāng)于在作畫過程中持續(xù)提供更精準(zhǔn)的指導(dǎo)，讓畫家能夠逐步糾正理解偏差。

另一個(gè)重要?jiǎng)?chuàng)新是EFC驗(yàn)證器的設(shè)計(jì)。傳統(tǒng)的驗(yàn)證方法通常依賴于簡(jiǎn)單的問答形式，比如直接問AI"這張圖片是否符合要求？"但這種方法容易產(chǎn)生確認(rèn)偏差，AI可能會(huì)傾向于給出積極的回答。

EFC采用的文本對(duì)比方法就像讓兩個(gè)獨(dú)立的專家分別描述同一件事，然后比較他們的描述是否一致。一個(gè)專家（AI生成器）負(fù)責(zé)生成圖片，另一個(gè)專家（AI描述器）負(fù)責(zé)客觀描述圖片內(nèi)容，然后通過比較描述內(nèi)容與原始要求的一致性來判斷生成質(zhì)量。這種方法大大減少了偏見，提高了評(píng)判的準(zhǔn)確性。

研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣現(xiàn)象：經(jīng)過PRIS改進(jìn)的提示詞不僅在原始的AI模型上效果更好，在其他不同的AI模型上也表現(xiàn)出色。這說明PRIS找到的改進(jìn)方向具有普遍性，就像找到了一種更通用的"說話方式"，讓不同的AI都能更好地理解人類的意圖。

這種跨模型的效果還暗示了一個(gè)重要的應(yīng)用前景：可以開發(fā)專門的提示詞優(yōu)化工具，幫助普通用戶更好地與各種AI系統(tǒng)交流。就像有了更好的翻譯工具，不同語(yǔ)言背景的人可以更順暢地溝通一樣。

六、實(shí)際應(yīng)用：改變創(chuàng)作者的工作方式

PRIS系統(tǒng)的出現(xiàn)可能會(huì)根本性地改變數(shù)字內(nèi)容創(chuàng)作者的工作流程。對(duì)于設(shè)計(jì)師、視頻制作者、藝術(shù)家等專業(yè)人士來說，這意味著他們可以花更少的時(shí)間在重復(fù)試驗(yàn)上，把更多精力投入到創(chuàng)意構(gòu)思和細(xì)節(jié)完善上。

以往，一個(gè)設(shè)計(jì)師可能需要嘗試幾十個(gè)不同的提示詞，生成上百?gòu)垐D片，才能得到一個(gè)基本滿意的結(jié)果。現(xiàn)在，通過PRIS系統(tǒng)的智能反饋和提示詞優(yōu)化，可能只需要幾輪迭代就能達(dá)到期望效果。這就像從手工制作改為使用智能工具，大大提高了生產(chǎn)效率。

對(duì)于普通用戶來說，PRIS降低了使用AI生成工具的門檻。很多人之前覺得AI生成工具"不聽話"，總是理解錯(cuò)意思，現(xiàn)在有了智能的"翻譯員"，普通人也能更容易地表達(dá)自己的創(chuàng)意想法。

在教育領(lǐng)域，PRIS也顯示出巨大潛力。教師可以使用這個(gè)系統(tǒng)來生成更準(zhǔn)確的教學(xué)素材，學(xué)生也可以通過與AI的互動(dòng)學(xué)習(xí)如何更準(zhǔn)確地表達(dá)想法。這種反饋循環(huán)本身就是一種有價(jià)值的學(xué)習(xí)過程。

商業(yè)應(yīng)用方面，廣告公司、游戲開發(fā)商、影視制作公司都可能從中受益。他們可以更快速、更經(jīng)濟(jì)地制作原型和概念圖，加速創(chuàng)意的迭代和驗(yàn)證過程。這對(duì)于需要大量視覺素材的行業(yè)來說，是一個(gè)顯著的成本節(jié)約。

七、技術(shù)挑戰(zhàn)與未來發(fā)展

雖然PRIS系統(tǒng)表現(xiàn)出色，但研究團(tuán)隊(duì)也誠(chéng)實(shí)地指出了當(dāng)前的一些局限性。最主要的挑戰(zhàn)是計(jì)算成本。每次驗(yàn)證和提示詞優(yōu)化都需要額外的計(jì)算資源，目前EFC驗(yàn)證器的運(yùn)行時(shí)間大約相當(dāng)于生成三張額外圖片的時(shí)間。

不過，這個(gè)問題并非無解。研究團(tuán)隊(duì)表示，他們使用的是通用的大型語(yǔ)言模型，沒有針對(duì)特定任務(wù)進(jìn)行優(yōu)化。如果專門為提示詞優(yōu)化任務(wù)訓(xùn)練模型，計(jì)算效率可以顯著提升。就像專業(yè)工具總是比通用工具更高效一樣。

另一個(gè)挑戰(zhàn)是如何處理更加復(fù)雜和抽象的創(chuàng)作需求。目前PRIS在處理具體、可驗(yàn)證的要求方面表現(xiàn)很好，但對(duì)于涉及情感、氛圍、風(fēng)格等主觀因素的要求，仍然需要進(jìn)一步改進(jìn)。這就像教AI理解"畫一幅讓人感到溫暖的圖"這樣的抽象要求。

研究團(tuán)隊(duì)正在探索將PRIS的思路擴(kuò)展到其他類型的AI應(yīng)用中。比如在自然語(yǔ)言生成、音樂創(chuàng)作、甚至代碼編寫等領(lǐng)域，都可能借鑒這種"生成-反饋-優(yōu)化"的循環(huán)模式。

未來的發(fā)展方向還包括開發(fā)更智能的用戶界面，讓普通用戶能夠直觀地看到提示詞優(yōu)化的過程，理解為什么某些表達(dá)方式更有效。這樣不僅能改善AI的表現(xiàn)，還能幫助用戶學(xué)會(huì)更好地與AI交流。

說到底，PRIS系統(tǒng)展示了一個(gè)重要的理念：人工智能不應(yīng)該是一個(gè)黑箱式的工具，而應(yīng)該是一個(gè)能夠?qū)W習(xí)和改進(jìn)的伙伴。通過不斷的反饋和調(diào)整，AI可以越來越好地理解和滿足人類的需求。這種協(xié)作式的人機(jī)交互模式，可能是未來AI發(fā)展的重要方向。

這項(xiàng)研究的意義不僅在于技術(shù)層面的改進(jìn)，更在于它提供了一種新的思考方式：當(dāng)我們遇到AI不能理解我們的時(shí)候，與其責(zé)怪AI不夠智能，不如思考如何改進(jìn)我們與AI的交流方式。畢竟，好的溝通從來都是雙向的努力。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以查閱KAIST團(tuán)隊(duì)發(fā)表的完整論文，論文編號(hào)為arXiv:2512.03534v1。

Q&A

Q1：PRIS系統(tǒng)跟傳統(tǒng)的AI圖片生成有什么區(qū)別？

A：傳統(tǒng)方法就像一直用同樣的食譜讓廚師重復(fù)做菜，即使做出來不合口味也不改食譜。PRIS系統(tǒng)則像一個(gè)會(huì)學(xué)習(xí)的廚師，當(dāng)發(fā)現(xiàn)菜品有問題時(shí)，會(huì)分析原因并調(diào)整食譜，然后重新制作，所以能越做越好。

Q2：普通人能用到PRIS技術(shù)嗎？

A：目前PRIS還是研究階段的技術(shù)，但它的理念很可能會(huì)被集成到未來的AI創(chuàng)作工具中。到時(shí)候普通用戶使用AI生成圖片或視頻時(shí)，就能享受到這種智能優(yōu)化帶來的更好體驗(yàn)，不需要反復(fù)調(diào)試提示詞了。

Q3：PRIS系統(tǒng)生成一張圖片需要多長(zhǎng)時(shí)間？

A：目前生成一張圖片大約需要13秒，而驗(yàn)證和優(yōu)化過程需要額外41秒，相當(dāng)于再生成3張圖片的時(shí)間。不過研究團(tuán)隊(duì)表示，通過專門優(yōu)化可以大幅縮短這個(gè)時(shí)間，而且考慮到效果的顯著提升，這個(gè)時(shí)間投入是值得的。