全面評測圖像編輯模型推理能力：所有模型在程序性推理方面表現(xiàn)差

KRIS-Bench團(tuán)隊 投稿
量子位 | 公眾號 QbitAI

人類在學(xué)習(xí)新知識時，總是遵循從“記憶事實”到“理解概念”再到“掌握技能”的認(rèn)知路徑。

AI是否也建立了“先記住單詞，再理解原理，最后練習(xí)應(yīng)用”的這種知識結(jié)構(gòu)呢？

測評一下就知道了！

東南大學(xué)聯(lián)合馬克斯·普朗克信息研究所、上海交通大學(xué)、階躍星辰、加州大學(xué)伯克利分校與加州大學(xué)默塞德分校的研究團(tuán)隊，共同提出了KRIS-Bench（Knowledge-based Reasoning in Image-editing Systems Benchmark）。

首創(chuàng)地從知識類型的視角，對圖像編輯模型的推理能力進(jìn)行系統(tǒng)化、精細(xì)化的評測。

借鑒布魯姆認(rèn)知分類與教育心理學(xué)中的分層教學(xué)理念，KRIS-Bench讓AI在事實性知識（Factual Knowledge）、概念性知識（Conceptual Knowledge）與程序性知識（Procedural Knowledge）三大層面上，逐步接受更深入、更復(fù)雜的編輯挑戰(zhàn)。

基于認(rèn)知分層的三大知識范疇

• 事實性知識（Factual Knowledge）：如顏色、數(shù)量、空間與時間這些可直接感知的信息；
• 概念性知識（Conceptual Knowledge）：涉及物理、化學(xué)、生物等學(xué)科常識，需要對世界進(jìn)一步的理解；
• 程序性知識（Procedural Knowledge）：多步操作與規(guī)則推理，考察模型的任務(wù)分解與推理能力。

KRIS-Bench在每個類別下又細(xì)化出7大推理維度、22種典型編輯任務(wù)，從“物體計數(shù)變化”到“化學(xué)反應(yīng)預(yù)測”、“多元素合成”等，覆蓋了從初級到高級的全譜系難度。

• 樣本總量：1,267對圖像–指令，全部由專家團(tuán)隊手工打磨、反復(fù)校對；
• 數(shù)據(jù)來源：包含真實照片、開源基準(zhǔn)、模型生成、3D渲染等多樣分布，防止模型投機取巧。

四維度自動化評估指標(biāo)

借助多模態(tài)大模型與人工校準(zhǔn)，KRIS-Bench首創(chuàng)從四個維度對編輯輸出打分：

1. 視覺一致性（Visual Consistency）：非目標(biāo)區(qū)域是否保持原貌；
2. 視覺質(zhì)量（Visual Quality）：生成圖像的自然度與無失真度；
3. 指令跟隨（Instruction Following）：指令要點執(zhí)行的完整性與準(zhǔn)確性；
4. 知識合理性（Knowledge Plausibility）：結(jié)果是否符合真實世界的常識與規(guī)律。

深度知識任務(wù)還附帶手工知識提示，以幫助評判模型是否真正“理解”了背后的原理。

10款模型全面測試

KRIS-Bench評估了3款閉源（GPT-Image-1、Gemini 2.0 Flash、Doubao）和7款開源（OmniGen、Emu2、BAGEL、Step1X-Edit、AnyEdit、MagicBrush、InstructPix2Pix）模型。

• 閉源旗艦GPT-Image-1遙遙領(lǐng)先，開源黑馬BAGEL-Think通過引入推理過程提高了在知識合理性上的性能表現(xiàn)，但離閉源模型仍有一定的距離。
• 即使對于最簡單的事實性知識，許多模型在例如數(shù)量變化，大小改變上的表現(xiàn)依舊差強人意。
• 所有模型在“程序性推理”、“自然科學(xué)”及“多步驟合成”任務(wù)上普遍失分，顯示出深層推理能力的嚴(yán)重不足。

借助KRIS-Bench，團(tuán)隊正推動圖像編輯模型脫離單純的“像素搬運”，向具備人類般認(rèn)知能力的“視覺智者”邁進(jìn)。

未來，團(tuán)隊期待編輯不再是“換換顏色”“挪挪位置”這么簡單，而是在內(nèi)部植入物理、化學(xué)、社會常識與因果推理，真正讓 AI 明白“為什么會這樣”和“接下來會怎樣”。

感興趣的朋友可以戳下方鏈接獲取更多細(xì)節(jié)

項目地址：https://yongliang-wu.github.io/kris_bench_project_page/
論文地址：https://arxiv.org/abs/2505.16707
代碼地址：https://github.com/mercurystraw/Kris_Bench

— 完 —