多模態Deep Research，終于有了「可核驗」的評測標準

Deep Research Agent 火了，但評測還停在「看起來很強 」。

寫得像論文，不等于真的做了研究。

尤其當證據來自圖表、截圖、論文圖、示意圖時：模型到底是「看懂了」，還是 「編得像懂了」？

俄亥俄州立大學與 Amazon Science 聯合牽頭，聯合多家高校與機構研究者發布MMDeepResearch-Bench（MMDR-Bench），試圖把多模態 Deep Research 的評估從「讀起來不錯」，拉回到一個更硬的標準：過程可核驗、證據可追溯、斷言可對齊。

MMDR-Bench 與評測框架相關資源已公開：

• 論文標題：MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents
• 論文主頁：https://mmdeepresearch-bench.github.io/
• 論文鏈接: https://arxiv.org/abs/2601.12346
• github 鏈接：https://github.com/AIoT-MLSys-Lab/MMDeepResearch-Bench
• Huggingface 鏈接：https://huggingface.co/papers/2601.12346

當 Deep Research Agent 變得越來越常見，一個更現實的問題擺到了臺面上：我們到底該怎么評價它的價值？很多時候，你很難用「答案對不對」去判一份研究型報告 —— 因為問題本身可能沒有唯一標準答案。

真正決定可信度的，是過程紀律：有沒有檢索到可靠證據？關鍵斷言有沒有被引用支撐？引用是否真的對應這句話？以及最容易被忽略的一點：當證據來自圖像時，它有沒有「看對并用對」。

現有評測往往缺一塊關鍵拼圖：要么偏短問答（圖表問答、文檔問答），要么偏純文本深研（長文 + 網頁引用），很難覆蓋端到端的「多模態深度研究」鏈路：既要寫研究式長報告，又要把圖像證據與文本斷言逐句對齊，并且能審計、能追責。

01 為什么需要 MMDR-Bench：Deep Research 的「幻覺」不止發生在文本

在真實研究場景里，圖像證據常常是不可替代的：曲線走勢、軸標簽與單位、表格關鍵單元格、截圖里的開關狀態、論文圖中的對比結果……

這些信息一旦讀錯，就會把后續檢索與合成帶偏，最后變成一份「寫得很像、引用很多，但根上錯了」的報告。

問題在于，傳統「引用評測」往往只看有沒有 URL，卻不追問 Claim–URL 是否真的支撐；傳統「多模態評測」多是短問答，又覆蓋不了 agent 的長鏈路檢索與報告合成。MMDR-Bench 想做的，是把這兩件事接起來：讓多模態 deep research 的輸出能被逐句核驗。

02 MMDR-Bench 是什么：140 個專家任務，覆蓋 19 個領域

MMDR-Bench 包含 140 個由領域專家打磨的任務，覆蓋 19 個領域。每個任務都提供「圖像 — 文本 bundle」：你不僅要檢索網頁、匯總證據，還必須解釋并使用給定圖像中的關鍵事實來支撐報告結論。

作者將任務劃分為兩種使用情境：

• Daily：偏日常使用場景，輸入多為截圖、界面、噪聲較高的圖片，考察系統在不完整信息下的穩健理解與可核驗寫作。
• Research：偏研究分析場景，輸入多為圖表、表格、示意圖等信息密集視覺證據，強調細粒度讀圖與跨來源綜合。

03 怎么評：不押「唯一答案」，押「證據鏈 + 過程對齊」

為了解決「開放式問題沒有標準答案」的評測困境，MMDR-Bench 把評估拆成 3 段管線、12 個可定位指標，重點不在「結論是不是唯一正確」，而在「證據鏈是否站得住」。

（1）FLAE：可解釋的長文質量評估（可審計）

長報告的要求隨任務而變。FLAE 用可復現的文本特征公式（結構、可讀性、覆蓋度等）疊加任務自適應評審信號，避免「一把尺子量所有報告」，同時保證評分可回放、可解釋。

（2）TRACE：Claim–URL 支撐核驗，讓引用不再是裝飾

TRACE 將報告拆成原子斷言，并對齊到引用 URL，檢查是否支持、是否矛盾、是否過度推斷，給出一致性、覆蓋率與證據忠實度等指標。

更關鍵的是，它加入 Visual Evidence Fidelity（Vef.）作為硬約束：報告必須嚴格遵守題目給出的圖文prompt，不得在分析題目時通過幻覺作答；一旦出現實體誤識別、圖中不存在卻編造、數字、標簽、映射關系讀錯，會被嚴格懲罰。

（3）MOSAIC：把「用到圖像的句子」逐條對齊回圖像本身

很多錯誤并不體現在 URL 上，而體現在「引用圖像的句子」與圖像內容不一致。MOSAIC 專門抽取這些多模態條目，按圖表、照片、示意圖等類型走不同核驗規則，定位「看錯圖、用錯圖、引用圖但沒真正 grounded」的失敗。

科研從來沒有銀彈。Deep Research 也是 —— 尤其當信息不完整、證據不確定時。與其賭一次性的「正確結果」，不如把尺子釘在過程：每一步檢索、取證、引用與推理，都能被回放、被核對、被追責。

04 觀察到的現象：強寫作 ≠ 強證據；會看圖 ≠ 會引用

在多個代表性系統 / 模型的實驗中，可以看到非常清晰的分化：

• 有的模型寫作與結構很強，但 Claim–URL 對齊松散，容易出現「引用很多、支撐很弱」；
• 有的模型能讀圖抓到信息，但長鏈路合成中發生實體漂移，把證據綁到錯誤對象上；
• 有的系統檢索覆蓋率高，卻在圖像細節（小數字、軸標簽、單位、映射關系）上翻車，導致視覺忠實度顯著掉分。

也正因如此，能力并不會隨著版本號線性上揚：有些模型讀起來更「像一個會寫的研究者」，但在證據對齊與多模態忠實度上仍會失分 —— 榜單上甚至不需要細看，一眼就能讀出來。deep research 的關鍵瓶頸，正在從「能寫」轉向「能被查」。

05 更現實的意義：給 agent 對齊一個可訓練的信號

Deep Research 的下一階段，不是誰寫得更像論文，而是誰的過程經得起核驗。

MMDR-Bench 做的，就是把「經得起核驗」這件事定成硬標準：每條關鍵斷言都要能被證據接住，每個引用都要能被追溯到支撐點，每次用圖都要能對齊到可觀察事實。

這會直接改變系統迭代方式 —— 你不再憑感覺調 prompt，也不再被「看起來很強」的報告迷惑，而是用可定位的失敗模式去驅動模型與工具鏈升級。

當評測開始追責過程，deep research 才真正進入可工程化的時代。