FACTS 基準測試套件問世，用于評估大型語言模型的事實準確性

作者 | Robert Krzaczyński

譯者 | 平川

FACTS 基準測試套件發布，這是一個旨在系統性評估大型語言模型事實準確性的全新行業基準。該套件由 FACTS 團隊與 Kaggle 聯合開發，擴展了早期事實基礎研究相關的工作，并引入了一個更廣泛的多維度框架，用于衡量語言模型在不同使用場景下產生事實正確響應的可靠性。

FACTS 基準測試套件基于原先的 FACTS Grounding Benchmark，并增加了三個新基準：參數化（Parametric）、搜索（Search）和多模態（Multimodal）。結合更新后的 Grounding Benchmark v2，該套件可以從反映現實世界常見模型使用場景的四個維度評估事實性。該基準測試總共包括 3513 個精選示例，分為公共和私有評估集兩部分。Kaggle 負責管理保留的私有數據集，評估參賽模型，并通過公開排行榜發布結果?？傮w性能以 FACTS 評分的形式呈現。該分值是通過所有基準測試以及兩部分數據集的平均準確率計算得出的。

參數化基準測試側重于模型僅憑內部知識（無需外部工具）回答基于事實的問題的能力。問題形式類似于常見的知識問答題，通?？赏ㄟ^維基百科等來源找到答案。搜索基準測試評估模型能否通過標準的 Web 搜索工具準確地檢索并整合信息，通常需要多步檢索才能完成單個查詢。多模態基準測試在回答圖像相關的問題時檢驗事實準確性，需要結合背景知識進行正確的視覺解讀。更新后的 Grounding Benchmark v2 評估響應是否基于提供的上下文信息進行了合理推演。

初步結果既凸顯了進展，也揭示了接下來要面對的挑戰。在評估的模型中，Gemini 3 Pro 以 68.8% 的總體 FACTS 評分位居首位，其參數化事實性與搜索事實性較前代模型均有顯著提升。然而，評估的所有模型總體準確率均未突破 70%，多模態事實性成為各模型普遍面臨的難題。

圖片來源：谷歌 DeepMind 博客

基準測試的結構引起了從業者的關注。資深 iOS 工程師 Alexey Marinin 在評論此次發布時 指出：

這種四維視角（知識、Web、基礎、多模態）感覺更接近人們日常實際使用這些模型的方式。

FACTS 團隊表示，該基準旨在支持正在進行的研究，而不是作為模型質量的最終衡量標準。通過公開數據集并規范評估標準，該項目旨在為衡量語言模型的事實可靠性提供一個共同的基準，以適應其持續演進的發展需求。

https://www.infoq.com/news/2026/01/facts-benchmark-suite/

聲明：本文為 InfoQ 翻譯，未經許可禁止轉載。