![]()
機器之心報道
編輯:杜偉、Panda
這屆 ICLR 的煩心事還沒有結(jié)束。
最近一段時間,對于 ICLR 2026 來說,真可謂是一波未平、一波又起。先是第三方機構(gòu)對審稿意見的系統(tǒng)性統(tǒng)計發(fā)現(xiàn),其中有 21% 完全由 AI 生成;后有 OpenReview 評審大開盒,波及到了 ICLR 2026 超過 10000 篇投稿。
今天,ICLR 2026 的審稿又被揭開一塊遮羞布。事情是這樣的:AI 生成內(nèi)容檢測平臺 GPTZero 掃描了 300 篇投稿論文,發(fā)現(xiàn)其中有 50 篇在論文引用上至少包含一處明顯的幻覺內(nèi)容。
![]()
甚至有些幻覺引用還非常離譜,達到了匪夷所思的程度,就好像投稿者完全不檢查一樣。比如下面 GPTZero CTO 和聯(lián)創(chuàng) Alex Cui 在 X 分享的這個例子,投稿者給出的引用鏈接竟然是默認(rèn)示例鏈接 example.com !
![]()
而在下面的例子中,作者名單就只是一串大寫字母。
![]()
更令人擔(dān)憂的是,這些存在幻覺內(nèi)容的投稿已經(jīng)經(jīng)過了 3-5 名領(lǐng)域?qū)<业耐性u審,但他們中的絕大多數(shù)都未能識別出這些虛假的引用。
這意味著,如果這些投稿沒有其他外部干預(yù),就可能會被 ICLR 會議接收。部分投稿的平均分甚至達到了 8/10,這幾乎可以確保它們被錄用。
在實操過程中,GPTZero列出了每篇論文中由檢測工具標(biāo)記、并由人工核實的具體幻覺示例。如下兩篇論文,第一篇(TamperTok)的一篇引用論文確實存在,但所有作者都錯了;第二篇(MixtureVitae)的一篇引用論文的前 3 位作者信息正確,而后七位作者不在論文中甚至是虛構(gòu)出來的。
![]()
甚至還有「不存在的論文引用」。
![]()
50 篇存在幻覺內(nèi)容的投稿完整如下:
![]()
存在幻覺的地方還包括:
- 作者和會議信息與引用論文相符,但標(biāo)題略有不同,年份也有誤;
- arXiv ID 是真實的,但引用論文的作者和標(biāo)題都不同;
- 引用論文存在,但是作者和頁碼都是錯誤的;
- 能找到與 URL 對應(yīng)的引用論文,但作者不匹配。
GPTZero 表示,根據(jù) ICLR 的編輯政策,即使只有一處明確的幻覺內(nèi)容,也構(gòu)成倫理違規(guī),可能導(dǎo)致論文被拒稿。「我們目前只掃描了 2 萬篇投稿中的 300 篇,我們預(yù)計在未來幾天內(nèi)將發(fā)現(xiàn)數(shù)百篇包含幻覺內(nèi)容的論文。」
科學(xué)期刊與學(xué)術(shù)會議已在 AI 重壓下不堪重負(fù)
GPTZero 表示:「學(xué)期刊和學(xué)術(shù)會議正被生成式 AI、論文工廠(paper mills)和發(fā)表壓力引發(fā)的投稿狂潮壓垮。」
據(jù)統(tǒng)計,2016 年至 2024 年間,每年發(fā)表的科學(xué)文章數(shù)量激增了 48%,與此同時,撤稿和其他學(xué)術(shù)丑聞也層出不窮。許多科學(xué)會議和期刊都在苦于尋找合格的同行評審員,而評審員們則因日益增加的時間需求而感到「不堪重負(fù)」。
像 ICLR 這樣的學(xué)術(shù)會議也面臨著巨大的壓力。ICLR 是全球最重要的人工智能研究人員年度盛會之一,然而最近許多會議投稿和同行評審都顯示出 AI 撰寫的跡象。這些跡象從行文冗長、濫用列舉項,到偽造數(shù)據(jù)和「幻覺」,不一而足。
「幻覺檢測」發(fā)現(xiàn)了什么?
GPTZero 表示,自今年 1 月推出「幻覺檢測」(Hallucination Check)工具以來,他們已經(jīng)測試了小羅伯特?肯尼迪(RFK Jr.)的「MAHA」報告、一份丑聞纏身的澳大利亞德勤(Deloitte Australia)報告以及數(shù)百份其他文件。
本周,他們用它掃描了提交給 OpenReview 的 300 篇 ICLR 論文樣本集。
自動檢測后,他們的工具標(biāo)記了 90 篇論文,這些論文中至少包含一條在網(wǎng)上似乎不存在的引用。
經(jīng)過人工核實,他們確定其中 50 篇論文至少包含一處真實的幻覺。
定義「幻覺」
鑒于問題的嚴(yán)重性 —— 畢竟這對研究人員和編輯都利害攸關(guān),幻覺檢測工具在設(shè)計上必須優(yōu)先考慮準(zhǔn)確性,提供每個來源評估的透明度,并采取審慎的態(tài)度。
GPTZero 在博客中介紹說:「它使用我們內(nèi)部訓(xùn)練的 AI 智能體來標(biāo)記文檔中任何無法在網(wǎng)上找到的引用。這些被標(biāo)記的引用并不自動等同于幻覺,因為許多檔案文件或未發(fā)表的作品無法與在線來源匹配,但它們指出了哪些來源需要進一步的人工審查。」
與 ICLR 一樣,GPTZero 提議由人工來判斷一條有缺陷的引用究竟是 AI 生成的,還是傳統(tǒng)錯誤的產(chǎn)物。
雖然界限可能很模糊,但他們將「幻覺」定義為:使用生成式 AI 產(chǎn)生的引用,這些引用似乎是對一個或多個真實來源的標(biāo)題、作者和/或元數(shù)據(jù)進行了改寫或拼湊。
如果一條有缺陷的引用只是單純在網(wǎng)上找不到(且看起來合理,比如這個引用 Elara Voss, letter to author, October 12, 2024.),或者標(biāo)題和作者明顯與真實來源匹配(即使引用的其余部分極不準(zhǔn)確),都不認(rèn)為它是幻覺。
下表展示了基于以上方法論,真實引用、有缺陷的引用和幻覺引用之間的區(qū)別。(注:原文中差異部分以紅色高亮顯示,此處以文字內(nèi)容呈現(xiàn))。
![]()
類似于 GPTZero 的 AI 檢測器,幻覺檢測工具的假陰性率(漏報率)極低 —— 成功發(fā)現(xiàn)有缺陷引用的概率可達 99%。
并且由于此工具會標(biāo)記任何無法在線驗證的引用,因此假陽性率(誤報率)會相對較高。
同行評審的未來
同行評審是學(xué)術(shù)出版的重要組成部分,但目前的體系讓評審員和編輯們有些難以招架。
GPTZero 的幻覺檢測為同行評審流程提供了兩個關(guān)鍵益處。
- 將幻覺檢測與 GPTZero 的 AI 檢測器結(jié)合使用,允許用戶同時檢查 AI 生成的文本和可疑引用,甚至利用其中一個結(jié)果來驗證另一個。
- 通過識別有缺陷的引用供人工審查,幻覺檢測大大減少了驗證文檔來源所需的時間和人力。
GPTZero 表示:「我們希望,在 50 篇 ICLR 投稿中識別出這 50 個幻覺,能向那些面對投稿狂潮的人們展示幻覺檢測的價值。我們的目標(biāo)是讓同行評審過程對每個人都更快、更公平、更透明。」
結(jié)語
如果在 AI 領(lǐng)域的頂級殿堂里,連基本的真實性都需要依靠另一款 AI 工具來艱難維系,這無疑是一種巨大的諷刺。
ICLR 的遭遇并非孤例,它是當(dāng)下學(xué)術(shù)界大煉模型與發(fā)表壓力雙重擠壓下的必然產(chǎn)物。
當(dāng)生成一篇看似專業(yè)的論文只需要幾秒鐘,而驗證它的真?zhèn)螀s需要耗費數(shù)小時,這種不對稱的對抗正在擊穿同行評審的防線。那些高達 8 分的幻覺論文,就像是潛伏在學(xué)術(shù)共同體中的特洛伊木馬,嘲笑著現(xiàn)有的評價體系。
GPTZero 的檢測結(jié)果是一個警告,也是一個契機。它提醒我們,在擁抱 AI 帶來的效率紅利時,必須建立起與之匹配的數(shù)字安檢機制。否則,未來的學(xué)術(shù)會議可能不再是思想碰撞的火花,而變成了一場 AI 生成內(nèi)容(AIGC)的自我狂歡。
我們期待 ICLR 能挺過這次水逆,但更期待整個學(xué)術(shù)界能以此為鑒:不要讓劣幣驅(qū)逐良幣,更不要讓幻覺成為常態(tài)。
https://gptzero.me/news/iclr-2026/
https://x.com/yaroslavvb/status/1997748956210868641
https://x.com/slashML/status/1997719788160954547
https://x.com/alexcdot/status/1997152905980268750
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.