AI會議論文被生成式AI幻覺污染

GPTZero作為一款AI輸出檢測工具，再次發現科學家們因依賴不可靠的AI助手而損害了自己的可信度。

這家位于紐約的公司在神經信息處理系統會議(NeurIPS)接受的51篇論文中識別出了100個幻覺內容。此前，該公司還在國際學習表征會議(ICLR)的審查論文中發現了50個虛假引用。

GPTZero的高級機器學習工程師Nazar Shmatko、機器學習負責人Alex Adam和學術寫作編輯Paul Esau在博客文章中指出，生成式AI工具的普及引發了"AI垃圾內容的海嘯"。

他們觀察到："在2020年到2025年間，NeurIPS的投稿量從9467篇增長到21575篇，增幅超過220%。為了應對這種情況，組織者不得不招募更多審稿人，導致了監督、專業匹配、疏忽甚至欺詐等問題。"

這些幻覺內容主要包括生成式AI模型虛構的作者和資源，以及所謂的AI生成文本。

法律界也面臨類似問題。已有超過800個錯誤的法律引用被標記為AI模型生成，通常對涉及的律師、法官或原告造成后果。

學者們可能不會面臨與法律專業人士相同的不當行為制裁，但草率應用AI的后果不僅僅是誠信喪失。

AI論文提交量激增的同時，學術論文中實質性錯誤的數量也在增加——如錯誤公式、計算錯誤、圖表錯誤等，而不僅僅是引用不存在的資源材料。

Together AI、NEC美國實驗室、羅格斯大學和斯坦福大學的研究人員在2025年12月發表的預印本論文中，專門研究了三個主要機器學習組織的AI論文：ICLR(2018-2025)、NeurIPS(2021-2025)和TMLR(機器學習研究期刊)(2022-2025)。

研究者發現："已發表的論文包含相當數量的客觀錯誤，每篇論文的平均錯誤數量隨時間增加——從2021年NeurIPS的3.8個增加到2025年的5.9個(增長55.3%)；從2018年ICLR的4.1個增加到2025年的5.2個；從2022/23年TMLR的5.0個增加到2025年的5.5個。"

雖然相關性不等于因果關系，但當NeurIPS論文的錯誤率在OpenAI的ChatGPT推出后增長了55.3%時，生成式AI工具的快速采用不容忽視。對科學家來說，不加檢查地使用AI的風險不僅僅是聲譽受損，還可能使他們的工作失效。

GPTZero認為其幻覺檢查軟件應該成為出版商AI檢測工具的一部分。這可能有助于確定引用是否指向真實研究，但也存在聲稱能使AI創作更難被檢測的對策。例如，一個名為Humanizer的Claude代碼技能聲稱它"移除文本中AI生成寫作的痕跡，使其聽起來更自然、更人性化"。還有許多其他反取證選項。

國際科學、技術和醫學出版商協會(STM)最近的報告試圖解決學術界面臨的誠信挑戰。報告顯示，2024年學術交流達到570萬篇文章，比五年前的390萬篇有所增加。報告認為，出版實踐和政策需要適應AI輔助和AI制造研究的現實。

"學術出版商絕對意識到了這個問題，正在采取措施保護自己，"撤稿觀察網站的聯合創始人Adam Marcus在給The Register的郵件中說道，該網站記錄了許多與AI相關的撤稿。"但這些措施是否會成功還有待觀察。我們正處于AI軍備競賽中，防守方能否抵御圍攻尚不清楚。然而，同樣重要的是要認識到，出版商通過采用優先考慮數量而非質量的商業模式，使自己容易受到這些攻擊。他們遠非無辜受害者。"

Q&A

Q1：GPTZero在學術論文中發現了什么問題？

A：GPTZero在神經信息處理系統會議(NeurIPS)接受的51篇論文中識別出了100個AI幻覺內容，主要包括生成式AI模型虛構的作者和資源，以及所謂的AI生成文本。此前還在國際學習表征會議(ICLR)的審查論文中發現了50個虛假引用。

Q2：學術論文中的錯誤率有什么變化趨勢？

A：研究顯示學術論文中的錯誤數量在增加。NeurIPS論文的平均錯誤數從2021年的3.8個增加到2025年的5.9個，增長了55.3%。這種增長趨勢與ChatGPT等生成式AI工具的普及時間相吻合。

Q3：如何解決學術論文中的AI幻覺問題？

A：GPTZero建議將其幻覺檢查軟件作為出版商AI檢測工具的一部分。同時，學術出版商正在采取措施保護自己，但效果還有待觀察。報告認為出版實踐和政策需要適應AI輔助研究的現實。