174名北大學生對決AI，誰考得更好？

近日，北京大學化學與分子工程學院聯合北大計算中心、計算機學院、元培學院團隊，發布了最新成果SUPERChem：他們以一套“北大試卷”為標尺，冷靜丈量著AI在科學推理上的真實邊界。

考試現場

一場特殊的期中考

在北京大學化學與分子工程學院，有機化學考試的期中考前，學生們收到突如其來的一條通知：“請注意，本次考試范圍不僅限于有機化學。”

除了考試范圍的變化，考場里還迎來的一批“特殊考生”：GPT、Gemini、DeepSeek……這些當下世界上最聰明的AI，會在云端與174位北大化學與分子工程學院的大二學生同場競技。

這是一場精心設計的“圖靈測試”，也是北大科研團隊為大語言模型投下的一塊“試金石”。

晶體結構的精細解析、反應機理的深度推演、物化性質的定量計算……打開SUPERChem的題庫，這500道題目并非來自網絡上隨手可得的公開題庫，而是源于對高難度試題和前沿專業文獻的深度改編。

之所以要費盡周折重新出題，是“因為大模型太會‘背書’了。”團隊成員解釋道。互聯網可及的測試題大多已被博聞強識的AI在訓練階段熟讀，但化學是一門不能只靠死記硬背的學科，既有嚴密的邏輯推演，又充滿了對微觀世界的空間想象。“我們非常好奇，大語言模型的一維 next token prediction，能否解決二維、甚至三維空間中的復雜推理問題。”

要設計一套讓AI“沒見過”、必須靠硬實力推理的題目，難度極高。為此，北大化院近百名師生——其中不乏奧林匹克金牌得主——集結起來，決定給AI出一套高門檻、重推理、防作弊的試卷。

他們要考的，是AI是否真的“懂”化學。

SUPERChem總覽與例題

北大學生對決AI

誰考得更好？

在這場精心設計的考試中，人類展現出了復雜的科學直覺。

作為基線，參與測試的北大化院本科生取得了40.3%的平均準確率。這個數字本身，就足以說明這套題目的硬核程度。

而AI的表現如何？

即便是接受測試的頂尖模型，其成績也僅與低年級本科生的平均水平相當。

前沿模型在SUPERChem上的表現

前沿模型的正確率與RPF關系

讓團隊感到意外的是視覺信息帶來的困惑。化學的語言是圖形，分子結構、反應機理圖蘊含著關鍵信息。然而對于部分模型而言，當引入圖像信息時，其準確率不升反降。這說明，當前的AI在將視覺信息轉化為化學語義時，仍存在明顯的感知瓶頸。

輸入模態對不同模型的影響

然而，即使選對了答案，解題步驟也可能經不起推敲。因此，團隊為每一道題目都標注了詳細的評分規則。在SUPERChem這臺“顯微鏡”下，AI是真懂還是裝懂，一目了然。

團隊發現，AI的推理鏈條往往斷裂于產物結構預測、反應機理識別以及構效關系分析等高階任務。當前的頂尖模型雖然擁有海量的知識儲備，但在處理需要嚴密邏輯和深刻理解的硬核化學問題時，仍顯得力不從心。

推理斷點所屬化學能力分布

讓AI與人類對決

意義何在？

SUPERChem的誕生，填補了化學領域多模態深度推理評測的空白。

據介紹，團隊發布這項成果，并非為了證明AI的短板，而是為了推動它走得更遠。SUPERChem就像一個路標。它提醒我們：從通用的聊天機器人，到能夠理解構效關系、推演反應機理的專業科學助手，中間還有很長的一段路要走。那是從“記住知識”到“理解物理世界”的跨越。

目前，SUPERChem項目已全面開源。團隊希望這套源自北大的“試卷”，能成為全球科學與人工智能領域的公共財富，去催化下一次技術的爆發。

來源 ： 央視網綜合北京大學

新媒體編輯：常暢

如需交流可聯系我們