AI醫(yī)生考試高分，實戰(zhàn)不及格？Nature Medicine論文顯示，AI大模型不能幫助公眾作出更好的醫(yī)療決策

撰文丨王聰

編輯丨王多魚

排版丨水成文

當(dāng)你感覺的身體不適時，是否考慮過向 AI 咨詢醫(yī)療建議？

全世界的全球醫(yī)療保健提供者正在探索使用大語言模型（LLM）為公眾提供醫(yī)療建議。如今，LLM 在醫(yī)學(xué)執(zhí)業(yè)考試中幾乎能取得滿分，然而，考試所考察的是對標(biāo)準(zhǔn)化知識的記憶和理解。LLM 在這方面是“超級優(yōu)等生”，能快速檢索海量信息。但在現(xiàn)實場景中，醫(yī)療決策更像是一門藝術(shù)，需要整合模糊、不完整甚至矛盾的病人信息（癥狀、病史、情緒、社會經(jīng)濟(jì)因素等），并進(jìn)行權(quán)衡。因此，LLM 強(qiáng)大的考試能力，是否能夠轉(zhuǎn)換為在現(xiàn)實醫(yī)療場景中的表現(xiàn)，仍有待觀察。

此外，華山醫(yī)院張文宏醫(yī)生近日在高山書院論壇上明確表示，反對將 AI 系統(tǒng)性地引入醫(yī)院病歷和日常診療流程，其擔(dān)心 AI 可能會削弱年輕醫(yī)生的臨床思維訓(xùn)練與專業(yè)判斷能力。

2026 年 2 月 9 日，牛津大學(xué)的研究人員在國際頂尖醫(yī)學(xué)期刊Nature Medicine上發(fā)表了題為：Reliability of LLMs as medical assistants for the general public: a randomized preregistered study 的研究論文。

該研究進(jìn)行了一項大規(guī)模隨機(jī)對照試驗，以測試大語言模型（LLM）作為公眾醫(yī)療助手的實際效果，結(jié)果出人意料——在各種醫(yī)學(xué)考試中表現(xiàn)優(yōu)異、甚至堪比人類專家的大語言模型，在真實醫(yī)療場景中，或許并不能有效幫助公眾診斷疾病并做出正確的健康決策。這提示了基于大語言模型的 AI 醫(yī)生還需要在未來設(shè)計中更好地支持真實用戶，才能安全用于向公眾提供醫(yī)學(xué)建議。

理想豐滿——LLM醫(yī)學(xué)知識豐富

近來，人工智能（AI）研究取得的突破有可能通過擴(kuò)大醫(yī)療知識的獲取途徑、讓醫(yī)療服務(wù)更貼近患者來實現(xiàn)醫(yī)療保健的普及化。OpenAI 開發(fā)的ChatGPT及谷歌開發(fā)的Med-PaLM 2等大語言模型（LLM），在各類醫(yī)學(xué)考試中表現(xiàn)優(yōu)異，甚至達(dá)到人類醫(yī)學(xué)專家的水平。這些成就讓人們對于 AI 在醫(yī)療領(lǐng)域的應(yīng)用充滿期待，特別是在醫(yī)療資源不發(fā)達(dá)的地區(qū)，AI 醫(yī)生被視為解決醫(yī)療資源分布不均的有效手段。

實際上，調(diào)查結(jié)果也顯示，越來越多的人開始向 AI 聊天機(jī)器人咨詢健康相關(guān)問題。然而，在醫(yī)學(xué)考試中獲得高分，是否意味著這些 AI 就能在真實醫(yī)療場景中發(fā)揮作用？

現(xiàn)實骨感——LLM診斷和決策能力有限

在這項最新研究中，研究團(tuán)隊進(jìn)行了一項開創(chuàng)性試驗，以測試大語言模型（LLM）能夠幫助公眾準(zhǔn)確辨別醫(yī)療病癥（例如普通感冒、貧血或膽結(jié)石）并選擇一種行動方案（例如呼叫救護(hù)車或聯(lián)系全科醫(yī)生）。

研究團(tuán)隊招募了 1298 名受試者，他們每人被指派了 10 種不同的醫(yī)療情景，并讓他們隨機(jī)使用三個 LLM（GPT-4o、Llama 3 或 Command R+）中的一個，或使用他們的常用資源（例如互聯(lián)網(wǎng)搜索引擎）作為對照組。

試驗結(jié)果令人驚訝，在不用人類受試者進(jìn)行測試時，這些 LLM 能夠準(zhǔn)確完成上述情景，識別疾病的準(zhǔn)確率高達(dá) 94.9%，選擇行動方案的正確率為 56.3%。然而，當(dāng)這些人類受試者使用相同的 LLM 時，相關(guān)病癥的識別正確率低于34.5%，選擇行動方案的正確率低于44.2%，這些結(jié)果甚至沒有超過對照組。

也就是說，人類患者在真實醫(yī)療場景中，使用 LLM 用于疾病診斷和醫(yī)療決策時，并沒有比使用傳統(tǒng)的搜索引擎更好。這意味著，LLM 本身的醫(yī)療知識水平并未轉(zhuǎn)化為使用者的實際決策能力。

癥結(jié)所在——人類-LLM交互難題

為什么會出現(xiàn)這種理想與現(xiàn)實之間的巨大鴻溝呢？

研究團(tuán)隊進(jìn)一步人工檢查了其中 30 種情況下的人類-LLM 交互，結(jié)果顯示，癥結(jié)不在于 LLM 的醫(yī)學(xué)知識儲備，而在于人類-LLM 交互難題。

在真實醫(yī)療場景中，人類患者往往無法準(zhǔn)確描述自己的癥狀，也不知道應(yīng)該提供哪些關(guān)鍵信息，這導(dǎo)致人類患者向 LLM 提供的信息不完整或不準(zhǔn)確，而 LLM 可能過于依賴專業(yè)術(shù)語，沒能將醫(yī)學(xué)知識“翻譯”為公眾所能理解的語言，此外，LLM 有時也可能會生成誤導(dǎo)性或錯誤的信息。

以下圖為例，人類用戶向描述了自己與外賣相關(guān)的嚴(yán)重胃痛和嘔吐癥狀，LLM 初步列舉了消化不良和胃食管反流這兩種可能性并建議咨詢醫(yī)生。人類用戶進(jìn)一步詢問就醫(yī)的緊急程度時，LLM 轉(zhuǎn)而回答了區(qū)分緊急醫(yī)療與常規(guī)體檢的一般原則。這暴露了人類用戶在提供信息不完整時，LLM 可能無法替代專業(yè)醫(yī)生的判斷。

因此，LLM 在醫(yī)學(xué)考試中的表現(xiàn)令人印象深刻，但在與人類的真實對話中準(zhǔn)確率明顯下降，其掌握的醫(yī)學(xué)知識的專業(yè)性和公眾理解的通俗性之間存在著巨大鴻溝，標(biāo)準(zhǔn)化的醫(yī)學(xué)考試和模擬患者互動，并不能體現(xiàn) LLM 在真實場景中的表現(xiàn)。

基于這些發(fā)現(xiàn)，研究團(tuán)隊建議，LLM 在醫(yī)療領(lǐng)域大規(guī)模部署之前，應(yīng)進(jìn)行系統(tǒng)的人類用戶測試，以評估其與人類的交互能力。

這項研究也提示我們，AI 醫(yī)療的發(fā)展路徑可能應(yīng)該是“先專業(yè)后普及”，也就是先作為專業(yè)醫(yī)生的輔助工具，待發(fā)展成熟后逐步直接服務(wù)于公眾。

論文鏈接：

https://www.nature.com/articles/s41591-025-04074-y