![]()
你敢信嗎?一個完全憑空捏造、從頭到尾寫滿破綻的假疾病,不僅騙過了微軟Copilot、谷歌Gemini這些主流AI大模型,甚至混進(jìn)了正經(jīng)醫(yī)學(xué)期刊,通過了同行評審正式發(fā)表,直到Nature記者介入調(diào)查,才被緊急撤稿。
這件看似荒誕的鬧劇,將AI時代醫(yī)療領(lǐng)域最致命的安全漏洞與信任危機(jī),赤裸裸地展示在了我們的面前。
一個憑空捏造的假病
撕開了AI時代
醫(yī)療安全的致命漏洞
這場實驗的發(fā)起者,是瑞典醫(yī)學(xué)研究者Almira Osmanovic Thunstr?m。2024年,她在預(yù)印本平臺上傳了兩篇論文,煞有介事地描述了一種名為Bixonimania的眼周疾病,稱其是眶周黑色素沉著癥的新興亞型,由長期屏幕藍(lán)光暴露引發(fā),患病率約為每9萬人1例。
但事實上,這種病從頭到尾都不存在,整篇論文更是塞滿了一眼就能識破的破綻:第一作者的名字、頭像全由AI生成,供職的大學(xué)與地址純屬虛構(gòu);致謝部分玩梗式感謝了《星際迷航》企業(yè)號上的教授,以及“護(hù)戒遠(yuǎn)征大學(xué)”的科研資助;受試者一欄明明白白寫著“50名編造的受試者”,甚至正文里直接用英文標(biāo)注了“這整篇論文是編造的”。
Almira的初衷,只是想驗證AI會不會把未經(jīng)審核的預(yù)印本內(nèi)容,當(dāng)成真實的醫(yī)學(xué)事實輸出。而結(jié)果,遠(yuǎn)比她預(yù)想的更離譜。
論文上傳僅幾周,各大主流AI就紛紛“上鉤”:微軟Copilot明確告知用戶,這是一種真實存在的罕見病癥;谷歌Gemini直接建議出現(xiàn)相關(guān)癥狀的用戶及時就診眼科;Perplexity更是原封不動地照搬了論文里“每9萬人1例”的患病率數(shù)據(jù)。
![]()
圖源:preprints.org
更諷刺的是,不僅AI上當(dāng),連人類的學(xué)術(shù)審核體系也一起失守。印度一所醫(yī)學(xué)院的研究團(tuán)隊,在醫(yī)學(xué)期刊Cureus發(fā)表的綜述中,直接引用了這篇假論文,將Bixonimania稱為眶周黑色素沉著癥的新興亞型,而這篇綜述,居然順利通過了同行評審正式刊發(fā)。直到2026年3月Nature記者就此事聯(lián)系期刊,這篇文章才被緊急撤稿,撤稿聲明中甚至還標(biāo)注了“作者方不同意這一決定”。
這件事的可怕之處,從來不是AI會產(chǎn)生幻覺,而是兩個存在已久的學(xué)術(shù)漏洞,在AI時代被無限放大了:一是預(yù)印本平臺沒有同行評審門檻,任何內(nèi)容都可以隨意上傳傳播;二是傳統(tǒng)同行評審環(huán)節(jié),普遍不會核查引用文獻(xiàn)的原始內(nèi)容。
過去,一個醫(yī)生的診斷失誤,只是影響有限的個案,可追溯、可隔離;但在AI時代,虛假的醫(yī)學(xué)信息一旦被大模型學(xué)習(xí)吸收,就會在所有調(diào)用這套系統(tǒng)的場景里同步復(fù)現(xiàn)。錯誤不再是單個醫(yī)生的個案,而是系統(tǒng)性、全場景擴(kuò)散的規(guī)模化風(fēng)險,最終承受傷害的,永遠(yuǎn)是普通患者。
![]()
圖源:Cureus
比起三甲主任的資歷,
患者居然更信AI的診療結(jié)果
假病鬧劇的背后,還有一個更值得警惕的現(xiàn)實:患者對醫(yī)療AI的信任,已經(jīng)發(fā)生了根本性的轉(zhuǎn)向。兩項發(fā)表在JAMA Network Open上的重磅研究,徹底戳破了傳統(tǒng)醫(yī)療行業(yè)延續(xù)了幾十年的信任邏輯。
第一項研究共調(diào)查了1455名患者,評估他們對門診就診消息回復(fù)的接受度。結(jié)果顯示,在整體滿意度超75%的前提下,受訪者對AI撰寫的回復(fù)偏好度更高,原因很簡單,AI起草的內(nèi)容篇幅更長、細(xì)節(jié)更豐富,在患者眼中,反而傳遞出了更強(qiáng)的同理心。
但一個關(guān)鍵的反轉(zhuǎn)也隨之出現(xiàn):一旦明確告知患者消息由純AI撰寫,他們的滿意度立刻大幅下降;只有告知內(nèi)容是“醫(yī)生在自動化工具輔助下撰寫”時,滿意度才達(dá)到峰值。這足以說明,患者從來不是排斥AI技術(shù)本身,而是拒絕被AI取代,他們需要的,是醫(yī)生始終在場的確定性與安全感。
![]()
圖源:JAMA Network Open
另一項規(guī)模更大的研究,進(jìn)一步摸清了患者選擇的核心邏輯。研究在全國范圍內(nèi)調(diào)查了3000名成年人,通過36000條模擬就診數(shù)據(jù),最終得出的優(yōu)先級排序打破了所有人的固有認(rèn)知:AI診療性能>醫(yī)生在場監(jiān)督>FDA/梅奧診所認(rèn)證>本地醫(yī)院認(rèn)證。
數(shù)據(jù)給出了最直觀的答案:當(dāng)AI性能“優(yōu)于專科醫(yī)生”時,患者選擇該方案的概率提升32.5%;“有醫(yī)生在場監(jiān)督”帶來的選擇概率提升為18.4%;而FDA批準(zhǔn)、梅奧診所認(rèn)證這類權(quán)威背書,帶來的提升幅度僅11%左右。
這意味著,患者不再迷信醫(yī)生的學(xué)歷、資歷,也不再盲從三甲醫(yī)院、權(quán)威機(jī)構(gòu)的光環(huán)。他們的信任邏輯,已經(jīng)徹底轉(zhuǎn)向了“結(jié)果導(dǎo)向”——誰能給我更準(zhǔn)確、更有效的診療結(jié)果,我就更愿意相信誰。
![]()
圖源:JAMA Network Open
不想讓AI變成醫(yī)療風(fēng)險放大器,
這三道防線必須筑牢
一邊是AI幻覺制造的虛假醫(yī)療信息,正在以空前的速度擴(kuò)散;一邊是患者對醫(yī)療AI的信任度越來越高,這兩件事撞在一起,就成了懸在所有人頭頂?shù)倪_(dá)摩克利斯之劍。
醫(yī)療AI的核心邏輯,是基于已有的學(xué)術(shù)數(shù)據(jù)、臨床資料進(jìn)行學(xué)習(xí)和輸出,它本身無法分辨一篇論文是嚴(yán)謹(jǐn)?shù)呐R床研究,還是一場滿是破綻的惡作劇。而傳統(tǒng)的學(xué)術(shù)審核體系,又完全跟不上AI的傳播速度——一篇假論文上傳到預(yù)印本平臺,只需要幾周就能被AI學(xué)習(xí)吸收,進(jìn)而擴(kuò)散到成千上萬的診療場景中,等到期刊發(fā)現(xiàn)問題撤稿時,傷害可能早已發(fā)生。
想要從源頭阻斷虛假醫(yī)療信息的傳播,避免假病、假診療建議泛濫成災(zāi),就必須筑牢三道核心防線。
第一道,是給預(yù)印本平臺增設(shè)基礎(chǔ)信息核驗門檻。預(yù)印本的初衷是加快學(xué)術(shù)成果的交流效率,但零門檻的上傳機(jī)制,已經(jīng)讓它成了虛假醫(yī)學(xué)信息的溫床,至少要對作者身份、所屬機(jī)構(gòu)等基礎(chǔ)信息做真實性核驗,從源頭減少純捏造內(nèi)容的傳播。
第二道,是給醫(yī)療類AI加裝學(xué)術(shù)信息溯源機(jī)制。醫(yī)療AI輸出的診療建議、醫(yī)學(xué)知識,必須標(biāo)注核心信息的來源,嚴(yán)格區(qū)分預(yù)印本內(nèi)容與正式發(fā)表、經(jīng)過同行評審的文獻(xiàn),絕不能把未經(jīng)審核的內(nèi)容,當(dāng)成既定醫(yī)學(xué)事實輸出給用戶和臨床醫(yī)生。
第三道,是強(qiáng)制同行評審環(huán)節(jié)必須核查引用文獻(xiàn)的原文。這場假病鬧劇最諷刺的一點,就是一篇正文直接標(biāo)注“全文都是編造的”的論文,居然能被其他學(xué)術(shù)文章引用,還通過了同行評審。只有讓評審環(huán)節(jié)真正負(fù)起責(zé)任,對關(guān)鍵引用文獻(xiàn)的真實性做核查,才能堵住虛假文獻(xiàn)滾雪球式傳播的漏洞。
說到底,醫(yī)療AI是提升診療效率、普惠優(yōu)質(zhì)醫(yī)療資源的絕佳輔助,但它絕不能脫離醫(yī)生的專業(yè)監(jiān)督,更不能脫離嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)審核體系。一旦放棄了這兩個底線,再先進(jìn)的技術(shù),也只會變成醫(yī)療風(fēng)險的放大器。
結(jié)語:
技術(shù)向前走,
安全底線不能往后退
從一個憑空捏造的假病輕松騙過AI與同行評審,到患者用腳投票把診療結(jié)果放在信任優(yōu)先級的第一位,AI正在給整個醫(yī)療行業(yè)帶來一場前所未有的重構(gòu)。
我們不必妖魔化AI,它能給基層醫(yī)生提供更全面的診療參考,能給患者更細(xì)致的就醫(yī)指引,能讓優(yōu)質(zhì)醫(yī)療資源觸達(dá)更多人群。但我們也必須清醒地認(rèn)識到,醫(yī)療的核心永遠(yuǎn)是“人”,是對患者生命健康的絕對責(zé)任。
AI可以是醫(yī)生手里最趁手的手術(shù)刀,但絕不能代替醫(yī)生做臨床決策;技術(shù)可以跑得很快,但醫(yī)療安全的底線,一步都不能往后退。只有把審核的門檻筑牢,把溯源的機(jī)制建全,把醫(yī)生的核心地位守住,我們才能真正享受到AI給醫(yī)療帶來的紅利,而不是為技術(shù)的漏洞買單。
來源 | 醫(yī)學(xué)論壇網(wǎng)
編輯 | VOX
版權(quán)說明:梅斯醫(yī)學(xué)(MedSci)是國內(nèi)領(lǐng)先的醫(yī)學(xué)科研與學(xué)術(shù)服務(wù)平臺,致力于醫(yī)療質(zhì)量的改進(jìn),為臨床實踐提供智慧、精準(zhǔn)的決策支持,讓醫(yī)生與患者受益。歡迎個人轉(zhuǎn)發(fā)至朋友圈,謝絕媒體或機(jī)構(gòu)未經(jīng)授權(quán)以任何形式轉(zhuǎn)載至其他平臺。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.