【科普金華】危險！別再讓 AI 給你看病了！

以前大家經(jīng)常說“不要在網(wǎng)上亂搜醫(yī)療建議”， 因?yàn)榫W(wǎng)上信息不那么可靠，患者又不可能準(zhǔn)確描述自己所有的癥狀成了而大語言模型 AI 時代，又出現(xiàn)了一種新風(fēng)險，網(wǎng)上尋醫(yī)問藥禁忌中，恐怕必須再加上一條“不要隨便讓AI提供醫(yī)療建議”了。

圖片截自論文頁面

不久前《內(nèi)科醫(yī)學(xué)年鑒·臨床病例》（ Annals of Internal Medicine: Clinical Cases）就報道了一起神奇的病例——有人因?yàn)槁犘?AI，把自己吃成了多年未見的溴中毒。

AI 真敢建議，患者真敢實(shí)踐

這個病例，只能說從頭到腳都寫著奇葩二字。

這人一開始去急診室，是說他鄰居在給他下毒，當(dāng)時沒有說自己在吃任何藥物。住院之后才得知，他平日有好多食物都不吃，水也是自己在家蒸餾了才喝，在醫(yī)院雖然一直說口渴但又不信任別人給他的水。住院 24 小時后，他的偏執(zhí)狂癥狀越來越嚴(yán)重，出現(xiàn)了幻聽幻視，還試圖從醫(yī)院逃跑，結(jié)果被強(qiáng)制收押并打了抗精神病藥。

等到藥物生效，患者冷靜下來之后，醫(yī)生才算問出來真實(shí)情況。原來，這位患者特別特別害怕吃到對身體有害的食物，這也不吃那也不吃，已經(jīng)把自己餓到了多種維生素欠缺的地步了。而就在這時，他又在網(wǎng)上看到了關(guān)于食鹽的文章，得知食鹽對身體很不好。

就在研究食鹽危害的過程中，他靈機(jī)一動，發(fā)現(xiàn)了一個巨大的“華點(diǎn)”：食鹽的化學(xué)成分是氯化鈉，但為什么文獻(xiàn)都在關(guān)注鈉對身體的傷害，沒人關(guān)注氯呢？超市只能買到低鈉鹽，為什么買不到低氯鹽呢？難道這個氯，對身體竟然沒有一點(diǎn)害處嗎？能不能不攝入氯呢？

既然網(wǎng)上沒人說，那就得靠自己了，患者詢問了 ChatGPT，結(jié)果 AI 給出了“非常具有可操作性”的建議：用溴來代替氯。

這位患者真的這么干了，然而這并不是個好主意。

看似六七八分像，其實(shí)完全不一樣

溴，元素符號 Br，在周期表上位于氯的正下方，是個普通人不太容易接觸到的元素。大概一百年前，溴中毒還算是醫(yī)生經(jīng)常能遇到的事情，因?yàn)楫?dāng)時溴被認(rèn)為擁有鎮(zhèn)靜效果，很多非處方藥物里含有溴鹽，什么治失眠、治焦慮、治歇斯底里，都能用到。當(dāng)然，要是一不小心吃多了，那就從治焦慮一躍而成致焦慮，引發(fā)運(yùn)動失調(diào)和各種幻覺，嚴(yán)重的可以導(dǎo)致昏迷，順便還附送厭食和便秘之類的癥狀。

為什么會這樣呢？溴和氯都是鹵族元素，最外層都是 7 個電子，化學(xué)性質(zhì)很相似，在簡單的化學(xué)反應(yīng)里確實(shí)可以相互代替。人體攝入溴離子后，它也會“冒充”氯離子去參與各種生化反應(yīng)。

但是一旦反應(yīng)真的開始，它就露餡了：生化反應(yīng)非常精密，哪一步速度稍微跟不上，活性稍微差一點(diǎn)，就會導(dǎo)致大范圍脫節(jié)。神經(jīng)系統(tǒng)的正常運(yùn)行相當(dāng)依賴于氯離子，所以如果被溴離子冒名頂替，遭到的破壞也尤其嚴(yán)重。

人體可以排出體內(nèi)的溴離子，但速度算不上很快，大概 9 到 12 天才能排出一半。所以如果持續(xù)攝入含溴的食物或者藥物，溴可以逐漸積累，造成更大傷害。歷史上，溴中毒一度占到了精神病院住院人數(shù)的 8%。后來大家都知道了溴的危險性，藥物紛紛棄用它，溴中毒也就難得一見了。

沒想到如今因?yàn)?AI 的建議，溴中毒又迎來了難得的“文藝復(fù)興”。可喜可賀，還好，這位病人在住院三個星期之后，中毒癥狀逐漸緩解而順利出院了，兩周后的復(fù)查也沒有問題。希望他能就此放棄對低氯飲食的追求吧。

這種“精神”病

大概已經(jīng)在路上了

如此說來，雖然這個病例本身是罕見的奇葩，但它卻反映了更廣泛的現(xiàn)象，那就是所謂的“聊天機(jī)器人精神病”（Chatbot psychosis）或者“ AI 精神病”。

這個詞語形容的不是 AI 本身犯病了，而是用戶在和大語言模型 AI 聊天的過程中產(chǎn)生或者加劇了精神病癥狀。一個非常典型的場景是，用戶相信某種陰謀論，AI 沒有否定反而迎合并鼓勵用戶，并且幻覺出支持這一陰謀論的各類證據(jù)，導(dǎo)致用戶深陷其中，日常生活和社交瀕臨崩潰，甚至采取極端行為。

目前這一現(xiàn)象還不是正式認(rèn)定的診斷，也幾乎沒有相關(guān)科學(xué)研究，但已經(jīng)引起了媒體的重視，積累了數(shù)量不少的個案?；蛟S不久之后，我們就能知道這一現(xiàn)象的嚴(yán)重程度究竟如何。

相信奇怪的信念，這本身相當(dāng)常見。但人終究是社會動物，需要身邊同道之人的支持，才能毅然決然地一路走進(jìn)溝里出不來。歷史上要找到這樣的同伴往往需要拋家棄子，互聯(lián)網(wǎng)出現(xiàn)后就可以到小眾論壇里尋找同好了。

而生成式 AI 的時代，連人類同道都不需要，管你有什么怪念頭，AI 都能給你提供無限的支持和情緒價值。畢竟目前的大語言模型距離真正的通用智能還頗有一段距離，如果不把它設(shè)定為“應(yīng)聲蟲”，就無法給用戶良好的使用體驗(yàn)。但是這種體驗(yàn)是否值得付出幻覺、謠言和 AI 精神病的代價，我們作為普通用戶 有沒有選擇權(quán)，那就是另一個問題了。

據(jù)報道，OpenAI 已于 10 月 29 日更新了 ChatGPT 的使用政策，禁止其在某些原本被認(rèn)為最具價值的應(yīng)用領(lǐng)域提供服務(wù) —— 例如解讀醫(yī)學(xué)影像、協(xié)助醫(yī)療診斷，以及提供法律或財務(wù)建議。

此舉旨在防止 ChatGPT（以及其他任何 OpenAI 模型）輸出可能被視作專業(yè)性、受托性或具有法律約束力的建議，以符合歐盟《人工智能法案》和美國食品藥品監(jiān)督管理局的相關(guān)指導(dǎo)要求。

策劃制作

作者丨范崗 科普作者

審核丨于乃功 北京工業(yè)大學(xué)教授 中國人工智能學(xué)會理事

孫明軒 上海工程技術(shù)大學(xué)教授、中國科普作家協(xié)會會員

策劃丨丁崝

責(zé)編丨丁崝

審校丨徐來、張林林

本文經(jīng)授權(quán)轉(zhuǎn)自“科普中國”（id：Science_China）公眾號

編輯：吳?；?/p>

一審：施新杭

二審：盧立明