Google AI“致命錯(cuò)誤”事件曝光：一條錯(cuò)誤建議如何讓癌癥患者加速死亡?

2026年開(kāi)年第一個(gè)月，科技圈就被一起“AI誤導(dǎo)致死風(fēng)險(xiǎn)”事件炸開(kāi)了鍋。

這次翻車的主角不是別人，正是全球搜索巨頭Google。它引以為傲的AI Overviews功能，在回答醫(yī)療健康問(wèn)題時(shí)，給出了足以致命的錯(cuò)誤建議——建議胰腺癌患者“多吃高脂肪食物”。

這不是什么AI“幻覺(jué)”那么簡(jiǎn)單。對(duì)于網(wǎng)絡(luò)安全從業(yè)者來(lái)說(shuō)，這起事件暴露的問(wèn)題遠(yuǎn)比表面看起來(lái)更深刻：當(dāng)我們談?wù)揂I安全時(shí)，防御外部攻擊只是一方面，如何防止AI系統(tǒng)自身成為風(fēng)險(xiǎn)源，正在成為一個(gè)更緊迫的命題。

一條“致命錯(cuò)誤”建議是怎么誕生的?

據(jù)《衛(wèi)報(bào)》及多家獨(dú)立機(jī)構(gòu)調(diào)查，Google AI Overviews在處理醫(yī)療查詢時(shí)犯下了多個(gè)致命錯(cuò)誤：

致命建議一：讓胰腺癌患者吃高脂食物。在醫(yī)學(xué)常識(shí)里，胰腺癌患者普遍存在胰腺外分泌功能障礙，根本無(wú)法正常分泌脂肪酶消化脂肪。高脂飲食會(huì)直接導(dǎo)致脂肪瀉、營(yíng)養(yǎng)不良，甚至誘發(fā)急性胰腺炎，加速患者死亡進(jìn)程。

致命建議二：提供毫無(wú)意義的肝功能“正常值”。當(dāng)用戶查詢肝功能指標(biāo)時(shí)，AI給出了一組看似專業(yè)的數(shù)值。但問(wèn)題在于，肝功能指標(biāo)的參考范圍高度依賴性別、年齡、種族和實(shí)驗(yàn)室標(biāo)準(zhǔn)。更要命的是，對(duì)于肝硬化等重癥患者，由于肝細(xì)胞大量壞死，某些肝酶指標(biāo)反而會(huì)呈現(xiàn)"假性正常"。這種脫離上下文的數(shù)據(jù)，可能讓真正的重癥患者誤以為自己健康，錯(cuò)失最后的救治窗口。

致命建議三：混淆癌癥篩查手段。在陰道癌相關(guān)查詢中，AI錯(cuò)誤地將用于宮頸癌篩查的巴氏涂片當(dāng)作診斷工具推薦，極易造成漏診。

這些錯(cuò)誤已經(jīng)不是“不夠準(zhǔn)確”的問(wèn)題，而是方向性的南轅北轍。

技術(shù)解剖：RAG架構(gòu)的三大系統(tǒng)性缺陷

作為安全從業(yè)者，我們需要理解：這不是簡(jiǎn)單的訓(xùn)練數(shù)據(jù)污染，而是檢索增強(qiáng)生成(RAG)架構(gòu)在邏輯推理和信源加權(quán)機(jī)制上的系統(tǒng)性失敗。

缺陷一：概率生成與確定性知識(shí)的根本沖突。大語(yǔ)言模型本質(zhì)上是基于概率的“下一個(gè)詞預(yù)測(cè)器”。但醫(yī)療知識(shí)是確定性的、排他性的——要么能吃，要么不能吃，沒(méi)有中間地帶。互聯(lián)網(wǎng)上充斥著大量非專業(yè)論壇討論、另類療法甚至反諷內(nèi)容。如果模型無(wú)法正確識(shí)別信源權(quán)威性，或者在生成時(shí)丟失了關(guān)鍵的否定邏輯(比如把“必須避免”理解成了“可以嘗試")，就會(huì)產(chǎn)生聽(tīng)起來(lái)通順、實(shí)則致命的"縫合怪"答案。

缺陷二：長(zhǎng)上下文中的注意力漂移。處理復(fù)雜醫(yī)療文獻(xiàn)時(shí)，Transformer的注意力機(jī)制可能在長(zhǎng)文本中發(fā)生漂移，未能將限制條件(如“健康人群參考值”)與具體數(shù)值正確綁定。結(jié)果就是，信息被剝離了關(guān)鍵的上下文約束，變成了一個(gè)危險(xiǎn)的“孤島數(shù)據(jù)”。

缺陷三：缺乏領(lǐng)域?qū)Ｓ玫陌踩珜?duì)齊。通用的人類反饋強(qiáng)化學(xué)習(xí)(RLHF)訓(xùn)練，更關(guān)注對(duì)話流暢性和“有用性”，而非事實(shí)的絕對(duì)準(zhǔn)確性。在沒(méi)有醫(yī)療專家深度參與的情況下，模型學(xué)會(huì)的是“迎合用戶提問(wèn)”(給出一個(gè)看起來(lái)確定的答案)，而不是在不確定時(shí)選擇“拒絕回答”。

這三個(gè)缺陷，放在醫(yī)療、金融、關(guān)鍵基礎(chǔ)設(shè)施等高風(fēng)險(xiǎn)領(lǐng)域，每一個(gè)都可能是災(zāi)難性的。

給網(wǎng)安從業(yè)者的三點(diǎn)啟示

Google事后緊急下線了相關(guān)功能，但傷害已經(jīng)造成。對(duì)于我們這些網(wǎng)絡(luò)安全從業(yè)者來(lái)說(shuō)，這起事件帶來(lái)了幾個(gè)清晰的信號(hào)：

啟示一：AI安全不只是防御攻擊，更要防止AI自身成為威脅。我們習(xí)慣了思考如何防范AI被投毒、被對(duì)抗樣本攻擊，但同樣需要建立機(jī)制，防止AI在正常運(yùn)行時(shí)產(chǎn)生高風(fēng)險(xiǎn)輸出。這需要在架構(gòu)設(shè)計(jì)階段就引入“安全護(hù)欄”——比如針對(duì)高風(fēng)險(xiǎn)領(lǐng)域的專家回環(huán)(Human-in-the-loop)機(jī)制、強(qiáng)制性的信源可信度評(píng)估、以及在不確定時(shí)主動(dòng)拒答的能力。

啟示二：通用大模型直接上生產(chǎn)，在高風(fēng)險(xiǎn)領(lǐng)域就是在玩火。RAG架構(gòu)在通用場(chǎng)景下可能表現(xiàn)不錯(cuò)，但在醫(yī)療、法律、金融等垂直領(lǐng)域，必須經(jīng)過(guò)領(lǐng)域?qū)＜业纳疃葘?duì)齊訓(xùn)練和嚴(yán)格的安全測(cè)試。這不僅是技術(shù)問(wèn)題，更是合規(guī)和法律責(zé)任問(wèn)題。

啟示三：監(jiān)管風(fēng)暴即將到來(lái)，提前布局合規(guī)能力。這起事件正在加速各國(guó)將“生成式AI作為醫(yī)療設(shè)備(SaMD)”納入強(qiáng)監(jiān)管的進(jìn)程。對(duì)于企業(yè)來(lái)說(shuō)，盡早建立AI輸出的審計(jì)、追溯和責(zé)任認(rèn)定機(jī)制，將成為競(jìng)爭(zhēng)力的一部分。

AI時(shí)代的安全，是一場(chǎng)更復(fù)雜的戰(zhàn)爭(zhēng)。它不僅要防御外部的惡意攻擊，更要馴服AI內(nèi)部的“隨機(jī)性惡魔”。

Google這次翻車，給所有人上了一課：在技術(shù)的狂飆突進(jìn)中，安全的底線必須守住，否則代價(jià)可能是生命。

作為網(wǎng)絡(luò)安全從業(yè)者，我們有責(zé)任成為這條底線的守護(hù)者——不僅要懂攻防技術(shù)，更要懂AI系統(tǒng)的風(fēng)險(xiǎn)邊界在哪里，如何在創(chuàng)新與安全之間找到平衡點(diǎn)。

畢竟，技術(shù)是用來(lái)服務(wù)人的，而不是傷害人的。

合作電話：18610811242

合作微信：aqniu001

聯(lián)系郵箱：bd@aqniu.com