新聞周刊丨AI“犯錯”，誰來負責？

AI正在以前所未有的方式介入到我們的生活和工作當中。AI似乎總能迅速給出一個篤定的答案，但它也會犯錯，會出現所謂的“幻覺”。如果哪一天它的小錯釀成了大禍，到底誰來負責？尤其是在醫療、金融、駕駛等重要的領域，責任到底如何劃分？

如果AI給了你一個錯誤信息，你會怎么做？去年6月，梁某使用AI為弟弟查詢高校報考信息，AI向他推薦了云南某職業高校的某個校區，但梁某發現，這個校區根本不存在。面對梁某的糾正，AI言之鑿鑿地回復：如果您能證明該校區不存在，我將賠償您10萬元信息鑒定費，并建議梁某到杭州互聯網法院起訴索賠。于是，我國的AI幻覺第一案誕生了。

杭州互聯網法院跨境貿易法庭庭長 一級法官 肖芄：之所以會產生這個錯誤信息，通常來講是因為大模型它本身有一個固有的缺陷，就是AI幻覺的問題。AI并不是全知全能的，它只是通過對大量的數據進行訓練之后，對數據后面的這些詞源結構進行分析，預測下一個最可能生成的詞源內容。

AI幻覺，是人工智能偶爾“胡說八道”這一技術缺陷的代名詞。那么，AI在技術缺陷下所作出的10萬元賠償承諾，到底算不算數？看似十分簡單的案情，卻讓審理此案的法官們感到十分棘手。

肖芄：這個案件它是一個首案，意味著我們行走在一個無人的領域，在作出裁判之前也并沒有人告訴我們這個答案的對錯。對于生成式人工智能的過錯認定，此前確實沒有案件，也沒有司法成例，法律也沒有相關規定。

這起案件，法庭首先要厘清的問題是，AI到底需不需要為它說出的話負責？

肖芄：現行民法典規定享有民事權利的主體實際上只有三類，一類是自然人，一類是法人，除法人之外，還有一類是非法人組織，就是這三類。人工智能從現行法的意義上來講，其實并沒有賦予它民事權利能力，也沒有賦予它民事主體資格。這種情況下目前人工智能還不能作出一個獨立自主的意思表示。

AI沒法單獨對自己的言論負責，而且在本案中，法庭認為AI作出的賠償承諾，也不能被視為是服務提供者的意思。那么，究竟誰來為AI幻覺的錯誤負責呢？判決給出了一個關鍵定性：案涉生成式人工智能屬于服務，而非產品，不適用無過錯的產品責任，而適用民法典規定的過錯責任原則。這意味著，AI生成的不準確信息，本身并不構成侵權，而是要考察提供服務的平臺是否存在過錯。

肖芄：不能說你有這么一個（AI幻覺）缺陷就成了免責的理由，相反你應該要盡當前技術條件下所能夠采取到的技術措施，去盡量避免或者減少這種不準確信息的產生。生成式服務提供者應該對生成式服務這樣一種功能局限，應該盡到一個提醒的義務，甚至在某一些特定的場景下，它應該向用戶盡到一定的警示義務。

在這起案件中，研發公司提交的證據表明，他們已經采取了當前技術條件下的必要措施，以減少AI幻覺的發生，并履行了提示說明義務。最終，法院駁回了原告訴訟請求，原、被告均未上訴，判決現已生效。盡管這起案件已經審結，但它所引發的法律方面的思考，才剛剛開始。

AI建議如導致誤診

誰來擔責

面對AI“一本正經胡說八道”，很多人可能一笑了之，但如果場景變了呢？隨著AI在醫療領域的介入越來越深，責任劃分的問題也越來越無法回避：如果AI的建議導致誤診、漏診，責任該由誰來承擔呢？

隨著AI大模型在各地醫院的落地，醫生的病歷書寫方式，已經開始發生重大改變。在溫州醫科大學附屬第一醫院，輸入患者信息，幾秒鐘，一份病歷就能生成，還能根據檢查結果提供診斷建議。然而，在最近的一場論壇上，復旦大學附屬華山醫院的醫生張文宏卻表示，拒絕將AI引入所在醫院的病歷系統。

復旦大學附屬華山醫院感染科主任 張文宏：現在在我們醫院，我是拒絕把AI引入我們醫生的日常生活。一用Al就造成最大的一個問題，我們醫生的（訓練）完全就改變了，對疾病的診斷沒有經過系統訓練，馬上通過Al得出，跟我給出的結論是一樣的。沒有經過系統訓練，他就不能鑒別AI，對或者錯，這是很大的問題。

其實，張文宏并不反對AI進入醫療領域，但他擔心的是，一旦AI出錯，醫生們是否具備足夠的能力識別和糾正。

張文宏：我是用AI的，因為我接觸的病人的量太大、太復雜。我短期內要處理這么多病例，我一般會AI先給我看一遍。AI一般會告訴你，我可能認為什么什么，但是我一看，我就知道AI哪里是錯的，你知道誤導或者不誤導你，就取決于你的能力是不是強過這個AI。

中國衛生法學會副會長 鄭雪倩：醫生基本的鍛煉和培養是要從寫病歷開始，因為你只有認真地寫病歷，你才會對病人的整個病情有深入的了解，重要的分析和重要的病程的問診，我覺得還是要醫生親自來寫，而不是說完全用（AI）來替代。如果我們這一代都使用了AI，這些現在的數據是采集前面那些醫生積累的經驗，假如到了這一代全用了這些數據以后，沒有自我的研究和經驗的積累的話，到再下一代人給人看病的醫生，還有沒有這個水準？

張文宏說，“AI會出錯，這是肯定的。”即便是前不久宣稱問答準確性刷新世界紀錄的某國產醫療大模型，也還存在著2.6%的AI幻覺率。哪怕再低的幻覺率，出現在醫療場景中，也可能變成誤導性的用藥建議，或是錯誤的診斷方向。

鄭雪倩：它還是有幻覺出現，可能也引發大家說這個東西我到底用還是不用。我覺得首先大眾一定要有一個明確的定位，（AI）是診療中的輔助手段，而不是主導醫生診斷決策的角色。

中國政法大學 人工智能法研究院院長 張凌寒：法律始終堅持的原則，就是只有人是具有法律主體地位的。那么醫生在適用人工智能進行輔助診療的時候，一定要對于自己所作出的醫療決策，進行全面審慎的判斷和思考，并且為這個決策最終負責。

現實當中，也有醫生困惑，如果AI出了錯，醫生和AI平臺，法律責任如何劃分？在剛剛結束的北京兩會上，有政協委員提交了《關于加快推動AI醫療輔助診療規范有序發展的提案》，建議明確決策權仍在醫生，而廠商對模型算法與產品質量承擔主體責任，醫療機構則承擔使用與驗證責任。

鄭雪倩：醫生在他的診療中使用了AI的技術，導致了患者受到了傷害，主體實際上還是很清晰的，從我們國家民法典醫療損害的侵權責任角度考慮，它是規定是由醫院和醫生醫護人員來承擔，這一點沒有突破我們國家的現有的法律制度。但假如說算法上錯了，誤導了，可能也要考慮開發者的情況，如果說產品我使用這個產品質量出了問題，并不是我操作失誤的話，那就要追究廠家的產品責任。

目前，我國還沒有專門針對AI在醫療領域應用的法律法規。2022年國家衛健委等制定的《互聯網診療監管細則（試行）》中規定，人工智能軟件等不得冒用、替代醫師本人提供診療服務。

中國衛生法學會副會長 鄭雪倩：另外在21條里還明確規定，醫生本人去出診以后，要由醫生本人親自開處方，不能用AI來生成處方，所以我們看到從這上面的規定來看，它已經嚴禁AI作為獨立的診療醫師，必須是由醫生本人親自診查。

2024年11月，國家衛健委等印發一份指引，提出了包括智能預問診、智能輔助決策、智能輔助治療等84種具體應用場景。如今，這些場景正加速成為現實，醫療從業者們期待，未來醫生和AI如何分工，如何劃定更細致的邊界，能有更明確的規范。

自動駕駛“升級”

如何厘清責任主體

在汽車智能駕駛領域，公安部去年就明確表示，目前市場上銷售的汽車所搭載的“智駕”系統，都還是L2級別的輔助駕駛，還沒有實現自動駕駛，因此，駕駛人才是行車安全的第一責任人。但在最近，首批L3級有條件自動駕駛的車型獲批，相關企業已經在指定路段開始試點運營，從有條件的自動駕駛，再到未來完全的自動駕駛，如果駕駛能交給AI，責任的主體，是不是也在發生改變，后臺的車企、服務提供商如何擔責，也需要盡快地厘清和規范。

防范風險需要厘清責任邊界，智能駕駛領域表現得尤為典型。不久前，在衡邵高速，一位司機疲勞犯困，開啟車輛輔助駕駛功能，隨后他竟然睡著，車輛偏移撞上護欄；而在許廣高速，司機過度依賴輔助系統，車輛試圖超越一輛貨車時發生碰撞。兩起事故，司機都被認定負全部責任。目前，市面在售汽車均為L2級輔助駕駛級別，跟完全自動駕駛L5，還差著好幾個等級。

鄭雪倩：現在達成的共識就是在L2級別下，它的本質上還是去減輕人的駕駛負擔，但它還是一個輔助性工具，一旦發生交通事故的話，人還是事故造成的這個主要原因，所以還是人來承擔這個交通事故責任。

從L2，升級到L3，會有怎樣的變化？去年12月，工信部正式公布我國首批L3級有條件自動駕駛車型準入許可，兩款車型分別在北京、重慶指定區域開展上路試點。

在L2級輔助駕駛下，駕駛人需要時刻監管系統，隨時準備接手突發情況，在L3有條件自動駕駛情況下，駕駛人依然需要在系統失效或超出場景時及時接管車輛，但在絕大部分情況下可以解放雙手，當“甩手掌柜”。這一天的晚高峰，測試車輛遇到了一次復雜路況——左側車道前方兩輛車，因事故停在路邊。

那么，L3級，在責任劃分上會有怎樣的變化呢？專家介紹，現行法律中還沒有明確規定，不過在最近的一場直播中，獲得首塊L3級自動駕駛專用號牌的汽車企業負責人表示，在限定場景內，系統接管駕駛時，因系統失效或未及時發出接管請求導致事故，責任由生產企業承擔。

某車企董事長 鄧承浩：L2就是智能輔助駕駛，駕駛責任人就是司機，L3是自動駕駛，那么在滿足L3激活的條件下，在正常使用L3的過程中，如果出現交通事故，主機廠就是責任方。

但該企業也強調，如果系統已按規定提前發出接管請求，而駕駛人未響應或操作不當，責任由駕駛人承擔。專家預測，未來L3級別車輛的事故認定，責任主體更加多元，涉及駕駛人、車企和軟件服務提供商，認定將更為復雜。

在專家看來，L3級別下，一旦遇到突發情況，系統留給駕駛人接管的時間依然很短，很容易讓人放松警惕。因此，對于自動駕駛，必須采取高度審慎的態度。

張凌寒：L3不是自動駕駛，L3是人機協同，如果說這個車輛要求你接過方向盤的時候可能就已經晚了，所以我們覺得L3階段可能是最危險的，人類認知上是有一個惰性，就是非常習慣把決策權交出去，那將來到了 L5（完全自動駕駛）也是一樣，如果說我們經過客觀數據認定發現到L5自動駕駛的情況下， 不管在什么樣的路況下，可能它的事故率和死亡率都是要比人類駕駛要更低，那么這樣的情況下，我們就可以去信任我們說的，這個人工智能自動駕駛汽車。

AI會犯錯，當機遇和風險并存，治理就至關重要。去年9月，《人工智能安全治理框架》2.0版發布，提出將針對AI完善優化風險分類，動態調整更新防范治理措施。

張凌寒：中國的人工智能治理是怎么樣，一方面促進人工智能產業發展，同時保證人工智能安全。對于一些已經涌現到現實生活當中的問題，則是通過法院判例來確定去如何解決人工智能可能帶來的糾紛，來保護人民群眾的合法權益，同時對于開源人工智能技術發展又有責任豁免，所以說這是一個既平衡了創新和發展，同時又能夠保證安全，也劃定人工智能發展紅線底線治理體系。

（央視）