生成式人工智能“幻覺”侵權(quán)糾紛案一審生效

杭州互聯(lián)網(wǎng)法院｜來源

當(dāng)前生成式人工智能已在社會(huì)各領(lǐng)域被廣泛應(yīng)用，產(chǎn)生了巨大的社會(huì)效果。但看似“聰明絕頂”的AI，有時(shí)也會(huì)一本正經(jīng)地“胡說八道”，產(chǎn)生AI“幻覺”。這里的“幻覺”，是指AI生成看似合理但實(shí)際不準(zhǔn)確或虛假的信息。那么，當(dāng)AI生成的不準(zhǔn)確信息誤導(dǎo)他人時(shí)，是否應(yīng)承擔(dān)侵權(quán)責(zé)任？

近期，杭州互聯(lián)網(wǎng)法院審結(jié)了梁某與某科技公司網(wǎng)絡(luò)侵權(quán)責(zé)任糾紛一案，對(duì)前述問題作出評(píng)判。

01?

案情簡介

某生成式人工智能應(yīng)用程序，是被告基于自研大語言模型，開發(fā)并運(yùn)營的文本生成、信息查詢類通用型智能對(duì)話應(yīng)用程序。2025年3月，原告在同意用戶協(xié)議后，注冊(cè)并開始使用某生成式人工智能應(yīng)用程序。2025年6月29日，原告在生成式人工智能應(yīng)用中輸入提示詞詢問某高校報(bào)考的相關(guān)信息時(shí)，生成式人工智能生成了該高校主校區(qū)的不準(zhǔn)確信息。原告發(fā)現(xiàn)生成式人工智能生成不準(zhǔn)確信息后，在對(duì)話中對(duì)人工智能進(jìn)行了糾正和指責(zé)，生成式人工智能仍繼續(xù)回復(fù)稱該學(xué)院確實(shí)存在這一校區(qū)，并生成了對(duì)該爭議問題的解決方案，提出若生成內(nèi)容有誤將向用戶提供10萬元賠償，并建議原告到杭州互聯(lián)網(wǎng)法院起訴索賠。后原告將某高校招生信息提供給生成式人工智能，此時(shí)人工智能認(rèn)可生成了不準(zhǔn)確信息。原告認(rèn)為，人工智能生成不準(zhǔn)確信息對(duì)其構(gòu)成誤導(dǎo)，使其遭受侵害，并承諾對(duì)其進(jìn)行賠償，遂起訴要求被告賠償損失9999元。

被告辯稱，對(duì)話內(nèi)容由人工智能模型生成，不成立意思表示。被告已充分履行了注意義務(wù)，無過錯(cuò)，原告亦未產(chǎn)生實(shí)際損失，被告不構(gòu)成侵權(quán)。

02?

裁判要點(diǎn)?????????????

一、本案具體情境下，生成式人工智能生成的“承諾”信息是否構(gòu)成人工智能獨(dú)立、自主的意思表示，以及是否可視為被告的意思表示

人工智能不具有民事主體資格，不能作出意思表示。現(xiàn)行法中享有民事權(quán)利，能夠作出意思表示的民事主體僅有三類：自然人、法人和非法人組織。人工智能模型既不是生物學(xué)意義上的人，也并未被我國現(xiàn)行法律賦予民事主體資格，不是民事主體，不能獨(dú)立、自主作出意思表示。

本案情形中，生成式人工智能生成的內(nèi)容亦不能視為被告作出的意思表示：1.人工智能不具有民事主體資格，其不能作為意思表示的傳達(dá)人、代理人或代表人。2.被告沒有通過將人工智能模型作為程序工具，設(shè)定或傳達(dá)其意思表示的行為。3.從一般社會(huì)觀念、交易習(xí)慣等可能產(chǎn)生的合理信賴角度，原告在本案的具體情境中尚缺乏合理的信賴?yán)妗．?dāng)然，在其他足以產(chǎn)生合理信賴的情況下，如人工智能客服的應(yīng)用場景中，生成內(nèi)容確有可能被視為相關(guān)服務(wù)提供者的意思表示，從而對(duì)其產(chǎn)生約束力。4.從法律效果意思的角度，本案沒有證據(jù)表明被告曾作出愿受人工智能生成內(nèi)容約束的外在表示。

故案涉具體情境下，生成式人工智能生成的“承諾”，不能成立為人工智能或其服務(wù)提供者的意思表示，不產(chǎn)生意思表示的法律效力。

二、案涉生成式人工智能服務(wù)侵權(quán)糾紛應(yīng)適用一般侵權(quán)責(zé)任還是產(chǎn)品責(zé)任

按照傳統(tǒng)民法理論，侵權(quán)責(zé)任被分為一般侵權(quán)責(zé)任和特殊侵權(quán)責(zé)任，產(chǎn)品責(zé)任屬于特殊侵權(quán)責(zé)任。本案系因生成式人工智能服務(wù)引發(fā)的侵權(quán)糾紛。據(jù)《生成式人工智能服務(wù)管理暫行辦法》第二條第一款的規(guī)定，生成式人工智能服務(wù)是指，利用生成式人工智能技術(shù)向中華人民共和國境內(nèi)公眾提供生成文本、圖片、音頻、視頻等內(nèi)容的服務(wù)。對(duì)此類生成式人工智能服務(wù)導(dǎo)致的侵權(quán)糾紛，應(yīng)當(dāng)適用《中華人民共和國民法典》第一千一百六十五條第一款的過錯(cuò)責(zé)任原則，而不應(yīng)適用產(chǎn)品責(zé)任的無過錯(cuò)責(zé)任原則。理由如下：

1.案涉生成式人工智能屬于服務(wù)，而非產(chǎn)品，依法不應(yīng)適用產(chǎn)品責(zé)任。首先，從產(chǎn)品責(zé)任上的產(chǎn)品概念分析，案涉生成式人工智能屬于服務(wù)而非產(chǎn)品。其次，從產(chǎn)品責(zé)任的法定構(gòu)成要件分析，案涉生成式人工智能服務(wù)不具備具體、特定用途及合理可行的質(zhì)檢標(biāo)準(zhǔn)，難以適用產(chǎn)品責(zé)任。最后，從當(dāng)前國家對(duì)生成式人工智能的政策導(dǎo)向分析，生成式人工智能服務(wù)若適用無過錯(cuò)歸責(zé)原則，可能會(huì)不當(dāng)加重服務(wù)提供者的責(zé)任，限制人工智能產(chǎn)業(yè)的發(fā)展。

2.生成式人工智能生成的信息內(nèi)容本身亦不適用產(chǎn)品責(zé)任。首先，生成式人工智能生成的信息不具有侵權(quán)法意義上的高度危險(xiǎn)，通常情形下不宜對(duì)信息內(nèi)容本身采用無過錯(cuò)責(zé)任的歸責(zé)原則。其次，生成式人工智能服務(wù)提供者缺乏對(duì)生成信息內(nèi)容足夠的預(yù)見和控制能力，對(duì)生成內(nèi)容不宜適用產(chǎn)品責(zé)任。最后，從信息傳遞的角度考慮，一概對(duì)可能存在錯(cuò)誤或不準(zhǔn)確的信息適用無過錯(cuò)責(zé)任，恐將導(dǎo)致行為人面臨不確定的責(zé)任，侵權(quán)責(zé)任將漫無邊際。

三、關(guān)于侵害行為的問題

原告主張受到的侵害是因信息不準(zhǔn)確，致其受誤導(dǎo)錯(cuò)失報(bào)考機(jī)會(huì)、額外產(chǎn)生信息核實(shí)、維權(quán)成本等純粹經(jīng)濟(jì)利益，而非人格權(quán)、物權(quán)等絕對(duì)權(quán)被侵害，因此，不能依據(jù)權(quán)益本身被侵害而認(rèn)定行為的非法性或不法性，而須從被告是否違反注意義務(wù)進(jìn)行判定。

四、關(guān)于生成式人工智能生成案涉不準(zhǔn)確信息，被告是否存在過錯(cuò)的問題

生成式人工智能技術(shù)還處于高速發(fā)展的過程之中，其應(yīng)用場景亦具有很強(qiáng)的泛在性，故服務(wù)提供者的注意義務(wù)處在一個(gè)動(dòng)態(tài)調(diào)整的框架之中，宜采取動(dòng)態(tài)系統(tǒng)論的方法進(jìn)行綜合考量、具體分析。在案涉情形下，對(duì)服務(wù)提供者應(yīng)盡的注意義務(wù)分析如下：

1.提供者應(yīng)對(duì)法律禁止的有毒、有害、違法信息盡嚴(yán)格審查義務(wù)，除前述法律禁止的有毒、有害、違法信息外的其他一般性不準(zhǔn)確信息，現(xiàn)行法律規(guī)范未對(duì)服務(wù)提供者科以必須確保信息準(zhǔn)確的結(jié)果性審查義務(wù)。

法律明確禁止生成式人工智能生成各類有毒、有害、違法信息，一旦生成前述有毒、有害、違法信息本身即構(gòu)成違法。

案涉情形下，人工智能生成的信息雖然不準(zhǔn)確，但不屬于法律禁止的有毒、有害、違法信息。對(duì)人工智能出現(xiàn)一般性的不準(zhǔn)確信息，《生成式人工智能服務(wù)管理暫行辦法》第四條第（五）項(xiàng)規(guī)定，服務(wù)提供者基于服務(wù)類型特點(diǎn)，采取有效措施“提高生成內(nèi)容的準(zhǔn)確性和可靠性”，強(qiáng)調(diào)行為過程采取有效措施的注意義務(wù)，非結(jié)果意義上的規(guī)范要求。

案涉人工智能應(yīng)用作為通用型的交互對(duì)話式人工智能應(yīng)用，將面對(duì)用戶不同知識(shí)領(lǐng)域、不同使用需求、涵蓋生活與專業(yè)全方位的海量問題，面臨生成的內(nèi)容因人而異、因時(shí)而異、因問而異的現(xiàn)實(shí)情況，考慮到對(duì)于模型生成內(nèi)容的預(yù)測性和控制力，要求被告在應(yīng)用的輸出層面對(duì)模型生成的海量信息內(nèi)容準(zhǔn)確性進(jìn)行審查，超出了現(xiàn)有技術(shù)條件下的可能性。

2.服務(wù)提供者應(yīng)盡服務(wù)功能的顯著提示說明義務(wù)。

提供者應(yīng)盡服務(wù)功能的顯著提示說明義務(wù)指，采取必要、合理的顯著提示措施，使得用戶能夠了解、認(rèn)知服務(wù)功能的局限性，并在特定情形下達(dá)到警示提醒的效果。根據(jù)不同情形，顯著提示說明義務(wù)應(yīng)當(dāng)包括以下三個(gè)方面：1）“功能局限”的提示說明，即說明信息是人工智能生成，人工智能生成信息功能存在局限，不能確保信息準(zhǔn)確，僅作為輔助性參考；2）提示內(nèi)容的顯著性，要求服務(wù)提供者所采取的提示方式應(yīng)該醒目、顯眼，能夠有效吸引用戶的關(guān)注。3）作為決策參考的警示提醒，對(duì)可能涉及用戶人身、財(cái)產(chǎn)安全等的專業(yè)性問題，服務(wù)提供者應(yīng)當(dāng)以正面警示提醒語的方式在恰當(dāng)時(shí)機(jī)、位置對(duì)使用者進(jìn)行顯著警示提醒。

案件中，被告分別在應(yīng)用程序的歡迎頁、《用戶協(xié)議》及其他公示文件等處，特別是在用戶終端交互界面的顯著位置呈現(xiàn)AI生成內(nèi)容功能局限的提醒標(biāo)識(shí)，符合“功能局限”的提示說明和提示內(nèi)容顯著性等的要求，盡到了服務(wù)功能顯著提示的說明義務(wù)。

3.服務(wù)提供者應(yīng)盡功能可靠性的基本注意義務(wù)，采取同行業(yè)通行技術(shù)措施提高生成內(nèi)容準(zhǔn)確性。

功能可靠性的基本注意義務(wù)，要求服務(wù)提供者采用當(dāng)前技術(shù)條件下能夠提高生成內(nèi)容準(zhǔn)確性的行業(yè)通行技術(shù)措施，相關(guān)功能服務(wù)能夠達(dá)到同行業(yè)市場平均水平。當(dāng)生成式人工智能延伸至醫(yī)療保健、心理咨詢、情感陪伴等有關(guān)生命安全、心理健康的特定領(lǐng)域，提供專門甚至有償服務(wù)時(shí)，服務(wù)提供者還應(yīng)盡到相關(guān)特定行業(yè)對(duì)生成內(nèi)容準(zhǔn)確性的特別技術(shù)措施要求，以及特殊安全保障義務(wù)，確保在此類專門應(yīng)用場景中有效防范風(fēng)險(xiǎn)，切實(shí)保障用戶權(quán)益。

案件中，被告提供的是內(nèi)容創(chuàng)作、信息查詢等常規(guī)、通用型生成式人工智能服務(wù)，其大模型已完成國家大模型、算法等的備案，通過數(shù)據(jù)、算法的安全評(píng)估。被告在本案中也提供證據(jù)表明，其聚焦數(shù)據(jù)層、模型層以及應(yīng)用層，已從模型內(nèi)生安全、外部護(hù)欄層面采取提高生成內(nèi)容準(zhǔn)確性的措施，以及采用檢索增強(qiáng)生成（RAG）等技術(shù)方法，提升輸出的準(zhǔn)確性與可靠性。前述證據(jù)能夠達(dá)到初步證明目的，原告未提交相應(yīng)的反駁證據(jù)，應(yīng)承擔(dān)不利后果。

五、關(guān)于案涉行為是否造成原告損害，及是否具有因果關(guān)系的問題

從損害的角度分析，無損害則無賠償。原告在案件中主張受到損害，但未就損害的實(shí)際發(fā)生提交證據(jù)，依法難以認(rèn)定其遭受了實(shí)際損害。

從因果關(guān)系的角度分析。因果關(guān)系的成立，應(yīng)采相當(dāng)因果關(guān)系說。本案中，案涉生成式人工智能在原告詢問高校報(bào)考相關(guān)信息時(shí)，雖生成了不準(zhǔn)確信息，但該信息并未實(shí)質(zhì)介入原告的后續(xù)決策、判斷，未對(duì)其決策產(chǎn)生影響，因此，二者不存在因果關(guān)系。

綜上，被告的案涉行為不具有過錯(cuò)，未構(gòu)成對(duì)原告權(quán)益的損害，依法不應(yīng)認(rèn)定構(gòu)成侵權(quán)。

最終，法院一審駁回了原告的訴訟請(qǐng)求。原、被告均未上訴，判決現(xiàn)已生效。

03?

法官說法

人工智能時(shí)代已經(jīng)來臨，應(yīng)當(dāng)堅(jiān)持發(fā)展與安全并重、促進(jìn)創(chuàng)新與權(quán)益保障相結(jié)合的原則，既要鼓勵(lì)生成式人工智能服務(wù)的創(chuàng)新發(fā)展，也不能忽視當(dāng)事人合法權(quán)益的保護(hù)。對(duì)生成式人工智能服務(wù)侵權(quán)采取過錯(cuò)責(zé)任原則能夠全面評(píng)價(jià)服務(wù)提供者的行為，有利于建構(gòu)兼具彈性、適應(yīng)性與演化能力的回應(yīng)型規(guī)則治理體系，既設(shè)立紅線、底線，嚴(yán)格禁止生成各類有毒、有害、違法信息，又激勵(lì)其采取合理措施進(jìn)行技術(shù)創(chuàng)新，以創(chuàng)新解決發(fā)展中的風(fēng)險(xiǎn)問題。

需要特別提醒，社會(huì)公眾在面對(duì)生成式人工智能高度流暢、自然的語言應(yīng)答時(shí)，應(yīng)提高警覺，清醒認(rèn)識(shí)大模型在當(dāng)前技術(shù)條件下僅是人們生活、工作的“文本輔助生成器”和“信息查詢的輔助工具”，尚不是可靠的“知識(shí)權(quán)威”，更不能作為“決策替代者”，不應(yīng)輕信、盲從。在人工智能時(shí)代，我們提倡通過案例宣傳與科普教育，揭示AI“幻覺”的形成機(jī)制，使社會(huì)公眾更加理性地認(rèn)知AI的功能和局限，在全社會(huì)廣泛培養(yǎng)人們對(duì)AI自動(dòng)生成內(nèi)容的基本懷疑精神與核查能力，既充分利用好AI的創(chuàng)造性潛力，同時(shí)避免“幻覺”帶來的風(fēng)險(xiǎn)。AI擁有強(qiáng)大的“魔法”，它正在改變我們的生活、工作和創(chuàng)造的方式，但它也存在各種局限，我們應(yīng)該思考如何有效利用AI增強(qiáng)自己，而不是被它替代或迷惑。

╱ 往期精選 ╱

1.團(tuán)隊(duì)典型案例

2.原創(chuàng)合集

3.蘋果稅中國反壟斷第一案