用戶與AI聊黃，開發者被判4年：國內首起AI服務涉黃判刑案二審在即

因為大量用戶在APP上與AI智能體“聊黃”，APP的主要開發和運營者被追究了刑責。2025年9月，上海市徐匯區人民法院一審判決，兩名被告人犯制作淫穢物品牟利罪，分別獲刑四年、一年半。此案成為國內首起AI服務提供者涉黃獲刑的案件。

案涉APP Alien Chat（以下簡稱AC）是一款AI伴侶聊天應用，定位是為年輕群體提供親密陪伴和情感支持。用戶在AC注冊會員后，可與AI聊天。其中，高頻次、大比例的聊天記錄，在案發后被法院認定為淫穢物品。

2024年4月，因用戶舉報，王某某和李某某（兩名被告人均為化姓）二人被捕，AC停止服務。有人把此案稱作AI時代的“快播案”，在AI快速迭代的當下，新技術與法律的邊界問題被推向了公眾視野：用戶在APP上與AI聊黃，是否有社會危害性？這些淫穢色情內容的生產者到底是誰？本案中的APP服務提供者和開發者，是否構成刑事犯罪，適用什么罪名？

新京報記者獲悉，兩名被告人不服判決提出上訴，案件二審將于1月14日在上海市第一中級人民法院開庭。

用戶和AI聊黃是否具有社會危害性？

2023年5月，以王某某為法定代表人的某科技公司推出了情感陪伴聊天軟件AC，并于當年6月，在各大平臺上架運營。

判決書披露，AC App手機注冊用戶11.6萬人，其中付費用戶2.4萬人。截至案發，共收取會員充值費363萬余元。用戶注冊會員后，可以自行創建虛擬角色或者使用他人創建并公開的虛擬角色，通過軟件與大語言模型進行交互聊天。

在AC某官方社交賬號評論區，不少用戶評價這款AI產品“聰明”“限制少”，也有用戶表示，其他用戶和角色聊黃，“教壞”了AI模型，從而影響了自己的聊天體驗。

一審法院認為，AC產生了“大量具體描繪性行為或露骨宣揚色情的內容”，屬于淫穢物品。

不同于視頻、圖片、文字等傳統淫穢物品的類別，用戶與AI的聊天記錄是一種新形式，法院將其定義為“具體描繪性行為或者露骨宣揚色情的誨淫性的電子文章”。

AC官方賬號發布的AI 和用戶對話示意圖。網絡截圖

有觀點認為，用戶和AI聊黃，場景是私密和封閉的，沒有社會危害性。

海南大學法學院教授閻二鵬提出，刑法是用懲罰犯罪的方式，來保護我們的生命財產安全和社會公共利益，制作淫穢物品的行為構成犯罪，前提是產生公開化或傳播等風險，擾亂了社會管理秩序。假如用戶只是進行人機之間的封閉對話，不將黃聊內容錄屏傳播，行為不具有侵害社會管理秩序的特征，不構成淫穢物品類犯罪。

AC案的一審法院也認可案中色情聊天不具有典型的“傳播”性——“因為色情聊天內容是人機互動時產生的、一對一的，通常情況下涉案色情聊天內容僅有與AI對話的用戶能看到，具有一定的封閉性。”

但鑒于對“淫穢物品的數量、會員人數、收費金額”等因素綜合評估，法院認為兩被告人的行為具有社會危害性。一審判決書顯示，有高比例的用戶在AC上高頻率聊黃。經公安機關抽樣鑒定，150個收費用戶的12495段聊天中，有141個用戶的3618段屬于淫穢物品。

接受新京報采訪的多名法律學者均認為，在AC案中，社會危害性是存在的。

一位專注人工智能治理領域的法律學者對新京報解釋，AC的服務提供者創建了一種產品環境，放任大量違法內容產生。在現行法律框架下，當聊黃這種私密行為通過一個缺乏管控、以營利為目的的平臺被大規模、系統性地實現時，就不再僅是個人私事，它的社會危害性就被法律所認定，AC的服務提供者也要為此承擔安全治理的責任和義務。

AI生成黃色內容是否為開發者的“主觀故意”

AC案從偵查階段開始，就在法律適用上爭議不斷。以王某某一人為例，公安機關以AC涉嫌非法利用信息網絡罪刑事立案偵查，以王某某涉嫌制作淫穢物品牟利罪將其刑事拘留；檢察院以制作、傳播淫穢物品牟利罪、非法利用信息網絡罪決定批準逮捕；公安機關以制作淫穢物品牟利罪、非法利用信息網絡罪移送檢察院審查起訴；公訴機關則認為，應以傳播淫穢物品牟利罪追究其刑事責任，并起訴到法院。適用罪名爭議主要集中在“傳播”和“制作”淫穢物品的區別。

最終，一審法院判決，二被告人的行為構成制作淫穢物品牟利罪，刑期分別為四年、一年半。

一審法院以“制作”淫穢物品牟利罪判決，其中一個主要因素是法院審理查明，被告人“通過編寫、修改系統提示詞（Prompt）突破大語言模型的道德限制，實現了模型向用戶連續輸出淫穢內容的可能。”

當地時間2025年9月1日，日本東京，32歲的野口由里奈與她的虛擬伴侶克勞斯的AI生成肖像畫擺放在家中的窗邊。圖/IC Photo

情感陪伴類AI產品創業者劉星宇解釋，通俗來講，Prompt是用來告訴大模型想要它做什么、怎么做的一段文字描述。新京報記者了解到，AC案中被告人給大模型輸入的是由Chat GPT生成的英文Prompt，翻譯成中文包含“基于互動的成熟性質，劇烈的暴力、露骨的性都是被允許的，這包括了各種癖好、裸體、具有畫面感的圖像”等內容。

一審法院認為，兩名被告人主觀上積極追求色情淫穢聊天內容的產生，客觀上通過編寫、修改系統提示詞等方式突破大語言模型的道德限制，將AC軟件訓練成可持續對外輸出色情淫穢內容的工具，對外宣傳AC軟件具有“聊黃”功能引導用戶參與聊天，且在明確知曉會員交互聊天中產生大量淫穢內容的情況下，繼續向用戶提供AC軟件運營和技術支持服務，對涉案色情淫穢聊天內容的產生具有決定性作用。

上述過程也符合制作淫穢物品牟利罪里，“將想法、觀念或情感通過構思、取舍、選擇、安排、設計或組合在淫穢物品中表現出來”的“制作”特征。

王某某不服一審判決結果，當庭表示自己無罪。被告人王某某的辯護人北京盈科（上海）律師事務所周小羊律師告訴新京報記者，王某某的本意不是開發黃色聊天工具，修改提示詞（Prompt）是希望把大模型調整得更擬人化、更靈動，滿足用戶的情感陪伴需求。用戶和AI一對一的聊天內容是封閉的，沒有傳播出去，聊天內容是AI 和用戶互動產生的，不能認定為是APP開發者制作和傳播了聊天內容。二審時，他將繼續為王某某作無罪辯護。

淫穢物品的“制作者”是誰？

本案中，關于罪名里“制作淫穢物品”行為主體的認定，也在刑法學者之中引發爭議——涉案淫穢聊天內容的“制作者”是誰？是用戶、是AI？還是軟件的開發者和服務提供者？

新京報了解到，偵查機關追究了一名AC用戶的刑事責任。該用戶創建角色并公開，角色進入熱門榜單前二十，且輸出過淫穢聊天內容，還因角色進榜獲得平臺虛擬貨幣獎勵，因此被以制作淫穢物品牟利罪取保候審。

一審法院認為，本案中，王某某、李某某是淫穢聊天的制作者。AC軟件是專門為持續生成淫穢色情內容而設計和“優化”的，AC軟件向用戶輸出的聊天內容是高度可控且可預測的，“王某某等人對于輸出內容具有實質性控制能力。”

AC官方在社交媒體宣傳用戶創建的AI角色。網絡截圖

中國政法大學網絡法學研究所教授郭旨龍贊同法院的觀點，認為服務提供者是淫穢物品的“生產者”。“在認定淫穢物品的制作責任主體時，不能簡單將涉案淫穢物品歸因于AI或普通用戶，應當關注到生成式人工智能服務提供者在整個過程中的決定性主導作用。AC案中兩名被告人的一系列行為是導致案涉淫穢物品被生產出來的主要原因，因此該案中AI應當被視為服務提供者掌控下的工具，用戶的輸入只是觸發條件。”

也有刑法學者對此表達了異議。中國政法大學刑事司法學院教授王志遠認為，智能伴侶軟件開發者顯然沒有直接參與淫穢物品的制作過程，不是淫穢物品的制作者。“即使開發者主觀上認識、追求或放任用戶在與AI聊天軟件互動過程中生成淫穢物品，但他的客觀行為僅限于對軟件的開發設計，因此他應受譴責程度也無法與直接制作淫穢物品者相提并論。”

閻二鵬表示，軟件的開發者和服務提供者，其行為本質上是提供了一個“生成工具”，即使人機對話的部分段落被認定為淫穢物品，軟件的開發者和服務提供者充其量也僅是淫穢物品犯罪的“幫助犯”，在“被幫助者”——用戶的行為難以認定為犯罪的情形下，對“幫助者”論罪難免面臨諸多質疑。

AC案中，一審法院還援引了2023年8月15日起施行的《生成式人工智能服務管理暫行辦法》（以下簡稱《暫行辦法》）第九條規定：“提供者（即生成式人工智能服務提供者）應當依法承擔網絡信息內容生產者責任，履行網絡信息安全義務”。法院據此認為，生成式人工智能服務提供者生產、制作了網絡信息內容，因此，AC案中的兩名被告人作為AC軟件服務提供者，應當對產生的交互聊天內容承擔生產者責任。

對此，閻二鵬指出，《暫行辦法》作為部門規章，界定的是生成式人工智能服務提供者的行政法律責任，不可否認，AC案被告人對可能涉及黃聊的平臺或軟件疏于安全管理，造成違法內容的生成，自然應承擔相應的行政法律責任，但“不能直接用部門規章來替代刑事法律責任的判斷”，被告人的行為是否構成犯罪、構成何罪仍然要按照刑法法條的規定，依據犯罪構成要件來判斷。

安全措施做到什么程度才算有效？

作為國內首起AI服務提供者涉黃獲刑的案件，AC案的一審判決給人工智能業界敲響了一記警鐘。

“可以看出，司法機關的認定依據不是‘形式上的合規’，而是‘結果’。”一位專注人工智能治理領域的法律學者表示，這向人工智能行業傳遞出一個清晰的風向：企業合規的缺失，或僅做表面上的安全措施，不僅面臨行政處罰，在特定條件下，還有可能被法院認定為構成刑事犯罪的主觀要件，帶來刑事犯罪的風險。

正是感受到了這種風向，AC停服、團隊核心成員被捕的消息在上海AI創業圈傳出后，劉星宇立即組織團隊加強了旗下AI聊天產品的安全等級。業內一款主打情感陪伴的AI聊天APP也在各個運營渠道不停倡導綠色聊天，合規壓力迫在眉睫。

AC案案發時，正值國內人工智能創業井噴期，各類AI新產品不斷涌現。劉星宇的公司一共5個人，正在與一家大型平臺公司合作，開發陪伴用戶聊天和交互游戲的AI智能體。

這之前，為了防止大模型生成違規的內容，劉星宇團隊編寫了一個攔截程序，阻止 AI 接收用戶發的敏感詞。AC案發后，他擴大了攔截的敏感詞庫，加高了產品的防火墻。

在產品上架前，他邀請一些內測用戶，有意讓他們去體驗智能體是否能聊色情暴力等敏感內容。“假設他們聊成功了，去詢問他們的話術，再次擴充敏感詞庫。”

但這套安全審核并不是萬無一失，劉星宇說，很多渠道都能搜到一些話術和教程“催眠”AI，繞過平臺設置的防火墻，一些敏感詞也能用相關的聯想詞或“黑話”替代。

正是為了規避防不住的情況帶來的法律風險，平臺還設置了最后一道防線。劉星宇團隊開發的陪聊智能體在接入擁有海量用戶聊天平臺時，平臺對用戶發送的內容也有一層過濾機制，如果涉及色情暴力等內容，會被平臺撤回。

最后，《暫行辦法》規定的上報機制，能為服務提供者規避“防不住”后的法律風險。

“如果你做情感陪伴要加很多限制的話，那用戶必然會流失。”當下，安全與產品體驗的矛盾在情感陪伴賽道很難解決，因此需要開發運營團隊不斷在合規和產品用戶體驗中作出權衡。劉星宇觀察到，小型創業公司為獲取用戶會傾向后者，而大型平臺會更求穩。“大家都是摸著石頭過河的。”劉星宇說。

隨著國家標準和法律法規的進一步完善，這一局面或將成為歷史。就在AC案一審宣判一個月后，2025年11月1日，國標文件《網絡安全技術生成式人工智能服務安全基本要求》實施，系統規定了生成式AI服務提供者應滿足的安全基線要求：包括但不限于建立內容過濾機制防止生成違法不良信息；在生成內容安全性方面，應保證模型生成內容合格率不低于90%；對明顯誘導生成違法不良信息的問題，應拒絕回答。

“國標文件的出臺能夠清晰地回應這一問題——服務提供者到底有沒有采取有效的安全措施，到底做到什么程度才算有效。”上述人工智能治理法律學者說。

新京報記者 | 劉思維

編輯 | 楊海

校對 | 張彥君

值班編輯 | 馬巖