用戶與AI“聊黃”，開發者獲刑！專家解讀來了

因大量用戶與AI“聊黃”，一款名為Alien Chat的應用的主要開發者和運營者被上海市徐匯區人民法院認定制作淫穢物品牟利罪（profiting from the production of obscene and pornographic content），一審分別獲刑四年、一年半。兩被告不服判決，提出上訴，案件二審將于1月14日在上海市第一中級人民法院開庭。

AC官方在社交媒體宣傳用戶創建的AI角色

Alien Chat是一款AI伴侶聊天應用，定位是為年輕人提供親密陪伴和情感支持。用戶注冊會員后，即可與AI對話。該應用于2023年5月推出，隨后在各大平臺上線。不少用戶評價這款AI產品“限制少”“聰明”，但也有人表示，其他用戶和AI“聊黃”“教壞”了模型，影響了自己的聊天體驗。2024年4月，因被用戶舉報，該應用的開發者和運營者被捕。

Alien Chat is an AI app designed by a Shanghai-based company to provide intimacy, companionship, and emotional support to young people. The app allows users to engage in conversations with an AI powered by a large language model after registering and paying membership fees.

一審判決書顯示，該應用手機注冊用戶11.6萬人，其中付費用戶2.4萬人。截至案發，共收取會員充值費363萬余元。該應用的軟件在未經安全評估和備案的情況下，違規接入境外大語言模型。軟件運行期間，被告人為吸引用戶，通過編寫系統提示詞突破大語言模型道德限制，實現了模型向用戶連貫輸出淫穢內容的可能。法院審理認為，有高比例用戶在該應用上高頻率“聊黃”，產生了“大量具體描繪性行為或露骨宣揚色情的內容”，屬于淫穢物品，故追究開發者和運行者的刑事責任。

據其中一名被告的律師介紹，該應用設計初衷不是為了淪為黃色聊天工具，修改系統提示詞是為了把大模型調試得更擬人化、更靈動，滿足用戶的情感陪伴需求。

One of the defendants' lawyer said that his client has appealed the ruling, arguing that "the app is not originally designed to disseminate pornography".

The lawyer added that modifications to the system prompts were intended to make the AI "more dynamic and capable of meeting users' emotional companionship needs".

該案再次將AI技術與法律邊界問題推向公眾視野，為此，雙語君也和幾位法律界人士聊了聊，讓我們一起聽聽他們怎么說。

在中國政法大學副教授朱巍看來，用戶和AI“聊黃”的場景看似是私密的，但大模型不是私密的。也就是說，該應用服務提供者為放任大量違法內容產生創造了環境，在現有法律框架下，這就不再是私事，它的社會危害性就會被法律所認定，服務提供者也要為此承擔相關的法律責任。

北京京師律所律師許浩指出，通過生成式人工智能制作和傳播淫穢色情內容帶來的社會危害性會更大。相比傳統方式，AI超強的學習能力讓它可以不斷對內容進行疊加升級，若不及時監管糾正，容易危害用戶特別是未成年人身心健康，污染模型生態環境，為后續的傳播埋下隱患。

Xu Hao, a lawyer with Beijing Jingsh Law Firm, said that although one-on-one chats between users and AI may appear private, the underlying models and platforms are public.

"If service providers fail to conduct content safety reviews, it can harm users' physical and mental health, especially that of minors," Xu said.

He said that AI-generated content can be produced and disseminated on a much larger scale than traditional obscene material, posing greater social harm. Technological advancements must not involve illegal or criminal content and must not misuse innovation under the guise of serving users or improving performance.

兩位法律人士均向雙語君提到了2023年7月出臺的《生成式人工智能服務管理暫行辦法》（（以下稱《暫行辦法》），強調服務提供者應嚴格遵守法律法規，不得以吸引用戶或所謂技術研發為由突破安全與道德的底線。

《暫行辦法》規定，生成式人工智能服務提供者不得生成暴力、淫穢色情內容，發現違法內容時應當采取處置措施、進行整改并及時報告。

Under China's interim measures for the management of generative AI services, which were unveiled in July 2023, any service provider must not produce violent or pornographic content, and if such content is found, measures must be taken to rectify it.

《暫行辦法》還規定，提供具有輿論屬性或者社會動員能力的生成式人工智能服務，應當按照國家有關規定開展安全評估，并履行算法備案和變更、注銷備案手續。

許浩進一步指出，技術中立并不等同于責任中立，生成式人工智能服務提供者負有對內容進行核查的法定義務。若其未能履行該義務，并從中牟利，就可能被追究相應責任。技術不應被濫用，其健康發展既需要劃清倫理與法律的邊界，也需要開發者和運營者嚴守底線，不得沖擊公序良俗。

記者：曹音

來源：新京報

跟著China Daily

精讀英語新聞

“無痛”學英語，每天20分鐘就夠！