用戶在APP上與AI聊“黃色內容”，兩名開發者一審分別獲刑四年、一年半，AI服務涉黃案今日二審

用戶和AI伴侶軟件聊“黃色內容”，軟件的開發者及運營者因此分別獲刑。近日，該起AI“涉黃”案引發廣大網友的關注。去年9月，該案中兩名被告人因犯制作淫穢物品牟利罪分別被判處有期徒刑四年和一年六個月。揚子晚報記者了解到，兩名被告人均不服一審判決提出上訴，該案二審于1月14日下午在上海市第一中級人民法院開庭，揚子晚報記者來到現場，直擊此次庭審。

據了解，一審過程中，被告人劉某某的辯護律師為其作無罪辯護，認為劉某某主觀上不能認定為故意，編寫、修改系統提示詞并不是為了傳播淫穢物品，且與輸出淫穢內容之間沒有因果關系；AC軟件產生的交互聊天并沒有9000余萬段；未認定劉某某等人采取措施防范色情內容的產生。

辯護人還認為，淫穢內容的輸出是大語言模型版本自身原因，用戶積極追求以及劉某某等人編寫、修改系統提示詞等多方面原因造成的，和劉某某等人的行為之間不具有因果關系，不應將淫穢內容的輸出歸責于劉某某等人。

被告人劉某某則辯稱，其編寫、修改系統提示詞是為了讓軟件能夠順利運行，編寫、修改系統提示詞對于色情淫穢內容的產生沒有顯著作用。

一審法院認為，系統提示詞文本、被告人劉某某和陳某某的聊天記錄等證據證實，劉某某等人之所以編寫并不斷修改系統提示詞，就是為了讓大語言模型更加順暢地與AC軟件用戶“聊黃”，主要目的不是所謂地讓AC軟件順利運行。編寫、修改系統提示詞與淫穢內容產生之間存在刑法意義上的因果關系。對此，偵查實驗筆錄、證人證言，以及被告人陳某某的供述已經證實，若不編寫，修改系統提示詞，大語言模型不會連續輸出淫穢內容。

一審法院還認定，本案中被告人劉某某、陳某某的行為不構成傳播淫穢物品牟利罪，應構成制作淫穢物品牟利罪。

▲AC官方賬號發布的AI 和用戶對話示意圖。網絡截圖

本案中，劉某某等人通過研發AC軟件，接入大語言模型，編寫和修改系統提示詞，宣傳引導用戶參與聊天，以及持續提供技術支持等方式，制作產生了大量淫穢電子文章。淫穢物品的產生，雖然客觀上也有其他原因存在，但劉某某等人編寫、修改系統提示詞，訓練AC軟件的行為具有決定性主導作用，也應當將制作淫穢物品的不利后果歸責于劉某某等人。至于本案中的違法所得問題，在案證據證明被告人劉某某等人在研發AC軟件之初，就意圖通過提供"聊黃"服務非法牟利，應認定全部會員充值費用均為違法所得。

劉某某全面負責AC軟件的管理和運營，陳某某負責編寫軟件后端代碼和運營維護并領取工資。上海弘連電子數據司法鑒定所出具的司法鑒定意見書顯示， AC軟件共有手機注冊用戶11.6萬余人，其中付費用戶2.4萬余人，產生交互聊天427萬余段。上海市公安局徐匯分局出具的淫穢物品審查鑒定書顯示，經抽樣鑒定，隨機抽取的150個收費用戶的12,495段聊天中，屬于淫穢物品的聊天3,618段，涉及141個用戶。對排名前20的公開角色對應的收費用戶中抽取400段聊天，其中屬于淫穢物品的聊天185段。截至案發，被告人劉某某等人共收取會員充值費363萬余元。

AC軟件是專門為持續生成淫穢色情內容而設計和“優化”的，AC軟件向用戶輸出的聊天內容是高度可控且可預測的，劉某某等人對于輸出內容具有實質性控制能力，可以認定劉某某等人系輸出內容的制作者。

記者獲悉，公安機關還追究了一名AC軟件用戶的刑事責任。該用戶創建角色并公開，角色輸出過淫穢聊天內容，還獲得平臺虛擬貨幣獎勵，因此被以制作淫穢物品牟利罪取保候審。

來源 | 揚子晚報/紫牛新聞記者 徐韶達 馬斌