廣東
21世紀經濟報道記者 章馳 實習生 鄧凱
“80%的用戶都在擦邊、搞黃色。”某明星AI公司的產品經理曾經這樣描述戀愛向角色扮演產品，也就是俗稱的AI陪伴。
一不當心這類APP的老板就會直接喜提有期徒刑四年，罰金幾百萬，這就是國內首例AI陪伴涉黃案。
這款叫AlienChat的AI陪伴軟件，用戶能跟虛擬角色聊日常、處“賽博對象”。因聊天夠靈動、限制少而爆火，在超過11萬的注冊用戶里，不少人付費和AI聊赤裸裸的色情內容。雖然是用戶與AI之間的私密互動，但因為用戶付費成為了商品，所以第一次被直接界定為淫穢物品。平臺作為“制作者”承擔刑事責任。
可是AI和用戶私密聊黃，關平臺什么事？
關鍵問題出在平臺用了未備案的境外大模型，還加了"越獄提示詞"，讓AI能隨便聊色情暴力內容。平臺的審核工作沒有做到位，沒有給用戶和AI的聊天內容設置限制。法院認為，“平臺的色情防范措施停留在表面。”
之前Glow、筑夢島等AI陪伴產品都曾因涉黃下架。一邊是用戶想要自然的聊天體驗，一邊是合規紅線不能碰，如何看待AI的產物？這中間的尺度到底該如何把握？AI從業者也有更深的擔憂，用戶和平臺責任，到底該怎么劃分？
在這起案件中，平臺（被告）公司AlienChat不認可一審判決結果，提出上訴，本周二審開庭。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
