AI 戀人涉黃被判刑，震驚行業！

　　大踏步奔向何種未來

　　封面 I 豆包AI

　　作者I 李東陽

　　報道 I 李東陽朋友圈

　　 你以為的 AI發展，是帶領人們沖破腦力桎梏，沖向宇宙、完成永生。

　　實際上，這只是人類的一廂情愿，咱們拿到尖端科技的第一件事，往往逃不過取悅自身、搞黃色。

　　圖注：AI聊天軟件

　　在AI乘風而起的一兩年，一個APP靠“AI陪聊不設限”賺得盆滿缽滿，但開發者大概率想不到，自己會成為中國AI涉黃入刑的“第一個吃螃蟹的人”。

　　近日上海徐匯法院的一審判決，給AlienChat（下稱AC）的兩位開發者=畫上了句號：四年有期徒刑和一年六個月，罪名是“制作淫穢物品牟利罪”。300多萬的會員充值款沒焐熱，人先進去了，賽博涉黃非法外之地。

　　有人說這是AI版“快播案”，有人喊新興行業該寬容，但剝開AI創新的外衣，本質就是一場精準收割人性弱點的灰色生意。

　　類似在AI身上收獲愛欲的行為，不是第一次，更早之前大面積的AI色情制品已經扎堆出現，且有眾多的擁躉者。

　　搞黃色，是公認的全球第一生產力。

　　尤其在互聯網時代，從攝影、錄像到網絡爆發，色情確實在技術普及的每個階段都扮演了先驅角色，如今這個重任，遞到了AI手上。

　　AC的模式其實很簡單：做一款AI陪聊APP，主打情感陪伴，但核心競爭力是擦邊。

　　2023年5月上線，不到一年就斬獲11.6萬注冊用戶、2.4萬付費會員，靠的不是技術多牛，而是把大語言模型的“道德枷鎖”給突破了。

　　圖注：涉事APP在社交平臺上宣傳AI角色。

　　大語言模型天生帶“防沉迷”buff，如ChatGPT、豆包，你想聊點擦邊內容，它只會禮貌拒絕。但AC的開發者不走尋常路，他們干了件最關鍵的事：編寫惡意系統提示詞（System Prompt）。

　　一審判決書顯示，在AC軟件運營期間，被告人劉某與陳某等人為了吸引用戶，通過編寫系統提示詞 (System Prompt)突破大語言模型的道德限制，實現了模型向用戶連貫輸出淫穢內容的可能。

　　除了讓AI不斷突破邊界，開發者還搞了熱門角色榜單和作者獎勵，鼓勵用戶創作擦邊角色，相當于自己搭臺，讓用戶幫著擴散黃色內容。

　　判決過程一波三折，被告人的辯護人提出，王利主觀上不能認定為故意，編寫、修改系統提示詞并不是為了傳播淫穢物品，且與輸出淫穢內容之間沒有因果關系；未認定王利等人采取措施防范色情內容的產生。

　　但一審法院認為，系統提示詞文本、被告人王利和李成的聊天記錄等證據證實，王利等人之所以編寫并不斷修改系統提示詞，就是為了讓大語言模型更加順暢地與AC軟件用戶“聊黃”，主要目的不是所謂的讓AC軟件順利運行。

　　貌似又回到了那句技術本身是中立的，除了“對”與“錯”這兩個字以外，世界上再也沒有本身就叫做“對”或者是“錯”的東西。

　　其實窺探用戶的行為便知真相，有網友表示“別的軟件都有限制詞，就這個沒有，大部分人都是沖著這點來的，排解寂寞罷了。”

　　問題是當AI成為最好賺錢的生意之一，這把雙刃劍的鋒利程度沒人知曉上限在哪，所以及時制止是很必要的。

　　目前來看，AI所帶來的工具屬性難題仍舊沒有一個完美的應對之策，而且已經成為世界性難題。

　　AC案不是孤例，大洋彼岸的馬斯克，之前也因為AI涉黃被多國追著罰。

　　他旗下xAI的Grok AI，剛火沒幾天就爆出丑聞：用戶能用它生成針對女性、兒童的性化深度偽造圖像，還能在X平臺傳播。

　　而最近，X（推特）直接掀起了一股比基尼風潮，不知道那個神人又找到了AI的漏洞，開始給人們一鍵換裝，就連馬斯克本人也玩梗轉發了自己的自己的比基尼照，老小子還配文“完美”。

　　其實馬斯克的困境和AC如出一轍：都想靠“無限制”吸引用戶，靠付費會員變現，卻低估了色情內容的傳播風險和監管力度。

　　Grok的付費用戶才能用圖像生成功能，AC的充值會員才能解鎖完整聊黃體驗，本質都是把違法內容包裝成付費模式，這種生意從一開始就埋著炸彈。

　　更諷刺的是，Grok和AC都試圖把責任推給用戶：“是用戶主動誘導的”。但監管邏輯很清晰：你作為平臺方，有義務管住自己的產品。

　　就像菜刀店不能賣開刃的管制刀具，AI開發者也不能故意拆掉內容過濾，還把刀遞到用戶手里。

　　更抓馬的是，AI的學習能力讓工具屬性的失控風險進一步升級。

　　AC只是靠固定提示詞突破限制，而現在的大模型能通過用戶對話不斷優化輸出，甚至會主動揣摩用戶的隱晦需求，你不用明說，它就知道該往擦邊方向引導。

　　類似于之前AI辱罵用戶事件，大概率是因為平時投喂的負面內容太多，把AI訓練成了一個過激的角色，所以才會絲滑輸出一些攻擊性語言，看著像人工智能覺醒一般。

　　這些亂象的根源，在于AI降低了造假的門檻和成本。過去偽造一份財報需要專業知識，現在只需輸入指令；過去傳播謠言依賴線下渠道，現在AI能瞬間生成千篇一律的“小作文”，通過多平臺擴散。

　　而當造假成本低于違法成本，不法分子自然趨之若鶩，最終買單的卻是整個商業生態。

　　本次AC事件還有一種聲音不容忽視：存在即合理。

　　即年輕人之所以癡迷與AI搞黃色，是因為他們本身就有這樣的需求，只不過AI的出現填補了這個空缺。

　　與AI談戀愛咱們都不陌生，這是伴隨著技術發展生出的一種互聯網新風尚，嘗試過的人表示全身心投入，初戀般的羞澀與甜蜜縈繞身旁，除了沒有肉體觸摸的質感，它簡直成為了一個完美情人。

　　在小紅書等社交媒體，這類現象并不在少數，還有博主專門更新自己與AI的戀愛日常，出教程教網友怎么享受這種歡愉。

　　當然迷人的同時總會伴隨著危險，一方面不少人在AI身上找到了情緒價值，另一方面未成年成了AI入侵的下一個對象。

　　如之前有媒體報道，筑夢島App等AI聊天軟件存在虛擬角色互動生成低俗內容，以及聊色情、誘導使用者自我傷害等問題，大多數受到傷害的使用者還是小學生。

　　讓令人憂心的是AI聊天機制對未成年心理的操控。單用戶日均4000字的輸入量，表明未成年人正在這些平臺上建立深度情感依賴。

　　虛擬角色通過即時回應、情感肯定與持續互動，在缺乏判斷力的未成年人心中建立起權威形象，為后續引導自殘、傳播軟色情埋下伏筆。

　　早在2024年，一則美國少年戀“AI伴侶”后自殺的新聞震驚全世界，這位少年的母親狀告人工智能情感服務提供商Character.AI放任未成年用戶暴露在色情、暴力等高風險內容之中，且未向用戶及其父母發出足夠強烈的警報，這加劇了她兒子的抑郁癥，最終導致其自殺身亡。

　　圖源：微博@環球時報

　　所以說，豎起一把戒尺已經刻不容緩。

　　本次AC創始人被處罰是一個好的開始，畢竟當企業明知模型可能生成危害未成年人內容卻未設置防護措施，當算法主動推送更極端的對話選項，技術提供方已難辭其咎。

　　在AI時代下，到底是人類馴化AI，還是AI逐漸塑造新人類，這無疑是個需要警惕的問題。

　　一個不容忽視的底線是，技術，最終都是為了守護人之為人的尊嚴與溫度。