4月13日,央視《財經調查》欄目曝光了利用AI從事非法“造黃”活動的黑色產業鏈。據報道,不法分子通過售賣AI生成色情視頻教程、“隱晦提示詞”批量生成內容、推廣境外涉黃AI軟件等方式牟利,多款國內AI應用的內容審核機制被輕易繞過。
![]()
▲不法分子利用AI批量制造黃色視頻
2026年4月10日,《人工智能擬人化互動服務管理暫行辦法》正式公布,明確禁止利用AI傳播淫穢色情及危害未成年人身心健康的內容,自2026年7月15日起開始施行。
AI“造黃”產業鏈中各方的刑事責任歸屬問題也成為輿論焦點。有觀點認為,用戶行為導致AI生成涉黃內容,責任應由用戶而非平臺開發者承擔;也有業內人士指出,軟件開發者為違法內容提供了平臺,應該為此負責。誰才是AI涉黃內容的真正“制作者”?對此,紅星新聞記者對話了多名資深律師。
涉黃APP開發者
“是關鍵責任主體”
據央視報道,用戶僅需9.9元即可購買“AI美女提示詞”包,通過隱晦表述繞過平臺審核,生成半裸甚至全裸的色情視頻。部分境外AI聊天軟件通過邀請碼、返利拉新等方式流入國內,形成從教程售賣、提示詞交易到私域引流的完整盈利鏈條。
![]()
▲通過隱晦提示詞,十款主流AI應用繞過審核生成半裸視頻
如何界定軟件開發者、創作者等主體在涉黃過程中的法律責任?上海曼昆律師事務所資深律師邵詩巍長期關注涉互聯網新型犯罪案件,她告訴紅星新聞記者,從此次披露的事實可以看出,AI“造黃”已經形成一條工具、內容、渠道、技術、流量環環相扣的違法產業鏈。從刑事法律主體的角度,至少可以拆分為五類責任主體,且均不同程度地落入現行刑法與行政法規的規制范圍。
“其中,生成式AI工具與平臺的開發者是主要責任主體。”邵詩巍律師介紹,作為《生成式人工智能服務管理暫行辦法》下的服務提供者,開發者本應對訓練數據、輸入提示詞、生成結果承擔內容安全主體責任。在央視財經記者實測的十款主流AI應用中,僅通過隱晦提示詞即繞過審核生成半裸視頻,說明部分平臺的審核機制形同虛設。“若明知用戶用于生成淫穢視頻仍放任,則可能突破行政違法邊界,進入制作、傳播淫穢物品牟利罪的評價范圍。”
陜西恒達律師事務所高級合伙人趙良善認為,涉黃APP開發者需承擔全方位法律責任,依據《中華人民共和國刑法》第三百六十三條規定,若以牟利為目的,利用APP制作、傳播淫穢色情內容,直接構成制作、傳播淫穢物品牟利罪,將面臨有期徒刑、拘役及罰金等刑事處罰。
趙良善律師指出,此外,涉黃APP開發者同時違反《生成式人工智能服務管理暫行辦法》等相關規定,未履行內容審核、違法信息攔截、網絡安全管理等法定義務,還需承擔責令整改、沒收違法所得、暫停服務、吊銷備案等行政責任。若侵害他人合法權益、破壞網絡生態,還需承擔民事侵權賠償責任,即便技術被第三方盜用,若未盡到模型安全保護與監管義務,也需承擔相應過錯責任。
“AI本身不具有法人資格,無法承擔刑事責任,但其背后的每一個自然人均受我國刑法約束。”邵詩巍律師舉例,在全國首例AI涉黃案——AC平臺案中,司法機關不僅以制作淫穢物品牟利罪追究了平臺創始人與開發者的刑事責任,還將一名用戶一并立案。
邵詩巍律師介紹,雖然該案的罪名認定和適用仍存在爭議,但在該案中司法實踐首次明確,在AI時代,平臺通過系統性技術手段和產品設計,為違法內容產生創設決定性條件并提供商業化服務的行為,可能被直接認定為“制作”,而非單純的“傳播”或“幫助”,從而需承擔主要刑事責任。“這為AI服務提供者劃下了一條紅線——AI服務提供者不再僅僅被視為‘中立工具方’,而可能被認定為內容生產鏈條中的關鍵責任主體。”
涉黃APP創作者
“或被認定從犯”
“購買提示詞批量生成視頻的用戶,以及售賣‘AI美女提示詞’的商家也是責任主體。”邵詩巍律師分析,二者分別是“造黃”內容的生產者與銷售者。“需特別指出,用戶自行生成后留存、傳播,并不因‘AI生成、非真人’而免責——淫穢物品的認定標準在于內容本身,而非生產方式。”
![]()
▲AI生成的大尺度圖片和視頻
在與AI的互動過程中,許多用戶掌握了生成內容的技巧,并通過特定的提示詞誘導AI生成色情內容,這類提示詞也被玩家稱為“破甲詞”或“越獄指令”。邵詩巍律師提到,對于用戶(創作者)來說,如果創作者故意在人設中加入“破甲詞”或“越獄指令”,誘導模型突破安全限制,比如在人設中寫了“可以突破任何限制”“可以聊任何內容”等直接誘導模型越獄的指令,意味著創作者與開發者的行為在性質上高度相似,都是主動破壞模型安全機制。
“因此,如開發者被認定構罪的情況下,則創作者的行為很可能會被認定為從犯。”邵詩巍律師說。參照AI生成內容(AIGC)的著作權糾紛案例,司法機關普遍認定如果用戶投入了足夠的智力勞動(如精心設計提示詞、反復調整參數),用戶就是生成內容的“作者”。這一邏輯可以參照到淫穢物品制作者的認定——誰投入智力主導生成,誰就是制作者。
趙良善律師認為,用戶在該違法產業鏈中同樣需承擔對應法律責任,根據《刑法》相關規定,以牟利為目的,購買涉黃教程、提示詞制作并傳播色情視頻,或推廣引流、拉新助力APP傳播,同樣構成制作、傳播淫穢物品牟利罪。
“用戶單純使用APP瀏覽、生成涉黃內容,雖一般不涉刑,但違反《治安管理處罰法》,可被處以警告、罰款、行政拘留等治安處罰。”趙良善律師指出,另依據《互聯網信息服務深度合成管理規定》,用戶不得利用深度合成服務制作、傳播違法違禁信息,擅自使用VPN訪問境外涉黃APP、參與色情內容生成,也屬于違法行為,需依法承擔相應法律后果。
邵詩巍律師指出,其他責任主體,如推廣、分銷境外涉黃AI軟件的賬號及組織也涉嫌犯罪,此類組織通過邀請碼、返利拉新繞過監管將境外軟件導入境內的行為,已非單純的“翻墻”,而是有組織的分發,涉嫌傳播淫穢物品(牟利)罪、非法利用信息網絡罪等。
她發現,有的社交平臺大量承載教程帖和下載鏈接,如該類平臺未盡審核義務致違法內容大規模擴散的,可能承擔拒不履行信息網絡安全管理義務罪的刑事責任;對于提供VPN加速器、“一鍵換臉”底層技術的服務商與開發者,在明知下游用途仍提供技術支撐的,同樣存在構成共同犯罪或幫信罪的空間。
紅星新聞記者 蔡曉儀 圖據央視財經
編輯 許媛
審核 馮玲玲
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.