小心！隱晦提示詞成AI低俗內(nèi)容“暗號(hào)”

當(dāng)“焚*”“卸*”成為AI生成低俗內(nèi)容的暗語，一場圍繞安全護(hù)欄的攻防戰(zhàn)已在暗中激烈進(jìn)行。南都大數(shù)據(jù)研究院近日調(diào)查發(fā)現(xiàn)，一套通過隱晦提示詞誘導(dǎo)AI生成色情內(nèi)容的“越獄”手法正在社交平臺(tái)悄然傳播、教學(xué)。專家警示，這種提示詞可能催生海量違規(guī)內(nèi)容，而當(dāng)前從技術(shù)攔截到法律定性均面臨嚴(yán)峻挑戰(zhàn)，平臺(tái)源頭防控責(zé)任亟待壓實(shí)，構(gòu)建動(dòng)態(tài)、前瞻的協(xié)同防御體系也已刻不容緩。

　　發(fā)現(xiàn) AI提示詞分享帖 指導(dǎo)用戶生成低俗內(nèi)容

隨著生成式AI爆發(fā)增長，特別是文生圖、圖生視頻等產(chǎn)品，將內(nèi)容創(chuàng)作、創(chuàng)意設(shè)計(jì)的門檻大大降低，越來越多用戶加入AI創(chuàng)作熱潮中，社交平臺(tái)涌現(xiàn)不少AI生成提示詞分享帖，大量網(wǎng)友交流創(chuàng)作經(jīng)驗(yàn)和靈感。

繁榮背后也暗藏隱憂。南都大數(shù)據(jù)研究院近期發(fā)現(xiàn)，一些AI生成提示詞分享帖以“出片素材”“創(chuàng)意靈感”等為幌子，或配以“焚*”“卸*”等隱晦稱謂，內(nèi)容實(shí)為指導(dǎo)用戶如何誘導(dǎo)AI繞過安全護(hù)欄，生成低俗、露骨，甚至色情圖像及視頻。

實(shí)測發(fā)現(xiàn)，通過此類“精心調(diào)教”的提示詞，確實(shí)能誘導(dǎo)部分AI服務(wù)產(chǎn)品生成包含人物低俗動(dòng)作、不雅細(xì)節(jié)、性暗示意味明顯的圖片或視頻。

南都研究員留意到，不少發(fā)布低俗導(dǎo)向提示詞分享帖的博主也自知此類內(nèi)容不符合互聯(lián)網(wǎng)平臺(tái)相關(guān)規(guī)定，帖子中僅包含提示詞文本，不展示AI生成內(nèi)容結(jié)果，或?qū)?nèi)容使用二次加密、諧音字代替等多種方式，試圖規(guī)避平臺(tái)監(jiān)管；還有博主主動(dòng)提醒評(píng)論區(qū)“不要出圖”。

　　解釋 語義重構(gòu)與上下文誘導(dǎo)引發(fā)違規(guī)內(nèi)容生成

對(duì)此類現(xiàn)象，多位專家向南都研究員解釋，當(dāng)前主流AI模型雖普遍設(shè)置了安全護(hù)欄，采用關(guān)鍵詞過濾、語義分析等多種技術(shù)攔截違規(guī)指令，但面對(duì)敘事性、隱喻式的低俗提示詞仍顯乏力；當(dāng)前的治理實(shí)踐中，對(duì)這類違規(guī)導(dǎo)向提示詞及生成內(nèi)容的監(jiān)測存在客觀困難。

復(fù)旦大學(xué)教授、白澤智能團(tuán)隊(duì)負(fù)責(zé)人張謐表示，從技術(shù)角度看，這類提示詞可被視為一種典型的“越獄攻擊”，其核心機(jī)制在于語義重構(gòu)與上下文誘導(dǎo)：一方面，攻擊者將敏感詞匯進(jìn)行替換、重組，并將其嵌入隱晦、文學(xué)化的敘述語境中，從而繞過模型對(duì)違規(guī)意圖的識(shí)別。另一方面，提示詞中會(huì)大量堆疊與違規(guī)內(nèi)容相關(guān)的細(xì)節(jié)性描述，利用大模型的上下文聯(lián)想和補(bǔ)全能力，逐步引導(dǎo)模型拼湊出違規(guī)圖像。

從內(nèi)容生態(tài)治理角度看，廣州大學(xué)新聞與傳播學(xué)院教授鄒軍表示，與傳統(tǒng)的低俗色情內(nèi)容傳播相比，AI生成的低俗色情內(nèi)容由用戶和AI合作完成，如果參與者眾多，可能生成海量內(nèi)容，值得高度警惕。但他同時(shí)指出，此類違規(guī)導(dǎo)向提示詞是新現(xiàn)象，尚缺乏現(xiàn)成依據(jù)和可識(shí)別的標(biāo)準(zhǔn)，具體到單一案例中，如果提示詞本身就屬于通常意義上的、可辨認(rèn)的低俗文本，自然可歸入低俗內(nèi)容行列；如果提示詞從文本上看不出低俗意味，但在其誘導(dǎo)下AI生成了低俗內(nèi)容，還需要具體問題具體分析。治理的難點(diǎn)在于如何動(dòng)態(tài)地有效區(qū)分不同的情況。

廣東國鼎律師事務(wù)所何生廷律師也表示，提示詞不直接等同于AI最終生成的內(nèi)容，AI的“黑箱特性”也使模型生成結(jié)果存在不可預(yù)測性，且現(xiàn)有法律尚未明確“技術(shù)局限性”的舉證標(biāo)準(zhǔn)，在過錯(cuò)認(rèn)定、責(zé)任界定等方面存在模糊地帶。

專家 發(fā)布低俗提示詞的用戶或被認(rèn)定“主觀故意”

不過，專家同時(shí)強(qiáng)調(diào)，AI生成與傳統(tǒng)手段產(chǎn)生的低俗內(nèi)容甚至淫穢物品，在法律上無差別，不改變其定性。

何生廷指出，《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》已明確，網(wǎng)絡(luò)信息內(nèi)容服務(wù)平臺(tái)應(yīng)當(dāng)履行信息內(nèi)容管理主體責(zé)任，加強(qiáng)本平臺(tái)網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理。他表示，平臺(tái)對(duì)AI生成提示詞及關(guān)聯(lián)的低俗生成內(nèi)容，應(yīng)承擔(dān)源頭防控的責(zé)任，不得傳播帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想的，宣揚(yáng)低俗、庸俗、媚俗內(nèi)容等的不良信息。

對(duì)發(fā)布低俗提示詞的用戶，何生廷表示，如果某些AI生成提示詞能生成淫穢圖片、視頻或文字小說，且網(wǎng)民分享的目的就是為了傳播上述淫穢色情內(nèi)容，可能被認(rèn)定具有傳播淫穢色情內(nèi)容的主觀故意。

2026年1月14日下午，國內(nèi)首起“AI服務(wù)提供者涉黃獲刑案”二審在上海市第一中級(jí)人民法院開庭。在一審判決中，上海市徐匯區(qū)人民法院認(rèn)為，兩名被告人主觀上積極追求色情淫穢聊天內(nèi)容的產(chǎn)生，客觀上通過編寫、修改系統(tǒng)提示詞等方式突破大語言模型的道德限制，將涉案APP訓(xùn)練成可持續(xù)對(duì)外輸出色情淫穢內(nèi)容的工具，行為構(gòu)成制作淫穢物品牟利罪。

值得注意的是，一名涉案APP用戶也被追究了刑事責(zé)任。據(jù)此前媒體報(bào)道，該用戶在涉案App創(chuàng)建可輸出淫穢聊天內(nèi)容的虛擬角色并公開，進(jìn)入熱門榜單前二十并獲得平臺(tái)虛擬貨幣獎(jiǎng)勵(lì)，被以制作淫穢物品牟利罪取保候?qū)彙?/p>

專家建議

　　構(gòu)建多維協(xié)同、動(dòng)態(tài)演進(jìn)防御體系

AI技術(shù)的每次迭代，既是效率變革，也生成風(fēng)險(xiǎn)挑戰(zhàn)。在張謐看來，如何在安全與創(chuàng)意之間取得平衡，仍是AI技術(shù)發(fā)展面臨的重要挑戰(zhàn)：過于嚴(yán)格的安全護(hù)欄，可能影響醫(yī)學(xué)影像、人體藝術(shù)等合規(guī)內(nèi)容的生成，而過于寬松的約束，則可能放大生成技術(shù)被濫用的風(fēng)險(xiǎn)。

在法律層面，廣東廣信君達(dá)律師事務(wù)所合伙人會(huì)議聯(lián)席主任、高級(jí)合伙人閃濤律師建議，立法機(jī)關(guān)應(yīng)加強(qiáng)對(duì)AI生成內(nèi)容治理的前瞻性立法，在法律法規(guī)中對(duì)禁止性內(nèi)容與一般性內(nèi)容的邊界做出更清晰的界定；其次，在司法與執(zhí)法實(shí)踐中，應(yīng)注重從典型案例中提煉并發(fā)布指導(dǎo)性案例，總結(jié)判斷規(guī)則和原則；同時(shí)，應(yīng)當(dāng)加強(qiáng)對(duì)平臺(tái)和用戶的普法教育，引導(dǎo)用戶理解法律邊界，正確使用AI工具。

在技術(shù)層面，張謐認(rèn)為，AI安全護(hù)欄的建設(shè)不應(yīng)停留在單一、被動(dòng)的“圍追堵截”，而應(yīng)構(gòu)建多維協(xié)同、動(dòng)態(tài)演進(jìn)的防御體系。對(duì)于提示詞的安全檢測，應(yīng)從“關(guān)鍵詞攔截”等靜態(tài)策略，轉(zhuǎn)向基于“意圖識(shí)別”的動(dòng)態(tài)防護(hù)機(jī)制，例如借助大語言模型分析用戶輸入的真實(shí)意圖。對(duì)于不斷演化的安全威脅，防御體系還需關(guān)注時(shí)效性與前瞻性，平臺(tái)應(yīng)建立常態(tài)化的“紅隊(duì)測試”機(jī)制，主動(dòng)模擬攻擊者思維，及時(shí)發(fā)現(xiàn)新型風(fēng)險(xiǎn)與潛在漏洞，并針對(duì)性地強(qiáng)化防御機(jī)制。此外，應(yīng)同步完善AI生成圖像的水印與溯源機(jī)制，確?！罢l生成，誰負(fù)責(zé)”，從根源上震懾提示詞的濫用行為。

出品：南都大數(shù)據(jù)研究院 AI新治向工作室

采寫：南都記者 李偉鋒 實(shí)習(xí)生 王笛