![]()
(來源:麻省理工科技評論)
斯坦福與印第安納大學的最新研究顯示,AI 內容交易平臺 Civitai 仍允許用戶買賣用于微調深度偽造內容的工具,而這類內容正是該平臺宣稱明令禁止的。
由 a16z(Andreessen Horowitz)風險投資基金注資的 Civitai,是一家主打 AI 生成內容交易的線上平臺。最新分析發現,該平臺竟默許用戶買賣用于生成名人深度偽造內容的定制指令文件,其中部分文件更是專門用于制作平臺禁售的色情圖像。
這項由斯坦福大學和印第安納大學研究人員開展的研究,對該平臺上名為 “懸賞需求” 的用戶內容定制請求進行了分析。研究發現,2023 年年中至 2024 年底,平臺上的懸賞需求大多圍繞動畫內容展開,但也有相當一部分是制作真人深度偽造內容,且 90% 的真人深度偽造需求均以女性為目標對象(相關研究成果尚未經過同行評審)。
近期,X 平臺旗下聊天機器人 Grok 因生成露骨圖像引發公眾反對,也讓深度偽造內容的相關爭議再次發酵,核心焦點始終是各大平臺應如何封禁此類內容。而 Civitai 的情況則更為復雜:該平臺不僅交易 AI 生成的圖片、視頻和模型,還允許用戶買賣一種名為 LoRAs 的低秩適應指令文件。這類文件能引導 “穩定擴散” 等主流 AI 模型,生成其原始訓練中并未涉及的內容。用戶可將該文件與其他工具結合,制作出露骨或涉性的深度偽造內容,研究人員發現,Civitai 上86% 的深度偽造需求均是求購這類 LoRAs 文件。
在這些深度偽造內容的懸賞任務中,用戶會要求制作者提供高質量的 AI 模型,用以生成網紅查莉?達梅利奧(Charli D’Amelio)、歌手格雷西?艾布拉姆斯(Gracie Abrams)等公眾人物的偽造圖像,還常會附上這些人物的社交媒體主頁鏈接,方便制作者從網絡上獲取相關影像素材。部分需求會明確要求,模型生成的內容要包含人物全身、精準還原紋身細節,或是支持調整發色。還有些需求的目標是特定領域的女性群體,比如 ASMR 視頻創作者。
其中有一則需求,要求制作一名據稱是用戶妻子的女性的深度偽造內容。平臺上的所有用戶都可提交自己制作的 AI 模型參與懸賞任務,最終的最優作品制作者會獲得報酬,金額在 0.5 至 5 美元之間。該平臺上近 92% 的深度偽造內容懸賞任務都已有制作者中標。
截至目前,Civitai 平臺和 a16z 基金均未對相關置評請求作出回應。
不排除部分用戶購買 LoRAs 文件,是為了制作非性相關的深度偽造內容。但即便如此,這類行為依然違反 Civitai 的平臺使用條款,且存在倫理爭議。而 Civitai 平臺還會提供各類教學資源,指導用戶如何借助外部工具進一步定制圖像生成器的輸出內容,比如調整人物的肢體姿勢。平臺上還有用戶撰寫的文章,詳細介紹了如何調教 AI 模型生成色情內容。研究人員發現,該平臺上的色情內容數量持續增加,目前平臺每周的大部分內容需求都為不適宜公開的成人內容。
該研究的負責人之一、斯坦福大學網絡政策中心博士后研究員馬修?德沃爾納(Matthew DeVerna)表示:“Civitai 不僅搭建了催生這些問題的基礎設施,還會明確指導用戶如何利用這些工具制作違規內容。”
Civitai 此前僅封禁針對真人的性相關深度偽造內容,卻在 2025 年 5 月宣布,將全面封禁所有深度偽造內容。《麻省理工科技評論》核實發現,該禁令發布前,平臺上已存在的大量深度偽造內容懸賞任務至今仍未下線,不少中標并完成這些任務的相關作品,也仍在平臺上供用戶購買。
德沃爾納表示:“我認為該平臺的運營思路,就是盡可能少采取管控措施,以此在平臺上催生更多所謂的創作內容。”
用戶需通過平臺的虛擬貨幣 Buzz 購買 LoRAs 文件,而該虛擬貨幣可通過法定貨幣兌換。2025 年 5 月,因平臺上的非合意內容問題始終得不到解決,為 Civitai 提供信用卡支付服務的機構終止了與其合作。目前用戶若要購買露骨內容,只能通過禮品卡或加密貨幣兌換 Buzz,平臺則為非露骨內容的交易單獨設置了另一種虛擬貨幣。
Civitai 會為要求制作深度偽造內容的懸賞任務自動添加標簽,同時在平臺上公布相關流程,允許被偽造的當事人手動申請下架相關內容。這一機制意味著,Civitai 其實有一套效果尚可的方式,能夠識別出平臺上的深度偽造內容懸賞任務。但該平臺始終將內容審核的責任推給公眾,并未主動開展相關工作。
科技公司需為用戶的行為承擔何種法律責任,目前尚無明確界定。依據《通信規范法》第 23 條,科技公司通常能在內容相關的法律責任上獲得廣泛保護,但這類保護并非無上限。華盛頓大學法學院專攻科技與人工智能領域的教授瑞安?卡洛(Ryan Calo)表示,比如平臺不能故意為網站上的非法交易提供便利。
2024 年,Civitai 與 OpenAI、Anthropic 等多家人工智能企業聯合推出了一項設計準則,旨在防范 AI 生成的兒童性虐待素材的制作與傳播。該舉措的出臺,源于斯坦福互聯網觀測站 2023 年發布的一份報告。報告指出,兒童性虐待相關社群中提及的絕大多數 AI 模型,均以 Stable Diffusion 為基礎,且這些模型基本都是從 Civitai 平臺獲取的。
但針對成人的深度偽造內容,卻始終未得到內容平臺及其投資風投機構的同等重視。卡洛表示:“他們對此的重視程度遠遠不夠,甚至過度縱容這類內容的存在。執法機構和民事法庭也未能采取有效措施防范此類問題,兩者的重視程度有著天壤之別。”
2023 年 11 月,Civitai 獲得安德森?霍洛維茨基金 500 萬美元的投資。在該基金發布的一段視頻中,Civitai 聯合創始人兼首席執行官賈斯汀?邁爾(Justin Maier)闡述了自己的創業目標,他希望將平臺打造為全球首屈一指的 AI 模型交易與分享平臺,讓用戶能獲取適配個人需求的各類 AI 模型。他表示:“我們希望讓這個原本小眾、且對技術要求極高的領域,變得越來越親民,讓更多人能夠參與其中。”
Civitai 并非 a16z 基金投資的唯一存在深度偽造內容相關問題的企業。《麻省理工科技評論》今年 2 月首次披露,該基金投資的另一家企業 Botify AI 也存在違規問題。該平臺推出的多款 AI 虛擬伴侶均以真人演員為原型,這些虛擬形象均自稱未滿 18 歲,會與用戶進行性暗示對話,還會向用戶發送所謂的性感照片,部分虛擬形象甚至會稱法定同意年齡相關法律毫無道理、本就該被打破。
https://www.technologyreview.com/2026/01/30/1131945/inside-the-marketplace-powering-bespoke-ai-deepfakes-of-real-women/
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.