整治AI技術濫用！上海網信指導小紅書B站等集中清理“一鍵脫衣”等有害內容

為貫徹落實中央網信辦“清朗·整治AI技術濫用”工作部署，4月下旬以來，上海市委網信辦聚焦6類突出問題深入開展第一階段專項行動。現向社會公布階段性工作成果，進一步凝聚共識，共同營造清朗網絡生態。

強化合規，全面清理整治違規AI產品和信息

上海市委網信辦指導小紅書、嗶哩嗶哩、拼多多等15家重點網站平臺，集中清理“一鍵脫衣”、未經授權的人臉或人聲克隆編輯、未備案等違規AI產品、商品及相關營銷、炒作、推廣、教程信息。小紅書、嗶哩嗶哩主動發布專項行動治理公告，開通了有害AI內容的舉報受理處置渠道；星野開展智能體全面排查清理。各重點網站和AI平臺共攔截清理相關違法違規信息82萬余條，處置違規賬號1400余個，下線違規智能體2700余個。經整治，網絡違規AI信息顯著減少。

上海市委網信辦深化大模型合規指導服務中心作用，指導各類提供生成式人工智能服務的主體落實合規義務，強化安全評估，迄今已完成82款大模型備案，87款應用登記。對3款未履行備案或登記程序提供服務且存在風險的應用，依法約談并給予行政處罰。

督導聯動，提升AI平臺安全風控能力

上海市委網信辦指導重點AI平臺加強技術源頭治理，深化自查自糾，加強訓練語料管理機制，加強新版本新應用上線、API接入應用的安全管理，用好大模型能力持續提升安全水平，建立健全與業務規模相適應的風控機制。組織專業機構對8家企業14款AI類應用開展了巡查測試，對部分重點平臺開展現場檢查和上門指導，發現并督導整改優化內容審核、意圖識別等安全措施的薄弱環節。通過系統性排查和閉環整改，上海重點AI平臺和重點平臺AI應用的合規性、安全可控性持續增強。

以人為本，強化重點領域AI安全管理

針對關乎人民群眾“生命線”“錢袋子”和“未成年人保護”等社會高度關注的AI應用，上海市委網信辦會同市衛健委、金融監管等主管部門，對申請備案、登記的垂域模型和應用加強審核和業務指導，對33款已完成備案、登記提供醫療健康、金融、教育、情感陪伴服務的AI應用開展督導檢查，要求完善行業領域安全審核和控制機制，加強專業知識庫和檢索增強能力建設，提升輸出準確性，防范虛假、誤導、誘導沉迷對患者、投資者、未成年人帶來的不良影響。

聯合市衛健委，指導上海人工智能實驗室舉辦了醫療大模型開源評測社區上線發布會和上海網絡安全博覽會“醫學人工智能安全”論壇，面向全市各醫療機構、醫療服務企業開展AI安全宣貫和合規指導，依托上海市醫療大模型應用檢測驗證中心對16家機構20個AI醫療場景開展評估，結合模型安全性評價和業務驗證，強化行業規范和倫理審查，指導安全加固，引導規范應用。

多策并舉，強化AIGC標識示范和全鏈條治理

上海市委網信辦將高標準落實《人工智能生成合成內容標識辦法》及配套強制性國家標準作為專項治理的關鍵抓手，切實保障公眾知情權。先后組織開展了4場面向大模型企業、重點網站平臺、應用企業的法規宣貫和專題交流，覆蓋企業400余家，深入解讀標識要求和技術路徑，推動企業從“要我落實”轉向“我要落實”。指導成立AIGC標識生態聯盟，上海人工智能安全治理實驗室聯合重點大模型企業、網站平臺，合力推進標識互認、能力共享與標準協同。

圍繞“制作-傳播”環節，指導重點網站平臺加快配備顯式與隱式標識功能，不斷提升AIGC內容、AI高風險行為的檢測識別和治理能力。通過政策指導、生態協同與技術落地，稀宇科技、階躍星辰、通義、小紅書、嗶哩嗶哩、Soul等已基本完成顯式標識規范上線，加快開發上線隱式標識和傳播鏈互認驗證，小紅書牽頭編制圖片模態元數據標識實踐指南，上海標識工作取得階段性成效。

上海市委網信辦將持續深化專項行動，統籌技術治理、制度建設和生態優化，強化對重點問題、平臺、環節的常態化監管，推動智能向善。第二階段將聚焦AI造謠、低俗內容等7類突出問題加大整治力度，維護良好網絡生態。上海將切實落實習近平總書記考察上海的重要指示，力爭在人工智能發展和治理各方面走在前列，產生示范效應。

來源：網信上海