專家解讀｜人工智能擬人化互動服務(wù)管理暫行辦法

當(dāng)前，大語言模型應(yīng)用逐步向情感與心理領(lǐng)域深度延伸，基于大語言模型等人工智能（AI）技術(shù)的產(chǎn)品或者服務(wù)被賦予性格、記憶、共情等擬人化特征，能夠通過文字、圖片、音頻、視頻等形式與人類互動，持續(xù)提供模擬人類人格特征、思維模式和溝通風(fēng)格的情感互動服務(wù)。國家網(wǎng)信辦與有關(guān)部門聯(lián)合公布《人工智能擬人化互動服務(wù)管理暫行辦法》（以下簡稱《辦法》），通過前瞻性制度設(shè)計，在鼓勵技術(shù)創(chuàng)新的同時，為人工智能擬人化互動服務(wù)（以下簡稱擬人化互動服務(wù)）劃定了發(fā)展邊界、明確了行為規(guī)范。

點擬人化互動服務(wù)賦能作用和安全風(fēng)險并存

擬人化互動服務(wù)在應(yīng)對人口老齡化挑戰(zhàn)、緩解社會個體的孤獨感、提供心理疏導(dǎo)等方面展現(xiàn)出積極價值，也帶來了深度沉迷、威脅公民生命健康等有關(guān)安全風(fēng)險。

一方面，有助于賦能多領(lǐng)域社會生活。擬人化互動服務(wù)通過模擬人類的語言風(fēng)格、情感特征和社交邏輯，讓人機交互更自然、更有溫度，在情感陪伴、公共服務(wù)、文化傳播等領(lǐng)域發(fā)揮積極效用，成為彌補社會需求缺口的有益補充。在老年陪護(hù)場景中，擬人化互動服務(wù)可主動問候、提醒用藥，甚至陪伴聊天，有效緩解老年群體的孤獨感；在教育領(lǐng)域，人工智能學(xué)習(xí)伙伴以鼓勵式表達(dá)和個性化反饋激發(fā)學(xué)生學(xué)習(xí)興趣，構(gòu)建“亦師亦友”的良性學(xué)習(xí)氛圍；在文化傳播領(lǐng)域，擬人化互動服務(wù)以具象化人格開展導(dǎo)覽服務(wù)，提升互動體驗、活化歷史文化知識，拓展公眾知識獲取渠道。

另一方面，其帶來的安全風(fēng)險同樣不容忽視。擬人化互動服務(wù)精準(zhǔn)契合用戶情感與社交需求，在提供陪伴感的同時也埋下了不容忽視的風(fēng)險隱患。其通過算法精密設(shè)計出的無條件陪伴、迎合式反饋與模擬共情回應(yīng)，持續(xù)給予用戶情感認(rèn)可和支持，為用戶構(gòu)建了一個穩(wěn)定持續(xù)、無需承擔(dān)現(xiàn)實責(zé)任的虛擬“完美關(guān)系”。這易使用戶尤其是在現(xiàn)實存在孤獨感、心理脆弱的群體，產(chǎn)生深度情感依賴，強化其負(fù)面情緒，影響其現(xiàn)實生活，影響人類社會關(guān)系基礎(chǔ)。比如，人工智能算法通過精準(zhǔn)匹配人類心理需求，構(gòu)建沉浸式交互場景，長期使用可能導(dǎo)致部分用戶出現(xiàn)沉迷依賴、主動縮減現(xiàn)實社交頻次，影響用戶共情能力、處理分歧能力等現(xiàn)實社交技能。

國內(nèi)外擬人化互動服務(wù)治理制度探索不斷推進(jìn)

當(dāng)前，國內(nèi)外逐漸關(guān)注擬人化互動服務(wù)的發(fā)展治理課題，并探索開展相關(guān)制度建設(shè)。從研究觀察看，有關(guān)國家和地區(qū)在制度規(guī)則的價值考量、規(guī)制重點、規(guī)制措施等方面呈現(xiàn)了不同特點。

歐盟注重擬人化互動服務(wù)風(fēng)險治理。其通過《人工智能法》建立風(fēng)險分類體系，將擬人化互動服務(wù)劃入屬于有限風(fēng)險范疇，明確其必須遵守透明度規(guī)則，要求建立強制透明度告知義務(wù)，保障用戶知悉其與人工智能互動，并要求對合成內(nèi)容進(jìn)行標(biāo)識，保障用戶對生成合成內(nèi)容的辨識能力。歐洲議會通過非約束性報告，呼吁將陪伴型人工智能的最低使用年齡設(shè)定為16歲，凸顯對未成年人的重點保護(hù)導(dǎo)向。

美國州立法也對擬人化互動服務(wù)規(guī)范進(jìn)行了探索。有關(guān)州立法要求服務(wù)提供者建立危機檢測機制，主動識別并阻止自殺、自殘等極端傾向，同時引導(dǎo)用戶對接自殺干預(yù)熱線等專業(yè)危機救援資源。比如，紐約、加利福尼亞等州強制要求擬人化服務(wù)商必須以顯著、持續(xù)的方式告知用戶“交互對象為AI，不是真實人類”，并規(guī)定平臺建立有效的年齡驗證機制，對于未成年人用戶，系統(tǒng)需在連續(xù)互動過程中定期重復(fù)提示。Character.AI等美國企業(yè)探索規(guī)范18歲以下用戶與聊天機器人開展開放式交流，并啟用年齡驗證機制。

我國注重統(tǒng)籌發(fā)展和安全。比如，修改后的《網(wǎng)絡(luò)安全法》完善支持人工智能發(fā)展的措施，明確國家支持人工智能基礎(chǔ)理論研究和算法等關(guān)鍵技術(shù)研發(fā)，推進(jìn)訓(xùn)練數(shù)據(jù)資源、算力等基礎(chǔ)設(shè)施建設(shè)，完善人工智能倫理規(guī)范，加強風(fēng)險監(jiān)測評估和安全監(jiān)管，促進(jìn)人工智能應(yīng)用和健康發(fā)展。國家網(wǎng)信辦與有關(guān)部門聯(lián)合制定《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》等人工智能專門立法，規(guī)定了涉及擬人化互動服務(wù)治理的有關(guān)制度。此外，發(fā)布《全球人工智能治理倡議》，為推動全球人工智能合作與治理提供了建設(shè)性思路；國家網(wǎng)信辦指導(dǎo)發(fā)布《人工智能安全治理框架》2.0版，指出擬人化交互存在沉迷依賴風(fēng)險，并提出應(yīng)對舉措建議。《辦法》明確堅持發(fā)展和安全并重、促進(jìn)創(chuàng)新和依法治理相結(jié)合的原則，將為擬人化互動服務(wù)健康發(fā)展提供制度保障，也為全球人工智能治理提供中國方案。

《辦法》從多維度規(guī)范擬人化互動服務(wù)

對擬人化互動服務(wù)的治理，關(guān)鍵在促進(jìn)技術(shù)創(chuàng)新發(fā)展的同時，有效防范風(fēng)險與倫理問題。《辦法》對法學(xué)界和產(chǎn)業(yè)界關(guān)注的焦點問題作出了積極探索，從多個方面規(guī)范擬人化互動服務(wù)。

（一）厘清責(zé)任邊界，夯實安全保障義務(wù)

《辦法》明確了擬人化互動服務(wù)全生命周期的安全責(zé)任，構(gòu)建起覆蓋內(nèi)容安全、數(shù)據(jù)安全等在內(nèi)的制度體系。其一，強化安全主體責(zé)任。《辦法》要求服務(wù)提供者建立健全算法機制機理審核、科技倫理審查、信息內(nèi)容管理、網(wǎng)絡(luò)和數(shù)據(jù)安全、風(fēng)險預(yù)案和應(yīng)急處置等管理制度，將安全責(zé)任貫穿擬人

化互動服務(wù)部署、運行、升級、終止服務(wù)等全流程，明確禁止將替代社會交往、控制用戶心理、誘導(dǎo)沉迷依賴等作為服務(wù)目標(biāo)。這一規(guī)定從源頭上確立了擬人化互動服務(wù)的價值導(dǎo)向與倫理邊界，夯實安全管理基礎(chǔ)，防范潛在風(fēng)險。其二，明確內(nèi)容安全底線。《辦法》明確提供擬人化互動服務(wù)不得生成危害國家安全、榮譽和利益等內(nèi)容，生成損害用戶身體健康相關(guān)內(nèi)容和可能影響未成年人身心健康的內(nèi)容。其三，筑牢隱私權(quán)和個人信息保護(hù)防線。《辦法》規(guī)定擬人化互動服務(wù)提供者需采取數(shù)據(jù)加密、訪問控制等技術(shù)措施保障交互數(shù)據(jù)安全；明確除法律另有規(guī)定或者權(quán)利人明確同意外，擬人化互動服務(wù)提供者不得向第三方提供用戶交互數(shù)據(jù)；還明確除法律、行政法規(guī)另有規(guī)定或者取得用戶單獨同意外，擬人化互動服務(wù)提供者不得將屬于用戶敏感個人信息的交互數(shù)據(jù)用于模型訓(xùn)練。《辦法》將進(jìn)一步保護(hù)用戶隱私權(quán)和個人信息，助力構(gòu)建安全可信的擬人化互動服務(wù)空間。

（二）重點防范高風(fēng)險，規(guī)制非理性依賴

《辦法》針對實踐中的安全風(fēng)險，構(gòu)建了明確的防范制度。其一，要求及時識別用戶面臨的安全風(fēng)險，并采取相應(yīng)的應(yīng)急處置措施。《辦法》規(guī)定擬人化互動服務(wù)在識別出用戶出現(xiàn)極端情緒時，應(yīng)及時生成情緒安撫和鼓勵尋求幫助等相關(guān)內(nèi)容；在用戶明確表現(xiàn)出自殘自殺等威脅生命健康的極端情境時，應(yīng)當(dāng)采取提供相應(yīng)援助等必要措施予以干預(yù)，并及時聯(lián)絡(luò)用戶的監(jiān)護(hù)人或者緊急聯(lián)系人。該規(guī)定踐行“以人為本”理念，筑牢了極端風(fēng)險場景下用戶的身心安全防護(hù)底線。其二，強化擬人化互動服務(wù)提供者對生成合成內(nèi)容的提示義務(wù)，筑牢“人機邊界”認(rèn)知防線。《辦法》規(guī)定擬人化互動服務(wù)提供者應(yīng)采取有效措施，以提示用戶正在與AI而非自然人進(jìn)行互動。發(fā)現(xiàn)用戶出現(xiàn)過度依賴、沉迷傾向時，應(yīng)當(dāng)以彈窗等顯著方式提醒用戶交互內(nèi)容為AI服務(wù)生成，提示每一條安慰信息背后是算法邏輯而非人類情感，避免用戶產(chǎn)生情感依戀、認(rèn)知混淆甚至行為成癮。用戶連續(xù)使用超過2小時的，明確應(yīng)通過對話或彈窗等方式提示用戶注意使用時長，發(fā)揮防沉迷作用，引導(dǎo)用戶回歸現(xiàn)實生活，理性審視自身使用行為。

（三）強化幼老群體保護(hù)，保障心理安全底線

《辦法》特別強調(diào)了對未成年人群體的保護(hù)和老年人群體的使用引導(dǎo)，防止其心理自主性受到不當(dāng)干預(yù)。其一，建立精準(zhǔn)適配的未成年人保護(hù)機制。《辦法》要求擬人化互動服務(wù)提供者應(yīng)當(dāng)建立未成年人模式，不得向未成年人提供虛擬親屬、虛擬伴侶等虛擬親密關(guān)系服務(wù)，向不滿14周歲的未成年人提供其他擬人化互動服務(wù)的，應(yīng)當(dāng)取得未成年人父母或者其他監(jiān)護(hù)人的同意。在未成年人模式服務(wù)下，應(yīng)當(dāng)通過定期現(xiàn)實提醒、使用時長限制等功能強化未成年人保護(hù)，并禁止向未成年人用戶生成可能引發(fā)模仿不安全行為、誘導(dǎo)不良嗜好的內(nèi)容。《辦法》旨在構(gòu)建保護(hù)未成年人的堅實防線，嚴(yán)防未成年人因心智尚未成熟而沉溺于虛擬情感依賴，防范違法和不良信息滲透與侵蝕。其二，強化老年人健康使用擬人化互動服務(wù)的指導(dǎo)與援助。《辦法》要求加強對老年人用戶的指導(dǎo)、安全風(fēng)險提醒、相關(guān)咨詢求助響應(yīng)，旨在幫助老年人群體享受AI服務(wù)帶來便利的同時，有效規(guī)避潛在風(fēng)險。

結(jié)語

《辦法》是我國應(yīng)對人工智能深度社會化應(yīng)用挑戰(zhàn)的一項重要探索，將有助于促進(jìn)人工智能擬人化互動服務(wù)健康發(fā)展和規(guī)范應(yīng)用，讓人工智能更好造福社會。

作者：王江，中國網(wǎng)絡(luò)空間研究院院長、黨委書記

本文轉(zhuǎn)載自網(wǎng)信中國，原文標(biāo)題《專家解讀｜人工智能擬人化互動服務(wù)的制度指引》

太空算力何時走向商業(yè)爆發(fā)？

126星！“千帆”提速背后：直面運力與商業(yè)雙重考驗

華為2025年營收8809億元，聯(lián)接產(chǎn)業(yè)要落實“水戰(zhàn)略”

責(zé)編/版式：孫天

審校：梅雅鑫

監(jiān)制：劉啟誠

【媒體矩陣】

今日頭條 | 微博 | 微軟MSN | 百家號

網(wǎng)易號 | 人民號 | 騰訊新聞 | 搜狐

新浪看點 | 雪球號 | 知乎

【運營團(tuán)隊】

編輯｜梅雅鑫 孫天 朱文鳳

審校 | 梅雅鑫

監(jiān)制｜劉啟誠