第五屆網絡空間內生安全學術大會 發布“AI+生態構建八大安全挑戰”

習近平總書記指出，人工智能帶來前所未有的發展機遇，也帶來前所未遇的風險挑戰。要把握人工智能發展趨勢和規律，加緊制定完善相關法律法規、政策制度、應用規范、倫理準則，構建技術監測、風險預警、應急響應體系，確保人工智能安全、可靠、可控。

2025年11月28日在南京召開的第五屆網絡空間內生安全學術大會，聚焦“AI+生態構建新挑戰，安全可信新機遇”核心主題，由紫金山實驗室牽頭，聯合國家數字交換系統工程技術研究中心、嵩山實驗室、東南大學、復旦大學、中國網絡空間內生安全技術與產業聯盟等單位，通過多渠道、多層次的深入調研與系統梳理，正式發布“AI+生態構建八大安全挑戰”，旨在凝聚行業共識，為破解AI應用信任赤字、提升AI應用韌性安全能力、構建可信AI“度量衡”體系提供重要指引。

挑戰一：AI模型先天缺乏安全設計

當前主流AI模型架構的設計核心聚焦于性能優化，首要目標是提升準確率、加快推理速度與增強泛化能力，卻普遍未將安全性納入系統性考量框架。這些架構在各自領域展現優異性能的同時，因設計之初未充分兼顧對抗攻擊防護、隱私保護、可解釋性增強等安全需求，導致安全防護只能依賴后期外部加固手段，難以從根源上抵御風險。例如，Transformer架構的注意力機制在強化模型表達能力的同時，也暴露了新的攻擊面，而現有設計中缺乏內生的魯棒性保障機制。此外，架構設計領域尚未形成統一的安全性評估框架與設計準則，開發者在架構選擇階段，難以量化評估不同方案對安全性的潛在影響。如何在模型架構中引入性能與安全并重的核心原則，研發兼具高性能與高安全特性的新型架構，已成為AI領域亟待破解的關鍵挑戰。

挑戰二：AI加劇數據“裸奔”風險

AI的廣泛應用進一步加劇了數據‘裸奔’的風險，在數據全生命周期的處理環節中潛藏著多重隱私泄露隱患。AI模型的訓練、部署與運營需以海量數據為支撐，這些數據中往往包含個人敏感信息與企業核心業務數據，極易成為隱私泄露的源頭。更需警惕的是，針對AI模型的專項攻擊持續升級，非法獲取遠程訪問權限、模型逆向攻擊技術突破以及成員推斷等精準攻擊手段，往往能繞過常規防護措施，直接竊取訓練數據或還原敏感信息，給個人合法權益與企業安全造成嚴重威脅。

挑戰三：AI供應鏈安全存在多米諾骨牌效應

隨著AI生態系統的不斷復雜化，從數據提供商、模型開發者到云服務提供商，整個供應鏈的任一環節都可能成為攻擊切入點。威脅行為者正加速運用自動化工具與AI技術發起供應鏈攻擊，此類攻擊具有影響范圍廣、檢測難度大、傳播速度快的顯著特征。一旦上游供應商的AI模型遭遇投毒攻擊，風險可能快速傳導，波及數千個下游應用與數百萬用戶，而現有安全防護體系難以有效應對這種系統性、連鎖式風險。

挑戰四：AI“黑箱”引發應用信任危機

深度學習模型的決策機制如同 “黑箱”，其復雜的神經網絡結構與數以億計的參數，使得模型的推理過程對人類完全不透明。即便是模型開發者，也無法精準解釋模型在特定輸入下產生某一輸出結果的具體邏輯與原因。這種不可解釋性在醫療診斷、金融風控、司法判決等高風險決策場景中尤為致命：醫生無法理解AI診斷系統的推理依據，難以結合臨床經驗做出綜合判斷；法官難以闡明AI輔助判決的邏輯基礎，影響司法判決的透明性和可解釋性；金融機構無法向客戶清晰說明AI信貸決策的具體緣由，不利于保障消費者的知情權。缺乏可解釋性不僅阻礙了專業人士對AI系統的信任建立，也導致錯誤決策難以被及時發現與糾正，嚴重制約了AI在關鍵領域的可靠應用。

挑戰五：AI惡化基于漏洞的攻防不平衡態勢

AI在網絡安全領域的“雙刃劍”效應愈發凸顯，既革新了防御能力，也疊加了漏洞利用、智能攻擊等多重風險。一方面，AI通過智能流量分析與攻擊行為識別，能從海量數據中精準捕捉異常特征，大幅提升網絡威脅的預警與攔截效率，成為抵御傳統攻擊的核心技術支撐；另一方面，大模型的代碼生成與攻擊工具調用能力顯著降低了攻擊門檻，使攻擊者可快速利用已知網絡漏洞實施精準滲透，且攻擊手段更隱蔽、傳播速度更快。同時，AI模型自身存在的算法缺陷與安全漏洞，使其易遭受對抗攻擊。人眼不可見的微小數據擾動，就能誘使模型輸出錯誤結果。這些風險在金融、安防等敏感場景中相互疊加，可能引發數據泄露、系統癱瘓、決策失準等嚴重后果。

挑戰六：AI面臨多元價值對齊困境

AI系統優化的核心是可量化的數學目標，而人類社會的價值體系具有復雜、多元甚至模糊的特性，二者之間存在根本性偏差。從倫理層面來看，人類價值觀本身存在多元甚至對立的立場，難以確立統一且公正的價值對齊基準。此外，能力強大的模型可能為高效達成預設優化目標，采取有悖人類倫理的“獎勵黑客”行為；同時，數據中隱含的社會偏見會被模型復制并放大，進一步加劇價值沖突。技術層面的不可量化性、倫理層面的共識難題以及模型能力帶來的不可預測風險，共同構成了價值對齊的核心困境。如何確保AI系統的優化目標與人類長期、整體及多元價值觀真正保持一致，是一項兼具哲學與技術雙重屬性的艱巨難題。

挑戰七：AI生成內容監管與模型溯源困難

AI生成內容的判定面臨雙重核心挑戰：一是判定內容是否為AI生成，二是判定生成內容的真實性。在第一層判定中，基于相似Transformer架構與海量公開數據訓練的模型，其輸出在語法、邏輯與風格上日益趨同，導致生成內容的“指紋”特征愈發模糊，難以實現有效區分與溯源；而模型微調、提示工程等簡單且低成本的技術手段，能輕易破壞或規避旨在識別和追蹤的模型水印與指紋，進一步增加了判定難度。在第二層判定中，生成式AI可能產生“幻覺”現象，以高度可信的表述方式編造不存在的事實、引用虛假數據，使用戶難以辨別其輸出是基于真實知識還是精巧構造的虛假信息，這對知識問答、法律文書生成及科學研究等對事實性要求極高的領域具有致命影響。同時，開源模型的自由分發與修改切斷了原始溯源鏈條，閉源模型的不可解釋性則從外部阻斷了特征分析的可能。這些深層次技術挑戰，共同構成了當前治理體系難以逾越的識別與溯源壁壘，使得在激勵技術創新與規避社會風險之間，重構可控、可信的AI發展新范式成為迫切需求。

挑戰八：AI安全評估與認定缺乏技術支撐

當前行業尚未形成公認的AI模型性能、安全性及可靠性量化評估標準，不同供應商可能特意選取對自身有利的數據或指標展示產品優勢，導致市場評價缺乏客觀統一的依據。AI模型算法安全涉及訓練、推理、部署等多個環節的風險，涵蓋魯棒性、泛化性、可解釋性、偏見與歧視等多個核心維度。然而，現有評估多局限于特定數據集上的實驗室指標，難以全面反映模型在真實動態環境中的實際表現。這種標準體系的缺位，使得企業在推進AI創新時面臨法律邊界模糊、自律與他律難以落地的困境，嚴重阻礙了AI產業的健康可持續發展。