特色專題 | 基于生成式人工智能的網絡認知域安全技術

編者薦語

本文嘗試深入剖析基于生成式人工智能的安全防御技術，探索如何利用這一前沿技術的強大能力，為網絡空間認知領域構建起一道堅不可摧的安全防線。

摘　要

近年來，人工智能、大數據分析等前沿技術的應用與發展，尤其是生成式人工智能大模型的快速發展，加快了人—網絡平臺—物理空間的三元融合發展的趨勢，促使物理空間、網絡空間和認知空間的交織融合。網絡空間認知領域存在惡意信息多、個體信息易泄露、信息傳播易操縱等諸多安全風險，極易傳導至物理空間引發社會問題?；凇叭斯ぶ悄?”的思想，嘗試分析基于生成式人工智能的安全防御技術，為促進未來網絡安全產業發展提供新思路。

論文結構

0　引　言

1　認知域面臨的主要技術風險

1.1　惡意信息

1.2　信息操縱

1.3　網絡水軍

2　認知域安全防御技術

2.1 惡意信息檢測

2.2 傳播影響力預警

2.3　網絡水軍識別

2.4　開源情報生成

3　對產業發展的促進

3.1 認知域安全產業需求明顯

3.2 認知域安全防御技術轉化可行

3.3　認知域安全產品初見成效

4　結　語

0　引　言

社交網絡、短視頻等網絡媒體平臺的快速發展與應用，使得網絡空間成為信息傳遞、思想交流的主陣地。由于網絡空間上的意識形態滲透具有成本低、代價小、難溯源等特點，結合數據分析、人工智能、衛星通信等新一代信息技術的融合應用，以美國為首的西方國家正逐步將認知作戰的主戰場從物理空間轉移到網絡空間。網絡空間的認知域安全與政治安全、軍事安全等各領域安全相互影響、聯動保障，逐漸成為保障國家安全的重要組成部分 ?？焖侔l展的生成式人工智能技術，在給網絡空間認知域安全帶來風險挑戰的同時，也為網絡空間認知域安全防御提供了可能。

1　認知域面臨的主要技術風險
在國際競爭日益激烈的大背景下，以美國為首的西方國家為實現其政治目的，組建專業的作戰力量，在網絡空間通過滲透與反滲透、干預與反干預、控制與反控制等認知戰行動，影響他國民眾的心理狀態、價值觀和行為決策。例如，美國成立專門的網絡作戰司令部，整合各軍種認知作戰力量；英國成立第 15 心理作戰群，開展戰場心理作戰活動。近年來，網絡空間面臨的認知域威脅比以往更嚴重。從技術角度來看，網絡空間認知域的安全主要受無處不在的惡意信息、隱蔽無形的信息操縱、真假難辨的網絡水軍等因素的威脅。

1.1　惡意信息

物理空間中存在政治宣傳、認知戰、商業營銷、詐騙傳銷等多種意圖，這些意圖會在網絡空間中產生大量的虛假新聞、詐騙信息、摻雜誘導性內容的事實闡述、陰謀論等惡意信息，進而影響民眾的認知域安全。

生成式人工智能技術的發展與應用也給惡意信息的制造帶來了一定的便利。隨著美國開放人工智能研究中心（OpenAI）的“ChatGPT”、谷歌公司的“Gemma”、百度的“文心一言”、阿里巴巴的“通義千問”等智能大模型的推出和升級迭代，使得文本、圖片、視頻等內容的自動生成過程朝著效率越來越高、成本越來越低、真偽性越來越難以區分等方向發展，進而導致網絡空間認知域風險越來越高。

1.2　信息操縱

國家、媒體平臺、商業團體等組織為實現其政治、影響力、盈利等目的，利用人工智能、大數據分析等技術在網絡空間實施信息操縱，影響公眾的輿論、態度和行動。信息操縱包含用戶特征畫像、群體精準傳播等關鍵環節。其中，用戶特征畫像主要是使用技術手段對網絡主體的活動軌跡、行為方式、特點等進行數據化表示，最早被應用于電子商務的個性化推薦、針對性營銷與服務等領域，后來被廣泛應用于信息操縱、圖書推薦、電子商務、旅游管理等領域。群體精準傳播主要使用人工智能、機器學習等技術手段對目標群體進行建模，根據不同群體的特點，針對性地選取信息傳播的內容數據、傳播源、傳播路徑等，進而實現對特定群體的大面積、快速傳播的目的。

2016 年的美國大選就是信息操縱的真實案例。大選前，劍橋分析公司在社交媒體平臺“臉書”上獲取了約 5 000 萬個注冊用戶信息，融合 2007 年“臉書”上以“學術”為名收集的上千萬用戶的心理測試數據，分析臉書用戶的心理特征和政治傾向，得到用戶的特征畫像。大選期間，劍橋分析公司實時收集用戶言論，分析用戶的支持傾向，基于用戶的特征畫像結果，使用智能技術向潛在支持民眾、中立民眾等不同類型群眾精準推送定制化的競選廣告，致使一些民眾的認知心理發生變化，進而左右民眾的投票結果。

1.3　網絡水軍

在流量至上的互聯網思維主導下，基于自主機器人、生成式人工智能等技術的網絡水軍應運而生。網絡水軍是指具有特殊目的的公關公司或組織，根據雇主或者委托方的需求，在網絡空間中偽裝成普通網民，針對特定內容、特定人群、特定話題等，發布、回復或者傳播網絡內容以炒作某個話題、人物或事件，進而達成影響網絡空間用戶認知、情感、行為、輿論傾向等目的的群體。

網絡水軍已經發展成為一種黑色產業鏈，給網絡空間輿論環境、市場經濟秩序、社會穩定甚至國家安全造成了嚴重的威脅。2013—2014 年，中央廣播電視總臺“3·15”晚會連續 2 年曝光網絡水軍黑色產業鏈。從作案工具來看，網絡水軍產業涉及隱藏真實身份的手機黑卡、網絡 IP 地址秒撥工具、全球定位系統（Global PositioningSystem，GPS）定位模擬器、智能終端控制器，以及包含用戶賬號信息的智能終端設備等多種現代化工具。從技術特點來看，網絡水軍可以是各行業的普通用戶，甚至是非自然人的社交機器人，其對計算機理論、內容制作、信息傳播等行業知識的要求門檻低，可以通過在多個網絡平臺擇時活動、模仿真實用戶網絡軌跡等方式隱蔽網絡水軍行為。

2　認知域安全防御技術

近年來，以生成式人工智能為代表的前沿技術的發展給網絡空間的認知域安全帶來了風險挑戰。從解決技術問題的角度來看，生成式人工智能技術在網絡空間認知的安全防御應用研究方面嶄露頭角；從學術研究的角度來看，生成式人工智能技術為網絡安全技術產業的發展提供了新的思路。本文主要從惡意信息檢測、傳播影響力預警、網絡水軍識別、開源情報生成等方面，總結生成式人工智能技術如何用于認知域安全防御。

2.1　惡意信息檢測

惡意信息通常具有內容顛覆性、情感極端性、陰謀詭辯性等特點，極易吸引人的眼球，通過社交媒體平臺，這種“病毒式傳播”方式能夠在短時間內形成流行趨勢。從網絡空間認知域安全防御的需求來看，快速準確地檢測出惡意信息，并在其傳播早期采取相關管控手段，能夠盡可能地減少受影響的人數，提高防御效果。從技術角度來看，生成式人工智能技術可以從 2 個方面實現惡意信息檢測。一是生成惡意信息，提高惡意信息檢測大模型的準確率。GPT、Sora 等生成式人工智能大模型，能夠生成涉及領域廣、規模大的文本及音視頻類惡意信息數據樣本，借助對抗神經網絡技術訓練這些樣本數據，能夠訓練出惡意信息檢測準確率高的大模型。二是提取惡意信息特征并對其進行分類。與傳統手工提取惡意信息特征的方法相比，利用生成式人工智能技術自動學習惡意信息特征的方法能夠節省大量的人力和時間消耗，并且能夠處理更復雜的惡意信息。

在具體實現上，生成式人工智能在惡意信息檢測中的應用可以結合自然語言處理、圖像識別等其他技術手段。例如，對于惡意文本信息的檢測，可以利用自然語言處理技術提取文本中的關鍵詞、短語和語義特征，然后利用生成式人工智能進行特征匹配和分類。對于惡意圖片和視頻的檢測，可以利用圖像識別技術提取圖像和視頻中的特征，然后利用生成式人工智能進行異常檢測和分類。

當前，國內外已出現一些基于生成式人工智能的認知安全防御技術工具。人民日報社成立的傳播內容認知國家重點實驗室發布了深度合成內容檢測工具“AIGC-X”，該工具使用生成式人工智能技術從文本內容中捕捉困惑度、突現頻次等隱式特征，能夠學習到機器生成文本與人工生成文本的分布差異。此外，機器生成內容檢測工具還包括普林斯頓大學推出的專門檢測教育行業機器生成內容的 GPTZero 工具、美國創業公司推出的專門用于檢測英文機器生成內容的 WordAi 工具等。

2.2　傳播影響力預警

從認知域面臨的技術風險來看，有目的的信息操縱會在短時間內產生大規模的輿情傳播現象，具有危害范圍廣、極易傳導至物理空間、易引爆次生輿情事件等特點，對輿情傳播的影響力預警能夠為信息操縱的及時發現、處置贏得時間。

從技術角度來看，生成式人工智能技術可以從 2 個方面實現傳播影響力的預警。一是預測傳播規模。借助循環神經網絡等深度學習技術，設計能夠模擬泊松過程等傳播機制的數學模型，試圖保留傳播規律、傳播影響力等主要特點，通過現有傳播數據訓練模型，以達到預測傳播規模的效果。二是預測傳播路徑。首先，收集文本、圖片、視頻、社交媒體互動等多種形式的傳播數據；其次，基于生成式人工智能網絡結合用戶之間的關系、傳播時間等信息，從這些數據中學習信息的傳播模式、用戶的行為習慣和興趣偏好等特征；最后，基于學習到的數據特征，生成式人工智能能夠生成與現有內容相似或全新的內容，并通過模擬用戶的反饋和行為預測這些內容的傳播路徑。

國內外對傳播規模和傳播路徑的預測研究開展較早，主要基于特征工程、隨機過程、圖表示、深度學習等方法，對傳播規律、用戶特征、群體行為等進行建模，并根據所學到的模型預測傳播規模和路徑。與其他方法相比，基于深度學習方法的模型在通用性、對傳播規律與用戶的特征提取能力、預測準確率、預測效率等方面更具優勢，因此，該方法頗受廣大學者的關注。

基于“變換器”模型（Transformer）、生成式對抗網絡、變分自編碼器等生成式人工智能技術，作為深度學習的一種，也逐漸被廣大學者所關注。該技術被用于對傳播行為、用戶特征等數據進行建模，以預測傳播規模和傳播路徑。

2.3　網絡水軍識別

早在 2014 年，國內學者就闡述了網絡水軍的識別技術，并將其劃分為基于內容特征的識別技術、基于環境特征的識別技術和基于用戶特征的識別技術 3 大類。

隨著互聯網平臺與智能技術的協同發展，網絡水軍識別面臨一系列技術挑戰。一是微博、短視頻平臺、知識問答平臺等多種社交網絡平臺在網絡空間齊頭并進，傳統網絡水軍識別技術通常是針對某一類社交網絡設計的，其平臺遷移能力較弱。二是生成式人工智能技術的應用降低了網絡水軍快速生成語料庫、制定傳播策略的門檻。三是隨著各大網絡平臺加深對用戶隱私的重視，網絡用戶的特征數據更難獲取。四是網絡水軍借助智能化工具模仿真實個體的網絡行為，提升了對開源數據的水軍標注的難度，導致網絡水軍更難識別。

國內外已有學者嘗試使用深度學習，尤其是生成式人工智能技術，探索解決傳統方法難以處理的網絡水軍識別問題。生成式人工智能在識別網絡水軍方面，其關鍵技術路線可以概括為以下幾個步驟：一是數據收集與預處理。收集社交媒體帖子、評論、論壇討論等網絡數據，并對這些數據進行去除噪聲、標準化文本、標記已知的水軍賬號等預處理。二是特征提取。使用自然語言處理技術，從文本中提取詞頻、短語、句法結構等關鍵特征。從發布時間、頻率、內容主題等，提取網絡水軍的行為模式。三是生成式模型訓練。利用收集到的數據和提取的特征，構建生成式模型，學習正常用戶和網絡水軍的行為模式和文本風格，以生成新的、類似的數據。四是異常檢測。通過生成式模型生成正常用戶與水軍行為的模擬數據，將其與實際數據做對比，通過甄別異常行為或文本，達到檢測網絡水軍的目的。

相比于傳統的機器學習等方法，生成式人工智能技術在處理網絡水軍識別方面具有一定的優勢。一是生成式人工智能技術在特征提取和學習模式方面效率更高、提取的規則更多、更易遷移到其他社交網絡平臺。二是生成式人工智能能夠處理和提取文本、圖像和語音等多元復雜數據中的特征，使得生成式人工智能技術在社交機器人檢測中具有優勢。三是生成式人工智能技術在許多情況下能夠勝過傳統的機器學習分類器，特別是在識別具有人類行為特征的社交機器人時，生成對抗網絡等生成式人工智能技術具有較高效率和準確率。四是網絡水軍數據集是提高算法模型識別結果有效性的重要因素，生成式人工智能技術可用于從用戶行為、用戶特征等不同角度大規模生成可用數據集，能夠解決標注數據缺失問題。

2.4　開源情報生成

在網絡空間安全領域，開源情報不僅是情報獲取和分析的重要手段，更是構筑立體化、智能化安全防護體系不可或缺的基石。搜集、加工、生成開源情報能夠在早期洞悉網絡空間的安全風險，為防范化解認知域安全威脅提供時間優勢和決策依據，是智能媒體時代網絡空間認知域安全的關鍵資源。

網絡空間開源數據規模爆發式增長，傳統的以人工編目匯總、分析的方法難以滿足現代情報生成需求。同時，相比于傳統的機器學習、統計分析等方法，生成式人工智能技術具有高度自動化、智能化的特點，不僅能夠理解情報文本的表面含義，還能通過跨文本、跨語言的情報關聯手段分析情報數據的潛在關系和隱含意義，在減少人工參與、節約人力成本的同時，通過持續的自我迭代學習提升對復雜問題的理解和應對能力。

生成式人工智能在開源情報生成中的應用主要涉及文本摘要生成、文本翻譯等。從技術角度來看，文本摘要生成主要基于 Transformer 架構捕捉文本中的序列依賴性和上下文信息，能夠用于情報數據中的新聞摘要、文章概要、社交媒體內容提煉等場景；文本翻譯也基于 Transformer 架構，捕獲情報數據文本中的上下文信息，并生成流暢、準確的翻譯。

以大語言模型 ChatGPT 為代表的生成式人工智能技術在金融、科技、教育等眾多領域的通用性，以及在處理生成文本、圖表、視頻、代碼等多源數據方面的能力，促使國內外學者積極探索融合生成式人工智能技術的開源情報處理、生成等問題。例如，P?zik 等人基于谷歌 T5 模型框架，在開源數據語料庫上，研究文本翻譯、基于短文本的術語抽取等多任務情報處理問題；Hassanzadeh分析 ChatGPT 等生成式人工智能技術對人員、企業和組織的知識管理影響，認為生成式人工智能將對未來知識情報管理產生重大變革；夏匯川等人從問題分類法視角評估生成式人工智能在情報工作中的應用效能，分析了生成式人工智能對情報工作者的優勢和局限。

3　對產業發展的促進
生成式人工智能技術給網絡空間安全帶來了風險與挑戰，為確保網絡空間認知域安全，可以從技術對抗技術的角度研發相關防御技術，這將進一步促進網絡安全產業的發展，同時將推動網絡空間認知域安全防御技術融入網絡安全產業的范疇。網絡空間的認知域安全已經上升到國家安全戰略的層面，是國家整體安全的重要組成部分。隨著各國加大對網絡空間認知域安全的重視，網絡空間認知域安全防護也將逐步落地見效。2024 年中央經濟工作會議強調：“以顛覆性技術和前沿技術催生新產業、新模式、新動能，發展新質生產力。”以生成式人工智能為代表的前沿技術有望催生一批未來產業，同時對網絡安全產業產生深刻影響，因此洞悉網絡安全產業的未來發展并進行前瞻性布局具有重要意義。

3.1　認知域安全產業需求明顯

從產業需求來看，網絡空間認知域安全防御不僅是政府、軍隊等國家相關部門的戰略所需，也是跨國公司、國際組織等實體維護其金融、消費市場、企業形象、國際商貿合作等領域利益的關鍵，因此，網絡空間認知域安全防護的產業需求逐漸顯現。以近年來我國遭受的多起由美國發起的認知戰為例，美國在國際輿論場炮制關于我國“一帶一路”倡議、“經濟崩潰論”等議題，是對我國惡意的污蔑和抹黑，這類行為在威脅我國國家戰略利益和總體安全的同時，也給相關涉華企業和組織的海外貿易、金融借貸等業務帶來負面影響。由此看來，無論是國家，還是企業、行業組織，都將是網絡空間認知安全防御類產品的潛在用戶群。

3.2　認知域安全防御技術轉化可行

從技術可行性來看，本文分析了生成式人工智能在惡意信息監測、傳播影響力預警、網絡水軍識別、開源情報生成等網絡空間安全認知防御領域的應用可行性，國內外已有學者開展了基于生成式人工智能技術的理論研究探索，形成了一些算法模型，從理論上論證了基于生成式人工智能技術的可行性及與傳統技術相比的優勢。未來，隨著全球對生成式人工智能技術研究的進一步深化，有望推動網絡空間認知域安全防御研究與之深度融合、快速發展。

3.3　認知域安全產品初見成效

從產品落地來看，網絡空間認知安全防御相關產品已初現端倪。例如，美國圣母大學推出了虛假信息預警系統，該系統能夠識別被惡意篡改的圖像、視頻和虛假信息等，隨后美國圣母大學在 2019 年印度尼西亞大選中測試了該系統。哈弗工學院與國際商業機器公司研究院的專家聯合推出了機器生成文本的檢測工具“GLTR”，該檢測工具能夠用于識別人工智能生成的虛假文本、誤導性文章等惡意內容。百度推出智能云，能夠識別偽造篡改。阿里云推出智能內容風控服務，能夠深度理解并分析文本、圖像等內容，快速識別出涉恐、惡意推廣等惡意信息。新浪微博與公安機關建立了水軍線索上報機制，借助智能手段開展新浪微博平臺上的水軍識別工作，為公安機關提供水軍黑產相關線索，協助偵辦網絡安全相關案件。中國知網推出輿情情報決策服務平臺，能夠實時監測網頁、微信、微博等輿情信息，智能分析網絡空間發生的事件、事件發展趨勢、信息傳播路徑等，支持短信、微信等多種形式的預警推送，并智能化生成輿情傳播情報分析報告。相信隨著全球對網絡空間認知域安全市場需求的增長，網絡空間安全認知域安全防御的產業鏈將逐步完善、產品種類將逐漸增多，產品可用性和易用性也將隨之提高。

4　結　語

技術的發展往往具有兩面性，生成式人工智能等前沿技術在給人類的科研、文字整理、文學創作等方面帶來便利的同時，也使得網絡空間認知領域的安全風險進一步加深。從技術角度來看，網絡空間認知域所面臨的風險挑戰，可以通過融合生成式人工智能技術以強化風險應對能力。隨著全球對網絡空間認知域安全的需求拉動、生成式人工智能的技術發展驅動，以及技術落地產品的效果推動，未來網絡空間認知域安全防御將發展成為網絡安全產業的一個重要分支。

引用格式

劉超超 , 陳雪 , 肖冰 . 基于生成式人工智能的網絡認知域安全技術 [J]. 信息安全與通信保密 ,2024(8):41-48.

作者簡介

• 劉超超（1991—），男，博士，工程師，主要研究方向為人工智能、信息化戰略；
• 陳　雪（1984—），女，博士，講師，主要研究方向為深度學習、復雜網絡和計算法學；
• 肖　冰（1986—），通信作者，男，博士，副研究員，主要研究方向為知識產權管理與知識產權法。