![]()
AI是否真正大規(guī)模進(jìn)入核心業(yè)務(wù),關(guān)鍵不在于模型能力又提升了多少,而在于一旦出現(xiàn)問題,系統(tǒng)能否被及時停下,過程能否被追溯,責(zé)任能否被清晰界定。在這些問題解決之前,安全都會是AI落地過程中最現(xiàn)實、也最難繞開的門檻。
作者|斗斗
編輯|皮爺
出品|產(chǎn)業(yè)家
攻擊一旦被AI變成一種“產(chǎn)能”,攻防關(guān)系面臨的則是結(jié)構(gòu)性失衡。
這種變化已經(jīng)開始在現(xiàn)實中顯現(xiàn)。
12月22日22時,快手遭遇大規(guī)模黑灰產(chǎn)攻擊,監(jiān)測數(shù)據(jù)顯示峰值時段約有1.7萬個被控僵尸賬號同步開播推送色情低俗內(nèi)容。事實上,攻擊手法并不新奇,真正改變戰(zhàn)局的是AI帶來的“杠桿效應(yīng)”,即在AI的加持下,攻擊成本降到極低,攻擊效率反而被成倍放大,防守方的響應(yīng)能力首次被壓制在對手之下。
這并非孤立事件。一組來自O(shè)ECD的AI事件監(jiān)測數(shù)據(jù)顯示,2024年的AI風(fēng)險事件總數(shù)約是2022年的21.8倍,2019?2024年間記錄的事件中約74%與AI安全相關(guān),安全與可靠性事件較2023年增長83.7%。
![]()
在這種背景下,安全的邏輯正在被迫重寫。
過去,企業(yè)在選擇大模型或Agent服務(wù)商時,性能、價格、生態(tài)幾乎天然排在最前面,安全更多被視為一種事后補(bǔ)救能力。但在一輪又一輪實戰(zhàn)之后,越來越多企業(yè)開始意識到,一旦將業(yè)務(wù)流程、用戶觸點乃至決策權(quán)交給AI,安全就不再是“事后諸葛亮”的選項,而是必須前置到選型階段。
而這場微妙的反轉(zhuǎn),正在倒逼企業(yè)重新排序與AI相關(guān)的所有決策優(yōu)先級。一組來自阿里云與Omdia聯(lián)合發(fā)布AI安全報告顯示,企業(yè)將安全與數(shù)據(jù)隱私視為AI主要障礙的比例,從2023年11%激增至2024年43%。
安全,第一次從“可選項”變成了AI能否落地的前置條件。
一、從探索到深水區(qū),
AI安全成為落地前提
2025年,企業(yè)對“安全”的敏感度正迅速放大。
進(jìn)入2025年,AI已從技術(shù)探索階段邁入企業(yè)業(yè)務(wù)的深度應(yīng)用場景。麥肯錫《ThestateofAIin2025》報告顯示,88%的受訪企業(yè)表示已在至少一個業(yè)務(wù)職能中使用AI技術(shù),比去年整整高出了10個百分點。
![]()
而隨著AI使用范圍和能力的遷移,企業(yè)對安全的敏感度正在迅速放大。要知道早期的AI應(yīng)用多停留在撰寫文案、內(nèi)容生成及簡單數(shù)據(jù)分析等輔助性場景,這類應(yīng)用即便出現(xiàn)誤判或偏差,對業(yè)務(wù)本身的損害有限。但是隨著AI加速落地,其開始被賦予更強(qiáng)的權(quán)限,例如讀取業(yè)務(wù)數(shù)據(jù)、調(diào)取內(nèi)部系統(tǒng)、參與流程決策等。
Gartner預(yù)測,到2028年33%的企業(yè)軟件將包含AI代理功能,可自主完成15%的人類日常工作決策,權(quán)限擴(kuò)張帶來的風(fēng)險敞口持續(xù)擴(kuò)大。
在這種背景下,AI一旦失控,就不再是一個輸出錯誤那么簡單,而可能會直接暴露敏感數(shù)據(jù)或影響生產(chǎn)與交易流程。
這種擔(dān)憂并非空穴來風(fēng)。一家來自HarmonicSecurity的分析顯示,在2025年二季度,企業(yè)使用的各類GenAI平臺中,超過4%的對話、20%以上的上傳文件都包含敏感企業(yè)數(shù)據(jù)。這意味著一旦管控不到位,風(fēng)險會在日常使用中被持續(xù)放大。
也正因為如此,安全不再是可有可無的選項。根據(jù)賽博研究院發(fā)布的《2025全球可信AI治理與數(shù)據(jù)安全報告》顯示,模型的準(zhǔn)確性與穩(wěn)定性是企業(yè)最看重的因素,緊隨其后的便是占據(jù)79%數(shù)據(jù)使用的合規(guī)性與隱私保護(hù)、和占據(jù)54%的總擁有成本與投資回報比。安全,正在被主動前移到項目啟動和技術(shù)選型階段,成為企業(yè)AI落地的關(guān)鍵前提。
這一點,已經(jīng)成為頭部企業(yè)的共識。
一則全球16家頭部AI企業(yè)簽署的“前沿人工智能安全承諾”中,明確提出“開發(fā)和部署前沿AI模型和系統(tǒng)時需有效識別、評估和管理風(fēng)險,設(shè)定不可容忍風(fēng)險的閾值”,印證了安全已成為行業(yè)共識的核心指標(biāo)。
這種風(fēng)險感知,具體還體現(xiàn)在企業(yè)選擇合作伙伴和推進(jìn)項目的實際流程中。
例如,一家大型制造企業(yè)IT負(fù)責(zé)人向產(chǎn)業(yè)家透露,過去只要模型在試點階段跑通業(yè)務(wù)場景,就可以進(jìn)入下一階段評估。但在最新一輪Agent能力測試中,該企業(yè)要求測試包括提示注入、越獄風(fēng)險、越權(quán)調(diào)用等負(fù)面測試用例,否則該方案直接無法進(jìn)入評審環(huán)節(jié)。
再比如,有證券行業(yè)的CIO在內(nèi)部郵件中明確要求:AI平臺必須支持企業(yè)私有部署或VPC隔離,并禁止任何業(yè)務(wù)數(shù)據(jù)用于第三方訓(xùn)練,否則不予進(jìn)入第二輪評估。這一類條款的出現(xiàn),反映出企業(yè)在第一階段,就開始把數(shù)據(jù)安全和訪問控制,作為了篩選供應(yīng)商的核心條件。
可以發(fā)現(xiàn),安全不再是一個孤立的成本中心,而是決定AI能否被廣泛采納、可信賴運營的核心條件。更重要的是,安全也正成為企業(yè)生態(tài)中信任的最重要貨幣。在合作伙伴選擇、行業(yè)合作框架、客戶合同談判中,AI安全保障已經(jīng)成為談判桌上的核心條款之一,甚至直接影響合同簽約與商業(yè)合作成敗。
在這其中,誰能在效率紅利與安全紅線之間找到更穩(wěn)妥的平衡,誰才有資格在下一階段的AI競爭中真正跑在前面。
二、安全“前移”AI選型,
正在改變安全競爭格局
在2025年,國內(nèi)首次進(jìn)行了AI大模型實網(wǎng)眾測,發(fā)現(xiàn)了281個安全漏洞,其中大模型特有漏洞177個,占比63%。這些漏洞包括提示注入、越獄攻擊、對抗樣本等傳統(tǒng)安全體系無法覆蓋的威脅類型。
傳統(tǒng)安全廠商的策略,已經(jīng)無法承受AI時代的新攻擊手段。
隨著AI技術(shù)的普及徹底改變了網(wǎng)絡(luò)攻擊的底層邏輯。安全廠商要做的事情越來越多,但價值越來越難量化。但這不是廠商能力的問題,而是產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)向責(zé)任共擔(dān)。這對產(chǎn)業(yè)的影響是深刻的。一方面,安全能力將不可避免地被“內(nèi)嵌化”,融入云平臺、模型底座、業(yè)務(wù)系統(tǒng),獨立交付的空間被不斷壓縮;另一方面,安全廠商如果無法提供治理層面的價值,就會被邊緣化為某種可替換能力模塊。
而想要避免成為被內(nèi)化的那一個,則必須讓自己成為系統(tǒng)運行過程中繞不開的一環(huán)。
![]()
以360、奇安信、深信服、綠盟科技為代表的傳統(tǒng)網(wǎng)絡(luò)安全廠商,整體策略并非推倒重來,而是將AI視為能力增強(qiáng)器,選擇在既有安全產(chǎn)品與平臺中嵌入大模型能力。
以360為例,其在2023年正式發(fā)布“AI原生安全大模型”,宣稱基于超過40PB的安全樣本數(shù)據(jù)、數(shù)十年攻防對抗經(jīng)驗,用于APT攻擊檢測、威脅情報自動挖掘和安全事件研判。據(jù)其披露,在APT告警去重和誤報壓縮方面,模型輔助分析可將人工分析成本降低50%以上。
這一路徑的優(yōu)勢非常明顯。根據(jù)賽迪顧問數(shù)據(jù),中國政企網(wǎng)絡(luò)安全市場中,頭部廠商在政府、金融、能源等行業(yè)的存量覆蓋率普遍超過60%,可以說傳統(tǒng)廠商牢牢掌控政企安全入口。
與傳統(tǒng)廠商不同,阿里云、騰訊云、百度智能云等云服務(wù)商選擇從基礎(chǔ)設(shè)施與平臺層入手,將安全能力直接“內(nèi)建”到AI的全生命周期中。
在實際落地上,這類廠商普遍在模型托管、推理調(diào)用、插件接入、Agent編排等環(huán)節(jié),默認(rèn)啟用安全控制策略,并將身份、權(quán)限、數(shù)據(jù)、模型版本與AI使用過程進(jìn)行強(qiáng)綁定。例如阿里云在其大模型服務(wù)平臺中,將API調(diào)用鑒權(quán)、Prompt審計、RAG數(shù)據(jù)訪問權(quán)限作為默認(rèn)能力;騰訊云在企業(yè)大模型平臺中,將模型調(diào)用與企業(yè)IAM、日志審計、數(shù)據(jù)分級打通;百度智能云則在Agent構(gòu)建框架中限制外部工具調(diào)用權(quán)限,降低模型“越權(quán)執(zhí)行”風(fēng)險。
這類廠商由于安全能力被嵌入到主路徑中,其邊際成本幾乎為零。尤其在Prompt注入、RAG檢索污染、Agent工具濫用等新型攻擊面上,平臺級約束明顯比事后檢測更具規(guī)模效率。
另一類重要玩家,是聚焦細(xì)分場景的垂直安全廠商。以數(shù)美科技為例,其長期深耕內(nèi)容安全、反欺詐、黑產(chǎn)行為建模。在生成式AI場景下,數(shù)美將原有的風(fēng)控模型遷移至AI濫用治理中,用于識別惡意Prompt、自動化詐騙腳本生成、虛假內(nèi)容批量生成等行為。據(jù)公開案例,其在部分社交與內(nèi)容平臺中,AI濫用識別的命中率已高于90%。
這類廠商的優(yōu)勢在于專業(yè)能力聚焦,模型對抗經(jīng)驗深。能高風(fēng)險場景中提供不可替代價值。
近年來,也有一批原生AI安全廠商正快速崛起。這類公司并非從傳統(tǒng)安全體系演進(jìn)而來,而是直接聚焦模型本體與智能體層,從設(shè)計階段降低風(fēng)險。這類廠商通常技術(shù)迭代快、對新型對抗攻擊高度敏感,在模型級安全上具備先發(fā)優(yōu)勢。
綜合來看,在生成式AI的持續(xù)壓力下,安全產(chǎn)業(yè)的分工正在重排。不同位置的廠商,正從各自的切口出發(fā),共同托起一套亟需重構(gòu)、尚未定型的“新安全體系”。
三、AI安全的能力邊界:
無法“清零”,只能“控?fù)p”
當(dāng)安全被推到AI選型的前臺,一個繞不開的問題也隨之浮現(xiàn):安全是不是越強(qiáng)越好?是否存在足夠安全?
答案并不樂觀。OpenAI曾在公開研究中給出過一組判斷:在AI瀏覽器、Agent等場景中,提示注入屬于結(jié)構(gòu)性風(fēng)險。即便持續(xù)加固,安全系統(tǒng)也無法做到100%攔截,最優(yōu)狀態(tài),最優(yōu)防護(hù)僅能將攻擊成功率壓至5%-10%。
這一點,在數(shù)美科技CTO梁堃的判斷中同樣明確:“當(dāng)前實現(xiàn)對黑灰產(chǎn)的百分之百阻斷,并不現(xiàn)實。”
不過,需要澄清的是,并非所有AI場景都把安全放在第一位。
在大量探索性與邊緣業(yè)務(wù)中,企業(yè)依然會選擇效果優(yōu)先。例如內(nèi)部知識助手、營銷內(nèi)容生成、數(shù)據(jù)分析Copilot,這些場景要么不接觸敏感數(shù)據(jù),要么不具備執(zhí)行權(quán)限,即便模型出現(xiàn)偏差,風(fēng)險也相對可控。在這些場景中,企業(yè)更關(guān)心的是投入產(chǎn)出比,而非安全治理的完備性。
真正發(fā)生轉(zhuǎn)折的,是AI開始進(jìn)入核心業(yè)務(wù)鏈路之后。在涉及客戶數(shù)據(jù)、交易決策、生產(chǎn)調(diào)度、風(fēng)控審核等場景中,企業(yè)往往會迅速收緊策略,將安全前置為硬約束。
這種認(rèn)知轉(zhuǎn)變,直接帶來了三種明顯的使用方式變化。
第一種轉(zhuǎn)向,是從“能跑”到“能控”。
在安全前置后,企業(yè)普遍開始限制模型可觸達(dá)的數(shù)據(jù)范圍。原本可以全量接入的數(shù)據(jù),被拆解為分級、分域、分場景使用;RAG檢索不再“全庫召回”,而是限定在經(jīng)過審核的知識集合中。這可能會導(dǎo)致模型在某些任務(wù)上的準(zhǔn)確率可能下降,召回率受到影響,業(yè)務(wù)側(cè)不得不投入更多精力進(jìn)行數(shù)據(jù)治理與結(jié)構(gòu)化整理。
不過,這并非技術(shù)倒退。對企業(yè)而言,寧愿犧牲部分效果,也不愿承擔(dān)不可控風(fēng)險。
第二種轉(zhuǎn)向,是從“可用”到“可審”。
隨著AI被納入正式生產(chǎn)環(huán)境,是否具備審計與留痕能力,成為一道關(guān)鍵門檻。Prompt是否可追溯?模型引用了哪些檢索內(nèi)容?Agent調(diào)用了哪些工具、在什么時間、以什么權(quán)限執(zhí)行?這些原本屬于工程細(xì)節(jié)的問題,開始被寫進(jìn)驗收清單。
這會直接導(dǎo)致系統(tǒng)復(fù)雜度和成本上升,比如調(diào)用鏈變長、延遲增加、算力消耗提高。但在ToB場景中,可解釋性往往比極致效率更重要。能不能說清楚發(fā)生了什么,開始成為比跑得快不快更重要的指標(biāo)。
第三種轉(zhuǎn)向,則是從“自動化”到“半自動化”。
在很多核心業(yè)務(wù)場景中,企業(yè)并未選擇讓Agent全自動執(zhí)行,而是采用“建議+人審+執(zhí)行隔離”的模式。AI給出決策建議,人類完成最終確認(rèn),關(guān)鍵操作與生產(chǎn)系統(tǒng)隔離。這種模式顯然拉長了流程,也限制了調(diào)度規(guī)模,但它符合當(dāng)前企業(yè)對風(fēng)險的容忍度。
在這一階段,安全的作用不再是提升攔截率,而是防止系統(tǒng)失控。也正是在這樣的實踐中,企業(yè)逐漸形成了清晰的內(nèi)部分層。邊緣業(yè)務(wù)可以容忍更多不確定性,安全要求相對靠后;核心業(yè)務(wù)必須安全前置,且允許的自動化程度明顯更低。
值得注意的是,這種分層并非一成不變。隨著安全能力的成熟、治理經(jīng)驗的積累,部分原本需要人工介入的環(huán)節(jié),可能會逐步放權(quán)給AI。
從這個角度看,AI時代的安全,已經(jīng)不再是“有沒有”的問題,而是“管到什么程度”的問題。通過限制數(shù)據(jù)、收緊權(quán)限、引入審計,把不可避免的風(fēng)險控制在企業(yè)可以接受的范圍之內(nèi)。這種安全實踐的深化,不僅改變了企業(yè)自身對AI治理的路徑,也使得整個產(chǎn)業(yè)對AI安全的認(rèn)知正在發(fā)生根本性轉(zhuǎn)向。
可以預(yù)見,在相當(dāng)長的一段時間里,AI安全都不可能靠一次性方案徹底解決。
在此過程中,企業(yè)對AI的使用會持續(xù)分化,即邊緣業(yè)務(wù)更看重效率和產(chǎn)出,而核心業(yè)務(wù)則會保持長期審慎。自動化不會簡單地“一步到位”,而是圍繞權(quán)限控制、審計機(jī)制和責(zé)任邊界逐步推進(jìn)。AI的能力會不斷增強(qiáng),但它被允許自主決策的空間,并不會必然同步擴(kuò)大。
對安全產(chǎn)業(yè)來說,這同樣是一輪長期調(diào)整。單純依賴事后檢測的價值將持續(xù)下降,能夠參與系統(tǒng)設(shè)計、權(quán)限治理和運行約束的能力,反而會變得越來越關(guān)鍵。安全不再只是一個獨立產(chǎn)品,而更像是AI系統(tǒng)運行的前提條件。
從這個角度看,AI是否真正大規(guī)模進(jìn)入核心業(yè)務(wù),關(guān)鍵不在于模型能力又提升了多少,而在于一旦出現(xiàn)問題,系統(tǒng)能否被及時停下,過程能否被追溯,責(zé)任能否被清晰界定。
在這些問題解決之前,安全都會是AI落地過程中最現(xiàn)實、也最難繞開的門檻。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.