犯罪分子正利用AI進行情感編程開發(fā)惡意軟件

隨著從準開發(fā)者到六歲兒童都在使用情感編程技術，犯罪分子同樣喜歡自動化編碼工具也就不足為奇了。

Palo Alto Networks Unit 42高級咨詢總監(jiān)Kate Middagh在接受采訪時表示："每個人都在問：情感編程是否被用于惡意軟件？現(xiàn)在的答案很可能是肯定的。"

對于防護者來說，好消息是AI模型即使被要求編寫勒索軟件時也會犯錯誤，這意味著通過情感編程的攻擊可能失敗。

目前我們合作的組織中，只有大約一半對AI使用有任何限制

與任何新興技術一樣，AI輔助編程引入了許多安全漏洞，包括企業(yè)開發(fā)團隊可能加速工作到安全團隊無法匹配的速度。

還存在智能體和系統(tǒng)訪問和泄露不應接觸數(shù)據(jù)的風險，以及提示和內(nèi)存注入攻擊等風險。

犯罪分子或政府支持的黑客團隊使用大語言模型編寫惡意軟件或策劃整個攻擊的風險也在增加，雖然這些仍需要人工參與，但最壞情況正越來越接近現(xiàn)實安全事件。

為幫助企業(yè)更好管理這些風險，Palo Alto Networks開發(fā)了名為"SHIELD"的情感編程框架，旨在在整個編程過程中設置安全控制。Middagh領導Unit 42的AI安全服務業(yè)務，她與同事共同撰寫了關于SHIELD框架的博客文章。

"我們合作的組織中，只有大約一半對AI使用有任何限制，"她說。

惡意軟件中的情感編程證據(jù)

Middagh和她的Palo Alto同事無法總是確定開發(fā)者是否使用情感編程平臺創(chuàng)建惡意軟件。一些代碼通過包含水印來證明代碼是由Cursor、Replit、Claude或其他AI工具生成的，這使識別變得容易。

她不會透露哪種工具最受犯罪分子歡迎，但確實指出他們正在使用"多種"產(chǎn)品，"考慮到情感編程平臺的普遍流行度，你可以根據(jù)各平臺的受歡迎程度進行推斷。"

Palo Alto的網(wǎng)絡風險咨詢團隊還看到了"環(huán)境中一系列不同模式"，這些模式表明使用編程平臺開發(fā)惡意軟件。其中一個強有力的證據(jù)是惡意軟件開發(fā)者直接在代碼中編寫對大語言模型的API調(diào)用。

"在惡意軟件本身中，有對OpenAI或其他平臺的API調(diào)用，詢問如何生成惡意軟件，如何生成社會工程郵件使其聽起來合法，"她解釋說，這是"他們在惡意軟件開發(fā)過程中使用這些大語言模型的直接和無可爭議的證據(jù)。"

攻擊者還將大語言模型用于Middagh稱為"安全劇場"的目的。這是看起來能產(chǎn)生有效攻擊的代碼，但由于各種原因無效，包括未針對特定環(huán)境定制。"它具有有效攻擊的外觀，但如果你再深入挖掘一點，你會發(fā)現(xiàn)：'等等，這實際上沒有意義。'"

這包括"懸空攻擊策略"，其中大語言模型會生成規(guī)避技術。"但該規(guī)避技術與我們通常看到的現(xiàn)代惡意行為者不符，或者是從未在環(huán)境中實際實施的規(guī)避技術，只是對大語言模型API調(diào)用的副產(chǎn)品。"

在一起事件中，Unit 42記錄了通過標準API發(fā)送給OpenAI GPT-3.5 Turbo的提示，要求模型"為數(shù)據(jù)提取工具生成簡單的規(guī)避技術，僅返回技術名稱，最多三個詞，有助于避免檢測。"提示包括這些示例："隨機延遲、進程欺騙、內(nèi)存混淆。"

按照指示，大語言模型返回了技術名稱，但大語言模型只登錄到受害者桌面，并未實施規(guī)避技術。"它只是為了展示和純粹的日志記錄而出現(xiàn)，"Middagh說。"可能有方法讓這個工作，但從未在環(huán)境中適當實施。"

AI幻覺影響勒索軟件

幻覺仍然是AI的常見缺陷，即使勒索軟件開發(fā)者也感受到這種痛苦。

感染受害者機器后，勒索者會在桌面留下readme文件，通常命名為"readme.txt"，包含勒索記錄和金錢要求。

"我們看到幻覺實例，大語言模型會將其稱為'readme.txtt'，"Middagh說。"這是威脅行為者永遠不會犯的錯誤，這就像勒索軟件101。但我們現(xiàn)在看到的是他們行動太快，在驗證或檢查方面做得不多，這些事情就發(fā)生了。"

攻擊者不是唯一使用缺乏人類情境意識、優(yōu)先考慮功能而非安全的AI模型時犯錯誤的人。

大多數(shù)允許員工使用情感編程工具的組織也沒有對這些工具進行正式風險評估，也沒有監(jiān)控輸入和輸出的安全控制。

SHIELD框架應對風險

"如果你是企業(yè)，有幾種方法可以控制和解決情感編程的風險，"Middagh說。第一步涉及將最小權(quán)限和最小功能原則應用于AI工具，就像對人類用戶一樣，只授予完成工作所需的最小角色、職責和權(quán)限。

"每個人都對使用AI和讓開發(fā)者更快工作感到興奮，這種最小權(quán)限和最小功能模型完全被拋到一邊，"Middagh說。

接下來，她建議限制使用一個員工可以使用的對話式大語言模型，并在防火墻處阻止所有其他AI編程工具。對于確實需要在環(huán)境中使用情感編程工具的組織，"前進的道路是SHIELD框架，"Middagh說。

Q&A

Q1：犯罪分子如何使用AI進行惡意軟件開發(fā)？

A：犯罪分子在惡意軟件代碼中直接編寫對大語言模型的API調(diào)用，詢問如何生成惡意軟件和社會工程郵件。他們使用多種AI編程平臺，包括Cursor、Replit、Claude等工具來輔助開發(fā)惡意代碼。

Q2：AI生成的惡意軟件有什么缺陷？

A：AI模型會產(chǎn)生幻覺和錯誤，比如將勒索軟件的readme文件錯誤命名為"readme.txtt"，或生成看似有效但實際無效的"安全劇場"代碼。這些都是威脅行為者通常不會犯的基礎錯誤。

Q3：企業(yè)如何防范AI輔助的網(wǎng)絡攻擊？

A：企業(yè)應該采用SHIELD框架，對AI工具應用最小權(quán)限和最小功能原則，限制使用單一對話式大語言模型，在防火墻處阻止其他AI編程工具，并建立監(jiān)控輸入輸出的安全控制機制。