新研究揭示開源AI模型安全風險：若脫離限制運行或將被黑客劫持

IT之家 1 月 30 日消息，路透社 1 月 29 日援引一項最新研究稱，開源大語言模型若脫離主流平臺的護欄與限制，在外部計算機上運行，就可能成為黑客與犯罪分子輕易劫持的目標，帶來新的安全漏洞與風險。

研究人員表示，攻擊者可以直接針對運行大語言模型的主機下手，隨后操控模型生成垃圾信息、編寫釣魚內容、發動虛假信息宣傳，從而繞開大型平臺原有的安全機制。

這項研究由 SentinelOne 與 Censys 兩家網絡安全公司歷時 293 天聯合完成，并獨家提供給路透社，揭示了數千個開源大語言模型部署背后潛在的非法用途規模。研究人員稱，風險場景涵蓋黑客攻擊、仇恨言論與騷擾、暴力血腥內容生成、個人數據竊取、詐騙與欺詐，甚至在個別情況下還涉及兒童性虐待材料。

研究人員指出，開源大語言模型變體數量龐大，互聯網上可訪問的運行實例中，相當一部分來自 Meta 的 Llama、谷歌 DeepMind 的 Gemma 等主流模型的衍生版本。IT之家從報道中獲悉，部分開源模型自帶護欄，研究仍發現數百起護欄被明確移除的情況。

SentinelOne 情報與安全研究執行主任 Juan Andres Guerrero-Saade 強調，行業對于安全控制的討論正在“忽略一種明顯存在的剩余能力”，開源算力正在被用于各種用途，其中既有合法用途，也有明顯的犯罪用途。Guerrero-Saade 把這種現象比作一座尚未被行業與開源社區充分納入視野的“冰山”。

研究團隊重點分析了通過 Ollama 部署、對公眾開放訪問的開源大語言模型實例。Ollama 是一種工具，個人或機構可在本地運行不同模型的自有版本。

研究人員在約四分之一的觀察對象中能夠讀取系統提示詞，也就是決定模型行為的核心指令。在這些可見提示詞中，7.5% 被判斷可能會為有害行為提供支持。

全球人工智能治理中心 CEO 兼創始人 Rachel Adams 在郵件中表示，開放模型一旦發布，責任就不再只屬于單一主體，而是生態系統共同承擔，包括最初發布模型的實驗室。實驗室不可能對所有下游濫用負責，因為這些行為很難提前預料，但實驗室仍負有重要的注意義務，需要預判可預見風險、記錄危害，并提供緩解工具與指導，尤其是在全球執法能力不均衡的背景下。