OpenAI收購(gòu)Promptfoo 強(qiáng)化AI應(yīng)用測(cè)試與安全評(píng)估能力

OpenAI Group PBC今日宣布，計(jì)劃收購(gòu)人工智能應(yīng)用測(cè)試和安全評(píng)估平臺(tái)初創(chuàng)公司Promptfoo Inc.，收購(gòu)價(jià)格未披露。

Promptfoo成立于2024年，最初是一個(gè)用于評(píng)估AI提示詞和模型行為的開(kāi)源框架。后來(lái)擴(kuò)展為商業(yè)平臺(tái)，為開(kāi)發(fā)者和企業(yè)安全團(tuán)隊(duì)提供基于大語(yǔ)言模型和其他生成式AI系統(tǒng)構(gòu)建的應(yīng)用程序評(píng)估和測(cè)試服務(wù)。

該公司的平臺(tái)主要解決AI模型在生產(chǎn)環(huán)境中部署時(shí)面臨的風(fēng)險(xiǎn)，包括提示詞注入、數(shù)據(jù)泄露、越獄攻擊和不安全的工具執(zhí)行。平臺(tái)通過(guò)底層架構(gòu)，讓開(kāi)發(fā)者和安全團(tuán)隊(duì)能夠系統(tǒng)性地評(píng)估AI系統(tǒng)對(duì)結(jié)構(gòu)化輸入、對(duì)抗性提示詞和真實(shí)使用場(chǎng)景的響應(yīng)。

該技術(shù)通過(guò)測(cè)試框架運(yùn)作，允許團(tuán)隊(duì)在配置文件中定義提示詞、預(yù)期輸出和評(píng)估標(biāo)準(zhǔn)。系統(tǒng)在一個(gè)或多個(gè)語(yǔ)言模型或AI應(yīng)用程序中運(yùn)行提示詞，捕獲響應(yīng)并根據(jù)預(yù)定義規(guī)則或自動(dòng)評(píng)分功能進(jìn)行評(píng)分。

框架支持與常見(jiàn)開(kāi)發(fā)工具和應(yīng)用程序編程接口集成，允許在本地、持續(xù)集成管道中或作為自動(dòng)化部署工作流程的一部分執(zhí)行評(píng)估。核心功能包括提示詞測(cè)試、紅隊(duì)模擬和評(píng)估儀表板，用于記錄不同條件下的模型行為。系統(tǒng)還支持回歸測(cè)試，允許組織比較不同模型版本或配置更改的輸出，在軟件更新發(fā)布前識(shí)別行為差異。

該平臺(tái)目前在構(gòu)建或運(yùn)營(yíng)AI驅(qū)動(dòng)應(yīng)用程序的環(huán)境中使用，如聊天機(jī)器人、智能體框架和自動(dòng)化決策工具。OpenAI計(jì)劃將Promptfoo的技術(shù)直接集成到其構(gòu)建和運(yùn)營(yíng)AI協(xié)作伙伴的平臺(tái)OpenAI Frontier中。Promptfoo的技術(shù)還將被OpenAI用于幫助企業(yè)測(cè)試智能體行為、在部署前檢測(cè)風(fēng)險(xiǎn)，并維護(hù)清晰記錄以支持長(zhǎng)期監(jiān)督、治理和問(wèn)責(zé)。

"Promptfoo在企業(yè)級(jí)AI系統(tǒng)評(píng)估、保護(hù)和測(cè)試方面帶來(lái)了深厚的工程專(zhuān)業(yè)知識(shí)，"OpenAI B2B應(yīng)用首席技術(shù)官Srinivas Narayanan在公告中表示。"他們的工作幫助企業(yè)部署安全可靠的AI應(yīng)用程序，我們很興奮能將這些能力直接引入Frontier平臺(tái)。"

在被收購(gòu)前，Promptfoo已籌集2360萬(wàn)美元資金，其中包括7月份的1840萬(wàn)美元融資。公司投資者包括Insight Partners LP和Andreessen Horowitz。

Q&A

Q1：Promptfoo是做什么的？它的主要功能是什么？

A：Promptfoo是一個(gè)AI應(yīng)用測(cè)試和安全評(píng)估平臺(tái)，最初是評(píng)估AI提示詞和模型行為的開(kāi)源框架，后來(lái)發(fā)展為商業(yè)平臺(tái)。主要功能包括提示詞測(cè)試、紅隊(duì)模擬、評(píng)估儀表板和回歸測(cè)試，幫助開(kāi)發(fā)者和企業(yè)安全團(tuán)隊(duì)評(píng)估基于大語(yǔ)言模型構(gòu)建的應(yīng)用程序。

Q2：OpenAI收購(gòu)Promptfoo后會(huì)如何整合這項(xiàng)技術(shù)？

A：OpenAI計(jì)劃將Promptfoo的技術(shù)直接集成到OpenAI Frontier平臺(tái)中，用于構(gòu)建和運(yùn)營(yíng)AI協(xié)作伙伴。此外，該技術(shù)還將幫助企業(yè)測(cè)試智能體行為、在部署前檢測(cè)風(fēng)險(xiǎn)，并維護(hù)清晰記錄以支持長(zhǎng)期監(jiān)督、治理和問(wèn)責(zé)。

Q3：Promptfoo能解決AI應(yīng)用的哪些安全風(fēng)險(xiǎn)？

A：Promptfoo主要解決AI模型在生產(chǎn)環(huán)境中面臨的多種風(fēng)險(xiǎn)，包括提示詞注入、數(shù)據(jù)泄露、越獄攻擊和不安全的工具執(zhí)行。通過(guò)系統(tǒng)性評(píng)估AI系統(tǒng)對(duì)結(jié)構(gòu)化輸入、對(duì)抗性提示詞和真實(shí)使用場(chǎng)景的響應(yīng)，幫助識(shí)別和預(yù)防這些安全風(fēng)險(xiǎn)。