為何谷歌文件檢索技術可能取代企業自建的RAG技術棧

作者 | Emilia David

譯者 | 平川

策劃 | Tina

本文最初發布于 VentureBeat。

圖片來源：VentureBeat，由 MidJourney 生成

如今，企業已經認識到，檢索增強生成（RAG）技術能讓應用程序和 AI 代理能針對查詢找到最優、最可靠的信息。然而，典型的 RAG 系統部署可能是一項技術挑戰，而且存在某些不良特性。

為解決這個問題，谷歌 在 Gemini API 上推出了文件搜索工具——一個全托管的 RAG 系統，“對檢索管道進行了抽象化”。文件搜索工具省去了搭建 RAG 管道所需的大量工具和應用程序整合工作，工程師無需再將存儲解決方案和嵌入生成器等組件拼接在一起。

該工具直接與 OpenAI、亞馬遜云科技 和 微軟 的企業級 RAG 產品進行競爭，它們同樣致力于簡化 RAG 架構。不過谷歌宣稱，其解決方案所需的編排工作更少，更具獨立性。

谷歌在 一篇博文 中指出，“文件搜索提供了一種簡單、集成化且可擴展的方式，將 Gemini 與你的數據相結合，從而提供更準確、相關性更高且可驗證的響應。”

在查詢時，企業可免費使用文件搜索的部分功能，例如存儲和嵌入生成。當這些文件被索引時，用戶將開始按每百萬 Token 0.15 美元的固定費率支付嵌入生成費用。

Gemini API 產品負責人 Logan Kilpatrick在 X 上宣布 了這一消息：

我們在 Gemini API 中引入了文件搜索工具，這是我們的托管式 RAG 解決方案，提供免費的存儲空間和查詢時嵌入生成。 我們對這個新方法感到無比興奮，相信它將極大簡化通往情境感知 AI 系統的道路。

文件搜索基于谷歌的 Gemini 嵌入模型（最終成了大規模文本嵌入基準測試中的 頂級嵌入模型）而構建。

文件搜索和集成體驗

谷歌表示，文件搜索功能可以“幫你處理 RAG 的復雜性”。它會管理文件存儲、分塊策略和嵌入生成。開發人員可在現有的 generateContent API 中調用文件搜索功能，按照谷歌的說法，這使得該工具更易于采用。

文件搜索采用向量搜索技術來“理解用戶查詢的含義和上下文”。在理想情況下，即使提示詞包含不準確的詞語，它也能從文檔中找到相關信息來應答。

該功能內置引用機制，可指向生成答案時所依據的文檔的具體部分，同時支持多種文件格式。谷歌表示，這些格式包括 PDF、Docx、txt、JSON 以及“眾多常見的編程語言文件類型”。

持續開展 RAG 實驗

企業可能已著手構建 RAG 管道，為其 AI 代理獲取正確數據并做出明智決策打基礎。

由于 RAG 技術是企業保證準確性并挖掘業務洞察的關鍵環節，組織必須快速獲得管道的可見性。RAG 可能成為一個工程難題，因為編排多種工具讓它們協同工作會很復雜。

構建“傳統的”RAG 管道意味著組織必須組裝并微調文件攝取和解析程序，包括分塊處理、嵌入生成與更新。隨后，他們需要引入像 Pinecone 這樣的向量數據庫，確定其檢索邏輯，并將所有內容適配到模型的上下文窗口中。此外，如有需要，還得添加引用來源。

文件搜索旨在簡化所有這些工作，不過有些競爭對手的平臺也提供了類似的功能。OpenAI 的 助手 API 允許開發人員使用文件搜索功能，引導 AI 代理查找相關文檔以生成回復。去年 12 月，亞馬遜云科技的 Bedrock 平臺也推出了 數據自動化托管服務。

雖然文件搜索與其他平臺類似，但谷歌的產品抽象化了 RAG 管道創建的全部要素，而非部分要素。

在谷歌博客上，AI 驅動的游戲生成平臺 Beam 的創建者 Phaser Studio 表示，他利用文件搜索功能對一個包含 3000 份文件的庫做了篩選。

Phaser 首席技術官理 Richard Davey 表示，“文件搜索功能讓我們能即時獲取所需的素材，無論是子彈發射模式的代碼片段、類型模板，還是來自 Phaser‘核心庫’的架構指南。這使得原本需要數天才能完成原型的創意，如今只需幾分鐘就能變成可以玩的游戲了。”

自發布以來，已經有一些用戶表示有興趣使用這項功能。

在 Logan Kilpatrick 的博文下，用戶 Robert Cincotta評論道：

這就是我一直在尋找的工具。我正在攻讀博士學位，積累了數千份 PDF 文件。我希望能找到一種方法，讓我能夠根據引用的數據進行作答，最終這需要一個工具來實現，但那超出了我作為初學者的能力范圍。這一進展以及深度搜索功能對谷歌云盤文件檢索能力的提升，都在朝著正確的方向邁進。

用戶 Kuwo 發表了 一篇很長的評論：

說實話，谷歌竟然免費提供存儲和嵌入生成服務，這簡直是一個可以一夜之間顛覆整個生態系統的舉措。

RAG 一直是件人人都知道應該做卻總被擱置的事，但大多數團隊要么用 pinecone 拼湊出個粗糙的版本，要么干脆跳過，只是因為其部署成本實在令人望而卻步。你得準備向量數據庫、嵌入模型、分塊策略，接著還要調試解決檢索質量問題，然后突然，你需要花三周時間重建整個管道。

現在，谷歌基本上是在說，“看，我們已經處理了所有煩人的部分，你只需把文件扔給我們就行。”存儲免費意味著無需因為知識庫的增長時而擔心成本增加；嵌入生成服務免費意味著不必每次查詢都計算成本；而且它采用托管模式，你無需管理基礎設施。

真正的突破在于，這將情境感知系統的門檻從“得為此專門組建團隊”降至“一個下午就能完成原型開發”。所有需要外部知識卻因復雜度過高而難以實施的應用，如今都變得可行了。

感覺這就像 RAG 的 AWS Lambda 時刻。這項技術一直存在可能，但直到有人將其變得異常簡單之前，沒有人愿意費心去實現。

還有一位用戶表示：

這可是一個巨大的減阻器。實際上，你們已將構建 RAG 系統過程中最煩人的那 80% 的工作給抽象化了。這會使“情境感知”成為所有 AI 應用的新基準，而非復雜的附加功能。

https://venturebeat.com/ai/why-googles-file-search-could-displace-diy-rag-stacks-in-the-enterprise

聲明：本文為 InfoQ 翻譯，未經許可禁止轉載。