從ChatGPT問世,到Agentic AI(代理式AI)逐步“照進(jìn)現(xiàn)實(shí)”,新一輪AI技術(shù)快速發(fā)展的背后,對(duì)底層基礎(chǔ)設(shè)施建設(shè)也提出了新的要求。
當(dāng)OpenAI的GPT-4開始展現(xiàn)出自主任務(wù)分解能力,當(dāng)AutoGPT、Devin等智能體能夠獨(dú)立完成復(fù)雜工作流程,一個(gè)根本性問題擺在整個(gè)AI產(chǎn)業(yè)面前:這些有記憶、會(huì)反思、能行動(dòng)的Agent,究竟該把它們的“海馬體”存放在哪里?傳統(tǒng)數(shù)據(jù)庫(kù)的磁盤I/O、精確匹配與靜態(tài)架構(gòu),在高頻讀寫、語(yǔ)義模糊、成本敏感的Agentic AI時(shí)代顯得格格不入。向量數(shù)據(jù)庫(kù),這個(gè)曾被視為AI“錦上添花”的技術(shù),正迅速?gòu)哪缓笞呦蚺_(tái)前,成為支撐下一代智能體系統(tǒng)的關(guān)鍵基礎(chǔ)設(shè)施。
Agentic AI對(duì)數(shù)據(jù)庫(kù)提出了新要求
生成式AI以內(nèi)容創(chuàng)造為核心,Agentic AI以自主決策交互為特征,二者的快速演進(jìn)推動(dòng)向量數(shù)據(jù)庫(kù)從基礎(chǔ)存儲(chǔ)檢索工具向AI能力基座升級(jí),催生出在數(shù)據(jù)處理、性能表現(xiàn)、功能適配等多維度的全新需求,據(jù)Gartner預(yù)測(cè),2025年Agentic AI市場(chǎng)規(guī)模將突破千億美元,年復(fù)合增長(zhǎng)率超65%。這一爆發(fā)式增長(zhǎng)背后,是向量數(shù)據(jù)庫(kù)技術(shù)的持續(xù)突破。
2023年初,當(dāng)ChatGPT掀起第一波大模型熱潮時(shí),市場(chǎng)對(duì)向量數(shù)據(jù)庫(kù)的認(rèn)知還停留在外掛知識(shí)庫(kù)層面。并且此后很長(zhǎng)一段時(shí)間里,AI的核心價(jià)值體現(xiàn)在內(nèi)容生成——無論是撰寫報(bào)告還是生成代碼,本質(zhì)上都是對(duì)用戶指令的被動(dòng)響應(yīng)。
彼時(shí),企業(yè)將向量數(shù)據(jù)庫(kù)視為解決大模型幻覺、擴(kuò)展私有知識(shí)的“補(bǔ)丁工具”,典型的應(yīng)用場(chǎng)景是RAG(檢索增強(qiáng)生成)——將企業(yè)文檔向量化后存入數(shù)據(jù)庫(kù),用戶提問時(shí)檢索相關(guān)片段喂給LLM生成答案。這是一個(gè)被動(dòng)、靜態(tài)、低頻的調(diào)用模式。
但Agentic AI的出現(xiàn)徹底改變了這一邏輯,其核心特征是自主目標(biāo)驅(qū)動(dòng):能夠理解復(fù)雜需求、拆分任務(wù)流程、調(diào)用外部工具、實(shí)時(shí)調(diào)整策略,最終完成端到端的復(fù)雜任務(wù)。
據(jù)Gartner預(yù)測(cè),到2028年,支持生成式AI的數(shù)據(jù)庫(kù)支出將達(dá)2180億美元,占市場(chǎng)74%。但MIT研究顯示,超95%的企業(yè)AI項(xiàng)目因多模態(tài)數(shù)據(jù)割裂、系統(tǒng)鏈路冗長(zhǎng)、權(quán)限管理復(fù)雜難以落地。
“Agentic AI的爆發(fā),正在顛覆數(shù)據(jù)庫(kù)行業(yè)的底層邏輯。”Zilliz解決方案總監(jiān)沈亮直言,“當(dāng)AI從‘被動(dòng)響應(yīng)工具’進(jìn)化為‘主動(dòng)決策主體’,傳統(tǒng)數(shù)據(jù)庫(kù)的短板被無限放大,而向量數(shù)據(jù)庫(kù)正成為這場(chǎng)變革中不可或缺的核心基礎(chǔ)設(shè)施。”作為全球首個(gè)向量數(shù)據(jù)庫(kù)企業(yè)、開源向量數(shù)據(jù)庫(kù)Milvus的創(chuàng)造者,Zilliz見證并推動(dòng)了向量數(shù)據(jù)庫(kù)從技術(shù)概念走向商業(yè)規(guī)模的全過程。
![]()
Zilliz解決方案總監(jiān)沈亮
“在AI從被動(dòng)到主動(dòng)轉(zhuǎn)變的過程中,也將數(shù)據(jù)庫(kù)推向了AI決策的核心一環(huán)。”沈亮表示。
Agentic AI所需要具備的自主規(guī)劃、工具調(diào)用、持續(xù)學(xué)習(xí)、多輪記憶的核心特征,對(duì)底層數(shù)據(jù)庫(kù)提出了四類剛性需求:
首先是對(duì)讀寫性能的要求進(jìn)一步提升。傳統(tǒng)RAG場(chǎng)景以讀為主,知識(shí)庫(kù)更新周期可能是天甚至周。但Agent在單次任務(wù)中就可能產(chǎn)生數(shù)十次讀寫操作:檢索經(jīng)驗(yàn)記憶(讀)、寫入行動(dòng)日志(寫)、更新用戶畫像(寫)、查詢工具鏈(讀)。沈亮指出:“Agent調(diào)用記憶模塊的頻次、數(shù)據(jù)更新速度,不光要讀,很多時(shí)候還要去寫,這對(duì)數(shù)據(jù)庫(kù)的讀寫性能要求比傳統(tǒng)RAG高很多。”所以長(zhǎng)期以來,Milvus針對(duì)高性能讀寫做了大量?jī)?yōu)化。
第二是,與傳統(tǒng)數(shù)據(jù)庫(kù)的“千人一面”(數(shù)據(jù)信息是固定的,每次查詢得到的信息也是固定的)相比,Agent為每個(gè)用戶生成的記憶是“千人千面”:行為軌跡、偏好向量、反饋記錄都需要獨(dú)立存儲(chǔ)。“千萬(wàn)用戶乘以個(gè)性化數(shù)據(jù),向量數(shù)據(jù)動(dòng)輒就是百億量級(jí)。業(yè)界能比較好處理這么大體量數(shù)據(jù)的向量數(shù)據(jù)庫(kù)非常少。”沈亮測(cè)算道,“而Milvus以及其商業(yè)版的Zilliz Cloud是為數(shù)不多能解決這個(gè)問題的產(chǎn)品。”
第三是,成本與性能之間要實(shí)現(xiàn)平衡。Agent應(yīng)用商業(yè)化早期ROI低,企業(yè)對(duì)價(jià)格極度敏感,如果將全部向量數(shù)據(jù)全部采用內(nèi)存存儲(chǔ),帶來高昂的成本,令企業(yè)無法接受。這就要求數(shù)據(jù)庫(kù)具備智能化的數(shù)據(jù)生命周期管理——熱數(shù)據(jù)高性能訪問,冷數(shù)據(jù)低成本存檔。針對(duì)這一背景Milvus推出了內(nèi)存-磁盤-對(duì)象存儲(chǔ)的多層存儲(chǔ)方案來解決這個(gè)問題。
第四是,從單一模態(tài)到多模態(tài)融合處理能力的提升。對(duì)于Agentic AI而言,多模態(tài)交互已經(jīng)是必選項(xiàng),Agent需同時(shí)理解文本、圖像、地理位置、用戶行為等多種信號(hào)。這就對(duì)數(shù)據(jù)庫(kù)提出了能夠同時(shí)處理語(yǔ)音向量、圖像向量,并實(shí)現(xiàn)跨模態(tài)的關(guān)聯(lián)檢索的要求。傳統(tǒng)數(shù)據(jù)庫(kù)的單模態(tài)精確匹配,無法支撐多向量列聯(lián)合召回的復(fù)雜場(chǎng)景。而Milvus自2.4版本開始,就已經(jīng)開始了對(duì)多向量列+各種標(biāo)量數(shù)據(jù)的探索,迄今為止,已經(jīng)積累了稠密向量、稀疏向量、二值型向量等向量類型數(shù)據(jù)(可廣泛表示各種多模態(tài)數(shù)據(jù)),以及地理位置、標(biāo)簽、時(shí)間日期等標(biāo)量類型數(shù)據(jù)的支持。
落到具體場(chǎng)景中,以電商智能客服為例,傳統(tǒng)AI客服僅能根據(jù)關(guān)鍵詞匹配預(yù)設(shè)答案,而Agentic AI客服則能自主查詢用戶歷史訂單、當(dāng)前商品庫(kù)存、物流信息,甚至結(jié)合促銷規(guī)則為用戶制定個(gè)性化購(gòu)買方案,甚至還需要具備一些圖片識(shí)別、語(yǔ)音/語(yǔ)義識(shí)別的能力。這個(gè)過程中,AI需要在毫秒級(jí)內(nèi)完成海量非結(jié)構(gòu)化數(shù)據(jù)的檢索與關(guān)聯(lián),傳統(tǒng)數(shù)據(jù)庫(kù)根本無法承載。
向量數(shù)據(jù)庫(kù)是“決策中樞”的底層邏輯
在應(yīng)對(duì)這些挑戰(zhàn)的過程中,向量數(shù)據(jù)庫(kù)正轉(zhuǎn)變?yōu)槠髽I(yè)應(yīng)用Agentic AI的必選項(xiàng)。
向量數(shù)據(jù)庫(kù)的核心價(jià)值不在于存儲(chǔ),而在于高效檢索“語(yǔ)義相似性”。眾所周知,傳統(tǒng)數(shù)據(jù)庫(kù)(如MySQL、PostgreSQL)主要面向結(jié)構(gòu)化數(shù)據(jù)需求,擅長(zhǎng)處理結(jié)構(gòu)化數(shù)據(jù)的精確匹配,但卻無法滿足生成式AI對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、管理以及語(yǔ)義檢索需求。
而向量數(shù)據(jù)庫(kù)處理的是非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)(文本、圖像、音頻)經(jīng)過深度學(xué)習(xí)模型編碼后生成的高維向量(通常數(shù)百到數(shù)千維)。其核心查詢是:找出和這個(gè)向量最相似的Top-K個(gè)向量。
與此同時(shí),作為L(zhǎng)LM的記憶體,向量數(shù)據(jù)庫(kù)以極具性價(jià)比的形式為其提供存儲(chǔ)功能,在減少大模型開發(fā)成本的同時(shí),也能極大提高LLM的性能。另外,對(duì)于那些對(duì)數(shù)據(jù)隱私有需求,不希望將本地?cái)?shù)據(jù)上傳大模型的企業(yè)來說,向量數(shù)據(jù)庫(kù)也是它們存儲(chǔ)和管理企業(yè)知識(shí)的不二選擇。
對(duì)此,沈亮表示:“Agent需要記錄短期歷史、長(zhǎng)期經(jīng)驗(yàn)、工具調(diào)用效果,這些數(shù)據(jù)與傳統(tǒng)知識(shí)庫(kù)差別非常大。向量數(shù)據(jù)庫(kù)從被動(dòng)工具變成了主動(dòng)、靈活、高頻訪問的核心組件。”
具體而言,向量數(shù)據(jù)庫(kù)為Agentic AI提供四大不可替代的價(jià)值:
價(jià)值一,構(gòu)建可擴(kuò)展的認(rèn)知記憶。 通過向量化存儲(chǔ),Agent的每次交互、每個(gè)決策都被編碼為高維空間中的點(diǎn)。Milvus的分布式架構(gòu)支持百億級(jí)向量存儲(chǔ),配合冷熱分層,讓“記憶”既有容量又有速度。這相當(dāng)于給Agent構(gòu)建了一個(gè)可無限擴(kuò)展的“數(shù)字海馬體”。
價(jià)值二,實(shí)現(xiàn)低延遲的經(jīng)驗(yàn)檢索。當(dāng)Agent遇到新問題,需在毫秒級(jí)從海量記憶中找到最相關(guān)經(jīng)驗(yàn)。Zilliz Cloud的AutoIndex技術(shù)使查詢性能提升3-5倍,某電商客戶圖搜場(chǎng)景實(shí)現(xiàn)<30毫秒響應(yīng)。這種速度是Agent保持"思維流暢性"的前提。
價(jià)值三,支撐多Agent的集體協(xié)作。復(fù)雜任務(wù)需多Agent協(xié)同,向量數(shù)據(jù)庫(kù)作為中央知識(shí)樞紐,存儲(chǔ)各Agent的中間結(jié)果與共識(shí)知識(shí)。
價(jià)值四,降低AI落地的信任門檻。通過BYOC方案,企業(yè)可將數(shù)據(jù)保存在自有VPC中,滿足GDPR、HIPAA等合規(guī)要求。這是金融、醫(yī)療、自動(dòng)駕駛等領(lǐng)域采用Agentic AI的前提。
沈亮指出Agentic AI與傳統(tǒng)RAG不同,對(duì)向量數(shù)據(jù)庫(kù)底層數(shù)據(jù)庫(kù)特性有要求。“性能上,讀寫頻次和數(shù)據(jù)更新速度要求高,公司采用讀寫分離架構(gòu),避免讀寫相互影響,而部分友商產(chǎn)品存在讀寫相互折損問題。”
Zilliz一直把自己定位在AI Infra層,將向量數(shù)據(jù)庫(kù)作為連接大模型與垂直場(chǎng)景的關(guān)鍵齒輪。而且與其他數(shù)據(jù)庫(kù)服務(wù)商專注于做閉源產(chǎn)品不同的是,Zilliz選擇了開源Milvus與閉源Zilliz Cloud“雙管齊下”的商業(yè)模式,而且開源產(chǎn)品Milvus作為起家產(chǎn)品,其能力已經(jīng)在多個(gè)行業(yè)應(yīng)用中得到了認(rèn)可。
比如,在HR領(lǐng)域,智聯(lián)招聘與Milvus合作,采用向量召回技術(shù)提升招聘匹配效率。通過雙塔模型結(jié)構(gòu)處理JD和CV文本信息,映射為低維向量,利用對(duì)比學(xué)習(xí)優(yōu)化匹配精度。使用Milvus進(jìn)行向量數(shù)據(jù)庫(kù)管理,通過體感評(píng)估和量化指標(biāo)評(píng)估模型表現(xiàn),解決人力線索評(píng)估的難題;在傳媒領(lǐng)域,搜狐新聞利用Milvus分布式向量檢索引擎,提升了個(gè)性化新聞推薦系統(tǒng)的性能,包括向量檢索速度提升10倍,新聞分類準(zhǔn)確率提高至95%,并減少了內(nèi)存占用。這使得搜狐新聞能夠更快響應(yīng)用戶需求,降低成本,并提升用戶體驗(yàn)。
沈亮介紹道,一方面,Zilliz通過開源的Milvus向量數(shù)據(jù)庫(kù)搭建起了開源開放的數(shù)據(jù)庫(kù)社區(qū),吸納更多的用戶和企業(yè),讓他們對(duì)向量數(shù)據(jù)庫(kù)有了更為深刻的了解,通過開源的產(chǎn)品,Zilliz也可以從用戶那里及時(shí)獲得新需求,從而“反哺”商業(yè)化產(chǎn)品Zilliz Cloud,讓更多人了解Zilliz。
另一方面,當(dāng)使用Milvus產(chǎn)品的用戶在業(yè)務(wù)上有進(jìn)一步需求的時(shí)候,因?yàn)閷?duì)Zilliz的能力已經(jīng)有了初步的了解,在尋求進(jìn)一步服務(wù)的過程中,選擇Zilliz商業(yè)化產(chǎn)品——Zilliz Cloud的可能性也會(huì)更大,沈亮指出,“Milvus與Zilliz Cloud完全接口兼容,企業(yè)可以根據(jù)自身需求靈活選擇,很多客戶先通過開源版驗(yàn)證技術(shù)可行性,再平滑遷移至商業(yè)版,遷移成本幾乎為零,分鐘級(jí)即可完成切換。”
當(dāng)開源用戶規(guī)模達(dá)到臨界點(diǎn),運(yùn)維復(fù)雜度、性能瓶頸、成本壓力會(huì)促使它們轉(zhuǎn)向商業(yè)版。“我們有相當(dāng)多的商業(yè)化用戶是從開源轉(zhuǎn)來的,”沈亮舉例,“某頭部電商早期用Milvus搭建向量檢索平臺(tái),支撐圖搜、推薦、風(fēng)控等場(chǎng)景。但到了雙十一,他們意識(shí)到自建方案在穩(wěn)定性、性能調(diào)優(yōu)上存在瓶頸,最終整個(gè)集群切換到Zilliz Cloud。”
與云協(xié)同,鋪設(shè)通往通用智能的“記憶高速路”
向量數(shù)據(jù)庫(kù)的性能發(fā)揮高度依賴底層基礎(chǔ)設(shè)施的彈性與擴(kuò)展性,而云原生架構(gòu)恰好提供了這樣的能力。有報(bào)告顯示,2024年全球云DBMS收入占比已達(dá)64%(766億美元),貢獻(xiàn)了89%的市場(chǎng)增量,包含亞馬遜云科技等在內(nèi)的頭部服務(wù)商壟斷了76%的云數(shù)據(jù)庫(kù)市場(chǎng)份額。這一數(shù)據(jù)表明,云已成為數(shù)據(jù)庫(kù)的主流部署環(huán)境。
正是看到了云原生的巨大優(yōu)勢(shì),Zilliz自2021年起便與亞馬遜云科技展開合作,目前已成為亞馬遜云科技最高等級(jí)的第三方合作伙伴,雙方的合作從技術(shù)適配、產(chǎn)品集成延伸至市場(chǎng)推廣、客戶服務(wù)等多個(gè)層面,形成了深度綁定的戰(zhàn)略關(guān)系。“與亞馬遜云科技的合作不是簡(jiǎn)單的產(chǎn)品集成,而是從底層技術(shù)到上層生態(tài)的全方位協(xié)同。”沈亮如是說。
在資源配置方面,基于Amazon Elastic Compute Cloud(Amazon EC2)豐富的實(shí)例類型,Zilliz Cloud提供了包括性能型、容量型、存儲(chǔ)擴(kuò)展型等多套深度優(yōu)化的解決方案,滿足用戶不同的負(fù)載需求。
在彈性架構(gòu)方面,Zilliz基于Amazon Elastic Kubernetes Service(EKS)的容器化自動(dòng)擴(kuò)縮容能力,可動(dòng)態(tài)應(yīng)對(duì)流量高峰,確保用戶業(yè)務(wù)量激增時(shí)AI應(yīng)用的穩(wěn)定高效運(yùn)行。
在成本優(yōu)化方面,Zilliz Cloud還適配了支持Amazon Graviton處理器的實(shí)例,可將成本優(yōu)化提升20%以上,并顯著提升性能。
具體來看,選擇Zilliz Cloud向量數(shù)據(jù)庫(kù)解決方案構(gòu)建各種AI應(yīng)用的客戶,也利用亞馬遜云科技在模型服務(wù)層的優(yōu)勢(shì),通過靈活的API接口,在Amazon Bedrock上調(diào)用領(lǐng)先的大語(yǔ)言模型和嵌入模型,做快速選擇、切換和調(diào)用,并進(jìn)一步大幅簡(jiǎn)化數(shù)據(jù)處理流程,釋放數(shù)據(jù)深層價(jià)值。
此外,Zilliz應(yīng)用生成式AI助手Amazon Q幫助技術(shù)團(tuán)隊(duì)更快熟悉亞馬遜云科技的服務(wù),簡(jiǎn)化信息訪問、加強(qiáng)信息檢索與優(yōu)化配置,相比直接閱讀產(chǎn)品文檔,可為技術(shù)人員節(jié)省50%以上的檢索時(shí)間。
商業(yè)層面,亞馬遜云科技 Marketplace為Zilliz導(dǎo)入大量用戶,更重要的是,這些用戶中相當(dāng)一部分是國(guó)內(nèi)AI出海企業(yè)。“他們?cè)诿绹?guó)、日本、新加坡做創(chuàng)新應(yīng)用,最關(guān)心應(yīng)用開發(fā)周期,試錯(cuò)成本要低。”沈亮分析,“我們的向量數(shù)據(jù)庫(kù)+亞馬遜云科技的AI生態(tài),讓他們創(chuàng)新周期大大縮短。”
Zilliz與亞馬遜云科技的合作不僅是“單方面的勝利”,而是雙方相互成就。除了亞馬遜云科技為Zilliz的向量數(shù)據(jù)庫(kù)提供了穩(wěn)定的云環(huán)境、模型服務(wù)層優(yōu)勢(shì),以及出海的支撐之外,Zilliz Cloud的高性能向量搜索能力也為亞馬遜云科技企業(yè)客戶帶來了顯著的商業(yè)影響。憑借在數(shù)十億向量中進(jìn)行低于10毫秒延遲的搜索以及嚴(yán)格的合規(guī)性,組織可以以前所未有的規(guī)模實(shí)施AI應(yīng)用。“很多用戶最初只用Milvus開源版,我們引導(dǎo)他們使用亞馬遜云科技的服務(wù)后,他們會(huì)更多使用SageMaker、Bedrock等AI產(chǎn)品,為亞馬遜云科技帶來新用戶。”沈亮如是說。這種共生關(guān)系,使雙方從“供應(yīng)商-客戶”升級(jí)為“生態(tài)伙伴”。
“通過選擇在亞馬遜云科技上使用Zilliz Cloud,組織可以自信地?cái)U(kuò)展其向量搜索操作,并專注于創(chuàng)新,而非基礎(chǔ)設(shè)施管理。”沈亮指出。例如,美國(guó)頂級(jí)的法律AI SaaS公司Filevine使用Zilliz Cloud使海量法律文檔可快速搜索,將研究時(shí)間從數(shù)小時(shí)縮短至數(shù)分鐘。這一改進(jìn)得益于Zilliz Cloud對(duì)其自研向量數(shù)據(jù)庫(kù)內(nèi)核Cardinal的 10倍的性能提升(相較開源Milvus)以及自動(dòng)索引AutoIndex優(yōu)化等功能。
當(dāng)前,對(duì)于企業(yè)而言,選擇合適的向量數(shù)據(jù)庫(kù)與云平臺(tái),構(gòu)建AI原生的數(shù)據(jù)架構(gòu),已成為把握Agentic AI機(jī)遇的關(guān)鍵。回看Ziiliz的來時(shí)之路,在數(shù)據(jù)庫(kù)的“戰(zhàn)場(chǎng)”上,Zilliz抓住了AI帶來的機(jī)遇,實(shí)現(xiàn)了“長(zhǎng)期主義者”的突圍。Zilliz用7年時(shí)間證明,在AI時(shí)代,數(shù)據(jù)庫(kù)不再是幕后存儲(chǔ),而是智能體認(rèn)知的“第一性原理”。
從十億向量到千億向量,從單模態(tài)到萬(wàn)模態(tài),從靜態(tài)知識(shí)到動(dòng)態(tài)認(rèn)知,向量數(shù)據(jù)庫(kù)的演進(jìn),本質(zhì)上是在為AI鋪設(shè)一條條通往通用智能的“記憶高速路”。而Zilliz已成為這條公路上最堅(jiān)定的筑路者。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.