《失控》作者K·K認(rèn)為:未來(lái)的商業(yè)乃數(shù)據(jù)之商業(yè),處理數(shù)據(jù)和處理客戶一樣重要。
的確,數(shù)據(jù)是所有企業(yè)在數(shù)字化時(shí)代的生命之源。隨著AI大模型和生成式AI的崛起,讓企業(yè)生產(chǎn)力范式迎來(lái)巨大變革,數(shù)據(jù)要素+人工智能技術(shù)已徹底重塑企業(yè)的流程、管理和服務(wù)等,成為企業(yè)在市場(chǎng)中形成差異化競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵。
這其中,如何讓Data+AI更好地融合正在成為當(dāng)前產(chǎn)業(yè)界所面臨的首要挑戰(zhàn)。Data+AI融合不僅是企業(yè)實(shí)現(xiàn)數(shù)據(jù)價(jià)值持續(xù)釋放的關(guān)鍵,也是大規(guī)模應(yīng)用AI技術(shù)的基礎(chǔ)前提,更直接決定著未來(lái)生產(chǎn)力范式的全面轉(zhuǎn)變。
近年來(lái),無(wú)論是國(guó)外的AWS、Databricks、SAS等公司,還是國(guó)內(nèi)的云大廠、StarRocks等初創(chuàng)公司,均將目標(biāo)瞄準(zhǔn)Data+AI ,旨在從產(chǎn)品上化繁為簡(jiǎn),推動(dòng)Data+AI的全面融合,以滿足越來(lái)越多復(fù)雜的應(yīng)用需求,幫助企業(yè)在AI時(shí)代打造新質(zhì)生產(chǎn)力。
史上最大融資,Data+AI的勝利
幾年前機(jī)器學(xué)習(xí)流行之際,Data+AI融合的苗頭已開(kāi)始顯現(xiàn),像Cloudera、Databricks等大數(shù)據(jù)公司紛紛致力于集成TensorFlow等流行AI框架,支持機(jī)器學(xué)習(xí)工具的開(kāi)發(fā)等;2023年初,AI大模型和生成式AI應(yīng)用的爆發(fā),則猶如一股強(qiáng)勁的催化劑,極大地推動(dòng)了Data+AI走向融合。
例如,剛剛完成100億美元史上最大融資的獨(dú)角獸Databricks就動(dòng)作頻頻,不僅打造出開(kāi)源大模型Dolly,還收購(gòu)大模型公司 MosaicML,并致力于構(gòu)建數(shù)據(jù)分析與人工智能的統(tǒng)一平臺(tái)。
Data+AI融合趨勢(shì)之所以被產(chǎn)業(yè)界廣泛認(rèn)可,實(shí)乃數(shù)據(jù)分析+人工智能平臺(tái)已經(jīng)成長(zhǎng)為企業(yè)數(shù)智轉(zhuǎn)型升級(jí)的核心底座,牽引著企業(yè)生產(chǎn)力范式的轉(zhuǎn)變和未來(lái)轉(zhuǎn)型升級(jí)。
一方面,在Scaling Law法則驅(qū)動(dòng)下,形成通用大模型和垂直大模型并存發(fā)展的局面,AI大模型快速迭代與發(fā)展帶來(lái)極為復(fù)雜的數(shù)據(jù)處理需求,對(duì)于數(shù)據(jù)處理帶來(lái)一系列全新的挑戰(zhàn)。眾所周知,大模型的效果好壞與數(shù)據(jù)質(zhì)量息息相關(guān),而數(shù)據(jù)質(zhì)量很大程度又依賴對(duì)海量數(shù)據(jù)的數(shù)據(jù)治理、處理和管理。例如,檢索增強(qiáng)生成(RAG)是生成式AI應(yīng)用的關(guān)鍵技術(shù),需要結(jié)合向量數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù),提升數(shù)據(jù)檢索和生成的能力,對(duì)于數(shù)據(jù)處理帶來(lái)諸多挑戰(zhàn)。
![]()
另一方面,AI大模型和生成式AI也在推動(dòng)數(shù)據(jù)處理與分析走向更加智能和便捷,有望持續(xù)降低數(shù)據(jù)消費(fèi)和使用的門(mén)檻。例如,在查詢和檢索、數(shù)據(jù)清洗和準(zhǔn)備、分析和可視化等諸多環(huán)節(jié)融入生成式AI能力,有效提高數(shù)據(jù)處理效率,徹底改變數(shù)據(jù)分析、數(shù)據(jù)使用與交互的方式,讓數(shù)據(jù)處理與分析走向簡(jiǎn)單與便捷。
因此,面對(duì)日益復(fù)雜的數(shù)據(jù)環(huán)境,Data+AI融合勢(shì)在必行,構(gòu)建靈活、高效和智能的數(shù)據(jù)分析與人工智能統(tǒng)一平臺(tái)成為大勢(shì)所趨。“大模型時(shí)代,企業(yè)的IT架構(gòu)正在變成以數(shù)據(jù)為核心,大數(shù)據(jù)和大模型的融合,是形成新質(zhì)IT生產(chǎn)力的關(guān)鍵。”騰訊云副總裁黃世飛在12月一場(chǎng)媒體溝通會(huì)上如是說(shuō)。
那么,Data+AI在產(chǎn)品層面是如何實(shí)現(xiàn)的?什么樣的數(shù)據(jù)分析與人工智能平臺(tái)代表著未來(lái)Data+AI的融合趨勢(shì)?
Data+AI如何走向融合
Data+AI在產(chǎn)品層面上的融合,本質(zhì)上是為了簡(jiǎn)化數(shù)據(jù)處理和提升人工智能開(kāi)發(fā)應(yīng)用效率。
在目前市場(chǎng)中,國(guó)內(nèi)外眾多巨頭、獨(dú)角獸均瞄準(zhǔn)了Data+AI的融合。Databricks是推動(dòng)Data+AI融合的代表。作為數(shù)據(jù)分析與人工智能領(lǐng)域的獨(dú)角獸,Databricks雖然有花費(fèi)巨資收購(gòu)大模型初創(chuàng)公司MosaicML這樣的大手筆,但始終堅(jiān)持統(tǒng)一架構(gòu)的產(chǎn)品模式,致力于將數(shù)據(jù)湖倉(cāng)、數(shù)據(jù)工具和AI工具集成為統(tǒng)一的數(shù)據(jù)分析與人工智能平臺(tái),近年來(lái)基于統(tǒng)一架構(gòu)下更是開(kāi)發(fā)出Lakehouse IQ、LakehouseAI、AI Gateway、Unity Catalog等一系列新功能。
同樣,AWS也在致力于簡(jiǎn)化數(shù)據(jù)處理與人工智能的技術(shù)堆棧。在今年12月的re:Invent大會(huì)上,AWS直言數(shù)據(jù)、分析和AI結(jié)合在全新的平臺(tái)是重要的趨勢(shì)。為此,AWS正在整合SQL Analytics、Data Processing、Machine learning、生成式AI開(kāi)發(fā)、BI等諸多功能,并且通過(guò)一站式的平臺(tái)提供給用戶使用。
![]()
無(wú)獨(dú)有偶,騰訊云也是推動(dòng)Data+AI融合的突出代表,其最新一代數(shù)據(jù)智能平臺(tái)TChouse-X采用一體化的架構(gòu)設(shè)計(jì),一份數(shù)據(jù)即可支持在線分析、離線處理、數(shù)據(jù)湖探索和機(jī)器學(xué)習(xí)等多種業(yè)務(wù)負(fù)載,實(shí)現(xiàn)AI、BI和Data在一個(gè)平臺(tái)上開(kāi)發(fā)和共建。
如果仔細(xì)分析上述三家公司在Data+AI融合方面的動(dòng)作,會(huì)發(fā)現(xiàn)一體化、智能化、高性能和云原生是Data+AI在產(chǎn)品層面最為關(guān)鍵的四個(gè)趨勢(shì)。
首先是一體化。一體化的架構(gòu)與產(chǎn)品無(wú)疑是簡(jiǎn)化技術(shù)棧、推動(dòng)各種產(chǎn)品功能融合和提升AI應(yīng)用開(kāi)發(fā)效率的關(guān)鍵方式。事實(shí)上,像Databricks、騰訊云等公司是一體化產(chǎn)品策略的堅(jiān)定支持者。騰訊云大數(shù)據(jù)基礎(chǔ)產(chǎn)品中心總經(jīng)理程彬直言,AI大模型時(shí)代,數(shù)據(jù)分析與人工智能平臺(tái)需要在產(chǎn)品體驗(yàn)和運(yùn)營(yíng)層面減少?gòu)?fù)雜性,回歸到減法模式,太多的選擇意味著效率會(huì)降低。
其次是智能化。眾所周知,當(dāng)前所有產(chǎn)品都迎來(lái)一次重要的重塑,AI大模型和生成式AI正在深刻改變各種軟件產(chǎn)品的設(shè)計(jì)、開(kāi)發(fā)和體驗(yàn),數(shù)據(jù)分析與人工智能平臺(tái)產(chǎn)品也不例外,甚至需要走在智能化的最前面,在數(shù)據(jù)治理、數(shù)據(jù)管理、模型訓(xùn)練、應(yīng)用開(kāi)發(fā)等方面更加智能化,降低數(shù)據(jù)分析與AI開(kāi)發(fā)的門(mén)檻,推動(dòng)AI應(yīng)用的普及。
第三是高性能。當(dāng)前,企業(yè)面臨的數(shù)據(jù)棧環(huán)境復(fù)雜程度遠(yuǎn)勝以往,數(shù)據(jù)分析與人工智能平臺(tái)從過(guò)去單一的數(shù)據(jù)倉(cāng)庫(kù)迅速走向囊括指標(biāo)平臺(tái)、交互式分析、實(shí)時(shí)分析、流計(jì)算、機(jī)器學(xué)習(xí)等在內(nèi)的綜合平臺(tái),對(duì)于各項(xiàng)工作負(fù)載的性能要求也是水漲船高,“Data+AI融合的趨勢(shì)下,追求高性能將成本平臺(tái)產(chǎn)品的基本訴求。計(jì)算范式延伸到二維表+分布式ML計(jì)算+AI搜索,需要面向多種工作負(fù)載的高性能計(jì)算引擎來(lái)支撐。”程彬如是說(shuō)。
最后則是云原生。事實(shí)上,無(wú)論AWS、騰訊云這些云服務(wù)商,還是Databricks、Snowflake、StarRocks等,他們的數(shù)據(jù)平臺(tái)類產(chǎn)品無(wú)一例外從誕生伊始與云強(qiáng)相關(guān),生于云、長(zhǎng)于云,充分利用云原生的特性,實(shí)現(xiàn)資源的彈性伸縮,以適應(yīng)不同的工作負(fù)載需求。
“在AI大模型時(shí)代,數(shù)據(jù)平臺(tái)不僅僅需要云原生,還需要AI原生,讓整個(gè)數(shù)據(jù)分析與人工智能平臺(tái)自身更加聰明、更加自治。”程彬補(bǔ)充道。
中國(guó)Data+AI浪潮來(lái)襲,誰(shuí)有備而來(lái)?
無(wú)疑,中國(guó)市場(chǎng)正迎來(lái)Data+AI融合浪潮的全面來(lái)襲。
隨著中國(guó)千行百業(yè)數(shù)字化轉(zhuǎn)型的深入,中國(guó)正成為當(dāng)之無(wú)愧的數(shù)據(jù)大國(guó)。IDC預(yù)測(cè),中國(guó)在2024年預(yù)計(jì)生成38.6ZB數(shù)據(jù),未來(lái)五年,中國(guó)的數(shù)據(jù)量年復(fù)合增長(zhǎng)率(CAGR)將達(dá)到25.7%,中國(guó)有望成為全球最大數(shù)據(jù)圈,為生成式AI應(yīng)用帶來(lái)豐富的數(shù)據(jù)資源。
另一方面,中國(guó)AI大模型領(lǐng)域發(fā)展迅速,AI大模型正加速進(jìn)入到各大垂直行業(yè)之中。同時(shí),中國(guó)行業(yè)豐富、產(chǎn)業(yè)布局完整,有著極為豐富多樣的行業(yè)應(yīng)用場(chǎng)景,是生成式AI等技術(shù)天然優(yōu)良的“試驗(yàn)土壤”和“培育基地”。沙利文頭豹《2024年中國(guó)行業(yè)大模型市場(chǎng)報(bào)告》顯示,中國(guó)行業(yè)大模型市場(chǎng)2024年有望達(dá)165億元,同比增長(zhǎng)57%,行業(yè)智能化轉(zhuǎn)型需求是市場(chǎng)爆發(fā)性增長(zhǎng)的主要驅(qū)動(dòng)力。
顯然,在“數(shù)據(jù)要素X”三年行動(dòng)計(jì)劃”、“人工智能+”等政策的驅(qū)動(dòng)下,數(shù)據(jù)分析與人工智能平臺(tái)將成為企業(yè)未來(lái)轉(zhuǎn)型升級(jí)的核心抓手。IDC《數(shù)據(jù)智能市場(chǎng)趨勢(shì)分析,2024》報(bào)告認(rèn)為,在生成式AI的驅(qū)動(dòng)下,未來(lái)5年中國(guó)企業(yè)在數(shù)據(jù)管理和數(shù)據(jù)分析基礎(chǔ)設(shè)施建設(shè)的投資將持續(xù)高增長(zhǎng)。
事實(shí)上,巨大的市場(chǎng)潛力也吸引到眾多市場(chǎng)參與者,并且涌現(xiàn)出一批數(shù)據(jù)分析、人工智能相關(guān)的產(chǎn)品。這其中,騰訊云可謂是有備而來(lái),其最新的TCHouse-X采用一體化的架構(gòu)設(shè)計(jì),徹底打破傳統(tǒng)數(shù)據(jù)平臺(tái)在離線計(jì)算、在線計(jì)算和AI開(kāi)發(fā)之間的壁壘,成為數(shù)據(jù)分析與人工智能一站式平臺(tái)的代表。
除了采用一體化的架構(gòu)設(shè)計(jì)之外,騰訊云TCHouse-X在優(yōu)化器、計(jì)算引擎、存儲(chǔ)引擎等核心引擎是全部自研,能夠?yàn)橛脩籼峁┤溌窐O致性能;同時(shí),騰訊云TCHouse-X實(shí)現(xiàn)系統(tǒng)交互、資源管理和運(yùn)維管理的智能化,并能夠?qū)崟r(shí)感知負(fù)載并智能規(guī)劃資源;此外,TCHouse-X支持多種彈性策略,擅長(zhǎng)支撐突發(fā)流量高峰、大規(guī)模查詢等場(chǎng)景。
![]()
騰訊云副總裁黃世飛直言:“從架構(gòu)層面來(lái)看,騰訊云TCHouse-X從一開(kāi)始就是圍繞AI相關(guān)來(lái)考慮的,這有別于之前一些較早的數(shù)據(jù)分析與人工智能平臺(tái)。另外,騰訊云擁有強(qiáng)大的基礎(chǔ)設(shè)施,從端到端的的維度來(lái)確保TCHouse-X在性能上更加出色。”
綜合來(lái)看,騰訊云TCHouse-X作為數(shù)據(jù)分析與人工智能一體化平臺(tái)產(chǎn)品,已經(jīng)展現(xiàn)出極強(qiáng)的產(chǎn)品力。例如,在在線查詢方面,騰訊云TCHouse-X性能優(yōu)于Snowflake 50%,離線批處理綜合性價(jià)比優(yōu)于Snowflake 10倍以上。
據(jù)悉,針對(duì)TCHouse-X,騰訊云目前推出了公有云版本。“騰訊云的產(chǎn)品策略是公有云與私有云并重。TCHouse-X會(huì)最先在公有云上為用戶提供服務(wù),后續(xù)會(huì)逐漸進(jìn)入到私有云,去適配私有云環(huán)境中的各種IT環(huán)境。”黃世飛最后表示道。
大數(shù)據(jù)在線是聚焦人工智能、大數(shù)據(jù)、云計(jì)算等前沿科技領(lǐng)域深度觀察的深度媒體。目前,大數(shù)據(jù)在線在微信公眾號(hào)、今日頭條號(hào)、新浪財(cái)經(jīng)、36氪、雪球號(hào)、觀察號(hào)等主流自媒體平臺(tái)均有入駐,積累粉絲超過(guò)20W;并榮獲今日頭條十大科技新銳媒體、商業(yè)新知十大人工智能媒體等多項(xiàng)殊榮。商務(wù)聯(lián)系請(qǐng)?zhí)砑游⑿牛篛wen_Inter,添加請(qǐng)備注具體信息。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.