野蠻生長后，AI大模型還需要重復(fù)“造輪子”？

“我們塑造了工具，此后工具也塑造了我們。”

AI大模型帶來的智能革命，媲美工業(yè)革命和電力革命，深刻改變?nèi)祟惿鐣纳a(chǎn)生活方式，是開啟智能時代的那一臺“蒸汽機”。

從文生文到文生圖，再到文生視頻，以ChatGPT、Sora等為代表的大模型引領(lǐng)了全球人工智能技術(shù)與產(chǎn)業(yè)的新一輪浪潮，海內(nèi)外大模型相關(guān)研究與產(chǎn)品競相涌現(xiàn)、加速迭代，進(jìn)入“百舸爭流”的新時代。

不過，人工智能領(lǐng)域似乎進(jìn)入了一個微妙的節(jié)點，眾多科技巨頭和創(chuàng)業(yè)公司紛紛推出自己的AI大模型產(chǎn)品，卻難掩同質(zhì)化的窘境?；仡?023年，自3月份ChatGPT-4上線后，國內(nèi)科技企業(yè)紛紛跑步入場。百度“文心一言”、阿里巴巴“通義千問”、華為“盤古”、360“智腦”、昆侖萬維“天工”、京東“靈犀”、科大訊飛“星火”、騰訊“混元”、商湯“日日新” 等大模型先后登場。截至今年5月，國內(nèi)已經(jīng)推出超過300個大模型。其中，10億參數(shù)規(guī)模以上的大模型已超100個。

無論是何種類型的大模型，在“百模大戰(zhàn)”的背景下，其功能、用途、場景都難免重復(fù)。但在業(yè)內(nèi)人士看來，大模型的發(fā)展還遠(yuǎn)未觸及天花板，不僅“百模大戰(zhàn)”不是終點，“萬模群舞”或許就在不遠(yuǎn)的將來。

AI大模型過剩了嗎？

近兩年來，大模型技術(shù)呈現(xiàn)爆發(fā)式的增長，而且在各個研究領(lǐng)域和實踐任務(wù)上都取得了矚目成果，諸多科技巨頭公司也紛紛投身于大模型的浪潮之中。

在最早應(yīng)用大模型的自然語言處理（NLP）領(lǐng)域，OpenAI推出了擁有1750億個參數(shù)的ChatGPT，這一行動激發(fā)了一系列的應(yīng)用熱潮：微軟將ChatGPT接入了其搜索引擎Bing；谷歌推出了自家的語言大模型PaLM和對話模型Bard，并且已經(jīng)開始了PaLM2的研發(fā)；我國百度、字節(jié)跳動、華為等公司也積極推出了自己的語言大模型。

在NLP大模型取得了巨大成功的鼓舞下，其他領(lǐng)域也涌現(xiàn)出了大模型的身影。在語音識別領(lǐng)域，OpenAI和谷歌分別推出了擁有15億參數(shù)的Whisper模型和20億參數(shù)的USM模型，而微軟則推出了能夠在幾秒鐘內(nèi)準(zhǔn)確模仿任何人說話聲音和語調(diào)的語音生成模型VALL-E；在視覺領(lǐng)域，基于大模型工作的GPT-4和OpenCLIP進(jìn)行了語音和視覺的跨模態(tài)訓(xùn)練，使得這些模型能夠用自然語言的方式去理解圖片。

此外，谷歌和臉書公司也各自采用了監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的方式，分別訓(xùn)練了220億參數(shù)和65億參數(shù)的Vision Transformer視覺大模型，這些模型在性能上大大超越了參數(shù)數(shù)量更少的模型；在強化學(xué)習(xí)領(lǐng)域，谷歌和DeepMind公司開發(fā)的PaLM-E和Gato，也開始探索和實驗強化學(xué)習(xí)大模型的可能性。

從去年開始，中國涌現(xiàn)出大量的行業(yè)大模型。這種現(xiàn)象背后隱含的一個事實是：打造行業(yè)大模型的技術(shù)門檻相對較低。隨著開源技術(shù)的普及，技術(shù)上的壁壘逐漸被打破。許多優(yōu)質(zhì)的預(yù)訓(xùn)練技術(shù)、框架和工具已經(jīng)被廣大研發(fā)者和機構(gòu)所采納和使用。相對于開發(fā)一個全新的大模型，微調(diào)現(xiàn)有的通用大模型更為簡單快捷，只需要大量、高質(zhì)量的行業(yè)數(shù)據(jù)即可。

打造一個強大的通用大模型卻是一項長期且復(fù)雜的任務(wù)，這需要巨大的計算資源、多樣化的數(shù)據(jù)和深厚的技術(shù)積累。因此，相比之下，行業(yè)大模型的產(chǎn)生，就顯得更為便捷了。

但這種便捷性帶來的是雙刃劍效應(yīng)。大量涌現(xiàn)的所謂行業(yè)大模型，并不具備真正的競爭壁壘。技術(shù)上，它們大多基于相似的開源技術(shù)和通用大模型進(jìn)行微調(diào)，很少有真正的技術(shù)創(chuàng)新。數(shù)據(jù)上，盡管行業(yè)數(shù)據(jù)是關(guān)鍵，但許多企業(yè)并沒有真正挖掘、整合和利用這些數(shù)據(jù)的能力，使得其微調(diào)的效果并不理想。

事實上，底層通用大模型的每次迭代，都將“淹沒”一大批所謂的行業(yè)大模型。大模型技術(shù)的快速迭代就是一個典型的例子，每次通用大模型的升級都使其前一代的技術(shù)變得陳舊。

以O(shè)penAI的GPT系列為例，從GPT到GPT-4，每當(dāng)OpenAI發(fā)布一個新版本，它都會因為更多的參數(shù)、更先進(jìn)的算法和更高的性能，使前一版本相形見絀。而這種進(jìn)化不僅僅局限于通用模型，實際上，它更多地影響到了基于前一代模型微調(diào)出的行業(yè)大模型。

試想，一個企業(yè)可能已經(jīng)投入大量資源在GPT-3上，開發(fā)出一套專門為醫(yī)療領(lǐng)域設(shè)計的AI系統(tǒng)。但當(dāng)GPT-4問世時，這家企業(yè)突然發(fā)現(xiàn)，他們的專業(yè)系統(tǒng)在新的通用模型面前相對落后，甚至可能不如直接使用GPT-4的效果。這就是因為，每次通用大模型的迭代都意味著一個巨大的技術(shù)飛躍，其對特定任務(wù)的處理能力會顯著增強。

值得深思的是，中國在AI領(lǐng)域已取得了許多值得驕傲的成果。然而，與國外相比，中國在AI大模型的算法創(chuàng)新和理論研究上仍存在差距。尤其是美國在AI大模型的基礎(chǔ)算法和架構(gòu)創(chuàng)新方面領(lǐng)先，例如Transformer模型和BERT等創(chuàng)新技術(shù)，對全球AI發(fā)展產(chǎn)生了深遠(yuǎn)影響。

這對于中國的技術(shù)界來說是一個挑戰(zhàn)，也是一個機會。挑戰(zhàn)在于如何在短時間內(nèi)彌補這一差距，機會則在于一旦做到，國內(nèi)的行業(yè)大模型將能夠站在一個更高的起點。

要卷應(yīng)用，不要卷模型

也有一種觀點認(rèn)為，不要重復(fù)造輪子，AI十倍的機會在別處。百度董事長兼CEO李彥宏此前曾表示：“重新做一個ChatGPT沒有多大意義。基于語言大模型開發(fā)應(yīng)用機會很大，但沒有必要再重新發(fā)明一遍輪子?！?/p>

今年7月，李彥宏在2024世界人工智能大會呼吁：“不要卷模型，要卷應(yīng)用！”。他認(rèn)為，AI技術(shù)已經(jīng)從辨別式轉(zhuǎn)向了生成式，但技術(shù)本身并不是目的，真正的價值在于如何將這些技術(shù)應(yīng)用于實際場景，解決實際問題。

通用大模型發(fā)展至今，面臨算力需求大、訓(xùn)練和推理成本高、數(shù)據(jù)質(zhì)量不佳等挑戰(zhàn)。一個成功的且可對外商業(yè)化輸出的通用大模型，要求廠商擁有全棧大模型訓(xùn)練與研發(fā)能力、業(yè)務(wù)場景落地經(jīng)驗、AI安全治理舉措、以及生態(tài)開放性等核心優(yōu)勢。

另外，訓(xùn)練基礎(chǔ)模型的成本也是非常之高，做一個千億級的大模型，需要單機群萬卡以上的算力。從國內(nèi)外來看，真正做通用模型的公司并沒有那么多。相反，訓(xùn)練垂直領(lǐng)域模型所需要的代價和資源遠(yuǎn)遠(yuǎn)小于從零開始做通用模型。

因而，從商業(yè)邏輯的角度來看，大部分公司不具備做通用大模型的能力，巨頭更適合做通用大模型，擁有豐富場景數(shù)據(jù)積累的公司更適合做垂域模型或者AI原生應(yīng)用。

AI原生應(yīng)用開發(fā)的具體思路主要包含三個方面。

首先是MoE（Mixture-of-Experts，專家混合）,其前身是“集成學(xué)習(xí)”，作為一種由專家模型和門控模型組成稀疏門控制的深度學(xué)習(xí)技術(shù)，MoE由多個子模型（即專家）組成，每個子模型都是一個局部模型，專門處理輸入空間的一個子集。在“分而治之”的核心思想指導(dǎo)下，MoE使用門控網(wǎng)絡(luò)來決定每個數(shù)據(jù)應(yīng)該被哪個模型去訓(xùn)練，從而減輕不同類型樣本之間的干擾。

通俗來講，MoE就像復(fù)仇者聯(lián)盟，每個子模型（專家）都是一個超級英雄，門控網(wǎng)絡(luò)則是尼克·弗瑞，負(fù)責(zé)協(xié)調(diào)各個超級英雄，決定在什么情況下召喚哪位英雄。之后選擇最合適的專家進(jìn)行處理，并將各位專家的輸出匯總起來，給出最終的答案。

需要強調(diào)的是，MoE不是通常意義上的學(xué)術(shù)概念，更準(zhǔn)確地說，是大小模型的混用，不依賴一個模型來解決所有問題。什么時候調(diào)用小模型、什么時候調(diào)用大模型、什么時候不調(diào)用模型，需要針對應(yīng)用的不同場景做匹配。

其次是小模型。相比大模型，小模型推理成本低，響應(yīng)速度快，在一些特定場景中，經(jīng)過SFT精調(diào)（在一個已經(jīng)訓(xùn)練好的模型基礎(chǔ)上,通過進(jìn)一步訓(xùn)練模型的一部分參數(shù),以適應(yīng)新的任務(wù)或數(shù)據(jù)集）后的小模型，使用效果可以媲美大模型。小模型的獨特價值在于通過大模型，壓縮蒸餾出來一個基礎(chǔ)模型，然后再用數(shù)據(jù)去訓(xùn)練，這比從頭開始訓(xùn)小模型，效果要好很多，比基于開源模型訓(xùn)練出來的模型效果更好、速度更快、成本更低。

第三是智能體。智能體以云為基礎(chǔ)，以AI為核心，構(gòu)建一個立體感知、全域協(xié)同、精準(zhǔn)判斷、持續(xù)進(jìn)化、開放的智能系統(tǒng)。智能體能力提升會不斷催生出大量新應(yīng)用。智能體機制，包括理解、規(guī)劃、反思和進(jìn)化，它讓機器像人一樣思考和行動，可以自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)、實現(xiàn)自我迭代和進(jìn)化。

智能體還有一個特點，在一些復(fù)雜系統(tǒng)中，可以讓不同智能體互動，形成群體智能，通過相互協(xié)作，更高質(zhì)量地完成任務(wù)，這就好比一個無人機群，可以完成一架無人機難以完成的工作。當(dāng)前火熱的車路云一體化也可以借助群體智能，賦予城市交通協(xié)同感知、協(xié)同計算、融合決策等能力，從而助力整個城市的交通效率實現(xiàn)全局最優(yōu)。

AI Infra將是下一個應(yīng)用熱點？

每個科技巨頭都希望在自己的生態(tài)中形成閉環(huán)，一定程度上也是因為整個國內(nèi)開源的生態(tài)不夠強大。

目前，大模型產(chǎn)業(yè)鏈大致可以分為數(shù)據(jù)準(zhǔn)備、模型構(gòu)建、模型產(chǎn)品三個層次。在國外，AI大模型的產(chǎn)業(yè)鏈比較成熟，形成了數(shù)量眾多的AI Infra（架構(gòu)）公司，但這一塊市場在國內(nèi)還相對空白。

而在國內(nèi)，巨頭們都有一套自己的訓(xùn)練架構(gòu)。

比如，華為的模型采用的是三層架構(gòu)，其底層屬于通識性大模型，具備超強的魯棒性的泛化性，在這之上是行業(yè)大模型和針對具體場景和工作流程的部署模型。這種構(gòu)架的好處是，當(dāng)訓(xùn)練好的大模型部署到垂類行業(yè)時，可以不必再重復(fù)訓(xùn)練，成本僅是上一層的5%~7%。

阿里則是為AI打造了一個統(tǒng)一底座，無論是CV、NLP、還是文生圖大模型都可以放進(jìn)去這個統(tǒng)一底座中訓(xùn)練，阿里訓(xùn)練M6大模型需要的能耗僅是GPT-3的1%。

百度和騰訊也有相應(yīng)的布局，百度擁有覆蓋超50億實體的中文知識圖譜，騰訊的熱啟動課程學(xué)習(xí)可以將萬億大模型的訓(xùn)練成本降低到冷啟動的八分之一。

整體來看，各個大廠之間的側(cè)重點雖然有所不同，但主要特點就是降本增效，而能夠?qū)崿F(xiàn)這一點，很大程度上就是受益于“一手包辦”的閉環(huán)訓(xùn)練體系。

反觀國外，成熟的AI產(chǎn)業(yè)鏈形成了數(shù)量眾多的AI Infra公司。如果用云計算三層構(gòu)架做類比，AI Infra與PaaS層級相似，是鏈接算力和應(yīng)用的中間層基礎(chǔ)設(shè)施，包括硬件、軟件、工具鏈和優(yōu)化方法等，為大模型應(yīng)用開發(fā)提供一站式模型算力部署和開發(fā)工具平臺。算力、算法、數(shù)據(jù)可以看作IaaS層，各種開源和閉源模型則是SaaS在大模型時代的新演變，即MaaS。

如果把開發(fā)AI應(yīng)用看成建房子，那么AI Infra就是提供水泥鋼筋的施工隊。AI Infra施工隊的價值點在于它是一個集成平臺，將下層的算力芯片層與上層的AI應(yīng)用層打通，讓開發(fā)者實現(xiàn)一鍵調(diào)用，并且實現(xiàn)降低算力成本、提升開發(fā)效率并且保持模型優(yōu)秀性能的效果。

讓應(yīng)用更簡單，讓AI落地更便捷，是AI Infra的使命?？梢哉f，AI應(yīng)用的市場有多大，AI Infra的機會就有多大。

AI Infra公司有的專門做數(shù)據(jù)標(biāo)注、做數(shù)據(jù)質(zhì)量、或者模型架構(gòu)等。這些企業(yè)的專業(yè)性，能夠讓他們在某一個單一環(huán)節(jié)的效率、成本、質(zhì)量上都要比大廠親自下場做得更好。

比如，數(shù)據(jù)質(zhì)量公司Anomalo就是Google Cloud和Notion的供應(yīng)商，它可以通過ML自動評估和通用化數(shù)據(jù)質(zhì)量檢測能力，來實現(xiàn)數(shù)據(jù)深度觀察和數(shù)據(jù)質(zhì)量檢測。

這些公司就像汽車行業(yè)的Tier 1，通過專業(yè)的分工，能夠讓大模型企業(yè)不必重復(fù)造輪子，而只需要通過整合供應(yīng)商資源，就能快速地搭建起自己模型構(gòu)架，從而降低成本。

但國內(nèi)在這一方面并不成熟，原因在于：一方面國內(nèi)大模型的主要玩家都是大廠，他們都有一套自己的訓(xùn)練體系，外部供應(yīng)商幾乎沒有機會進(jìn)入；另一方面，國內(nèi)也缺乏足夠龐大的創(chuàng)業(yè)生態(tài)和中小企業(yè)，AI供應(yīng)商也很難在大廠之外找到生存的空間。

以谷歌為例，谷歌愿意將自己訓(xùn)練的數(shù)據(jù)結(jié)果分享給它的數(shù)據(jù)質(zhì)量供應(yīng)商，幫助供應(yīng)商提高數(shù)據(jù)處理能力，供應(yīng)商能力提升之后，又會反過來給谷歌提供更多高質(zhì)量數(shù)據(jù)，從而形成一種良性循環(huán)。

國內(nèi)AI Infra生態(tài)的不足，直接導(dǎo)致的就是大模型創(chuàng)業(yè)門檻的拔高。如果將在中國做大模型比喻成吃上一頓熱乎飯，那必須從挖地、種菜開始。目前，在AI 2.0的熱潮中，一個重要的特點就是“兩極化”：最熱門的要么是大模型層、要么就是應(yīng)用層。而類似AI Infra的中間層，反而是很大的真空地帶，也可能是下一個機遇所在。

伴隨AI應(yīng)用的快速發(fā)展，未來誰能夠為多樣化的應(yīng)用場景提供高效便捷的大模型一站式部署方案，誰就有可能在這場競爭中勝出。而這其中，底層技術(shù)、中層平臺、上層應(yīng)用缺一不可，只有讓各方面能力得到更全面、均衡地發(fā)展，才能在AI之路上走得更遠(yuǎn)、更穩(wěn)健。