國產(chǎn)數(shù)字新基建，放眼未來的“大模型”建設(shè)

出品|網(wǎng)易新聞

導(dǎo)語：ChatGPT風(fēng)靡全球，作為一種人工智能“大模型”被認(rèn)為能在很大程度上改變?nèi)藗兊纳睿袊舱罅Πl(fā)展的全國性大型算力中心的建設(shè)也取得了階段性成功，將推動(dòng)“讓用戶像用電一樣使用算力服務(wù)”的發(fā)展愿景。隨著模型和算力的普及化，國產(chǎn)人工智能發(fā)展也將邁入新的臺階。

一、模型與數(shù)據(jù)驅(qū)動(dòng)人工智能

2017年5月，當(dāng)時(shí)圍棋世界排名第一的棋手柯潔在萬眾矚目的“人機(jī)大戰(zhàn)”中0:3完敗于谷歌研發(fā)的AI程序AlphaGo，這個(gè)標(biāo)志性的事件給很多人提了個(gè)醒：AI的浪潮已經(jīng)開始席卷而來了。

AlphaGo在2017年戰(zhàn)勝了柯潔

AI帶來的勞動(dòng)價(jià)值將讓人類徹底擺脫某種“稀缺”，擺脫重復(fù)的勞動(dòng)，從而使人類的解放成為可能。真正獲得全面解放和完全自由的人類，將擁有更充裕的時(shí)間來發(fā)展自己的興趣愛好、思考人生、享受生活、改變世界，實(shí)現(xiàn)精神財(cái)富和物質(zhì)財(cái)富的雙豐收。

但距離做到這一點(diǎn)，依舊需要相當(dāng)長時(shí)間的發(fā)展和相當(dāng)多的投入。

人類思維模式遵循上圖思想

計(jì)算機(jī)程序的發(fā)展已經(jīng)使得設(shè)備能夠按照人類已經(jīng)輸入好的指令機(jī)械地運(yùn)行，適用于純粹重復(fù)性的工作，這已經(jīng)在很多領(lǐng)域已經(jīng)極大減少了人的工作量，這種基于輸入性規(guī)則的程序可以稱得上是最初級的AI。

目前世界各國著力發(fā)展的更高級的AI則力圖在更多的領(lǐng)域也能做到這一點(diǎn)。它的核心含義是指，通過恰當(dāng)?shù)姆椒▽W(xué)習(xí)合適的已有經(jīng)驗(yàn)（以數(shù)據(jù)的形式），來獲得一種通用的決策方式。經(jīng)過測試之后就可以在類似的場景下自動(dòng)做出決策，從而實(shí)現(xiàn)自動(dòng)進(jìn)行重復(fù)勞動(dòng)的目的。

人工智能算法本質(zhì)是在模仿人類思維模式

AI發(fā)展的具體效果分別取決于兩個(gè)因素——“恰當(dāng)?shù)姆椒ā币约啊昂线m的已有經(jīng)驗(yàn)”，對應(yīng)了模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)兩個(gè)流派，它們在動(dòng)機(jī)、模式、映射關(guān)系等方面各有不同，但并不矛盾。模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的區(qū)別在于數(shù)據(jù)處理方式：如果數(shù)據(jù)處理并不改變模型本身，就是模型驅(qū)動(dòng)；如果數(shù)據(jù)處理改變了模型，讓模型去貼合數(shù)據(jù)，就是數(shù)據(jù)驅(qū)動(dòng)的研究方法。在解決實(shí)際問題中，各自都存在優(yōu)勢和限制。

對我國而言，中文語料庫的體量約為全球英文語料庫的十分之一。首先是對數(shù)據(jù)本身做預(yù)處理，然后需要大量人工標(biāo)注數(shù)據(jù)集，這樣才能夠讓模型來學(xué)習(xí)人的行為模式，整套流程花費(fèi)甚巨。而模型驅(qū)動(dòng)的方法則需要大量試錯(cuò)，需要平衡模型的復(fù)雜程度和算力投入，且每次試錯(cuò)需要付出大量的算力和時(shí)間代價(jià)。因此，基于大量共用數(shù)據(jù)的，且經(jīng)過充分驗(yàn)證的“大模型”概念成為了一種具有競爭力的方案。

二、“大模型”賦能各行各業(yè)

過去以小型團(tuán)隊(duì)為單位，通過尋找合適的數(shù)據(jù)與模型的確能產(chǎn)生效果較好的AI程序，但“點(diǎn)對點(diǎn)”的適應(yīng)單一任務(wù)的模型依舊讓其擺脫不了“小作坊”的形式。“大模型”指通過在大規(guī)模寬泛的數(shù)據(jù)上進(jìn)行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型。

近年，各種“大模型”在早期預(yù)訓(xùn)練中顯示出前所未有的威力，成為AI創(chuàng)新的共識，很多模型的達(dá)成的效果都已經(jīng)給人產(chǎn)生了深刻的印象。通過超算中心等戰(zhàn)略投資，目前我國已經(jīng)在農(nóng)業(yè)、金融、互聯(lián)網(wǎng)、生物醫(yī)藥等領(lǐng)域都擁有了自主知識產(chǎn)權(quán)的“大模型”。

“大模型”提供了一種在某個(gè)領(lǐng)域通用化的解決方案，通過“預(yù)訓(xùn)練大模型與下游任務(wù)微調(diào)”的方式，通過大模型從大量數(shù)據(jù)中捕獲知識，極大擴(kuò)展了模型的泛化能力，后期根據(jù)下游任務(wù)的少量數(shù)據(jù)進(jìn)行少量針對性的訓(xùn)練，能有效壓縮后續(xù)投入，這一套流程使得AI程序的產(chǎn)出更高效。

近年來模型的參數(shù)量提升極快

然而，“大模型”的開發(fā)過程繁復(fù)、門檻也很高，訓(xùn)練一個(gè)“大模型”的總投入在數(shù)千萬美元級別，例如ChatGPT的單次訓(xùn)練就需要耗資150萬美元。“大模型”的大，主要體現(xiàn)在以下兩方面。AI模型為準(zhǔn)確擬合相關(guān)場景的決策，其表現(xiàn)通常與參數(shù)量成正比。而“大模型”參數(shù)級別更是隨著泛化能力要求的增加水漲船高，以谷歌的Switch Transformer為例，它的參數(shù)量已經(jīng)達(dá)到了萬億級別（ChatGPT的參數(shù)量為千億級別），“大模型”的設(shè)計(jì)和訓(xùn)練投入堪稱恐怖。

谷歌Switch Transformer模型的參數(shù)量已經(jīng)達(dá)到萬億級別

其次是數(shù)據(jù)大，“大模型”的目的是擁有盡可能大的拓展?jié)摿Γ@意味著數(shù)據(jù)的收集和標(biāo)注必須盡可能覆蓋到這些范圍內(nèi)。模型大的根本原因是數(shù)據(jù)大，“大模型”所使用的數(shù)據(jù)量都是至少數(shù)十個(gè)TB級別，數(shù)據(jù)收集和人工標(biāo)注的成本都非常高，例如ChatGPT為規(guī)避美國的高昂人力成本，數(shù)據(jù)是在肯尼亞雇傭了大量人員手工進(jìn)行標(biāo)注，即使如此標(biāo)注成本也高達(dá)數(shù)億美元。

這兩者的結(jié)合，在技術(shù)上導(dǎo)致了“大模型”初始的訓(xùn)練、后期的微調(diào)和日常使用中算力需求較大，本地設(shè)備遠(yuǎn)無法負(fù)擔(dān)，甚至不是某一個(gè)單一服務(wù)器下的設(shè)備能完成的了，必須使用某種聯(lián)網(wǎng)機(jī)制，通過聯(lián)合計(jì)算加快訓(xùn)練。

三、“東數(shù)西算”構(gòu)筑算力基建

與互聯(lián)網(wǎng)類似作為戰(zhàn)略新興行業(yè)，AI的發(fā)展離不開充足算力的保證。讓科研人員甚至民眾“像用電、用網(wǎng)一樣使用算力服務(wù)”的發(fā)展，將有力地支撐我國在AI領(lǐng)域的發(fā)展。算力資源目前稀缺且昂貴，通過統(tǒng)籌建設(shè)，成立全國性的大型算力中心，有助于算力更公平地流向科研在內(nèi)的各領(lǐng)域。

同時(shí)，算力的建設(shè)和分配需要考慮到服務(wù)器的地理因素。由于大部分的數(shù)據(jù)在經(jīng)濟(jì)較發(fā)達(dá)的沿海地區(qū)產(chǎn)生和清洗，而數(shù)據(jù)計(jì)算過程中則需要消耗大量能源，且需要考慮到散熱問題，綜合來看算力中心最適合建設(shè)在電力便宜、氣候恒溫的地方。在此基礎(chǔ)上我國提出了基于“東數(shù)西算”（在東部產(chǎn)生數(shù)據(jù)，在西部運(yùn)行計(jì)算）思想的一體化算力網(wǎng)絡(luò)。

在國家“東數(shù)西算”工程與全國一體化算力網(wǎng)絡(luò)的布局下，中國算力網(wǎng)計(jì)劃已全面展開。計(jì)算節(jié)點(diǎn)數(shù)已經(jīng)超過了二十個(gè)，在地理上去中心化的前提下，國家在每個(gè)地區(qū)集約化地統(tǒng)籌建設(shè)人工智能算力中心，同時(shí)真正實(shí)現(xiàn)全國大型算力的協(xié)同調(diào)度與高效計(jì)算。

算力中心是大數(shù)據(jù)工程的核心

結(jié)語：

我國集中力量打造的“大模型”和國家級算力網(wǎng)絡(luò)，其目的都是為了更高效地產(chǎn)生實(shí)用的AI算法，并在下一代科技革命中占得先機(jī)。放眼未來，我們能用這樣的AI創(chuàng)造出更多人類的新篇章。