AI的一個(gè)時(shí)代結(jié)束，AI大牛突然潑冷水！但也指明了黃金賽道

抓住風(fēng)口

本期要點(diǎn)：這位AI浪潮的開(kāi)創(chuàng)者，究竟說(shuō)了啥？

你好，我是王煜全，這里是王煜全要聞評(píng)論。

上周三，OpenAI前首席科學(xué)家伊利亞?蘇茨克弗（Ilya Sutskever）在消失一年多后，突然在一檔播客節(jié)目中進(jìn)行了一個(gè)半小時(shí)的對(duì)談，并朝當(dāng)前的AI熱潮潑了一盆冷水。

這位曾憑“擴(kuò)展定律”（Scaling Laws）獲得成功的AI領(lǐng)軍者，卻公開(kāi)宣稱(chēng)“擴(kuò)展時(shí)代（Age of Scaling）已經(jīng)終結(jié)”。當(dāng)前依賴(lài)算力、數(shù)據(jù)與參數(shù)規(guī)模擴(kuò)張的主流發(fā)展模式已經(jīng)觸及瓶頸，大力出奇跡的神話失靈了。

他還指出了一個(gè)矛盾的現(xiàn)象，當(dāng)前模型能在高難度評(píng)測(cè)中表現(xiàn)優(yōu)異，卻會(huì)在簡(jiǎn)單的問(wèn)題上犯錯(cuò)。研究人員為提高評(píng)測(cè)分?jǐn)?shù)，對(duì)模型進(jìn)行了針對(duì)性的強(qiáng)化學(xué)習(xí)訓(xùn)練，導(dǎo)致模型成為了“做題家”，卻不是真正能舉一反三的“天賦學(xué)生”。

伊利亞更是重新定義了AGI（通用人工智能）：未來(lái)的超級(jí)智能，不應(yīng)該只是個(gè)在海量數(shù)據(jù)和 GPU集群上預(yù)訓(xùn)練出來(lái)的成品，應(yīng)該是一個(gè)具有超高學(xué)習(xí)效率的智能體（Superintelligent Learner）。

它可以像實(shí)習(xí)生或15歲少年一樣，雖然并不完美，卻可以通過(guò)不斷犯錯(cuò)和自我糾正來(lái)掌握技能，通過(guò)知識(shí)和經(jīng)驗(yàn)的積累實(shí)現(xiàn)超常智能。

那么，伊利亞在新訪談中表達(dá)的新認(rèn)知究竟說(shuō)明了什么？是不是意味著這輪AI變革要結(jié)束了？

在我們看來(lái)，伊利亞恰恰為AI變革的下一階段指明了方向，別再指望著通過(guò)更多數(shù)據(jù)、更多參數(shù)、更多芯片來(lái)打造出一個(gè)全能的AGI。而我們也想指出，既然追求全能的AGI并不現(xiàn)實(shí)，當(dāng)前更務(wù)實(shí)的做法就是著力打造專(zhuān)注于特定領(lǐng)域的AI專(zhuān)家，即“領(lǐng)域智能”。

LLM已經(jīng)到頭了？

首先，當(dāng)前LLM（大語(yǔ)言模型）架構(gòu)已經(jīng)來(lái)到邊際收益銳減的階段。

我們?cè)啻沃赋?，基于LLM的AI存在能力上限。比如它可以寫(xiě)出萬(wàn)字報(bào)告，卻得不出3句話的洞察。

其中的原因也比較明顯：第一、互聯(lián)網(wǎng)上的高質(zhì)量數(shù)據(jù)已經(jīng)快要耗盡，再?gòu)?qiáng)大的算力也難為無(wú)米之炊；第二、當(dāng)前的AI大模型還缺乏小樣本泛化的能力。

因此，AI大模型在訓(xùn)練數(shù)據(jù)所覆蓋的范圍內(nèi)，可以表現(xiàn)驚人，但只要略微跳出這些范圍，面對(duì)陌生場(chǎng)景，AI就容易出現(xiàn)意外錯(cuò)誤，甚至在一些常識(shí)性的問(wèn)題上陰溝翻船。

伊利亞就打了個(gè)比方，如今的大模型就像一個(gè)花了一萬(wàn)小時(shí)練習(xí)編程競(jìng)賽的學(xué)生，背熟了解題套路，能在競(jìng)賽中脫穎而出，但當(dāng)讓他去真正的軟件工程崗位，卻很難勝任復(fù)雜多變的實(shí)際工作，只能去做那些標(biāo)準(zhǔn)化了的任務(wù)。

最近，和伊利亞有類(lèi)似看法的AI大牛并不在少數(shù)。

Meta的前AI首席科學(xué)家、圖靈獎(jiǎng)得主楊立昆（Yann LeCun）就說(shuō)過(guò)，純粹依賴(lài)LLM的路線是一條死胡同，當(dāng)前的AI大模型智能水平還不如一只貓。“AI教母”李飛飛前段時(shí)間也發(fā)文指出，LLM路線訓(xùn)練出來(lái)的AI大模型只是能言善辯的書(shū)呆子。

李飛飛

而背后的哲學(xué)道理，可以借用《道德經(jīng)》開(kāi)篇的“道可道，非常道”來(lái)解釋?zhuān)篈I大模型所學(xué)習(xí)和處理的全部?jī)?nèi)容，是人類(lèi)用文字對(duì)世界的表述，而不是這個(gè)世界本身；但AI沒(méi)有真正親身體驗(yàn)過(guò)這個(gè)世界，也就缺乏對(duì)于客觀規(guī)律、因果聯(lián)系的切實(shí)理解。

就像一個(gè)熟讀游泳指南卻沒(méi)有下過(guò)水的人，哪怕在岸上頭頭是道，在水里也大概率會(huì)溺水。

這些AI科學(xué)家們其實(shí)是在提醒整個(gè)行業(yè)，別再希望靠單純堆料就能走向下一代AI模型，而必須轉(zhuǎn)向算法與架構(gòu)的創(chuàng)新。這也正是伊利亞所說(shuō)的，我們正站在從“擴(kuò)展”回歸“研究”的關(guān)鍵轉(zhuǎn)折點(diǎn)上。

領(lǐng)域智能

此時(shí)此刻，我想指出的是，大家應(yīng)該意識(shí)到，至少在現(xiàn)階段，追求一個(gè)萬(wàn)能的AGI很可能是個(gè)偽命題，真正的未來(lái)在于在各個(gè)垂直領(lǐng)域構(gòu)建一個(gè)個(gè)能力遠(yuǎn)超人類(lèi)的“超級(jí)專(zhuān)家”。

無(wú)論是人腦還是計(jì)算機(jī)，其時(shí)間與精力資源都是有限的。當(dāng)你將資源投入到某個(gè)領(lǐng)域以追求極致的專(zhuān)業(yè)水平時(shí)，必然犧牲涉獵其他領(lǐng)域的機(jī)會(huì)。

就像籃球之神邁克爾?喬丹，在退役后轉(zhuǎn)戰(zhàn)棒球卻很難復(fù)制之前的輝煌；一個(gè)AI如果要在醫(yī)療診斷上達(dá)到超常水準(zhǔn)，它的模型架構(gòu)、訓(xùn)練數(shù)據(jù)、優(yōu)化方向都要深度契合醫(yī)學(xué)領(lǐng)域，那它在文學(xué)創(chuàng)作上就必然不及專(zhuān)門(mén)訓(xùn)練的寫(xiě)作AI。

正如伊利亞在訪談中所說(shuō)，經(jīng)過(guò)專(zhuān)業(yè)訓(xùn)練出來(lái)的AI可能會(huì)在訴訟等復(fù)雜經(jīng)濟(jì)活動(dòng)中形成專(zhuān)業(yè)優(yōu)勢(shì)。

因此，在下一代范式突破前，發(fā)展“領(lǐng)域智能”，也就是放棄AGI，轉(zhuǎn)而培養(yǎng)專(zhuān)才型AI才是一條務(wù)實(shí)且可行的路徑。

畢竟科學(xué)原理的突破往往是脈沖式的，我們很難判斷下一代AI模型會(huì)在什么時(shí)候、以什么方式出現(xiàn)，但基于現(xiàn)有技術(shù)的優(yōu)化和配套研發(fā)已經(jīng)足以將AI從高科技轉(zhuǎn)變?yōu)楦咝阅墚a(chǎn)品和高品質(zhì)服務(wù)，并能持續(xù)推動(dòng)產(chǎn)業(yè)發(fā)展，釋放其中的經(jīng)濟(jì)價(jià)值。

11月19日，OpenAI在ChatGPT中加入了類(lèi)似AI購(gòu)物助手的功能；不久后，Perplexity也上線了類(lèi)似功能。這些都是“領(lǐng)域智能”方向的早期嘗試，其核心是通過(guò)購(gòu)物數(shù)據(jù)與任務(wù)對(duì)基礎(chǔ)模型進(jìn)行強(qiáng)化訓(xùn)練，構(gòu)建專(zhuān)用于購(gòu)物領(lǐng)域的模型。

其中的商業(yè)邏輯也很明確，購(gòu)物決策對(duì)幻覺(jué)的容忍度很低，要求信息的絕對(duì)精準(zhǔn)，而且還要符合用戶的需求，基于全網(wǎng)數(shù)據(jù)訓(xùn)練出的通用模型在商品推薦與消費(fèi)決策方面的表現(xiàn)，大概率就不如在電商數(shù)據(jù)上訓(xùn)練出的專(zhuān)用購(gòu)物模型。

我們認(rèn)為，未來(lái)，每一個(gè)垂直行業(yè)都有機(jī)會(huì)誕生基于領(lǐng)域智能的專(zhuān)用模型，而背后就將是一群相關(guān)的AI獨(dú)角獸公司，乃至未來(lái)的行業(yè)霸主。

今天的創(chuàng)業(yè)者和投資者，可以重新思考自己的戰(zhàn)略，放棄大而全的幻想，轉(zhuǎn)向小而美的深度優(yōu)化，深入評(píng)估自己是否具有足夠高的數(shù)據(jù)壁壘，能否獲得領(lǐng)域?qū)＜姨峁┑母哔|(zhì)量且密集的反饋，能否利用自己在本領(lǐng)域的特有優(yōu)勢(shì)構(gòu)建專(zhuān)用模型，并在特定任務(wù)上擁有超人表現(xiàn)。

這類(lèi)模型雖然會(huì)犧牲部分通用性，但有望在特定的高價(jià)值領(lǐng)域（如法律、醫(yī)療、教育等等）表現(xiàn)得足夠?qū)I(yè)和可靠，給用戶帶來(lái)有實(shí)際價(jià)值的服務(wù)，從而獲得可持續(xù)的商業(yè)回報(bào)。

以上就是今天的內(nèi)容，如果你希望在第一線觀察AI產(chǎn)業(yè)的發(fā)展，歡迎加入明年一月初的CES展觀展團(tuán)。屆時(shí)，我將陪同你和各位優(yōu)秀的科技企業(yè)家，在創(chuàng)新的現(xiàn)場(chǎng)浸潤(rùn)式的觀察和思考，感興趣的朋友可以點(diǎn)擊鏈接報(bào)名。

更多科技產(chǎn)業(yè)的新趨勢(shì)和底層規(guī)律，歡迎加入科技特訓(xùn)營(yíng)學(xué)習(xí)，和我一起，先人一步，領(lǐng)先一路！

王煜全要聞評(píng)論，我們明天見(jiàn)。

↓長(zhǎng)按圖片掃碼報(bào)名，先人一步，領(lǐng)先一路

也在這向各位家長(zhǎng)們推薦前哨AI冬令營(yíng)，我們將通過(guò)一周的集訓(xùn)讓孩子能親自上手完成一個(gè)真實(shí)的AI項(xiàng)目，快來(lái)盡早開(kāi)啟孩子AI時(shí)代的進(jìn)化之旅吧！就快來(lái)點(diǎn)擊鏈接了解詳情吧。

最后， 鑒于公眾 號(hào)推送機(jī)制的改變，你未來(lái)刷 到要聞評(píng)論的機(jī)會(huì)可能沒(méi)那么多了，建議你加入粉絲群，第一時(shí)間 得到我的獨(dú)家前沿分析，而且我們還會(huì)每天在粉絲群里發(fā)布獨(dú)家資料，快快掃碼加入吧！

此外，我們還為您準(zhǔn)備了一個(gè)思維導(dǎo)圖，掃描加群即可領(lǐng)取

“AI芯片產(chǎn)業(yè)的未來(lái)格局分析”

↓點(diǎn)擊學(xué)習(xí)王煜全老師最新大師課，掌握馬斯克的賺錢(qián)底層邏輯！