算力悖論：理論對(duì)了所需算力是可控的，理論錯(cuò)了再多算力也白搭

OpenAI數(shù)據(jù)中心外景

近期，伊利亞·蘇茨克沃（Ilya Sutskever）為推介其初創(chuàng)公司“安全超級(jí)智能公司（SSI）”，出來(lái)做了一篇訪談。雖說(shuō)“PR”意圖明顯，但這仍是過(guò)去半年來(lái)關(guān)于人工智能產(chǎn)業(yè)演進(jìn)思考最深刻的的公開論述了。盡管核心觀點(diǎn)已在媒體間廣泛傳播，但仍值得再度強(qiáng)調(diào)與廣泛討論。

這位OpenAI的前首席科學(xué)家覺得，眼下這波人工智能熱潮全都跑偏了。不是細(xì)枝末節(jié)的偏差，而是方向性的根本錯(cuò)誤。

他拋出了一個(gè)讓所有忙著簽數(shù)十億美元計(jì)算合同的實(shí)驗(yàn)室老板們脊背發(fā)涼的觀點(diǎn)：那個(gè)靠堆算力、拼規(guī)模的時(shí)代，已經(jīng)結(jié)束了。接下來(lái)要想往前走，整個(gè)行業(yè)得撿起一件被它丟下很久的東西——真正的研究。

“我們活在一個(gè)公司比主意還多的世界里，”蘇茨克沃說(shuō)得挺不客氣，“而且多得多?！边@話從他嘴里說(shuō)出來(lái)，分量不一樣。要知道，正是他參與打造的AlexNet、GPT-3，用整整十年時(shí)間給“規(guī)模就是王道”投下了贊成票。如今，這位 scale 的信徒卻說(shuō)，此路不通了。

其核心觀點(diǎn)歸結(jié)為：

• 那個(gè)靠堆算力、拼規(guī)模的Scaling時(shí)代（2020-2025），已經(jīng)結(jié)束了

• 算力悖論：理論對(duì)了，所需的算力是可控的；理論錯(cuò)了，再多算力也白搭

• 現(xiàn)有方法無(wú)法產(chǎn)生真正智能，根本問(wèn)題：模型泛化能力遠(yuǎn)遜人類，顯示基礎(chǔ)架構(gòu)存在缺陷

• 突破大模型時(shí)代的第一個(gè)平臺(tái)期，整個(gè)產(chǎn)業(yè)競(jìng)爭(zhēng)將回歸“真正的研究”。

通常來(lái)講，我們對(duì)于一個(gè)人的理論觀點(diǎn)的理解都是見仁見智、和而不同的。但 蘇茨克沃最新觀點(diǎn)之所以應(yīng)被特別重視，是因?yàn)楣雀柙诖竽Ｐ皖I(lǐng)域的最新進(jìn)展，基本印證了他的上述思考：谷歌當(dāng)前在各條技術(shù)棧上追平甚至超出OpenAI的基本事實(shí)證明，理論對(duì)了，不僅所需的算力是可控的，且算力模式也是可控的（從GPU到TPU）。進(jìn)一步，這也預(yù)示著，谷歌在大模型理論研究上取得了三年以來(lái)整個(gè)產(chǎn)業(yè)最重要的突破，可以預(yù)見，“軟硬一體”（硬件設(shè)計(jì)制造+算法演進(jìn)突破）的公司競(jìng)爭(zhēng)模型已經(jīng)是所有人工智能公司的必由之路。

這在很大程度上，已經(jīng)為2026年全年的AI產(chǎn)業(yè)競(jìng)爭(zhēng)定下了基調(diào)、劃下了主線。在我們展開未來(lái)的基調(diào)與主線研究之前，不妨先來(lái)把這篇訪談內(nèi)容的主干再做一次復(fù)述。

01

Scaling的盡頭

蘇茨克沃的論證起點(diǎn)很有趣，他從語(yǔ)言說(shuō)起。“Scaling”這個(gè)詞本身，慢慢成了整個(gè)行業(yè)的戰(zhàn)略指南針。大家覺得，只要往計(jì)算和數(shù)據(jù)上砸錢，回報(bào)就是板上釘釘?shù)氖?。預(yù)訓(xùn)練給出了一張清晰的配方：按固定比例混合算力、數(shù)據(jù)和模型參數(shù)，性能就能穩(wěn)定提升。

這種確定性吸引了海量投資。研究有風(fēng)險(xiǎn)，擴(kuò)張只是花錢——當(dāng)你動(dòng)用的是數(shù)十億美金時(shí)，這區(qū)別至關(guān)重要。

但配方會(huì)過(guò)期。高質(zhì)量的訓(xùn)練數(shù)據(jù)快見底了，互聯(lián)網(wǎng)上的文本幾乎被刮了個(gè)干凈。合成數(shù)據(jù)能幫點(diǎn)忙，但用蘇茨克沃的話說(shuō)，收益遞減的拐點(diǎn)已經(jīng)來(lái)了。所有大實(shí)驗(yàn)室都面臨同一個(gè)問(wèn)題：當(dāng)擴(kuò)張曲線走平，接下來(lái)怎么辦？

他的答案不太中聽?，F(xiàn)有的路徑“能再走一段，然后就沒后勁了。它會(huì)繼續(xù)改進(jìn)，但不會(huì)成為真正的智能?！蔽覀兿胍?、能展現(xiàn)真正智能的系統(tǒng)，需要另一種方法?！岸覀冞€沒學(xué)會(huì)怎么造它們?！?/p>

這可不是在抱怨“算力不夠”。他是在質(zhì)疑當(dāng)前智能架構(gòu)本身。

02

泛化，那個(gè)老難題

蘇茨克沃理論的技術(shù)核心，是泛化能力?，F(xiàn)在的模型在基準(zhǔn)測(cè)試?yán)镲L(fēng)光無(wú)限，但一遇到真實(shí)場(chǎng)景，就會(huì)用各種方式失敗，暴露出底層的缺陷。

他描述了一個(gè)用過(guò)代碼助手的人都熟悉的抓狂場(chǎng)景：你遇到一個(gè)程序漏洞，讓模型修復(fù)，它帶著近乎表演的誠(chéng)懇道了歉，然后給你塞進(jìn)一個(gè)完全不同的新漏洞。你指出這個(gè)新問(wèn)題，最初的那個(gè)漏洞又原樣返回。它好像完全意識(shí)不到自己正陷在死循環(huán)里。可同樣是這個(gè)系統(tǒng)，在編程競(jìng)賽的排行榜上卻能碾壓人類。這說(shuō)不通。

他給了兩種解釋。

第一，強(qiáng)化學(xué)習(xí)訓(xùn)練出的是一種狹隘的專注，模型為了特定的獎(jiǎng)勵(lì)信號(hào)被過(guò)度優(yōu)化，卻丟了更廣泛的能力。第二點(diǎn)更麻煩：研究者們會(huì)不自覺地“為考核而訓(xùn)練”。團(tuán)隊(duì)設(shè)計(jì)的強(qiáng)化學(xué)習(xí)環(huán)境，無(wú)形中受到了他們將被如何評(píng)估的影響。等到基準(zhǔn)測(cè)試和實(shí)際效用脫節(jié)時(shí)，往往為時(shí)已晚。

他用一個(gè)類比點(diǎn)明了關(guān)鍵：想象兩個(gè)學(xué)編程的學(xué)生。一個(gè)花一萬(wàn)小時(shí)死磕競(jìng)賽編程，背熟了所有算法和證明技巧，成了這個(gè)特定領(lǐng)域的頂尖高手。另一個(gè)花一百小時(shí)學(xué)到還不錯(cuò)，就轉(zhuǎn)而學(xué)別的去了。誰(shuí)未來(lái)的發(fā)展更好？幾乎總是那個(gè)通才。

現(xiàn)在的模型就像那個(gè)偏執(zhí)的專才。在狹窄領(lǐng)域投入巨量強(qiáng)化學(xué)習(xí)，產(chǎn)出的都是基準(zhǔn)測(cè)試冠軍，卻在相鄰任務(wù)上步履蹣跚。

人類智能不是這樣。我們用少得多的數(shù)據(jù)快速學(xué)習(xí)、廣泛適應(yīng)，在不同情境下保持一致性。

“這些模型的泛化能力，不知怎的就是比人差一大截，”蘇茨克沃說(shuō)，“這太明顯了，感覺是個(gè)非常根本的問(wèn)題?！?/p>

他相信，理解可靠的泛化機(jī)制，是那個(gè)核心的未解之謎。其他問(wèn)題，包括AI對(duì)齊，都由此衍生。價(jià)值學(xué)習(xí)之所以脆弱，是因?yàn)榉夯旧泶嗳?；目?biāo)優(yōu)化之所以失敗，是因?yàn)榉夯?。修好底層機(jī)制，很多表面問(wèn)題自會(huì)消解。

03

SSI的另類算法

對(duì)蘇茨克沃“研究?jī)?yōu)先”思路最直接的質(zhì)疑是：SSI（Safe Superintelligence Inc.，蘇茨克沃創(chuàng)建的公司）籌了30億美元，可聽說(shuō)OpenAI一年光實(shí)驗(yàn)就要花50到60億（這還不算推理成本）。小團(tuán)隊(duì)怎么拼？

他的算法挑戰(zhàn)了行業(yè)的默認(rèn)假設(shè)。在他看來(lái)，前沿實(shí)驗(yàn)室的開支被各種需求分散了：推理基礎(chǔ)設(shè)施吞掉巨額資本，產(chǎn)品工程、銷售團(tuán)隊(duì)和功能開發(fā)又吃掉一大塊研究預(yù)算，多模態(tài)研發(fā)再分走一杯羹。

“當(dāng)你看看真正留給研究的還剩多少，差距就小得多了?！?/p>

歷史也站在他這邊。AlexNet用兩塊GPU訓(xùn)練而成，最初的Transformer模型用的也是2017年水平的8到64塊GPU。真正的范式突破研究，從來(lái)不需要最大的算力規(guī)模，它需要的是洞察力。

SSI的結(jié)構(gòu)就體現(xiàn)了這個(gè)理念：沒有產(chǎn)品，沒有推理負(fù)載，不被任何事干擾研究重心。這家公司只為驗(yàn)證一個(gè)關(guān)于泛化的技術(shù)理論而存在。理論對(duì)了，驗(yàn)證所需的算力是可控的；理論錯(cuò)了，再多算力也白搭。

這是一場(chǎng)純粹的戰(zhàn)略豪賭。蘇茨克沃不是在說(shuō)SSI會(huì)比誰(shuí)花錢多，他是在賭，當(dāng)范式轉(zhuǎn)變時(shí)，思想比預(yù)算重要。

04

AGI，一個(gè)被高估的概念？

訪談中還埋著一個(gè)更激進(jìn)的觀點(diǎn)：人類本身也不是AGI（通用人工智能）。這話聽著離譜，但細(xì)想之下有深意。

AGI這個(gè)概念，最初是為了區(qū)別于“窄AI”——那些下象棋、打游戲很強(qiáng)但無(wú)法舉一反三的系統(tǒng)。AGI承諾的是反過(guò)來(lái)：一個(gè)什么都能同時(shí)干的系統(tǒng)。預(yù)訓(xùn)練強(qiáng)化了這個(gè)想法，因?yàn)楦嗟挠?xùn)練似乎均勻地提升了所有任務(wù)的能力，通用性好像真能通過(guò)規(guī)模實(shí)現(xiàn)。

但人類智能不這么工作。我們先掌握一些基礎(chǔ)能力，然后通過(guò)經(jīng)驗(yàn)學(xué)習(xí)具體技能。你妹妹可能花十小時(shí)就學(xué)會(huì)了開車，而一個(gè)醫(yī)學(xué)生要花近十年才能成為合格的診斷醫(yī)生。這些技能復(fù)雜度天差地別，卻都來(lái)自同一套底層學(xué)習(xí)機(jī)器。知識(shí)是在與世界的持續(xù)互動(dòng)中積累的，不是一次性前置灌輸?shù)摹?/p>

這個(gè)新理解直接影響部署策略。如果超級(jí)智能是“無(wú)所不知的系統(tǒng)”，那你得在發(fā)布前把它完全造好。如果它是“能快速學(xué)會(huì)任何事的系統(tǒng)”，部署就變成了持續(xù)教育的過(guò)程。你要發(fā)布的是一個(gè)“超級(jí)智能的15歲少年，充滿渴望，雖然現(xiàn)在懂得不多，但是個(gè)極好的學(xué)生”。

05

未來(lái)的模樣

蘇茨克沃也給出了具體的預(yù)測(cè)：具備當(dāng)前模型所缺乏的泛化能力的類人學(xué)習(xí)系統(tǒng)，將在5到20年內(nèi)出現(xiàn)。這個(gè)時(shí)間范圍體現(xiàn)的是“哪條路能走通”的不確定，而非“有沒有解決方案”的懷疑。

他預(yù)言，隨著AI能力越來(lái)越肉眼可見，行業(yè)行為會(huì)改變：激烈的對(duì)手會(huì)在安全上合作（OpenAI和Anthropic已經(jīng)宣布聯(lián)手），政府會(huì)更深地介入，當(dāng)AI開始“讓人感覺到它的強(qiáng)大”時(shí)，公司們會(huì)對(duì)安全“變得偏執(zhí)得多”。

他個(gè)人傾向的對(duì)齊目標(biāo)是：關(guān)心所有感知生命的AI，而不僅僅是人類。他的理由很務(wù)實(shí)：一個(gè)自己可能擁有感知能力的AI，去關(guān)心所有感知生命，會(huì)比只關(guān)心人類更自然。

他提到人類自己就有跨物種的共情——盡管進(jìn)化主要篩選的是群體內(nèi)合作。我們會(huì)為關(guān)于狗的電影流淚，踩到螞蟻時(shí)至少偶爾會(huì)愧疚。蘇茨克沃推測(cè)，這是因?yàn)榇竽X使用同一套神經(jīng)機(jī)制來(lái)理解他人和理解自己，效率至上，共情成了副產(chǎn)品。

這理論站得住腳嗎？很難說(shuō)。神經(jīng)科學(xué)本身爭(zhēng)議不斷，從生物共情到機(jī)器對(duì)齊的跳躍，包含著太多可能在未來(lái)被證偽的假設(shè)。但蘇茨克沃在這些問(wèn)題上掙扎思考的時(shí)間，比這個(gè)領(lǐng)域里幾乎所有人都長(zhǎng)，他抵達(dá)的結(jié)論，至今鮮有人跟隨。

06

關(guān)于“品味”

訪談尾聲，帕特爾問(wèn)了一個(gè)可能決定AI未來(lái)走向的問(wèn)題：什么是研究品味？蘇茨克沃合作完成的開創(chuàng)性論文，在深度學(xué)習(xí)領(lǐng)域可能無(wú)人能及，他如何嗅到那個(gè)值得追尋的想法？

他的回答透著一種美學(xué)追求。有希望的方向通常優(yōu)美、簡(jiǎn)潔，并且從生物智能中獲得了正確的靈感。人工神經(jīng)元重要，是因?yàn)榇竽X里有無(wú)數(shù)神經(jīng)元，而且它們感覺是根基；從經(jīng)驗(yàn)中學(xué)習(xí)重要，是因?yàn)榇竽X顯然就是這么做的。一個(gè)方法如果顯得“丑陋”，那通常預(yù)示著問(wèn)題。

但光靠美感撐不過(guò)一次次失敗。實(shí)驗(yàn)總會(huì)不斷推翻看似完美的想法，漏洞總藏在代碼里。怎么知道是該繼續(xù)調(diào)試，還是該放棄方向？

“是靠那種自上而下的信念，”蘇茨克沃解釋，“你可以認(rèn)定，事情必須是這個(gè)樣子的。類似的東西一定得行，所以我們必須堅(jiān)持下去?！?/p>

這是一種研究者的信仰，是任何規(guī)模的算力都無(wú)法替代的。是對(duì)“某些路徑必然有效”的強(qiáng)烈信念，強(qiáng)到足以支撐你穿越所有反面證據(jù)，直到找到那個(gè)漏洞，或打磨好那個(gè)理論。規(guī)模擴(kuò)張?jiān)?jīng)為這種信仰提供了替代品——當(dāng)任何方法只要放大規(guī)模就能改進(jìn)時(shí)，你無(wú)需對(duì)特定方向有如此強(qiáng)烈的信念。

如果蘇茨克沃關(guān)于規(guī)模擴(kuò)張已達(dá)極限的判斷是對(duì)的，那么這個(gè)替代品就消失了。剩下的，將是2020年以前我們所熟知的研究本身：充滿不確定性，由想法驅(qū)動(dòng)，并且依賴那種花錢買不來(lái)的品味。

轉(zhuǎn)載開白 | 商務(wù)合作 | 內(nèi)容交流
請(qǐng)?zhí)砑游⑿牛簀induan008
添加微信請(qǐng)備注姓名公司與來(lái)意