大語(yǔ)言模型的“涌現(xiàn)”之謎：能力還是智能？

導(dǎo)語(yǔ)：涌現(xiàn)（Emergence）是復(fù)雜科學(xué)中的核心概念，用以描述多體系統(tǒng)如何在規(guī)模擴(kuò)展后呈現(xiàn)出全新的宏觀屬性——這些屬性可以由低維的有效變量與理論加以刻畫，而無(wú)需逐一追蹤微觀機(jī)制，這正是安德森所說(shuō)的“多者異也（more is different）”。智能則常被視為涌現(xiàn)的極致形態(tài)：它不是簡(jiǎn)單疊加更多能力，而是通過(guò)高度壓縮的概念與表征，以更低成本、更高效率解決更廣泛的問題，即“少者豐也（less is more）”。

近年來(lái)，大語(yǔ)言模型在規(guī)模擴(kuò)展過(guò)程中展現(xiàn)出的能力躍遷，頻繁被稱為“涌現(xiàn)”。但一個(gè)關(guān)鍵問題隨之浮現(xiàn)：這些現(xiàn)象究竟符合復(fù)雜系統(tǒng)意義上的涌現(xiàn)，還是只是工程尺度放大下的能力堆疊？更重要的是，它們是否已經(jīng)觸及“涌現(xiàn)智能”的門檻？本文從復(fù)雜系統(tǒng)的經(jīng)典定義出發(fā)，系統(tǒng)審視大語(yǔ)言模型中的“涌現(xiàn)”主張，并論證：當(dāng)前證據(jù)更支持涌現(xiàn)能力的存在，而非真正意義上的涌現(xiàn)智能。

關(guān)鍵詞：涌現(xiàn)（Emergence）、大語(yǔ)言模型（Large Language Models）、復(fù)雜系統(tǒng)（Complex Systems）、涌現(xiàn)能力（Emergent Capabilities）、涌現(xiàn)智能（Emergent Intelligence）、知識(shí)輸出（Knowledge-Out）、知識(shí)輸入（Knowledge-In）

來(lái)源：集智俱樂部

作者：Lynne

審校：趙思怡

引言：當(dāng)模型變大，驚喜就來(lái)了嗎？

近年來(lái)，大語(yǔ)言模型展現(xiàn)出的各種能力常常令人驚嘆。從流暢的文本生成、代碼編寫，到看似復(fù)雜的邏輯推理，這些能力似乎隨著模型參數(shù)和數(shù)據(jù)規(guī)模的擴(kuò)大而“突然”出現(xiàn)。許多研究者將這種不連續(xù)性稱為“涌現(xiàn)”（Emergence），認(rèn)為這是模型在跨越某個(gè)規(guī)模閾值后產(chǎn)生了質(zhì)的改變。然而，爭(zhēng)議并不在于這些能力是否真實(shí)存在，而在于它們是否符合科學(xué)意義上的“涌現(xiàn)”。在復(fù)雜系統(tǒng)研究中，涌現(xiàn)并不等同于“突然變強(qiáng)”或“超出預(yù)期”，而是指系統(tǒng)內(nèi)部組織方式發(fā)生了可識(shí)別的重構(gòu)，使我們能夠用更簡(jiǎn)潔、更高效的描述來(lái)理解其行為。本文將帶領(lǐng)讀者從復(fù)雜系統(tǒng)的經(jīng)典視角，重新審視大語(yǔ)言模型的“涌現(xiàn)”之爭(zhēng)，并深入探討一個(gè)更根本的問題：我們今天所見，究竟是模型的涌現(xiàn)能力，還是真正的涌現(xiàn)智能？

“涌現(xiàn)”在科學(xué)中意味著什么？

在討論大語(yǔ)言模型之前，我們先厘清“涌現(xiàn)”在復(fù)雜科學(xué)中的核心要義。涌現(xiàn)并非僅僅指代性能的突變或人類觀察者的意外之感。其最本質(zhì)的特征在于 “粗?；?與 “有效理論” 的形成。

想象一下描述流體運(yùn)動(dòng)。最微觀的方法，是追蹤每一個(gè)分子的位置和動(dòng)量，運(yùn)用分子動(dòng)力學(xué)進(jìn)行模擬。但這在大多數(shù)工程實(shí)踐中既不必要也不可行。相反，我們使用流體動(dòng)力學(xué)，只需關(guān)注質(zhì)量、壓力、流速等宏觀變量。流體動(dòng)力學(xué)就是描述流體涌現(xiàn)屬性的一種“有效理論”——它通過(guò)一組粗粒化的變量，成功地“屏蔽”了無(wú)關(guān)的微觀細(xì)節(jié)，從而高效地預(yù)測(cè)和解釋系統(tǒng)的行為。這就是安德森那句名言“多者異也”（more is different）的精髓所在：“異”，在于出現(xiàn)了能用新穎的、粗?；淖兞亢秃暧^規(guī)則來(lái)描述系統(tǒng)演化的新層面。

因此，判斷一個(gè)屬性是否為涌現(xiàn)屬性，一個(gè)標(biāo)志是：系統(tǒng)是否形成了一種新的、壓縮的（compressed）描述方式，這種描述通過(guò)粗粒化觀測(cè)變量，在保持預(yù)測(cè)能力的同時(shí)，大幅降低了描述的復(fù)雜度，進(jìn)而降低預(yù)測(cè)和控制系統(tǒng)的巨大成本。

通常而言，當(dāng)系統(tǒng)滿足以下至少部分條件時(shí)，可認(rèn)為其具有涌現(xiàn)性：

1. 規(guī)?；⊿caling）：系統(tǒng)組件數(shù)量的變化如何影響其特性；

2. 臨界性（Criticality）：系統(tǒng)的相態(tài)理論；

3. 壓縮性（Compression）：通過(guò)高效粗粒化實(shí)現(xiàn)系統(tǒng)描述規(guī)模或維度的降低；

4. 新型基底（Novel Bases）：發(fā)現(xiàn)能夠描述系統(tǒng)的最小構(gòu)成元素；

5. 泛化性（Generalization）：系統(tǒng)規(guī)則在訓(xùn)練或適應(yīng)場(chǎng)景之外的表現(xiàn)。

大語(yǔ)言模型文獻(xiàn)中的“涌現(xiàn)”

在大語(yǔ)言模型的研究領(lǐng)域，“涌現(xiàn)”一詞的使用往往與上述科學(xué)定義有所偏離。2022年，《Emergent Abilities of Large Language Models》的作者們指出，隨著模型規(guī)模和訓(xùn)練數(shù)據(jù)量的擴(kuò)大，模型在某些基準(zhǔn)測(cè)試上的性能會(huì)出現(xiàn)不連續(xù)的、意外的躍升，這些能力在小規(guī)模模型中并不存在，也無(wú)法通過(guò)簡(jiǎn)單外推小模型的性能改善來(lái)預(yù)測(cè)。例如，在一個(gè)三位數(shù)加法的測(cè)試中，60億參數(shù)的模型準(zhǔn)確率僅為1%，130億參數(shù)模型略升至8%，而1750億參數(shù)的模型卻突然達(dá)到了80%的準(zhǔn)確率。這種類似“相變”的突變模式，被許多后續(xù)研究引為涌現(xiàn)的證據(jù)。不過(guò)，也有學(xué)者提出，若采用更具連續(xù)性的成功度量指標(biāo)，其性能隨規(guī)模的提升會(huì)呈現(xiàn)連續(xù)性特征，而非突變。

也有觀點(diǎn)認(rèn)為，LLMs的涌現(xiàn)能力可能源于大模型在“上下文學(xué)習(xí)”（in-context learning）上的可預(yù)測(cè)提升，或訓(xùn)練后的“指令調(diào)優(yōu)”（instruction tuning），這些因素改善了大模型遵循提示指令的能力。

此外，也有研究將“涌現(xiàn)能力”寬泛地定義為模型未經(jīng)專門訓(xùn)練而自發(fā)獲得的能力，例如數(shù)值理解、類比推理、法律推理，乃至內(nèi)部“世界模型”的形成。

總體而言，LLM文獻(xiàn)中的涌現(xiàn)一詞主要用于兩種情況：

1、隨著數(shù)據(jù)、模型或集群規(guī)模的擴(kuò)大，模型在特定基準(zhǔn)上準(zhǔn)確率的意外跳躍

2、模型獲得了未經(jīng)過(guò)明確訓(xùn)練的能力，

但這些往往缺乏復(fù)雜系統(tǒng)科學(xué)中的嚴(yán)謹(jǐn)基礎(chǔ)。

知識(shí)輸出 vs. 知識(shí)輸入：兩種不同的涌現(xiàn)

為了更精準(zhǔn)地分析大語(yǔ)言模型，我們需要區(qū)分兩種不同類型的涌現(xiàn)，這源于系統(tǒng)與環(huán)境互動(dòng)方式的不同。

知識(shí)輸出涌現(xiàn)（knowledge-out, KO）：這種涌現(xiàn)見于物理、化學(xué)等經(jīng)典復(fù)雜系統(tǒng)。其特點(diǎn)是，宏觀的復(fù)雜結(jié)構(gòu)或行為源于大量簡(jiǎn)單組分之間簡(jiǎn)單的相互作用。例如，水分子的簡(jiǎn)單互動(dòng)在宏觀上涌現(xiàn)出流體的特性；硅和氧原子在高壓下結(jié)合，集體涌現(xiàn)出石英晶體的壓電特性。這些屬性并非設(shè)計(jì)或?qū)W習(xí)的目標(biāo)，而是相互作用的自然結(jié)果。這里的“知識(shí)”是由系統(tǒng)內(nèi)部“輸出”到世界的。

知識(shí)輸入涌現(xiàn)（knowledge-in, KI）：這種涌現(xiàn)見于復(fù)雜的自適應(yīng)系統(tǒng)，如生物體、大腦、經(jīng)濟(jì)系統(tǒng)，以及大語(yǔ)言模型。這些系統(tǒng)的宏觀屬性（如器官、股票指數(shù)、認(rèn)知能力）源于系統(tǒng)從預(yù)先存在的、高度復(fù)雜的環(huán)境中提取并內(nèi)化了大量的“知識(shí)”——即結(jié)構(gòu)化的信息、事實(shí)和規(guī)則。環(huán)境的復(fù)雜性被“輸入”到系統(tǒng)內(nèi)部，塑造其結(jié)構(gòu)。在這里，“涌現(xiàn)”常常與“訓(xùn)練”、“學(xué)習(xí)”、“演化”等過(guò)程交織。

大語(yǔ)言模型無(wú)疑是典型的“知識(shí)輸入”系統(tǒng)。它們通過(guò)機(jī)器學(xué)習(xí)方法，從海量文本語(yǔ)料庫(kù)中汲取信息。因此，在討論其涌現(xiàn)屬性時(shí)，我們必須同時(shí)關(guān)注其展現(xiàn)的粗?；謱傩?，以及這些屬性是如何從局部微觀機(jī)制（如神經(jīng)元的權(quán)重與激活）中產(chǎn)生的。不能僅憑宏觀性能的提升就下結(jié)論，因?yàn)槟强赡苤皇谴笠?guī)模訓(xùn)練直接“編程”的結(jié)果。

分析大語(yǔ)言模型的涌現(xiàn)

大型語(yǔ)言模型（LLMs）展現(xiàn)出的是何種類型的涌現(xiàn)性？與涌現(xiàn)性相關(guān)的粗?；蛪嚎s過(guò)程是什么？其行為對(duì)應(yīng)的有效理論又能提供哪些涌現(xiàn)性證據(jù)？如何在一個(gè)“知識(shí)輸入”系統(tǒng)中嚴(yán)謹(jǐn)?shù)卦u(píng)估涌現(xiàn)？我們可以借助復(fù)雜科學(xué)中研究涌現(xiàn)的核心機(jī)制來(lái)分析：

1. 規(guī)?；c臨界性：系統(tǒng)屬性如何隨組件數(shù)量（尺度）變化？是否存在類似相變的臨界點(diǎn)，伴隨對(duì)稱性破缺和內(nèi)部組織的質(zhì)性重組？首先，目前尚不清楚大型語(yǔ)言模型的能力是否存在明確 “相態(tài)”，也不確定觀測(cè)到的準(zhǔn)確率驟升在特定度量標(biāo)準(zhǔn)下是否實(shí)為連續(xù)性提升。其次，大型語(yǔ)言模型的控制變量 “規(guī)?！?實(shí)際上是文本數(shù)據(jù)與模型參數(shù)交織的高維復(fù)雜變量，而非簡(jiǎn)單的一維參數(shù)。如果模型展現(xiàn)出的宏觀能力是通過(guò)大量訓(xùn)練 “編程” 而成，那么這種行為很難被稱為涌現(xiàn)。真正的涌現(xiàn)，應(yīng)體現(xiàn)為外部能力突變與內(nèi)部結(jié)構(gòu)簡(jiǎn)化、重組之間的同步與因果關(guān)聯(lián)，不能僅憑性能曲線的陡峭變化下結(jié)論。目前，一些研究觀察到了損失函數(shù)的突然下降與內(nèi)部句法結(jié)構(gòu)的獲得同步發(fā)生，且這種結(jié)構(gòu)似乎支持低復(fù)雜度描述。這可能是涌現(xiàn)能力的一個(gè)證據(jù)。然而，許多所謂的“性能躍升”是否真的對(duì)應(yīng)內(nèi)部表征的根本性重構(gòu)，仍需更多微觀證據(jù)。

2. 壓縮：系統(tǒng)內(nèi)部是否發(fā)現(xiàn)了能夠捕捉數(shù)據(jù)規(guī)律性的、壓縮的粗?；Ｐ?？例如，在僅用合法走子序列訓(xùn)練的OthelloGPT模型中，研究者發(fā)現(xiàn)其內(nèi)部形成了對(duì)棋盤狀態(tài)的壓縮表征，類似于一個(gè)“涌現(xiàn)世界模型”，且OthelloGPT模型并未涉及規(guī)?；?。這展示了通過(guò)壓縮實(shí)現(xiàn)的一種涌現(xiàn)形式。不過(guò)，也有質(zhì)疑認(rèn)為這種內(nèi)部模型可能只是一堆啟發(fā)式規(guī)則的集合，且其與模型性能的因果關(guān)聯(lián)尚不明確。因此尚不能確定這是一種真正的涌現(xiàn)能力。

3. 新型基底與流形：系統(tǒng)是否發(fā)現(xiàn)了新的基礎(chǔ)組件或低維流形，來(lái)更高效地編碼信息？在大語(yǔ)言模型中，有研究發(fā)現(xiàn)自監(jiān)督Transformer中出現(xiàn)了抽象表征單元，視覺輸入中的協(xié)變特征表明新基的存在。但此類證據(jù)尚少。

4. 泛化：系統(tǒng)是否擁有在訓(xùn)練分布之外的全新情境中解決問題的能力？涌現(xiàn)的粗?；兞亢屠碚撃軌虼俪蓮?qiáng)大的泛化。對(duì)大語(yǔ)言模型而言，挑戰(zhàn)在于區(qū)分其表現(xiàn)是源于真正的泛化，還是對(duì)訓(xùn)練數(shù)據(jù)中相似模式的隱性記憶。已有一些例子表明，某些曾被稱作“涌現(xiàn)”的能力缺乏穩(wěn)健的泛化性。

結(jié)論：涌現(xiàn)能力 ≠ 涌現(xiàn)智能

通過(guò)對(duì)現(xiàn)有證據(jù)的梳理，我們認(rèn)為大語(yǔ)言模型確實(shí)展示了一些符合“涌現(xiàn)能力”初步證據(jù)的現(xiàn)象，特別是在內(nèi)部形成壓縮表征或伴隨尺度變化出現(xiàn)內(nèi)部重組跡象的案例中。然而，大多數(shù)僅僅基于外部性能“意外”提升的主張，尚未滿足涌現(xiàn)所需的、關(guān)于內(nèi)部粗?；瘷C(jī)制的核心條件。

更重要的是，我們必須嚴(yán)格區(qū)分涌現(xiàn)能力與涌現(xiàn)智能。

• 涌現(xiàn)能力指的是一項(xiàng)項(xiàng)具體的、有時(shí)甚至超越人類水平的功能性表現(xiàn)。就像一個(gè)計(jì)算器，它內(nèi)部編碼了多種算法，功能強(qiáng)大，但我們不會(huì)稱其為“智能”，因?yàn)樗鼰o(wú)法在這些概念之間構(gòu)建類比，也無(wú)法通過(guò)簡(jiǎn)單修改規(guī)則來(lái)創(chuàng)造新的能力。

• 涌現(xiàn)智能則是一種更一般、更精煉的解決問題的能力。它意味著“少者豐也（less is more）”：用盡可能少的概念和能量消耗，解決盡可能多的問題。人類智能是典型的涌現(xiàn)智能：我們通過(guò)抽象、類比，將牛頓力學(xué)、電磁學(xué)等不同領(lǐng)域的規(guī)律統(tǒng)一于“平方反比律”這樣的粗?；拍钪?；我們通過(guò)寥寥數(shù)語(yǔ)的語(yǔ)言指令，就能讓他人在幾分鐘內(nèi)理解一個(gè)復(fù)雜任務(wù)，瞬間重構(gòu)其神經(jīng)表征，而無(wú)需漫長(zhǎng)試錯(cuò)。這種基于理解、能夠靈活遷移和創(chuàng)造的低帶寬、高效率的認(rèn)知方式，才是智能的本質(zhì)。

目前的大語(yǔ)言模型，更像是無(wú)數(shù)個(gè)高度特化“計(jì)算器”的龐大集合。它們通過(guò)海量參數(shù)和數(shù)據(jù)進(jìn)行“暴力”擬合，實(shí)現(xiàn)了令人眼花繚亂的功能，但在概念壓縮、類比創(chuàng)造、高效理解方面，尚未展現(xiàn)出人類智能那種“以簡(jiǎn)馭繁”的涌現(xiàn)特質(zhì)。

展望：語(yǔ)言是鑰匙嗎？

語(yǔ)言在大語(yǔ)言模型的訓(xùn)練中扮演何種角色？這可能決定了其能力的上限。有三種可能：(1) 語(yǔ)言本身是對(duì)世界（包括非語(yǔ)言模態(tài)）近乎完整且壓縮的表述；(2) 語(yǔ)言反映了內(nèi)在的“思維語(yǔ)言”；(3) 語(yǔ)言是一種無(wú)監(jiān)督的“編程語(yǔ)言”。無(wú)論哪種情況，語(yǔ)言中蘊(yùn)含的世界信息越豐富，模型通過(guò)單純擴(kuò)大規(guī)模來(lái)“學(xué)習(xí)”一切的可能性就越大，但這恰恰會(huì)削弱真正的“涌現(xiàn)”主張——因?yàn)樵谶@種“知識(shí)輸入”的極限下，模型內(nèi)部的自由度只是通過(guò)工程手段收斂于每一個(gè)外部自由度，并未產(chǎn)生或需要一個(gè)新穎的、粗?；膬?nèi)部模型。

未來(lái)的研究，應(yīng)當(dāng)超越對(duì)基準(zhǔn)測(cè)試分?jǐn)?shù)的迷戀，轉(zhuǎn)而深入模型“黑箱”內(nèi)部，探尋那些支持壓縮、泛化和類比的新穎結(jié)構(gòu)與機(jī)制。唯有如此，我們才能更科學(xué)地評(píng)估大語(yǔ)言模型乃至更廣泛人工智能中的涌現(xiàn)現(xiàn)象，并最終解答那個(gè)根本問題：我們是在創(chuàng)造更強(qiáng)大的工具，還是在孕育真正的新型智能？答案或許就藏在“更多”與“更少”的辯證法之中。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問歐米伽研究所的“未來(lái)知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828

未來(lái)知識(shí)庫(kù)是“ 歐米伽 未來(lái)研究所”建立的在線知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。