字節(jié)要被取代了，取代它的是 Token

字節(jié)要被取代了，取代它的是 token。

Karpathy 昨天在推上回了 Python 之父 Guido 一句話：

LLM = CPU，Agent = 操作系統(tǒng)內(nèi)核。

但他補(bǔ)了一個(gè)很關(guān)鍵的細(xì)節(jié)：

LLM 處理的數(shù)據(jù)單位不是字節(jié)，是 token。

這個(gè)操作系統(tǒng)的運(yùn)行方式不是確定性的，而是統(tǒng)計(jì)性的。

這是一種底層計(jì)算的范式轉(zhuǎn)移。

過去六十年，計(jì)算機(jī)的世界建立在字節(jié)上。

一個(gè)字符 8 個(gè) bit，精確，確定，不會(huì)出錯(cuò)。你寫一個(gè) 1，存進(jìn)去就是 1，讀出來還是 1。

整個(gè)互聯(lián)網(wǎng)、所有軟件、所有數(shù)據(jù)庫，都建立在這種確定性上。

現(xiàn)在 LLM 來了。它的基本單位是 token，不是字節(jié)。

token 是模糊的，一個(gè)詞可能是一個(gè) token，也可能被拆成兩個(gè)。

它的輸出是概率性的，同一個(gè)輸入跑兩遍可能得到不同的結(jié)果。

這就像從牛頓力學(xué)進(jìn)入量子力學(xué)。

精確讓位于概率，確定讓位于統(tǒng)計(jì)。

Karpathy 把 LLM 比作 CPU，Agent 比作操作系統(tǒng)內(nèi)核。

如果順著這個(gè)類比往下推：

傳統(tǒng)計(jì)算機(jī)：CPU 處理字節(jié) → 內(nèi)核調(diào)度進(jìn)程 → 操作系統(tǒng)服務(wù)用戶

AI 時(shí)代：LLM 處理 token → Agent 編排任務(wù) → AI OS 服務(wù)用戶

底層的數(shù)據(jù)單位變了，上面的一切都得跟著變。

操作系統(tǒng)要重寫，軟件要重做，人和計(jì)算機(jī)的交互方式要重新設(shè)計(jì)。

與其說是對(duì)上一代的升級(jí)，不如說是徹底換了軌道。

字節(jié)的世界里，誰掌握更多的數(shù)據(jù)（字節(jié)）誰就贏。

token 的世界里，誰掌握更多的 token 誰就贏。

字節(jié)的時(shí)代屬于互聯(lián)網(wǎng)，token 的時(shí)代屬于 Agent。

BYTE ERA ? TOKEN ERA