用AI點外賣，少說倆字或許能省錢？

想象一下，你正在經營一家智能養蝦場（OpenClaw），通過AI系統管理數千畝龍蝦池塘。清晨，你對AI助手說：“幫我訂個披薩?！毕到y迅速響應，后臺計費系統記錄下這簡單的6個字。到了中午，你換了一種說法：“幫我預訂一份意大利薄底薩拉斯米腸披薩?！?strong>同樣的需求，更詳細的描述，但這一次，計費系統記錄的“詞元”數量其實大不相同。

圖片來源：AI生成

這不是科幻場景，而是每天都在發生的真實計費邏輯。在AI大模型時代，token是人工智能（尤其是大語言模型）處理中信息的最小單位，也是模型計費和處理的基本單位。2026年3月25日，全國科學技術名詞審定委員會正式發布《關于發布試用人工智能領域名詞token中文名“詞元”的公告》，將這個困擾業界多年的術語統一命名為“詞元”，標志著這一概念正式進入國家規范術語體系。

詞元（Token）是大模型處理信息的最小信息單元，具有智能時代可計量、可定價、可交易的特征。

從“字”到“詞元”：計費單位的革命

傳統認知中，我們按字數計費——寫多少字付多少錢。但在AI世界里，這個邏輯被徹底顛覆。

大模型廠商的計費公式可以簡化為：

plain

費用=(輸入詞元數×輸入單價+輸出詞元數×輸出單價)/1,000,000

國家數據局最新數據顯示，截至2026年3月，我國日均詞元調用量已突破140萬億，相比2024年初的1000億增長超過1000倍。如此龐大的調用量背后，是一個精密的計費系統。以阿里云百煉平臺為例，Qwen3.6-Plus最低輸入價格2元/每百萬Tokens，最低輸出價格12元/每百萬Tokens。看似微小的差異，在大規模調用場景下，會被顯著放大，從而帶來明顯的成本差異。

Qwen3.6-Plus推理服務價格

圖片來源：阿里云官網

BPE算法：打包常用字，拆分生僻詞

要理解為什么“幫我訂個披薩”和“幫我預訂一份意大利薄底薩拉斯米腸披薩”會產生不同的詞元數量，需要深入字節對編碼（Byte Pair Encoding，BPE）算法的核心機制。（除了BPE算法外，常見的還有WordPiece、Unigram等算法，本文將以BPE算法為例。）

BPE算法最早由Philip Gage于1994年提出，用于數據壓縮。2016年，瑞士蘇黎世大學的Rico Sennrich等人將其引入自然語言處理領域，發表了奠基性論文《Neural Machine Translation of Rare Words with Subword Units》，開創了子詞分詞的新紀元。

BPE算法的運作原理可以概括為：不斷合并訓練語料中出現頻率最高的符號對，直到達到預定詞匯表大小。

讓我們用一個簡化示例說明，假設訓練語料包含以下詞匯及出現頻率：

“hug”：10次

“pug”：5次

“pun”：12次

“bun”：4次

“hugs”：5次

第一步：將所有詞拆分為字符，添加結束符

“hug” → “h u g ”

“pug” → “p u g ”

“pun” → “p u n ”

“bun” → “b u n ”

“hugs” → “h u g s ”

初始詞匯表僅包含基礎字符：{b, g, h, n, p, s, u, }

第二步：統計相鄰字符對的出現頻率

“u g”：15次（來自“hug”的10次 + “hugs”的5次）

“u n”：16次（來自“pun”的12次 + “bun”的4次）

“p u”：17次（來自“pug”的5次 + “pun”的12次）

第三步：合并最高頻字符對

假設“p u”頻率最高（17次），創建新符號“pu”，

詞匯表擴展為：{b, g, h, n, p, s, u, , pu}

第四步：迭代重復

繼續統計新語料中的字符對頻率，合并下一個最高頻對，直到達到預設的詞匯表大?。ㄈ鏕PT-2為50,257個token）。

多個常用字被打包成單個詞元

像“的”“是”“了”“在”等超高頻漢字，在訓練語料中反復出現，BPE算法會將它們與相鄰高頻字組合成固定詞元。例如：

“的” → 單獨1個token

“中國” → 1個token（高頻組合）

“人工智能” → 2個token（“人工”+“智能”）

單個生僻字和長詞被拆解成多個詞元

對于低頻字或專業術語，BPE算法缺乏足夠的合并動力，只能拆分為基礎字符甚至UTF-8字節：

“薹”（生僻字）→ 可能被拆為2-3個token

“意大利薄底薩拉斯米腸披薩” → 可能被拆為10+個token

這種差異直接體現在計費上。實測數據顯示，同樣長度的內容，中文消耗的token數約為英文的2-2.7倍。以GPT-4o計費標準計算，處理100萬字符的中文文本比英文貴約50%。

高計費差異背后的經濟邏輯

理解BPE算法后，我們就能解釋開頭養蝦場的計費差異：

圖片來源：作者制作

這種計費機制有其合理性：低頻詞需要模型進行更多計算來理解和生成，消耗更多算力資源。但從用戶角度看，這意味著表達越精確，成本越高。

那如何降低詞元成本呢？對于普通用戶和開發者，理解BPE算法可以顯著降低使用成本：

1. 精簡表達

避免冗余修飾詞。“訂披薩”比“預定一份意大利薄底薩拉斯米腸披薩”可顯著減少詞元消耗。

2.使用高頻詞匯

BPE算法偏愛高頻組合。用“電腦”而非“電子計算機”，用“手機”而非“移動電話”。

3.善用緩存

阿里云百煉等平臺支持上下文緩存，命中緩存的輸入token價格通常只有普通輸入的1/10。對于重復性查詢，保持上下文連貫可大幅降低成本。

4.選擇中文優化模型

通義千問、DeepSeek等國產模型針對中文優化，同等內容下token消耗比國際模型少30%-50%。

5.監控token使用

使用tiktoken等工具預先計算token數量，避免超出預算。OpenAI的tiktoken庫基于Rust實現，可精確統計各模型的token消耗。

詞元的定名不僅是一個術語的統一，更標志著AI產業進入精細化運營階段。當“幫我訂個披薩”和“幫我預定一份意大利薄底薩拉斯米腸披薩”產生不同的賬單時，我們實際上見證了一種新的語言經濟學誕生——表達的精確度與計算成本直接掛鉤。

BPE算法通過頻率統計實現的“打包”與“拆分”機制，本質上是用統計學方法模擬人類語言的層級結構。常用字“廉價”，生僻詞更“高價”，這種看似不均衡的分配，實則是大數據時代效率與成本的平衡之道。

圖片來源：AI生成

正如全國科技名詞委公告所言，“詞元”一詞“符合單義性、科學性、簡明性、協調性等科技名詞審定原則”。當我們下次與AI對話時，或許可以多想一想：這句話，值多少個詞元？

參考文獻：

1.Sennrich, R., Haddow, B., & Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. arXiv:1508.07909.

2.Radford, A., et al. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.

3.http://www.cnterm.cn/news/mtsm/202603/t20260327_828265.html

4.http://www.cnterm.cn/news/mtsm/202603/t20260327_828253.html

5.http://finance.people.com.cn/n1/2026/0330/c1004-40691865.html

6.https://tech.cnr.cn/gstj/20260327/t20260327_527564025.shtml

7.http://www.cnterm.cn/news/tzgg/202603/t20260325_827999.html

來源：蝌蚪五線譜

編輯：小鹿

轉載內容僅代表作者觀點

不代表中科院物理所立場

如需轉載請聯系原公眾號