臉譜心智陸弘遠團隊ACL 2026新作：別再給模型疊加「高級詞」了！

Hongyuan Adam Lu，F(xiàn)aceMind CEO，CUHK AI PhD 研究課題：LLM 預(yù)訓(xùn)練、世界模型、端側(cè)模型訓(xùn)練；帝國理工 CS 本碩；愛丁堡大學(xué) AI 碩士；ACL 系頂會 Outstanding Paper Award 一作；曾于 MSRA（北京）任預(yù)訓(xùn)練一職，研發(fā)了世界上第一個支持 200 種語言的 LLM；旗艦會議 ACL 2025、NAACL 2025 Area Chair，創(chuàng)辦了 AI 軟件：疊疊社，深受二次元喜愛，是一款被投資人稱之為 “米哈游的蔡浩宇都要學(xué)習(xí)的 AI 產(chǎn)品”。

有這樣一種 “模型玄學(xué)”：明明是同一個 Prompt，僅僅換一種說法，模型的回答可能就天差地別。

深挖這個現(xiàn)象，是一個有趣、有用、但 “反直覺” 的問題：如果語義不變，只是把一句話改寫成更常見、更高頻的 “大白話”，模型的推理以及訓(xùn)練表現(xiàn)會不會更好？

最近，來自臉譜心智與香港中文大學(xué)的科研人員圍繞這個問題展開了系統(tǒng)研究，并提出了一項中稿 ACL 2026 Main 的新工作。他們提出了一個極具記憶點的新概念：Adam’s Law，akaTextual Frequency Law（文本頻率定律）。

• 論文標題：Adam’s Law: Textual Frequency Law on Large Language Models
• 作者：Hongyuan Adam Lu, Z.L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
• 機構(gòu)：FaceMind Corporation、The Chinese University of Hong Kong
• arXiv 鏈接：https://arxiv.org/abs/2604.02176
• huggingface 鏈接：https://huggingface.co/papers/2604.02176
• github 鏈接：https://github.com/HongyuanLuke/frequencylaw

論文用理論推導(dǎo)以及模型實驗向我們展示了：當(dāng)不同表述表達同一個意思時，語言模型往往更偏好 “高頻文本”。而這種偏好不僅出現(xiàn)在你敲下 Prompt 的那一刻，甚至在模型訓(xùn)練階段也同樣適用。

用大白話說，很多時候決定模型是否聰明的，不只是 “你問了啥”，還包括 “你是怎么說的”。

這啟發(fā)了什么？今天我們業(yè)內(nèi)談起模型優(yōu)化，關(guān)鍵詞永遠是：更強更大的基座、更長的推理思維鏈、以及昂貴的高質(zhì)量訓(xùn)練數(shù)據(jù)，或者是極其復(fù)雜的 alignment 算法。但 Adam's Law 揭示了文本頻率對于模型訓(xùn)練以及推理的重要性。

研究表明，高頻表達因為在訓(xùn)練語料中出現(xiàn)的次數(shù)足夠多，大模型對它們有著天然的 “肌肉記憶”。因此，在面對這些模型自身熟悉的詞句時，模型在理解、推理和生成時更容易零百 “進入狀態(tài)”。

Who is Adam？

Adam’s Law 主張的鐵律是：我們應(yīng)該優(yōu)先使用句子級頻率更高的 expression，無論是做 inference 還是 training。

研究團隊不甘讓結(jié)論停留在 “哎喲，好像確實是這樣” 的 empirical observation。

他們先是提供了縝密的 theoratical proof，也為其搭建了一個完整的 framework，由三板斧組成：

• 第一把斧 TFL（Adam’s Law）： 提出 Textual Frequency Law：“高頻文本應(yīng)被優(yōu)先選擇”；

極其硬核的部分推導(dǎo)數(shù)學(xué)輔佐

• 第二把斧 TFD（Textual Frequency Distillation）： 既然算不準，那就讓模型自己開口。用目標模型生成的文本，去反向修正 frequency estimation；
• 第三把斧 CTFT（Curriculum Textual Frequency Training）： 把文本頻率引入課程學(xué)習(xí)，給模型發(fā)一本循序漸進的教材。

用大白話來說，他們的操作流程是這樣的： 先給一句話算算 “八字”（估算常見度），把同義句里最接地氣、最 frequent 的那句挑出來喂給模型；如果怕算得不準，就讓模型自己做幾道 “故事續(xù)寫” 題，看看它平時潛意識里愛用什么詞，借此來修正頻率估算；最后，在訓(xùn)練時，不光是要挑數(shù)據(jù)頻率，而且訓(xùn)練順序都給你安排得明明白白。

怎樣才算 “常見”？巧妙的工程解法

這里有一個大坑：像是 GLM 這種主流大模型，預(yù)訓(xùn)練數(shù)據(jù)全是個黑箱，連它吃過幾碗干飯都不知道，你怎么算它對哪句話更眼熟？不用擔(dān)心沒關(guān)系。

作者給了個極其巧妙且工程化的解：咱不糾結(jié)模型見過啥，直接借助公開的龐大 corpora 和詞頻資源去估算就行。 在 Adam’s Law 中，句子的頻率被近似為詞頻的組合，直接攢出一個 “句子級頻率指標”。

這意味著，開發(fā)人員完全不需要破解閉源模型的訓(xùn)練集，就能直接用這套頻率估算大法。極其接地氣，繞開了黑箱限制，把玄學(xué)推進到了可驗證、可復(fù)現(xiàn)的工程層面。

當(dāng)然，僅靠公開詞頻估計大概率是有誤差的。Adam 打出了第二把斧TFD：讓目標模型對給定文本做 “story completion 續(xù)寫補全”。這相當(dāng)于在審問模型：“別裝了，暴露你的真實用語習(xí)慣吧！” 用模型自己吐出來的語料蒸餾，再去輔助修正原始頻率，這樣就無限逼近了模型內(nèi)部真正熟悉的白話表達分布。

別光顧著改 Prompt 推理，訓(xùn)練的規(guī)矩也變了

Adam's Law 最絕的一點，是沒有把 “文本頻率” 局限在一個討巧的 Prompt 推理技巧上，而是直接殺到了更硬核的模型訓(xùn)練范式里。

在提示（Inference）階段，邏輯非常順滑：同一道數(shù)學(xué)題，如果把題目里的生僻詞換成大白話的高頻表達，模型馬上就算得更準。

但在訓(xùn)練（Training）階段，Adam 拋出了一個靈魂拷問：如果老板給的算力預(yù)算有限，訓(xùn)練數(shù)據(jù)該怎么挑怎么用？Adam 說：高頻文本可能比低頻文本更值得優(yōu)先保留！

而且CTFT甚至改變了喂數(shù)據(jù)的姿勢。作者發(fā)現(xiàn)，低頻表達往往語境更稀疏、結(jié)構(gòu)更復(fù)雜。就像我們上語文課一樣，先讓他死磕難懂的古文（更低頻），再讓他看通俗的白話文（更高頻），最終的收斂效果，居然比隨機亂喂數(shù)據(jù)還要好。

實驗結(jié)果：白嫖的性能提升

為了拿數(shù)據(jù)說話，作者死磕出了一個專門的數(shù)據(jù)集 TFPD（Textual Frequency Paired Dataset），涵蓋了數(shù)學(xué)推理、機器翻譯、常識推理和智能體工具調(diào)用等多個場景。

為了保證嚴謹，他們先用模型生成一批 “文縐縐、極其少見” 的改寫，和一批 “大白話、極其常見” 的改寫，再花錢請人工標注員挨個檢查，確保改寫后意思沒變，最后湊成了 “高頻 vs 低頻” 的成對樣本。

結(jié)果極其直觀。

在數(shù)學(xué)推理、Agent 任務(wù)、以及常識解析上，僅僅只是把 Prompt 換成更高頻的表達，不換模型、不加訓(xùn)練數(shù)據(jù)、不增加 inference 時長，inference 效果顯著增加；在機器翻譯上，Adam's Law 同樣穩(wěn)如泰山：研究人員一口氣測了 100 個語言翻譯方向：在訓(xùn)練實驗里，三板斧 CTFT 的威力同樣顯現(xiàn)。在 Pangasinan（一種菲律賓語支）的機器翻譯任務(wù)中，使用了 CTFT 后， BLEU 分數(shù)狂漲29.96%。

Adam's Law 在上百種語言上的結(jié)果可視化，最外圈為 Adam's Law 的結(jié)果。

更顛覆認知的是：有時候用高頻改寫數(shù)據(jù)去訓(xùn)練，效果甚至比直接用原汁原味的基準 training set 還要好！這直接挑戰(zhàn)了業(yè)內(nèi) “原始數(shù)據(jù)天然最優(yōu)” 的傳統(tǒng)偏見。

Adam's Law，給行業(yè)帶來了什么？

Adam’s Law把一種飄渺的 “直覺”，打造成了一套可定義、可估算、可驗證、可部署、繞過黑盒的方法學(xué)定律，通過數(shù)學(xué)推導(dǎo)以及實驗的方法證明了其可靠性。

對搞應(yīng)用（做 Agent、寫 Prompt）的打工人： 別再給 Prompt 瘋狂加毫無必要的定語、約束和高端詞匯了。先把 Prompt 理順，改得更自然、更高頻，這可能是一種幾乎沒有成本、見效極快的 “魔法”。

對搞訓(xùn)練（Pre-training、SFT、蒸餾、做數(shù)據(jù)清洗）的煉丹師： 這是全新的 Data Engineering 治理思路。以后洗數(shù)據(jù)做數(shù)據(jù)，除了看數(shù)據(jù)的質(zhì)量、長度、難度，咱還得給文本頻率拉個畫像。GPUTPU 吃緊時，“留什么數(shù)據(jù)” 不只看標注對不對，咱還得看看這句話是不是足夠 “大白話”。

對評測（Benchmark）的研究者：如果一道題，換個冷門說法模型就不行，那它是真的有了 “推理能力”，還是僅僅靠著 “刷題”，記住了特定表述的熟悉度？這給未來構(gòu)建更抗造的評測榜單提了個醒。

Conclusions

Adam’s Law 像一面鏡子，照出了 LLM 的本質(zhì)：模型不僅在 “理解世界”，它更是在 “記住人類語言世界里，什么東西最常出現(xiàn)”，然而這是雙向的，LLM 在看世界的時候，世界也在看 LLM。

當(dāng)整個 AI 圈都在為了更長的 RL 推理、更龐大的參數(shù)量、更玄乎的對齊算法無腦卷生卷死時，這篇工作輕巧地給出了一條無比樸素的線索：

讓模型變聰明的捷徑，不是把話說得更高深，而是把話說得更大白話一點。這在推理時有用，也在訓(xùn)練時有用。