牛津最新NHB：人類與Transformer的學習邏輯竟如此相似？

PsyBrain 腦心前沿 | 公眾號 PSY-Brain_Frontier

一鍵關注，點亮星標 ??

不錯過每日前沿資訊

認知神經科學前沿文獻分享

基本信息

Title:Shared sensitivity to data distribution during learning in humans and transformer networks

發表時間：2025.12.23

發表期刊:Nature Human Behaviour

影響因子：16.0

獲取原文：

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

研究背景

在認知科學與人工智能的交叉領域，關于“記憶”與“推理”關系的探討從未停歇。早在20世紀40年代，Cattell就提出了晶體智力（Crystallized Intelligence，基于知識和經驗）與流體智力（Fluid Intelligence，解決新穎問題的推理能力）的二分法。這一經典的二元論在當今的大語言模型（LLM）時代再次成為了焦點：人類和現代神經網絡似乎都面臨著兩種截然不同的學習路徑。

一種是權重學習（In-weights Learning, IWL），即通過漫長的訓練，將特定樣本的統計規律 “刻” 在神經突觸或模型的參數權重中，這類似于我們的死記硬背或長時記憶。

另一種則是上下文學習（In-context Learning, ICL），這是Transformer架構帶來的驚人涌現能力，即模型無需更新參數，僅憑當前輸入的上下文提示（Prompt）就能迅速歸納規則并解決新問題，這酷似人類的歸納推理和流體智力。

然而，一個核心的科學問題至今懸而未決：究竟是什么決定了大腦或AI會選擇“死記硬背”還是“舉一反三”？不僅如此，既然Transformer在許多任務上表現出了類人的能力，那么它們對訓練數據分布的敏感性是否也與人類一致？本研究由牛津大學的Jacques Pesnot Lerousseau和Christopher Summerfield領銜，2025年12月23日發表于Nature Human Behaviour，通過精巧的實驗設計，對比了人類與Transformer在面對不同數據分布時的學習策略選擇，揭示了兩者在統計學習上的驚人共性與關鍵差異。

研究核心總結

本研究通過一系列圖像-標簽聯想任務，系統探究了訓練數據的多樣性（Diversity）與冗余性（Redundancy）如何調節人類與Transformer的學習策略。

Fig. 1 | Paradigm.

核心發現一：數據分布決定的權衡（Trade-off）策略

研究發現，人類和Transformer在學習策略的選擇上表現出高度的一致性，且均受到數據分布偏度 α 的強烈調控。

• 多樣性驅動推理：當訓練數據呈現均勻分布（α = 0，即樣本極具多樣性、幾乎不重復）時，人類和Transformer都傾向于發展出上下文學習（ICL）策略，即學會抽象的規則（如“順時針移動3步”），從而能夠處理從未見過的測試樣本。

• 冗余性驅動記憶：相反，當訓練數據高度傾斜（α = 1，即少數樣本高頻重復）時，兩者都轉向權重學習（IWL），直接記憶具體的圖像-標簽配對，而失去了泛化能力。

• 臨界點：有趣的是，兩者都在α ≈ 1附近展現出了策略轉換的臨界點，表明生物智能與人工神經網絡在利用數據統計結構方面存在共享的敏感性。

Fig. 2 | Transformers and humans trade off in-context and in-weights learning depending on the training data distribution (Experiment 1).

核心發現二：復合分布支持“雙重學習”

既然單一的極端分布只能誘導一種策略，能否“魚與熊掌兼得”？結果顯示，通過構建一種包含“罕見樣本（提供多樣性）”與“高頻樣本（提供冗余性）”的復合分布（Composite Distribution），人類和Transformer均能同時習得兩種策略。這表明，理想的學習環境應當混合新穎的探索與重復的練習，從而支持模型和大腦同時利用推理與記憶回路。

Fig. 3 | Transformers and humans can learn both in-context and in-weights when trained on a composite, non-Zipfian distribution (Experiment 2).

核心發現三：人類在課程學習（Curriculum）中的獨特優勢

這是本研究最引人深思的差異點。研究者設計了動態的訓練課程，對比了“先多樣后重復”（Diversity-first）與“先重復后多樣”的效果。

• 人類的靈活性：人類被試在先接觸多樣化樣本（學習規則）后，即使后續轉入高頻重復訓練，依然能保留推理能力，同時習得記憶能力。這表明早期接觸多樣性對人類形成抽象概念至關重要。

• Transformer的災難性干擾：相比之下，Transformer無法從課程中獲益。一旦訓練數據從多樣轉為單一，模型會發生災難性干擾（Catastrophic Interference），迅速遺忘之前的推理策略，退化為純粹的記憶模式。這一結果深刻揭示了當前神經網絡在連續學習和知識固化方面的局限性。

Fig. 4 | Humans, but not transformers, benefit from a training curriculum promoting in-context learning first (Experiment 3).

核心發現四：機制層面的算法趨同

在探究“如何實現”層面，通過對比Transformer的注意力頭（Attention Heads）激活模式與人類的眼動/鼠標追蹤數據，研究發現兩者都采用了一種“綁定與搜索（Binding and Searching）”的算法機制。即先在工作記憶中搜索目標刺激，再將其與特定位置的標簽信息進行綁定（Induction Head機制），這一微觀層面的計算相似性為理解人類歸納推理提供了新的計算視角。

Fig. 5 | Transformers and humans use an induction mechanism for in-context learning (Experiment 4).

總而言之，該研究不僅證實了Transformer與人類在利用數據統計特征上的高度趨同，更強調了早期多樣性在人類教育中的核心地位：先學會“怎么學（Learning to learn）”，再進行知識固化，這或許是人類智能目前仍優于機器的關鍵所在。

Abstract

Do humans learn like transformers? We trained both humans (n?=?530) and transformer networks on a rule learning task where they had to respond to a query in a sequence. At test, we measured ‘in-context’ learning (generalize the rule to novel queries) and ‘in-weights’ learning (recall past experiences from memory). Manipulating the diversity and redundancy of examples in the training distribution, we found that humans and transformer networks respond in very similar ways. In both types of learner, redundancy and diversity trade off in driving in-weights and in-context learning, respectively, whereas a composite distribution with a balanced mix of redundancy and diversity allows the two strategies to be used in tandem. However, we also found that while humans benefit from dynamic training schedules that emphasize diverse examples early, transformers do not. So, while the same data-distributional properties promote learning in humans and transformer networks, only people benefit from curricula.

請打分

這篇剛剛登上Nature Human Behaviour的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區分享您的深度見解。

前沿交流|歡迎加入認知神經科學前沿交流群！

核心圖表、方法細節、統計結果與討論見原文及其拓展數據。

分享人：飯哥

審核：PsyBrain 腦心前沿編輯部