Science | 從碳基到硅基的進化共鳴：多智能體強化學習重演生物社會合作的神經(jīng)策略

來源：生物探索

引言

在這個充滿競爭的自然界中，我們常被灌輸“適者生存”的叢林法則。然而，當我們回望人類文明的基石，或者觀察狼群的圍獵、大象的互助，會發(fā)現(xiàn)另一個同樣古老且強大的法則：合作。合作不僅僅是兩兩個體物理距離的接近，它是一場發(fā)生在兩個大腦之間精密復雜的“雙人舞”。

但是，這種舞蹈是如何編排的？當我和你為了一個共同的目標協(xié)同行動時，我的大腦里究竟發(fā)生了什么？我如何預判你的行動？我的神經(jīng)元是如何不僅編碼“我”，還學會了編碼“你”？

為了解開這個謎題，研究人員進行了一項令人印象深刻的跨學科研究。他們不僅窺探了小鼠在通過合作獲取獎勵時的大腦活動，還在人工智能系統(tǒng)中復現(xiàn)了這一過程。這項發(fā)表于1月1日的《Science》，“Neural basis of cooperative behavior in biological and artificial intelligence systems”，為我們揭示了合作行為背后那驚人相似的神經(jīng)計算原理。

獨行快，眾行遠：一場精心設計的“雙鼠游戲”

要研究合作，首先得定義合作。在野外，合作稍縱即逝且充滿干擾。因此，研究人員在實驗室里搭建了一個巧妙的舞臺。

這是一個被透明隔板一分為二的盒子。隔板中間有孔，允許兩邊的小鼠通過視覺、嗅覺甚至觸覺進行交流。規(guī)則很簡單：兩只小鼠必須在極短的時間窗口內(nèi)，同時用鼻子觸碰各自區(qū)域的傳感器（Nose-poke），才能獲得美味的水作為獎勵。如果只有一只老鼠觸碰，或者兩只老鼠觸碰的時間差太大，誰也喝不到水。

這并非易事。起初，時間窗口被設定為寬裕的3秒，但隨著訓練的深入，這個窗口被無情地壓縮到1.5秒，最終縮短至0.75秒。這意味著，只要有一方稍有遲疑，合作就會失敗。

數(shù)據(jù)告訴我們，這絕非隨機的巧合。在經(jīng)歷了漫長的訓練后，76%的小鼠配對表現(xiàn)出了顯著高于隨機水平的合作成功率。研究人員通過“亂序重排”（Shuffling）的方法構建了隨機模型——即如果兩只老鼠互不理睬，只是按照自己的節(jié)奏亂點，它們碰巧成功的概率是多少。結果顯示，經(jīng)過訓練的小鼠，其不僅成功率遠超隨機水平，而且失誤率（Miss trials）大幅下降。

更有趣的是，在這些成功的小鼠中，約有41%被歸類為“高表現(xiàn)組”（High-performance pairs）。它們不僅配合默契，而且隨著訓練的進行，它們兩次觸碰之間的時間差越來越短。在最后的訓練階段，這些“高表現(xiàn)組”在0.75秒的嚴苛窗口下展現(xiàn)出了驚人的同步性，仿佛它們之間有一條看不見的神經(jīng)連線。

但是，這真的是“合作”嗎？還是只是兩只老鼠各自學會了聽到某個聲音就沖過去？

為了驗證這一點，研究人員做了一系列巧妙的控制實驗。

首先，他們把那塊透明的隔板換成了不透明的實心隔板。視覺線索被切斷了。結果立竿見影：成功合作的次數(shù)驟降，而單方嘗試卻無法獲得獎勵的“失誤”次數(shù)激增。這說明，看到伙伴，是合作的關鍵。

其次，他們設計了“單邊合作”（Unilateral cooperation）實驗。在這個版本中，一只老鼠（老鼠A）無論何時觸碰都能得到獎勵，而另一只（老鼠B）必須配合老鼠A的節(jié)奏才能得到獎勵。如果合作只是簡單的模仿，那么老鼠B完全可以跟著老鼠A做。但結果顯示，在這種不對等的關系中，老鼠B的合作表現(xiàn)遠不如雙方都需要合作時那么好。

這有力地證明了：真正的合作，需要雙方都意識到“共同利益”的存在，并據(jù)此主動調(diào)整自己的行為。

無聲的交流：策略的進化

如果我們將鏡頭拉近，逐幀分析這些高表現(xiàn)小鼠的行為，會發(fā)現(xiàn)它們進化出了一套復雜的社交策略。這不僅僅是簡單的條件反射，而是一場無聲的戰(zhàn)術交流。

利用先進的姿態(tài)追蹤算法（SLEAP），研究人員捕捉到了三個關鍵的行為模式：

1. 靠近 (Approach)
小鼠會有意識地向隔板靠近，進入對方的視野范圍。

2. 等待 (Waiting)
這是最令人著迷的行為。當一只小鼠先到達觸碰口時，它沒有急著行動，而是停下來，在“社交區(qū)”等待伙伴的到來。數(shù)據(jù)顯示，這種等待行為在訓練過程中大幅增加，且主要發(fā)生在觸碰前的2秒內(nèi)。這種“克制”是合作成功的基石。

3. 互動 (Interaction)
兩只小鼠會隔著隔板頭對頭，仿佛在確認眼神。在訓練初期，這種互動往往發(fā)生在相距較遠、角度各異的情況下（約180度面對面）。但隨著默契的增加，它們互動時的角度變成了更有效率的120度左右——既能保持眼神交流，又能隨時轉身去觸碰傳感器。

數(shù)據(jù)顯示，這種“互動”行為在訓練過程中增加了158.9%。更重要的是，這些行為并非漫無目的。相比于失敗的嘗試，在那些成功的合作之前，小鼠表現(xiàn)出了更明顯的等待和互動。

這告訴我們，合作不是一個瞬間的動作，而是一個包含預判、抑制沖動和即時通訊的連續(xù)過程。

大腦中的指揮官：前扣帶回皮層 (ACC)

這套復雜的戰(zhàn)術是在哪里被指揮的？研究人員將目光鎖定在了前扣帶回皮層（Anterior Cingulate Cortex, ACC）。這個腦區(qū)在人類中就已知與情緒、決策和社交密切相關。

利用微型顯微鈣成像技術（Microendoscopic calcium imaging），研究人員記錄了17對小鼠在進行合作任務時，ACC區(qū)域內(nèi) 12,798 個神經(jīng)元的活動。

一幅壯觀的神經(jīng)交響樂展現(xiàn)在眼前。

首先，他們發(fā)現(xiàn)了專門編碼“結果”的神經(jīng)元。有些神經(jīng)元只在合作成功（Correct poke）時放電，有些則只在失?。∕iss poke）時放電。有趣的是，隨著訓練的深入，那些代表“成功”的神經(jīng)元比例逐漸增加，而且這與小鼠的合作表現(xiàn)呈現(xiàn)出明顯的正相關。換句話說，大腦正在通過增強“成功”的信號來固化合作的記憶。

但更令人興奮的發(fā)現(xiàn)在于社交信息的編碼。

“我”與“你”的神經(jīng)表征
在ACC中，研究人員不僅找到了表征“我在哪”（Self position）的神經(jīng)元，更找到了大量表征“你在哪”（Partner position）的神經(jīng)元。

當隔板變成不透明時，那些編碼“你在哪”的神經(jīng)元活動幾乎消失了（減少了76.05%），而編碼“我在哪”的神經(jīng)元受到的影響則小得多。這一發(fā)現(xiàn)至關重要——它意味著小鼠的大腦中構建了一個關于伙伴位置的動態(tài)地圖。而且，這部分表征伙伴位置的神經(jīng)信號越強，小鼠的合作表現(xiàn)就越好，它們也更傾向于展現(xiàn)出“等待”的行為。

“行動”與“克制”的決策信號
最精彩的部分在于決策。合作的本質(zhì)往往在于何時行動（Proceed），以及何時按兵不動（Hold）。

研究人員發(fā)現(xiàn)，ACC中的神經(jīng)元群準確地編碼了這兩類截然相反的決策：

? Hold（保持）：當我到了，但你還沒到，我必須克制自己不去觸碰。
? Proceed（行動）：當我們都到了，現(xiàn)在的時機完美，我們要一起行動。

隨著訓練的進行，小鼠大腦中正確發(fā)出“Hold”和“Proceed”信號的次數(shù)顯著增加，而錯誤的決策信號（比如伙伴沒來就盲目行動）則大幅減少。解碼分析顯示，我們可以僅通過觀察神經(jīng)元的活動，就能預判小鼠是決定等待還是決定行動。

這表明，ACC不僅僅是在被動地記錄位置，它更是在整合了“我”和“你”的信息后，主動計算并發(fā)出戰(zhàn)術指令的指揮中心。

破壞引擎：當ACC停止工作

相關性并不等于因果性。為了證明ACC是合作行為的必要條件，研究人員使用了化學遺傳學（DREADDs）和光遺傳學（Optogenetics）技術來“沉默”這個腦區(qū)。

當通過注射藥物（CNO）抑制ACC的神經(jīng)活動時，小鼠的合作成功率出現(xiàn)了明顯的下降。這并不是因為它們不想喝水了（它們嘗試觸碰的總次數(shù)并沒有減少），也不是因為它們運動能力受損（在曠場實驗中它們跑得很歡），更不是因為它們變得自閉了（在三箱社交實驗中它們依然對同類感興趣）。

真正受損的，是它們的協(xié)調(diào)能力。

數(shù)據(jù)顯示，抑制ACC后，小鼠成功配合的那個極短的時間窗口（Poke interval）變長了，變得不再精準。更關鍵的是，那些支撐合作的策略性行為——“靠近”、“等待”和“互動”，其持續(xù)時間都顯著縮短了。

光遺傳學實驗提供了更精確的時間分辨率。研究人員發(fā)現(xiàn)，只有在合作發(fā)生前的決策階段（Decision-making period）抑制ACC，才會導致合作失??；而在合作動作完成后再抑制，則毫無影響。

這無可辯駁地證明了：ACC是處理實時社會信息、做出合作決策的關鍵樞紐。沒有它，兩只老鼠可能依然是個體層面的運動健將，但絕不再是默契的合作伙伴。

硅基的鏡像：AI眼中的合作世界

如果說生物大腦的演化花費了數(shù)百萬年才習得合作，那么在代碼構建的世界里，人工智能是否會重演這一過程？

研究人員構建了一個多智能體強化學習（MARL）環(huán)境。這相當于一個數(shù)字版的“雙鼠游戲”：兩個AI智能體（Agent）在一個8x8的網(wǎng)格世界中移動，它們同樣需要觀察環(huán)境，移動到一個隨機出現(xiàn)的“觸碰點”，并在極短的時間窗（2個時間步長）內(nèi)同時到達，才能獲得獎勵。

每個智能體都配備了一個循環(huán)神經(jīng)網(wǎng)絡（RNN），這是一種具有記憶功能的網(wǎng)絡結構，類似于大腦的短期記憶。

令人驚訝的趨同進化發(fā)生了。

行為層面的重演：
起初，AI智能體只是笨拙地隨機探索。但隨著訓練次數(shù)的增加（約4000次迭代后），它們不僅學會了合作，而且發(fā)展出了與小鼠驚人相似的策略。
數(shù)據(jù)展示了這一點：在合作模式下，AI智能體展現(xiàn)出了明顯的“等待”行為。當一個智能體發(fā)現(xiàn)自己離目標更近，而伙伴還很遠時，它會主動停下來，甚至向后退，以此來縮短雙方到達目標的時間差（Synchronization correction）。這種主動的等待行為與它們最終的合作表現(xiàn)呈顯著正相關。

神經(jīng)層面的重演：
當我們打開這些AI智能體的“黑盒子”，觀察它們神經(jīng)網(wǎng)絡內(nèi)部的運作時，發(fā)現(xiàn)了與小鼠ACC極度相似的編碼模式。
研究人員在人工神經(jīng)網(wǎng)絡的隱藏層（Hidden layer）中，同樣找到了專門負責編碼“自我位置”和“伙伴位置”的單元（Units）。而且，就像在小鼠腦中一樣，當剝奪了AI觀察伙伴的能力（類似于不透明隔板實驗）時，這些編碼伙伴信息的單元活躍度大幅下降，合作行為也隨之崩塌。

更進一步，AI的網(wǎng)絡中也自發(fā)涌現(xiàn)出了負責“Hold”（我近你遠，我要等）和“Proceed”（我們都近，一起沖）的決策單元。

為了驗證這些單元的功能，研究人員像在小鼠腦中做實驗一樣，在代碼中進行了“消融”（Ablation）實驗。

? 當刪除了編碼“Proceed”的單元時，AI智能體的總觸碰次數(shù)暴跌了73%，它們變得猶豫不決，無法執(zhí)行合作。
? 當刪除了編碼“Hold”的單元時，雖然觸碰次數(shù)沒有減少，但“失誤率”（Miss trials）大幅上升。它們失去了等待的耐心，變成了魯莽的獨行俠。

殊途同歸的智慧

這項研究最為迷人之處，在于它搭建了一座連接碳基生物與硅基智能的橋梁。

在生物大腦中，為了生存，ACC進化出了整合自身與他人信息、抑制沖動、精準決策的能力。而在人工智能中，為了最大化獎勵函數(shù)，神經(jīng)網(wǎng)絡在沒有任何預設規(guī)則的情況下，自發(fā)地“發(fā)明”了幾乎完全相同的計算策略。

這不僅揭示了合作行為的神經(jīng)生物學本質(zhì)——它依賴于對伙伴狀態(tài)的實時監(jiān)測和基于此的自我抑制；同時也暗示了，無論是由蛋白質(zhì)構成的神經(jīng)元，還是由代碼構成的數(shù)學節(jié)點，在面對“如何協(xié)作”這個古老難題時，智慧似乎總是指向同一個解。

在這個日益復雜和互聯(lián)的世界里，理解這種連接的本質(zhì)，或許比以往任何時候都更加重要。無論是在實驗室的籠子里，在服務器的機架上，還是在人類社會的互動中，合作的奇跡，正是在這無數(shù)次的“等待”與“同行”中悄然發(fā)生。

參考文獻

Jiang M, Gu L, Ma M, Li Q, Kao JC, Hong W. Neural basis of cooperative behavior in biological and artificial intelligence systems. Science. 2026 Jan;391(6780):eadw8151. doi: 10.1126/science.adw8151. Epub 2026 Jan 1. PMID: 40997206; PMCID: PMC12575003.

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。