22歲天才復(fù)刻Claude神話，770M參數(shù)媲美1.3B模型

簡直太瘋狂了！

Anthropic捂得最嚴(yán)實的Claude Mythos，竟被一個22歲的年輕人扒開了。

不是泄露，不是內(nèi)部員工跳槽帶出來的。

是一個叫Kye Gomez的初創(chuàng)CEO，以第一性原理，硬生生把Claude Mythos的核心架構(gòu)從頭推導(dǎo)了出來。

更炸裂的是，他把這一項目——OpenMythos全開源了。

復(fù)現(xiàn)帖引近100萬人圍觀

一時間，全網(wǎng)都坐不住了，網(wǎng)友們紛紛驚嘆Mythos背景精妙的設(shè)計。

先說結(jié)論，Kye Gomez認(rèn)為——

Claude Mythos的核心不是一個更大的Transformer，而是一種叫做「循環(huán)深度Transformer」（Recurrent-Depth Transformer, RDT）的架構(gòu)。

說白了就是，同一套權(quán)重，在一次前向傳播里循環(huán)跑最多16次。

傳統(tǒng)大模型像蓋高樓，一層一層往上堆參數(shù)。100層不夠就200層，200層不夠就500層。

參數(shù)越多，模型越大，顯存吃得越猛，訓(xùn)練成本越恐怖。

但RDT完全換了一個思路：不蓋高樓，原地跑圈。

模型只有一個核心計算塊，但這個塊會被反復(fù)執(zhí)行。每循環(huán)一次，隱藏狀態(tài)就更新一次，就相當(dāng)于「多想了一步」。

而且所有的思考都在連續(xù)潛空間里默默進(jìn)行——不用像思維鏈（CoT）那樣，每一步都吐出可見的token。

這不是重復(fù)計算，是迭代推理。

整個OpenMythos的架構(gòu)分三段：

Prelude（序曲）→ Recurrent Block（循環(huán)核心）→ Coda（終章）

Prelude和Coda是標(biāo)準(zhǔn)的Transformer層，各跑一次。

真正的計算核心是中間的「循環(huán)塊」，它最多循環(huán)16次，每次循環(huán)的更新規(guī)則是：

h_{t+1} = A·h_t + B·e + Transformer(h_t, e)

其中e是Prelude編碼后的原始輸入，每一步都會被重新注入，防止模型在循環(huán)中「跑偏」。

光靠循環(huán)能解釋Mythos推理的「深度」，但解釋不了廣度。

OpenMythos在循環(huán)核心的每個FFN層，都替換成了MoE層，設(shè)計參考了DeepSeek-MoE：

大量細(xì)粒度的路由專家；

每個token只激活其中一小部分；

少量「共享專家」始終激活，負(fù)責(zé)吸收跨領(lǐng)域的通用知識。

最精妙的一點，隨著隱藏狀態(tài)h_t在循環(huán)中不斷演化，路由器在每一層循環(huán)深度會選擇不同的專家子集。

也就是說，雖然權(quán)重共享，但每次循環(huán)的計算路徑完全不同：

MoE提供廣度，循環(huán)提供深度。

注意力機(jī)制默認(rèn)使用「多潛變量注意力」（Multi-Latent Attention），來自DeepSeek-V2，把KV緩存壓縮成低秩潛變量，在生產(chǎn)規(guī)模下能實現(xiàn)10-20倍的KV顯存節(jié)省。

三個額外機(jī)制保證循環(huán)穩(wěn)定性：LTI約束注入（譜半徑強(qiáng)制小于1）、自適應(yīng)計算時間（ACT）逐位置停機(jī)、以及深度級LoRA適配器讓每次迭代都有獨立的行為調(diào)整能力。

細(xì)思極恐，這套設(shè)計精密得像一臺瑞士鐘表。

這不是嘴上說說。

此前，來自Parcae團(tuán)隊的實驗數(shù)據(jù)：一個770M參數(shù)的循環(huán)模型，在同等訓(xùn)練數(shù)據(jù)下，能達(dá)到1.3B標(biāo)準(zhǔn)Transformer的下游任務(wù)質(zhì)量。

換句話說——用一半的參數(shù)，干了同樣的活。

這對整個行業(yè)意味著什么？

對消費級硬件來說，這是天大的利好。以前跑個像樣的模型，沒有A100你連門都進(jìn)不了。

現(xiàn)在呢？推理深度是時間換空間——你不需要更多的顯存，只需要多跑幾圈。

更重磅的是，這徹底改寫了AI的Scaling法則。以前拼的是誰的參數(shù)多、誰的GPU多、誰的電費賬單厚。

現(xiàn)在的規(guī)則變了：未來最強(qiáng)的模型，不是參數(shù)最多的，而是想得最多次的。

這位扒開22歲Claude Mythos黑箱的大男孩Kye Gomez，是Swarms的創(chuàng)始人，之前還領(lǐng)導(dǎo)過Agora Labs。

他的研究重點是——大規(guī)模多智能體系統(tǒng)、替代模型架構(gòu)和多模態(tài)模型。

個人主頁顯示，Kye Gomez高中畢業(yè)之后，就開始投身于創(chuàng)業(yè)。

在2021年-2024年間，他同時擔(dān)任了三家公司的聯(lián)創(chuàng)/CEO，創(chuàng)建立了一個以「APAC」為品牌的生態(tài)體系。

其覆蓋了AI深科技、媒體、食品科技等多個領(lǐng)域。

這件事最讓人震撼的，不是架構(gòu)本身有多厲害。

還全開源了，而且只要幾行代碼就能跑。

這意味著什么？

閉源實驗室的架構(gòu)優(yōu)勢，正在以肉眼可見的速度消失。

FT最新報道中，Dario Amodei重磅預(yù)測，中國將在12個月內(nèi)，完全復(fù)刻出具備Claude Mythos級別能力的大模型。

針對外界對LLM性能是否觸及天花板的質(zhì)疑，Amode用一句富有詩意的話給出了回應(yīng)——

彩虹沒有盡頭，只有彩虹本身。

他強(qiáng)調(diào)，目前完全看不到技術(shù)放緩的跡象。

當(dāng)一個人用公開信息就能重建最核心的技術(shù)，護(hù)城河就不再是架構(gòu)了。