北京
海外對(duì)美團(tuán)開源的這個(gè)模型 LongCat-Flash 評(píng)價(jià)不錯(cuò)啊，刷到好幾個(gè)介紹貼了。
基準(zhǔn)測試與 DeepSeek-V3、Qwen3 等差不多，同時(shí)推理速度非?？?，比DeepSeek-V3 快了至少一倍，在千億參數(shù)量下，還能用低成本實(shí)現(xiàn)100 tokens/秒的推理速度，非常經(jīng)濟(jì)了可以說。
仔細(xì)看了一下論文和介紹記個(gè)筆記
MoE 模型總參數(shù) 560B，激活參數(shù)平均 27B，能根據(jù)上下文自適應(yīng)激活參數(shù)數(shù)量。
在 20T 數(shù)據(jù)上訓(xùn)練，數(shù)據(jù)處理包括：長上下文擴(kuò)展，預(yù)處理有抽取、過濾和去重。
得益于“Zero-Computational expert”機(jī)制。模型架構(gòu)創(chuàng)新包括每層有兩個(gè)注意力塊（Attention block），同時(shí)包含前饋網(wǎng)絡(luò)（FFN）和混合專家（MoE），并引入零計(jì)算專家作為“匯聚點(diǎn)”，讓簡單 token 可以選擇不計(jì)算，提升效率。
負(fù)載均衡方面，采用類似 dsv3 的輔助損失和衰減機(jī)制。擴(kuò)展性上，模型先訓(xùn)練小模型再堆疊擴(kuò)展，并用超參數(shù)遷移優(yōu)化。穩(wěn)定性方面，跟蹤梯度范數(shù)比和專家余弦相似度，采用 z-loss 控制激活值，優(yōu)化 Adam epsilon。
生僻概念解釋：
Zero-Computational expert（零計(jì)算專家）：模型中的一種特殊專家，token 可以選擇它而不進(jìn)行實(shí)際計(jì)算，相當(dāng)于“跳過”處理，節(jié)省算力。
dsv3（輔助損失機(jī)制）：用于負(fù)載均衡的損失函數(shù)，幫助模型合理分配 token 到不同專家。
z-loss：一種正則化損失，用于控制隱藏狀態(tài)的激活值，防止梯度爆炸。
Adam epsilon：Adam 優(yōu)化器中的一個(gè)參數(shù)，影響數(shù)值穩(wěn)定性，設(shè)得很小可以提升訓(xùn)練精度。
模型可以在這里體驗(yàn)：https://longcat.chat/
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
