<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      詳細解讀DeepSeek新年的第一篇論文,他們就是這個時代的真神。

      0
      分享至

      2026年新年第一天,DeepSeek又開卷了。

      發了他們新年的第一篇論文。

      《 mHC: Manifold-Constrained Hyper-Connections 》


      感覺是DeepSeek-V4的鋪墊,當然一些小道消息,不保真,我也不懂,我只是拍腦袋預測一下,有問題別找我。

      就是V4,大概在1月中下旬或者1月底,然后呢,有多模態輸入,沒有多模態輸出。

      就醬,回到論文。

      這篇論文我是說實話,有點過于硬核了。

      但同時,傳遞出來的信息量和對AI界的改變,又是巨大的。

      在給自己放了一天假,然后啃了一天以后(這玩意比我想象的難啃多了。。。)我還是想,用最通俗易懂最有意思的方式,來跟你聊聊,這篇論文的有趣之處,以及,是如何對現在的生態進行一些新的輸入的。

      當然也給我自己疊個甲,我不是算法出身,我只是讀完以后覺得很棒想分享給大家看,我對這篇論文的理解和亂七八糟的各種名詞解釋,都是我自己民科瞎JB自學的,部分措辭也有為了能讓大家更好理解而做的部分簡化,如果有我理解的錯誤或者事實性錯誤的地方,歡迎大佬們在評論區指正討論,感謝。

      話不多說,我們,正是開始。

      在最開始之前,我想先問大家一個問題,就是大家認為,一個要處理圖片、聲音、文字這么多亂七八糟信息的新模型,它最需要的是什么?

      是一塊更強的GPU嗎?是一個更大的內存嗎?

      而DeepSeek這篇文章,給出的答案,其實,是一個極其穩定、高效的、模型內部的信息流轉系統。

      要理解這個玩意,我們先得穿越回去,穿越回2015年,也就是十年前,從一個男人和一個偉大的想法說起。

      這個故事,要從盤古開天,啊不,要從何愷明蓋樓開始聊。

      對,何愷明蓋樓。

      我們都知道,大模型是神經網絡對吧,現在,你可以把一個神經網絡,當成一家開在101大廈里的超級公司。

      數據,就像一份客戶需求,從一樓的前臺進去,然后呢,先交給銷售部分析,在傳給二樓的市場部包裝一些,接著送到三樓的產品部進行需求評審。。。

      客戶的需求,也就是數據,就這樣坐著樓梯,一層一層往上爬,每一層都對這份信息做一點點加工和提煉。

      最后,這份被層層解讀過的報告,會送到頂樓的CEO辦公室,由CEO拍板,給出最終決策,比如“沒問題咱就這么干!”。

      理論上,公司的樓層越多,部門分工越細,那這家公司專業度就越高,也越牛逼,處理復雜問題的能力就越強,對吧。

      但在2015年,全世界的AI大佬們,都碰到了一個鬼故事,就是,這棟樓,它特娘的蓋不高啊。

      最多蓋到二三十層,就到頭了。

      再往上蓋,整個公司就直接罷工了。

      因為信息在傳遞過程中會失真。

      不知道你們有沒有玩過類似于王牌對王牌里面那種傳聲筒游戲。


      就是第一個人接到信息以后,在有限時間內,往后傳,最后一個人復述出來,看看還能復述多少字。

      這個游戲巨搞笑,因為最后一個人說出來的跟第一個人往往風牛馬不相及。

      在這個101大廈的公司里,也是一樣的。

      就比如一樓銷售部明明說的是“老板想喝咖啡”,傳到十樓就變成了“老板喜歡吃咖啡壺”,傳到二十樓成了“老板去中國有嘻哈上唱了首咖啡壺我的Baby”,等傳到三十樓CEO耳朵里,可能已經變成了“老板覺得自己是只屌炸天的咖啡壺”。

      這就完蛋了。

      CEO根據這個離譜的信息做出的決策,肯定是災難性的。

      在AI里,這個現象有個高大上的名字,叫梯度消失。

      說人話就是,信號在深層網絡里傳來傳去,衰減得一干二凈,腦子直接短路了,這破活干不了一點了。

      然后呢,就在整個AI界都對著這現象一籌莫展的時候,當時還在微軟的何愷明,就站了出來。


      他做了一個看似簡單,卻直接改變世界的決定。

      他在大樓里,修了一部VIP直達電梯。

      這部電梯,從一樓前臺,可以直達任何一個樓層,包括頂樓的CEO辦公室。

      于是,流程變成了這樣。

      客戶需求文件進來后,依然需要一層一層地坐樓梯往上爬,接受各個部門的加工,但與此同時,前臺會把這份文件的原件復印件,放進這部VIP電梯,直接嗖地一下,送到CEO的辦公桌上。

      這樣一來,CEO在看下面部門交上來的那份可能已經被傳得面目全非的報告時,他可以隨時拿起旁邊那份原件復印件來對比一下。

      “哦,底下人說老板是咖啡壺,但原件說的是老板想喝咖啡,那肯定是底下人傳話傳錯了”。

      信息,就這樣被保真了。

      這部天才的電梯,就是殘差連接(Residual Connection)。


      它像一根定海神針,貫穿了整棟大樓,讓最原始的信息可以在不同樓層間無損穿梭,時刻校準著整個公司的前進方向。

      可雖然這部電梯很偉大,但它也有一個致命的毛病。

      就是,它太TM窄了,它是一部只能容納一個人的小電梯,一次只能送一份文件。

      時間快進到今天,AI公司已經不是當年那個只處理文字需求的小作坊了。

      它成了一個要處理圖片、視頻、音頻、代碼的超級巨無霸。

      CEO每天要處理的信息,從一份文件,變成了一卡車的資料。

      只靠一部小小的VIP電梯來回送復印件,運力嚴重不足。

      這條曾經的VIP電梯,現在成了全公司最堵的羊腸小道。

      咋辦呢。

      于是,一群更激進更年輕的大佬,一拍桌子說,靠,一部電梯不夠,咱們把整面墻都砸了,修一個電梯井吧,把一條單行道,直接拓寬成雙向八車道,讓信息流淌起來不就完了?

      這個狂野的想法,就是超連接(Hyper-Connections)。

      來自2024年字節Seed發的一篇論文。


      以前,信息是一條單線流動的信息流。

      現在,他們把這條信息流,強行擴容成了四條、八條并行的信息流VIP電梯。這就好比以前公司里只有一個信使,現在搞了一個8人信使送貨團,8個人一起拎著大包小包一起送信。

      這下牛逼壞了,信息通量瞬間指數級暴增,模型的性能也確實立竿見影,蹭蹭往上漲。

      你看,電梯多了,聰明的智商又占領高地了,對吧。

      但是,但是又來了。

      就像所有恐怖故事的開頭一樣,好景不長。

      這條寬闊的八車道VIP電梯,很快就開始鬧鬼了。

      你想啊,這個8兄弟,他們是人,不是機器。

      他們在路上會互相聊天,會交流情報,人多嘴雜,就導致他們不再是單純地傳遞信息,這幾個人,開始在信息流里自由發揮了。

      于是,各種詭異的事情發生了。

      就比如說,一樓前臺收到消息說市場部小王今天可能要請假。

      信使A聽了,覺得這事兒挺重要,告訴了信使B。

      信使B覺得可能這個詞不確定,就跟信使C說市場部小王今天要請假。

      信使C一琢磨,覺得得強調一下嚴重性,就跟信使D說市場部整個組今天都要罷工。

      最后傳到CEO耳朵里,就變成了:

      市場部全體員工已經卷款跑路了!!!

      CEO:????????

      一個無關緊要的小信息,在多條信道里被反復共振、放大,最后釀成了一場災難。

      這就是,信號爆炸。

      再比如,一份十萬火急的服務器著火了的文件,被分成了八份,交給八個信使,讓每個信使都去送信。

      但是呢,每個信使都覺得,這么重要的事,其他七個人肯定會送到的,我不如出去掙個外快先去送個外賣。

      結果,誰都沒送。公司直接燒成了灰。

      這就是信號消失。

      整個公司的信息系統,陷入了一片混亂。

      這就導致,模型訓練到12000步的時候,突然性能就斷崖式下跌,跟跳樓似的,比心電圖還心電圖。


      這模型就算廢了,直接訓崩了。

      這就是HC技術最大的命門。

      它為了追求信息通量,犧牲了信息的保真度和穩定性。

      好了,鋪墊了這么久,DeepSeek的mHC終于要登場了。


      對,我們今天的主角,是mHC。

      只不過為了讓大家理解,mHC到底為了解決什么問題,所以,花了這么大的篇幅,給大家講了背景故事。

      mHC,全稱Manifold-Constrained Hyper-Connections,流形約束超連接。

      注意這個詞,約束。

      DeepSeek他們干了個啥事呢,他們沒有開掉那幾個信使,也沒有砸掉電梯說勞資要用火箭送用個鬼的電梯。

      他們只是給這個8人送信小隊,制定了一套極其嚴格、甚至有點變態的信息傳遞紀律。

      這套紀律的核心,在論文里叫雙重隨機矩陣約束。

      咱們還是說人話,舉例子。

      你可以理解為,他們設立了一個叫做內部審計部,由一個究極不近人情的德國老太太領導,權力大到嚇人。

      這個審計部咧,給每個信使都發了一本小冊子,上面印著兩條鐵律。

      第一條鐵律,我們稱為信息能量守恒定律: 作為一個信使,你從上一站收到的所有信息,其信息能量總和為100%。那么在你把信息傳遞給下一站的隊友時,你傳遞出去的所有信息的信息能量總和,也必須不多不少,正好是100%。

      回到上面信息爆炸那個案例。就比如說,信使A收到了小王請假這個信息,我們假設它的信息能量是10個單位。

      這時候,信使A想添油加醋告訴信使B一個更夸張的版本。

      但審計部的系統會立刻報警,因為信使A私自加信息了,導致他的輸出能量(比如20個單位)大于了他的輸入能量(10個單位)。

      他這是在無中生有暗度陳倉順手牽羊,嚴重違反了信息能量守恒定律,結果就會是,信使A當場被開除。

      在這套鐵律下,信使們依然可以交流,但任何放大和夸張的行為,都會在數學上被立刻識別并禁止。

      謠言的傳播鏈,從根上就被斬斷了,信號爆炸的問題,就此解決。

      第二條鐵律,我們稱為團隊責任綁定定律:對于任何一個需要被送達的信息,比如服務器著火這份文件,最終抵達目的地的信息能量總和,必須不多不少,正好等于它出發時的信息能量總和。

      就比如還是剛剛的那個服務器著火的事。

      信使A想:“這么多人呢,我不送也沒事吧?” 于是他選擇了摸魚,他貢獻的信息能量是0。

      信使B也想:“總有傻子會送的。” 他的貢獻也是0。。。

      如果八個人都這么想,那么最終抵達CEO辦公室的,關于服務器著火的信息能量總和就是0。

      審計部的系統立刻就會拉響最高級別的警報,因為它發現出發時明明是100單位的能量,抵達時卻變成了0。根據團隊責任綁定定律,整個信使團隊都將面臨重罰。

      為了避免這種情況,信使們就必須互相補位。如果A不干,B、C、D……就必須分攤他的工作,因為最終的那個總和是死命令,必須湊夠。

      責任擴散的可能性,在數學上就被杜絕了。

      信息,必須被送達。

      信號消失的問題,也就此解決。


      這兩條鐵律合在一起,就是所謂的雙重隨機矩陣約束。

      它沒有禁止信使們交流,八車道高速公路依然車水馬龍,信息依然可以在其間自由組合。

      但所有的自由,都被約束在了一個能量守恒的流形之內。

      這就是mHC的精髓。

      在這約束之下,給你自由。

      那最后的終極問題來了,這玩意,解決了HC的不穩定問題之后,到底有什么用?

      我先說兩個數字。

      第一個,就是這套所謂的審計系統,會帶來大概6.7%的額外訓練開銷。

      第二個,就是在能力上,確實有部分提升,相對HC額外多出約2個點。


      看著是不是好像有點投入產出不成正比?這生意聽起來,好像有點虧啊。

      但是,別被表面騙了。

      在模型訓練里,還有一個很核心的詞,叫穩定性。

      比如之前HC架構的那個公司,會有各種信息爆炸的問題,如果我原來的信息能量初始值是1,在信息傳遞過程中,最高的時候,信息能量到CEO辦公室的時候,能干到3000。

      你就能想象到,有多失真。

      這個恐怖的失真,有時候就直接變成了摧毀模型訓練的一場風暴。

      而DeepSeek的mHC。

      在鐵律之下,幾乎全部做到了100%保真,最高也不過才1.6。


      3000:1.6。

      直接降低了3個數量級,對,不是3倍,是3個,數量級。

      這就是mHC,最牛逼的地方,太尼瑪嚇人了。

      而這個穩定性,帶來的好處,顯而易見。

      它用額外6.7%的開銷成本,讓你模型訓練瞬間崩盤的3000倍的系統性風險,直接摁死到了可以忽略不計的1.6倍。

      要知道,模型訓練,太貴了,對于一家AI公司來說,訓模型每一秒燒掉的錢都是觸目驚心的。

      任何一次過程中訓練的崩盤,那損失的,就不只是6.7%的額外開銷了,那是100%的建造成本,所有的一切,全特么重頭再來。

      有可能就是數千萬的成本,還有好幾周的時間。

      這就是HC系統那個心電圖背后,極高的、不可預測的、災難性的失敗風險。

      他確實提高了模型的效率,但是這個不穩定性,幾乎很難接受。

      現在,我們再回來看mHC那6.7%的額外開銷。

      你現在還覺得它貴嗎?

      你把他當一份保險看,你就覺得,一丁點也不貴了。

      僅僅6.7%的額外開銷,就能為一項千萬美元級別的投資提供近乎百分之百的安全保障,這在任何一個金融模型里,都是一筆劃算到笑出聲的買賣。

      而且,性能還是更強的,這買賣,好到離譜好吧。

      穩定、高效、還更強。

      這三者通常是一個不可能三角,你只能取其二。

      而mHC,用一個精巧的數學設計和極致的工程優化,把這三者全占了。

      這就是為什么我說,這篇論文雖然低調,但意義重大。

      DeepSeek。

      真的就是我們這個AI時代的真神。

      每一篇論文,都能給行業,一些小小的震撼。

      贊美真神。

      以上,既然看到這里了,如果覺得不錯,隨手點個贊、在看、轉發三連吧,如果想第一時間收到推送,也可以給我個星標?~謝謝你看我的文章,我們,下次再見。

      >/ 作者:卡茲克

      >/ 投稿或爆料,請聯系郵箱:wzglyay@virxact.com

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      劉青山處決前夕被嚇傻,當聽清楚行刑前的措施后,感動地嚎啕大哭

      劉青山處決前夕被嚇傻,當聽清楚行刑前的措施后,感動地嚎啕大哭

      史之銘
      2026-01-20 03:27:11
      不上市的字節,正在改寫中國互聯網的戰爭規則

      不上市的字節,正在改寫中國互聯網的戰爭規則

      新浪財經
      2026-02-15 23:17:51
      除夕當天,安徽通報:魏學林被查

      除夕當天,安徽通報:魏學林被查

      上觀新聞
      2026-02-16 21:47:10
      “收費時代”來了?原本免費的東西開始收費,網友:是搶瘋了嗎?

      “收費時代”來了?原本免費的東西開始收費,網友:是搶瘋了嗎?

      復轉小能手
      2026-02-14 22:21:17
      中國收到以色列警告,稱若協助伊朗發展核武器,將面臨災難性后果

      中國收到以色列警告,稱若協助伊朗發展核武器,將面臨災難性后果

      紀中百大事
      2026-02-16 11:29:14
      痛心!10歲男童吃豬腳卡喉身亡,母親:為何一口肉要了他的命

      痛心!10歲男童吃豬腳卡喉身亡,母親:為何一口肉要了他的命

      環球網資訊
      2026-02-15 11:31:16
      炸裂!王菲出席春晚,助理提裙被攔下,王菲當場扯掉走人,太酷了

      炸裂!王菲出席春晚,助理提裙被攔下,王菲當場扯掉走人,太酷了

      淡淡稻花香s
      2026-02-15 02:15:28
      為什么領導很少生病請假,總是精力充沛?主要有這4點

      為什么領導很少生病請假,總是精力充沛?主要有這4點

      細說職場
      2026-02-11 17:27:08
      離岸人民幣兌美元上漲176.0個基點,報6.8835

      離岸人民幣兌美元上漲176.0個基點,報6.8835

      每日經濟新聞
      2026-02-17 06:56:04
      春晚魔術火了,有人提前押中春晚魔術,鄧男子這套是魔法還是代碼

      春晚魔術火了,有人提前押中春晚魔術,鄧男子這套是魔法還是代碼

      新金牌娛樂觀察家
      2026-02-17 09:08:23
      退休后的同學聚會,撕開了“體制內”和“體制外”的那層遮羞布

      退休后的同學聚會,撕開了“體制內”和“體制外”的那層遮羞布

      朗威談星座
      2026-02-17 03:51:37
      特朗普下達最后通牒,要臺當局立即付1.25萬億,否則取消對臺軍售

      特朗普下達最后通牒,要臺當局立即付1.25萬億,否則取消對臺軍售

      音樂時光的娛樂
      2026-02-17 11:14:55
      高市早苗大獲全勝之后,我們一些人真該好好反思

      高市早苗大獲全勝之后,我們一些人真該好好反思

      少年一白
      2026-02-11 02:54:53
      王菲六登春晚,獻唱《你我經歷的一刻》,水滴鉆石耳環再次出圈

      王菲六登春晚,獻唱《你我經歷的一刻》,水滴鉆石耳環再次出圈

      可樂談情感
      2026-02-16 22:32:46
      西甲-丟掉榜首!亞馬爾失點+失單刀 巴薩1-2遭赫羅納絕殺

      西甲-丟掉榜首!亞馬爾失點+失單刀 巴薩1-2遭赫羅納絕殺

      見聞新視野
      2026-02-17 11:04:22
      回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

      回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

      就一點
      2025-11-22 10:36:39
      豐田章男:如果只造我喜歡的車,那就只有GR卡羅拉和GR雅力士

      豐田章男:如果只造我喜歡的車,那就只有GR卡羅拉和GR雅力士

      IT之家
      2026-02-14 15:11:08
      這就是回家要脫褲子才能上床的原因!網友:看完天都塌了!

      這就是回家要脫褲子才能上床的原因!網友:看完天都塌了!

      夜深愛雜談
      2026-02-07 19:05:55
      王毅警告日本后,新加坡對日態度大變,高市突然給全體華人拜年

      王毅警告日本后,新加坡對日態度大變,高市突然給全體華人拜年

      東極妙嚴
      2026-02-17 09:08:55
      軟件崩完物流崩!AI正在血洗股市,普通人只剩這一條活路

      軟件崩完物流崩!AI正在血洗股市,普通人只剩這一條活路

      侃故事的阿慶
      2026-02-16 22:18:13
      2026-02-17 12:24:49
      數字生命卡茲克 incentive-icons
      數字生命卡茲克
      反復橫跳于不同的AI領域,努力分享一些很酷的AI干貨
      461文章數 539關注度
      往期回顧 全部

      科技要聞

      春晚這些機器人是怎樣做到的?

      頭條要聞

      蔡磊一家三口出鏡送祝福 兒子將手放在他手上輕輕撫摸

      頭條要聞

      蔡磊一家三口出鏡送祝福 兒子將手放在他手上輕輕撫摸

      體育要聞

      谷愛凌:'不小心"拿到了銀牌 祝大家馬年大吉

      娛樂要聞

      春晚三大感人瞬間:周深于和偉上榜

      財經要聞

      大年初一,這三件事很不尋常

      汽車要聞

      問界M6更多信息:乾崑智駕ADS4.0+鴻蒙座艙5.0

      態度原創

      家居
      本地
      旅游
      房產
      公開課

      家居要聞

      中古雅韻 樂韻伴日常

      本地新聞

      春花齊放2026:《駿馬奔騰迎新歲》

      旅游要聞

      和縣光影秀點亮新春佳節

      房產要聞

      三亞新機場,又傳出新消息!

      公開課

      李玫瑾:為什么性格比能力更重要?

      無障礙瀏覽 進入關懷版