![]()
新智元報道
編輯:桃子
【新智元導讀】太突然了!馬斯克xAI核心架構師、聯創之一楊格宣布離職,轉任非正式顧問。他首次公開長期與「萊姆病」斗爭的經歷,等到滿血復活再復出。
馬斯克痛失一員大將!
xAI聯合創始人、Grok核心架構師Greg Yang(楊格)突然爆料,自己一直在遭受「萊姆病」的折磨。
最終,他決定辭去xAI創始人一職,退居幕后轉為非正式的「顧問」角色。
![]()
一直以來,在個人主頁中,Greg Yang都自稱是「xAI的數學家」。
不僅如此,他被視為馬斯克打造「理解宇宙AI」這一愿景背后的關鍵數學架構師。
![]()
對于xAI來說,又損失了一位骨干成員。不過,非正式顧問角色,意味著團隊可以在重大問題上求助Greg。
評論區中,馬斯克和同事們為Greg Yang早日康復送上了祝福。
![]()
![]()
數學天才,突患「萊姆病」
萊姆病(Lyme disease)是出了名的難確診,好在Greg Yang遇到了一位非常棒的醫生。
這一切,都要從2025年說起,當時Greg生了一場病后,卻發現——
哪怕在「痊愈」好幾周后,自己也能明顯感到精力大不如前,創造力下降,做事的勁頭(agentic)也變差了。
那之后身體狀況時好時壞,但每一次低谷都比上一次陷得更深。
只是不小心吃錯了點東西就會極度疲憊,得緩好幾天才能恢復。甚至,健個身全身都會虛脫好幾天。
據他透露,有一周,每天即便是睡12個小時,也還是緩不過來。
就診之后,醫生堅定認為這些癥狀絕非個人心理作用,而是免疫系統出了問題。
經過幾輪像破案一樣的檢查,終于確診了萊姆病。
![]()
關于慢性萊姆病,目前的醫學文獻和公眾認知都還不夠。對于身患此病的人來說,這是一場孤獨的戰斗
這是一種由蜱蟲叮咬引起的細菌感染,傷口會像靶心一樣紅腫。幸好發現得及時,若是五六十歲才發現,可能讓人完全喪失行動能力,甚至臥床不起。
Greg得知后非常驚訝,甚至完全不記得自己被咬過。
他表示,很可能感染早已存在,只是在最近在xAI工作導致免疫力下降,癥狀才爆發出來。
幾乎所有人都是,只有在自己身體垮掉之后,才知道健康的重要性。
關于這次生病,Greg回想起有人曾對他說「你不該把自己逼得那么緊」,很慶幸他真的這么做了,才盡早發現了問題。
現在要緊的是,讓身體慢慢恢復,等滿血復活,就能以更猛的狀態繼續拼。
![]()
師從丘成桐,馬斯克首席AI腦
Greg Yang是典型的數學天才,也是馬斯克最青睞的那類「硬核極客」。
他出生于湖南,初中時期隨父母移居美國。
學歷背景這塊,他曾獲得了哈佛大學的數學學士學位,師從數學巨擘丘成桐。
![]()
他曾獲得過本科數學最高榮譽之一的Morgan Prize,以及Putnam Fellow(普特南數學競賽)優勝者。
有趣的是,Greg Yang在XSpaces聊天中曾透露,在哈佛讀本科期間,有過一段休學經歷。
那段時間,他轉型成為DJ和回響貝斯音樂制作人。最終意識到,自己終極理想不在于DJ,而是數學。
再之后,他又拿下了哈佛大學計算機科學碩士學位。
![]()
畢業后,他沒有按部就班地讀完博士學位,反而直接進入了微軟研究院(MSR)這一全球頂級AI殿堂,任高級研究員。
這期間,Greg完成了Tensor Programs系列論文,奠定了他在AI界的理論地位。
這么說吧,Greg Yang在AI界最著名的身份是Tensor Programs「理論之父」。他的研究試圖將深度學習從「煉金術」,轉變為一門嚴謹的「科學」。
![]()
以往,訓練超大模型如GPT-3,調參極其昂貴,所以人們不敢在大模型上反復試錯。
他于是提出了一個mμP(Maximal Update Parameterization)的技術。
這讓研究人員在很小的模型(比如幾百萬參數)上調好參數,然后零樣本(Zero-Shot)直接遷移到幾十億、上千億參數的大模型上,且實現效果最優。
![]()
創辦xAI后,Greg Yang繼續延續了自己在Tensor Programs的工作。2023年10月,第四個系列論文出世。
![]()
這篇論文做了幾件事兒——
它討論深殘差網絡在「先無限寬、再無限深」的極限下,如何分類不同的深度參數化。
他提出并證實了Depth-μP參數化,可以讓深度方向也能做超參遷移。
![]()
總言之,Tensor Programs的實踐意義之一就是讓「極大模型的超參可以從小模型遷移」,把理論與工程調參成本直接掛鉤。
這為xAI節省了天文數字般的算力成本。
沒有這項技術,Grok這種級別的模型訓練成本將高出許多倍。
在個人主頁上,Greg Yang毫不掩飾自己的野心——建立一個大規模深度學習的統一理論,該理論能夠:
1)告訴我們擴展神經網絡的最佳方式;
2)對這些模型提供強有力的理論理解,從而指導安全性與對齊性的研究工作。
他的離職,對于馬斯克來說,痛失一個能聽懂他的「宇宙狂想」,并將其轉化為可執行代碼的大腦。
外媒稱,過去一年,另外兩名xAI聯合創始人也離開了公司。
![]()
在高層大換血之際,馬斯克還許諾了今年上半年Grok 5的上線,真是有點期待了。
參考資料:
https://x.com/TheGregYang/status/2013652609455006006?s=20
https://thegregyang.com/
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.