英偉達CEO黃仁勛與喬?羅根播客對談,重提2012年送芯片給特斯拉(美股代碼:TSLA)首席執行官馬斯克的往事,以及自己童年流落美國、英偉達險些破產的經歷。黃仁勛完整講述內容如下:
2012年,多倫多大學杰弗里?辛頓的實驗室里,他的兩名學生伊利亞?薩茨凱弗和亞歷克斯?克里熱夫斯基做出了一個名為 AlexNet 的模型。這個模型在圖像識別領域的表現,超越了人類過去30年編寫的所有計算機視覺算法。計算機視覺是通往真正人工智能的基石 —— 如果連 “看” 都做不到,就更談不上 “懂” 了。“他們是怎么做到的?就是買了兩張英偉達顯卡回家訓練。” 這兩張顯卡就是 GTX 580,采用了 SLI 雙卡互聯技術。
為什么我們的顯卡能做到這一點?因為我們從1984年起,就一直在研究一種 “全新的計算方式”—— 并行計算。
傳統的 CPU 是按部就班地順序執行指令:第一步、第二步、第三步…… 而我們的做法是把一個問題拆解成幾千個小任務,分配給幾千個計算核心同時處理。這套方法的使用門檻很高,但只要你能把問題轉化為我們發明的 CUDA 格式,你的設備就能瞬間變成一臺超級計算機。
計算機圖形學本身就是 “易并行計算” 的絕佳案例 —— 屏幕上的每個像素原本就互不相關,我們可以同時計算400萬個像素!于是我們把這套超級計算機技術集成到顯卡里,讓游戲玩家能用來玩游戲。
總而言之,伊利亞和亞歷克斯正是用我們這種 “玩家級超級計算機”,做出了震驚世界的 AlexNet。我看到這個成果后就意識到:這絕不僅僅是計算機視覺技術,這東西根本就是一個 “通用函數逼近器”!
什么是通用函數逼近器?上學的時候,老師會給你一個黑盒子,里面藏著一個函數 f(x),你輸入 x,它就會輸出對應的結果。傳統編程需要你自己推導并寫出這個函數公式,比如牛頓第二定律 F = ma,把公式寫進程序里就能解決問題。但深度學習完全不同 —— 你根本不用自己寫公式!你只需要給它大量 “輸入→輸出” 的樣本,它就能自己 “學” 出對應的函數公式。今天能學牛頓定律,明天能學麥克斯韋方程組,后天能學薛定諤方程…… 只要你能提供足夠的輸入和輸出樣本,它幾乎什么都能學會。
當時我們靜下心來思考:“等等,這東西的用途絕不止于圖像識別吧?它可以解決‘世界上所有有輸入、有輸出的問題’!而整個宇宙的運行規律,不就是由無數輸入和輸出的關系構成的嗎?” 在那一刻,我們就知道:這就是人工智能真正迎來爆發的起點。
其實當時有幾個關鍵問題必須解決。比如,我們必須證明這項技術真的能 “規模化” 應用到巨型系統中。當時那篇 AlexNet 的論文,只用了兩張 GTX 580顯卡做 SLI 互聯,對吧?而這套配置,正是你當年玩《雷神之錘》時用的裝備。
所以說,GTX 580 SLI 這套游戲配置,就是把深度學習推上歷史舞臺的 “革命性計算機”。那是2012年,可當時人們還只是拿它來玩《雷神之錘》。
那就是現代人工智能的大爆炸時刻。我們很幸運,因為我們當時正在研發這項技術、這種全新的計算方式。更幸運的是,率先發現這項技術巨大潛力的,居然是一群游戲玩家。而我們也恰好抓住了那個關鍵的瞬間。這有點像《星際迷航》里的 “第一次接觸”—— 瓦肯人必須恰好觀測到地球人啟動曲速引擎的那一刻。如果他們沒有親眼看到那一閃而過的光芒,就永遠不會降臨地球,后續的一切也就不會發生。如果當年我沒有注意到那個瞬間,如果那道象征著突破的 “光芒” 稍縱即逝,如果我們公司沒能抓住這個機遇,那后來會發生什么,誰也無法預料。
我們親眼見證了那個歷史性的時刻,然后通過分析推理得出結論:這是一個 “通用函數逼近器”,絕不僅僅能用來做計算機視覺。只要解決兩個問題,我們就能用它來做任何事情。
第一個問題:我們必須證明這項技術確實具備規模化擴展的能力。第二個問題:世界上永遠不會有足夠多的 “輸入 - 輸出” 樣本,讓我們通過監督學習的方式教會人工智能所有知識。就像你不可能全程監督孩子學會每一件事一樣,數據量會成為制約發展的瓶頸。
我們需要一種 “無監督學習” 的方式,讓計算機能夠自主學習。這個目標在當時還需要好幾年才能實現,但如今無監督學習已經成為現實,人工智能已經可以自主學習了。
為什么人工智能能實現自主學習?因為我們擁有海量的 “正確答案樣本”。最典型的應用就是 “預測下一個詞”。我們收集人類所有的文字數據,把一句話的最后一個詞遮住,或者隨機遮住中間的某個詞,讓模型不斷猜測,直到猜對為止。比如 “瑪麗去了 bank”,這里的 bank 指的是河岸還是銀行?單看這句話無法判斷,但如果后面加上 “釣了一條魚”,就能確定指的是河岸了。我們把幾十億個這樣的句子輸入給模型,讓它自己從中找出語言規律。這就是無監督學習的由來。
當 “可規模化” 和 “無監督學習” 這兩個關鍵概念同時落地時,我們就下定決心:要把所有資源都投入到這項技術中。它將幫助人類解決一大堆此前從未攻克過的難題。那一年,是2012年。
到了2016年,我造出了全球第一臺真正為深度學習量身打造的超級計算機 ——DGX-1。
黃仁勛當年送給馬斯克的那臺設備叫 DGX Spark,其實是后來推出的迷你版本。第一代 DGX-1的售價高達30萬美元,光是研發成本就耗費了英偉達幾十億美元。
它不再是簡單的雙卡 SLI 互聯,而是通過 NVLink 技術,將8張當時性能最強的 GPU 連接在一起,本質上就是 “超級增強版的 SLI 互聯技術”。
我在 GTC 大會上第一次公開展示 DGX-1時,全場鴉雀無聲,沒有人能聽懂我在講什么。
當時我和馬斯克已經認識很久了,我們曾幫他研發過 Model S、Model 3的車載電腦,還打造了第一代全自動駕駛(FSD)電腦。
DGX-1發布后,全球范圍內沒有收到一張訂單,沒有一個人愿意買 —— 除了馬斯克。
我們圍坐在壁爐旁聊天時,他突然說:“我有一個非營利組織,可能真的非常需要這樣一臺超級計算機。” 聽到這話,我當時心都涼了…… 耗費幾十億美元研發的產品,每臺售價30萬美元,結果第一個客戶居然是一家非營利組織?
NVDA|黃仁勛的傳奇一生:9歲流落美國 兩次瀕臨破產、靠200美元買書給員工救活公司 砸幾十億美元研發卻無人問津、只有馬斯克下單
我親手組裝了第一臺 DGX-1,打包好后開車送到舊金山,送到 OpenAI 當時那個狹小的辦公室。那是在二樓,一間比你現在所處的房間還要小的屋子,彼得?蒂爾、伊利亞?薩茨凱弗等一群人都在那里。
那就是 OpenAI 的起點,那一年是2016年。
DGX-1的算力是1 petaflops(千萬億次浮點運算 / 秒),9年后推出的 DGX Spark 算力同樣是1 petaflops,但體積只有一本書那么大,售價僅為4000美元。這就是科技進步的速度。
1993年英偉達創立時,我們的目標就是研發一種全新的計算架構,用來解決普通計算機無法攻克的難題。但問題來了:我們的 “殺手級應用” 在哪里?當時所有已有的應用程序,普通 CPU 都能處理,否則這些應用根本不會被開發出來。我們寫下的使命宣言,在當時看來幾乎 “不可能實現”,但1993年的我對此一無所知,只覺得這個目標聽起來很酷。
那時候《毀滅戰士》《雷神之錘》都還沒問世,約翰?卡馬克也還沒發明第一人稱射擊游戲。我專程跑到日本去找世嘉公司,因為當時只有街機廳才有真正的3D 游戲 —— 比如《VR 戰士》《夢游美國》。這些街機使用的3D 芯片,居然是從軍用飛行模擬器上拆下來的,價格極其昂貴。我當時就想:我們能不能把這種級別的3D 畫面,集成到家用電腦里?
于是我們和世嘉公司簽下了人生中的第一份大合同:“你們負責把街機游戲移植到電腦平臺,我們來幫你們研發下一代主機的芯片。” 這筆錢,救了英偉達的命。
結果研發了兩年后我們才發現,我們選定的三項核心技術路線全部走錯了:
別人用三角形構建3D 圖形,我們卻用二次曲面;別人用 Z 緩沖技術自動排序圖形層級,我們卻讓程序手動排序;別人用逆向紋理映射技術,我們卻用正向紋理映射…… 三個最關鍵的技術決策,全部出錯。1995年年中,我們成了 “起跑最快,卻滿盤皆輸” 的那個失敗者。
當時硅谷大概有50家3D 顯卡初創公司,所有人都選對了技術路線,只有我們一敗涂地。公司瀕臨破產,還欠著世嘉公司一款主機芯片的研發任務。我飛到日本去見世嘉社長入交昭一郎,當時33歲的我,滿臉青春痘,瘦得像根竹竿,面對著這位頭發花白的長輩說:“我要告訴你一個壞消息:我們承諾給你的技術,根本做不出來,我們的路線完全錯了,繼續研發只會浪費你的錢。我建議你找其他公司合作…… 但我還是需要你最后再投500萬美元,不然我們公司明天就會破產。就算你投了這500萬美元,也極有可能血本無歸。”
他考慮了兩天,然后回復我說:“我投。” 理由很簡單,“就因為喜歡你這個年輕人”。
如果他當年把那500萬美元用來購買英偉達的股票,到今天大概能值1萬億美元吧?可惜英偉達上市后,他們就把股票全部拋售了,當時公司的市值只有3億美元。
拿到500萬美元的救命錢后,我們依然不知道該如何把技術做對。我們裁掉了主機芯片研發團隊的所有成員,公司最后只剩下幾十個人。我拿著兜里僅剩的200美元,去書店買了3本硅谷圖形公司(SGI)的3D 圖形技術 “圣經”,分給三位架構師:“去把這些書讀懂,然后我們再來拯救公司。” 結果他們讀完書后,把 SGI 的通用技術方案全部拆解,只保留了 “游戲領域最需要的那一小部分”,并直接把這些功能硬編碼到芯片里。就這樣,一張售價幾百美元的顯卡,圖形處理速度居然追平了價值百萬美元的 SGI 工作站。這就是現代 GPU 的起源。
我們還做了一個關鍵決策:不追求 “滿足所有3D 應用需求”,只專注于一件事 —— 游戲。我們砍掉了所有針對 CAD 設計、飛行模擬器的復雜功能,把所有資金都投入到 “玩家最關心的圖形畫質” 上。這就是 GeForce 顯卡的誕生歷程。
后來我們要研發 RIVA 128這款救命芯片,但公司的資金已經快耗盡了。我聽說有家公司研發了一款 “硬件模擬器”,可以先在模擬器上完整運行驅動程序,確認沒有漏洞后再送去芯片廠流片。我們拿出了公司剩余資金的一半 ——50萬美元,去購買這款模擬器 —— 結果對方說:“我們公司已經破產了,倉庫里剛好還剩最后一臺。” 買下這臺模擬器后,我們的芯片實現了 “一次流片成功”。這套 “先在模擬器上驗證” 的流程,后來成了全世界芯片公司的標準操作流程。
芯片流片那天,我打電話給臺積電創始人張忠謀:“我要直接量產這款芯片,我確定它一定會成功。” 張忠謀選擇相信并支持我。RIVA 128顯卡橫空出世,英偉達也成為了史上從創立到營收突破10億美元速度最快的公司。
那段時間,我總覺得整個世界都在飛速旋轉,完全失控。就算躺在床上,也依然感覺天旋地轉,內心充滿了極度的焦慮。這種感覺,這輩子大概也就經歷過那么幾次。
而現在,33年過去了,我每天早上醒來都是這種感覺。那種脆弱感、不確定感、不安全感 —— 從來沒有離開過我。我對失敗的恐懼,遠遠超過了對成功的渴望。
因為我并不貪婪,我只想讓公司活下去。我也算不上野心勃勃,我只是想讓公司生存下來、讓我們的團隊做出有影響力的事業。
我每天醒來的第一件事,就是凌晨4點起床,查看幾千封郵件,日復一日,從未間斷,包括感恩節、圣誕節在內的所有節假日。我對 “度假” 的定義是 “和家人待在一起”,但就算度假,我也依然會工作。我的孩子們也都在英偉達工作,同樣每天辛勤忙碌。我們一家人,似乎都帶著 “吃苦耐勞的基因”。
我9歲、哥哥11歲那年,父母把我們從泰國送到了美國(當時泰國發生政變,街上隨處可見坦克)。我們寄住在素未謀面的叔叔家里,后來叔叔幫我們找到了肯塔基州最貧困的一個縣 —— 那里有一所名為奧尼達浸禮會學院的寄宿學校。這所學校專門招收 “問題少年” 和國際學生,學校里100% 的學生都抽煙、帶刀,我的室友17歲,身上滿是剛縫好的刀傷。我9歲時的雜務,就是打掃100間男生宿舍的廁所。那個地方,如今是美國阿片類藥物危機的重災區,在當時是全美最貧困的縣,直到今天依然如此。
我們和父母聯系的方式,是用一臺卡帶錄音機。每個月我們都會錄下 “這個月我們做了什么”,然后寄回泰國,父母再錄下他們的話寄回來。就這樣,我們有整整兩年沒有聽過父母的聲音。我還曾在錄音帶里興奮地說:“爸爸媽媽!我們今天去了一家超厲害的餐廳,整間店亮晶晶的,就像未來世界一樣,食物都裝在盒子里,漢堡超級好吃!”—— 那家餐廳,其實就是麥當勞。
這就是我的美國夢。我是第一代實現美國夢的移民。很難讓人不熱愛這個國家。
“我當年執意研發 CUDA 技術,導致公司股價暴跌,市值一度只剩20到30億美元 —— 因為加入 CUDA 功能后,顯卡成本翻倍,卻沒人愿意買。但如果我們明明相信這就是未來的方向,卻選擇什么都不做,那我們會后悔一輩子。” 結果,CUDA 技術徹底改變了世界。
很多人以為成功的人每天都過得很快樂,其實并非如此。成功的路上,充滿了孤獨、痛苦、羞辱、質疑和嘲笑。但 “吃苦是這段旅程的必經之路”。如今我所擁有的一切感恩、自豪和珍貴回憶,都是從那些痛苦的經歷中孕育出來的。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.