![]()
12月8日消息,在最近一期喬·羅根(Joe Rogan)podcast節(jié)目中,英偉達(dá)(Nvidia)首席執(zhí)行官黃仁勛(Jensen Huang)作為嘉賓參與了訪談。黃仁勛表示,深度學(xué)習(xí)的爆發(fā)源于2012年英偉達(dá)使用GTX 580 顯卡的SLI 配置。可以說,沒有GTX 580,就沒有英偉達(dá)今天在AI市場的霸主地位。
深度學(xué)習(xí)是當(dāng)今人工智能(AI)產(chǎn)業(yè)的核心技術(shù),讓AI能自我學(xué)習(xí),而這一切的基礎(chǔ)卻是當(dāng)時(shí)并不專門為此設(shè)計(jì)的硬件。黃仁勛指出,最早開發(fā)深度學(xué)習(xí)的研究人員在兩個(gè)配備3GB顯存的GTX 580顯卡上運(yùn)行了世界上第一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)。
這些研究人員來自多倫多大學(xué),他們的目標(biāo)是改善計(jì)算機(jī)視覺中的圖象檢測。2012年,亞歷克斯·克里澤夫斯基(Alex Krizhevsky)、伊爾亞·蘇茨克維(Ilya Sutskever)和杰弗里·辛頓(Geoffrey Hinton)利用兩張GTX 580顯卡訓(xùn)練了AlexNet模型,這個(gè)模型包含5個(gè)卷積層和3個(gè)全連接層,總計(jì)約6,000萬個(gè)參數(shù)。AlexNet的自動(dòng)特征學(xué)習(xí)能力使其在ImageNet競賽中超越當(dāng)時(shí)的手動(dòng)設(shè)計(jì)算法70%以上,立即引起業(yè)界關(guān)注。
黃仁勛進(jìn)一步指出,AlexNet的開發(fā)者正是利用GTX 580顯卡來構(gòu)建他們的圖象識(shí)別算法。該網(wǎng)絡(luò)經(jīng)過優(yōu)化,可以在兩個(gè)顯卡上運(yùn)行,并且僅在需要時(shí)交換數(shù)據(jù),可以顯著縮短訓(xùn)練時(shí)間。這使得GTX 580成為世界上第一款運(yùn)行深度學(xué)習(xí)/機(jī)器學(xué)習(xí)AI網(wǎng)絡(luò)的顯卡。
有趣的是,這個(gè)里程碑的達(dá)成之時(shí),英偉達(dá)在AI領(lǐng)域的投資卻極少。當(dāng)時(shí),英偉達(dá)公司的大部分圖形研究和開發(fā)都集中在3D圖形和游戲上,GTX 580顯卡專為游戲設(shè)計(jì),并未具備加速深度學(xué)習(xí)網(wǎng)絡(luò)的先進(jìn)支持。但是,顯卡的固有并行性正是神經(jīng)網(wǎng)絡(luò)快速運(yùn)行所需的。
資料顯示,GTX 580 顯卡基于Fermi 構(gòu)架,擁有512個(gè)CUDA 核心,雖然原本設(shè)計(jì)為高階游戲用途,但其強(qiáng)大的并行計(jì)算能力卻成為深度學(xué)習(xí)快速訓(xùn)練的關(guān)鍵。
黃仁勛還透露,正是因?yàn)锳lexNet及其在GTX 580上的應(yīng)用,英偉達(dá)才開始開發(fā)專門面向AI的GPU。他表示,一旦公司意識(shí)到深度學(xué)習(xí)可以用來解決世界問題,便在2012年將所有資金、開發(fā)和研究投入到深度學(xué)習(xí)技術(shù)中。這個(gè)決策催生了2016年推出的原始Nvidia DGX、首代Tensor核心的Volta構(gòu)架以及DLSS技術(shù)。如果沒有GTX 580運(yùn)行AlexNet,英偉達(dá)今天可能不會(huì)成為AI巨頭。
編輯:芯智訊-浪客劍
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.