黃仁勛：沒有GTX 580顯卡，就沒有現(xiàn)在的英偉達(dá)！

12月8日消息，在最近一期喬·羅根（Joe Rogan）podcast節(jié)目中，英偉達(dá)（Nvidia）首席執(zhí)行官黃仁勛（Jensen Huang）作為嘉賓參與了訪談。黃仁勛表示，深度學(xué)習(xí)的爆發(fā)源于2012年英偉達(dá)使用GTX 580 顯卡的SLI 配置。可以說，沒有GTX 580，就沒有英偉達(dá)今天在AI市場的霸主地位。

深度學(xué)習(xí)是當(dāng)今人工智能（AI）產(chǎn)業(yè)的核心技術(shù)，讓AI能自我學(xué)習(xí)，而這一切的基礎(chǔ)卻是當(dāng)時(shí)并不專門為此設(shè)計(jì)的硬件。黃仁勛指出，最早開發(fā)深度學(xué)習(xí)的研究人員在兩個(gè)配備3GB顯存的GTX 580顯卡上運(yùn)行了世界上第一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)。

這些研究人員來自多倫多大學(xué)，他們的目標(biāo)是改善計(jì)算機(jī)視覺中的圖象檢測。2012年，亞歷克斯·克里澤夫斯基（Alex Krizhevsky）、伊爾亞·蘇茨克維（Ilya Sutskever）和杰弗里·辛頓（Geoffrey Hinton）利用兩張GTX 580顯卡訓(xùn)練了AlexNet模型，這個(gè)模型包含5個(gè)卷積層和3個(gè)全連接層，總計(jì)約6,000萬個(gè)參數(shù)。AlexNet的自動(dòng)特征學(xué)習(xí)能力使其在ImageNet競賽中超越當(dāng)時(shí)的手動(dòng)設(shè)計(jì)算法70%以上，立即引起業(yè)界關(guān)注。

黃仁勛進(jìn)一步指出，AlexNet的開發(fā)者正是利用GTX 580顯卡來構(gòu)建他們的圖象識(shí)別算法。該網(wǎng)絡(luò)經(jīng)過優(yōu)化，可以在兩個(gè)顯卡上運(yùn)行，并且僅在需要時(shí)交換數(shù)據(jù)，可以顯著縮短訓(xùn)練時(shí)間。這使得GTX 580成為世界上第一款運(yùn)行深度學(xué)習(xí)／機(jī)器學(xué)習(xí)AI網(wǎng)絡(luò)的顯卡。

有趣的是，這個(gè)里程碑的達(dá)成之時(shí)，英偉達(dá)在AI領(lǐng)域的投資卻極少。當(dāng)時(shí)，英偉達(dá)公司的大部分圖形研究和開發(fā)都集中在3D圖形和游戲上，GTX 580顯卡專為游戲設(shè)計(jì)，并未具備加速深度學(xué)習(xí)網(wǎng)絡(luò)的先進(jìn)支持。但是，顯卡的固有并行性正是神經(jīng)網(wǎng)絡(luò)快速運(yùn)行所需的。

資料顯示，GTX 580 顯卡基于Fermi 構(gòu)架，擁有512個(gè)CUDA 核心，雖然原本設(shè)計(jì)為高階游戲用途，但其強(qiáng)大的并行計(jì)算能力卻成為深度學(xué)習(xí)快速訓(xùn)練的關(guān)鍵。

黃仁勛還透露，正是因?yàn)锳lexNet及其在GTX 580上的應(yīng)用，英偉達(dá)才開始開發(fā)專門面向AI的GPU。他表示，一旦公司意識(shí)到深度學(xué)習(xí)可以用來解決世界問題，便在2012年將所有資金、開發(fā)和研究投入到深度學(xué)習(xí)技術(shù)中。這個(gè)決策催生了2016年推出的原始Nvidia DGX、首代Tensor核心的Volta構(gòu)架以及DLSS技術(shù)。如果沒有GTX 580運(yùn)行AlexNet，英偉達(dá)今天可能不會(huì)成為AI巨頭。

編輯：芯智訊-浪客劍