英偉達(dá)在2021年?duì)款^搞的FP8格式,當(dāng)年被吹成"AI訓(xùn)練的未來"。黃仁勛親自站臺,說它能省顯存、提速度,谷歌、Meta、微軟排著隊(duì)簽字支持。4年過去,這標(biāo)準(zhǔn)成了高端卡專屬——RTX 50系游戲顯卡直接不支持,想用得加錢上專業(yè)卡。
FP8的設(shè)計初衷很直白:用8位浮點(diǎn)數(shù)替代16位,模型體積砍半,推理快一倍。但英偉達(dá)留了一手——消費(fèi)級顯卡只給INT8,精度差一檔,速度也慢。開發(fā)者發(fā)現(xiàn),同樣跑Stable Diffusion,用FP8的H100比用INT8的RTX 4090快出40%,價格差了10倍。
「FP8是數(shù)據(jù)中心的功能,游戲卡不需要。」英偉達(dá)技術(shù)文檔里這句話,把個人開發(fā)者堵在門外。更諷刺的是,AMD的RX 7900 XTX反而支持FP8,價格只有RTX 5090的三分之一。一些開源框架開始優(yōu)先優(yōu)化AMD卡,這在五年前不可想象。
黃仁勛上周財報會說"讓AI民主化",但FP8的門檻越筑越高。社區(qū)里有人算了筆賬:用消費(fèi)卡跑大模型,電費(fèi)比云服務(wù)器還貴。英偉達(dá)不是沒技術(shù)下放,RTX 50系的DLSS 4用了更激進(jìn)的幀生成,算力調(diào)度比FP8復(fù)雜得多——只是不想給。
一位在GitHub維護(hù)推理框架的工程師說,他的項(xiàng)目上周收到37個PR,全是繞過英偉達(dá)限制的補(bǔ)丁。沒人再提"生態(tài)共建"了,大家都在找縫鉆。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.