自2018年以來,機器學習公共基準(MLCommons)聯盟一直在舉辦類似人工智能訓練領域奧運會的活動。這項名為MLPerf的競賽由一系列任務組成,用于在預定義的數據集上訓練特定的人工智能模型,使其達到一定的精度。從本質上講,這些任務被稱為基準測試,測試硬件和低級軟件配置的設置情況,以訓練特定的人工智能模型。
各公司每年會匯總提交兩次材料進行競爭,看哪家公司提交的材料能夠最快地訓練模型,材料通常包括中央處理器(CPU)、圖形處理單元(GPU)以及相應的優化軟件。
![]()
毫無疑問,自MLPerf賽事創辦以來,用于人工智能訓練的尖端硬件已經得到了顯著改善。多年來,英偉達發布了4款新一代GPU,這些GPU已經成為了行業標準(英偉達最新一代的Blackwell GPU雖然尚未成為標準,但也越來越受歡迎)。參與MLPerf競賽的各公司也一直在使用更大的GPU集群來處理訓練任務。
不過,MLPerf基準也越來越嚴格。MLPerf的負責人大衛·坎特(David Kanter)表示,這種嚴格程度的提升是通過設計來實現的,基準要跟上行業發展的步伐。“這些基準是為了更有代表性。”他說。
有趣的是,數據表明,大語言模型及其前身的規模增長速度超過了硬件的提升速度。因此,每次引入一個新的基準,最快的訓練時間就會延長。然后,硬件的改進會逐漸縮短執行時間,但下一個基準測試又會導致執行時間延長,然后循環往復。
IEEE Spectrum
《科技縱覽》
官方微信公眾平臺
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.