![]()
隨著 AI 推理對(duì)內(nèi)存需求的不斷增加和模型復(fù)雜度的持續(xù)提升,開發(fā)者們尋求能夠本地處理這些需求的硬件,同時(shí)不犧牲性能和靈活性。從大型語言模型到生成式工作流,現(xiàn)代 AI 負(fù)載需要具備強(qiáng)大計(jì)算能力和充足顯存的 GPU。
為滿足這一需求,AMD 很高興宣布即將推出搭載 AMD Radeon AI PRO R9700 的工作站系統(tǒng)—這是其面向本地 AI 開發(fā)和高吞吐推理的新型專業(yè)顯卡。該顯卡將于 2025 年 7 月 23 日起,通過專注于定制高性能計(jì)算解決方案的精選 AMD 硬件合作伙伴,提供預(yù)裝的工作站系統(tǒng)。
![]()
突破內(nèi)存瓶頸,性能再造新標(biāo)桿
為加速中大型 AI 模型在本地工作站上的運(yùn)行,AMD Radeon AI PRO R9700 配備了 32GB 高速 GDDR6 顯存、先進(jìn)的 RDNA? 4 架構(gòu)及對(duì)現(xiàn)代 AI 數(shù)據(jù)類型的廣泛支持。憑借 64 個(gè)計(jì)算單元、128 個(gè)第二代 AI 加速器,以及對(duì) FP8、FP16 和 INT8 精度的支持,R9700 提供強(qiáng)勁的 TOPS 性能和處理復(fù)雜 AI 任務(wù)所需的多樣化能力。
憑借32GB高速顯存,R9700 可將大型模型完整加載于顯存中,無需依賴系統(tǒng)內(nèi)存,從而實(shí)現(xiàn)更快的推理速度、更高的吞吐量及更廣泛的模型兼容性。在高令牌數(shù)的大型語言模型提示和指令微調(diào)模型等真實(shí)應(yīng)用場(chǎng)景中,其性能可大幅提升。
專為AI專業(yè)人士打造
AMD Radeon AI PRO R9700針對(duì)對(duì)硬件性能有極高要求的AI專業(yè)用戶設(shè)計(jì),特別擅長自然語言處理、文本生成圖像、生成式設(shè)計(jì)等需要大型模型或高顯存流水線的復(fù)雜任務(wù)。無論是進(jìn)行大規(guī)模推理、本地微調(diào),還是支持多模態(tài)工作流,Radeon AI PRO R9700均能提供充足的容量和速度,實(shí)現(xiàn)全程本地運(yùn)算,提升性能、降低延遲,并增強(qiáng)數(shù)據(jù)安全性。
Radeon AI PRO R9700完全兼容AMD ROCm開源軟件平臺(tái),為開發(fā)者提供了強(qiáng)大且可擴(kuò)展的AI與高性能計(jì)算環(huán)境。支持PyTorch、ONNX Runtime和TensorFlow等主流框架,ROCm使用戶能夠高效構(gòu)建、測(cè)試和部署基于R9700的本地AI模型。32GB顯存、RDNA 4架構(gòu)和ROCm 6.4.1的結(jié)合,實(shí)現(xiàn)推理、微調(diào)及定制模型工作流的加速表現(xiàn),使Radeon AI PRO R9700成為追求性能、靈活性和開放標(biāo)準(zhǔn)的AI專業(yè)人士的理想選擇。
憑借緊湊的雙槽設(shè)計(jì)、PCIe 5.0接口及鼓風(fēng)式散熱方案,Radeon AI PRO R9700支持多GPU工作站部署。不同于采用軸流風(fēng)扇設(shè)計(jì)、通常難適配高密度系統(tǒng)的消費(fèi)級(jí)顯卡,R9700的鼓風(fēng)設(shè)計(jì)確保高效的前至后氣流,允許多張顯卡在高性能緊湊環(huán)境中穩(wěn)定運(yùn)行,方便部署并行推理流水線、擴(kuò)展多卡顯存容量及支持更大規(guī)模并發(fā)模型負(fù)載,助力企業(yè)構(gòu)建可靠、高吞吐的本地AI基礎(chǔ)設(shè)施。
通過Radeon Test Drive親身體驗(yàn)Radeon AI PRO R9700
有興趣評(píng)估Radeon AI PRO R9700用于本地AI工作負(fù)載的開發(fā)者, 即將能夠通過Radeon Test Drive項(xiàng)目進(jìn)行體驗(yàn)。該項(xiàng)目旨在幫助技術(shù)用戶探索AMD支持AI的工作站GPU,提供基于AMD Radeon PRO GPU驅(qū)動(dòng)、搭載ROCm 6.4.1環(huán)境的高性能合作伙伴工作站的實(shí)操機(jī)會(huì)。無論是基準(zhǔn)測(cè)試PyTorch等框架,還是評(píng)估本地大型語言模型推理,Radeon Test Drive都是快速、無風(fēng)險(xiǎn)的入門途徑。即刻申請(qǐng)?jiān)L問權(quán)限:www.amd.com/en/developer/resources/cloud-access.html
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.