AMD 首席執(zhí)行官蘇姿豐(Lisa Su)博士展示AMD Instinct MI325X加速器

基于AMD CDNA 3架構，AMD Instinct MI325X加速器專為卓越的性能和效率而設計，適用于要求苛刻的AI任務，包括基礎模型訓練、微調（fine-tuning）和推理。這些產品使AMD客戶和合作伙伴能夠在系統(tǒng)、機架和數(shù)據(jù)中心級別創(chuàng)建高性能和優(yōu)化的人工智能解決方案。

“AMD將繼續(xù)按照我們的路線圖，為客戶提供他們所需的性能和選擇，以更快的速度將人工智能基礎設施大規(guī)模推向市場?！盇MD數(shù)據(jù)中心解決方案業(yè)務部執(zhí)行副總裁兼總經理Forrest Norrod表示：“憑借新的AMD Instinct加速器、EPYC處理器和AMD Pensando網(wǎng)絡引擎，我們開放軟件生態(tài)系統(tǒng)的持續(xù)增長，以及將所有這些整合到優(yōu)化的人工智能基礎設施中的能力，強調了構建和部署世界級人工智能解決方案的關鍵專業(yè)知識?！?/p>

AMD數(shù)據(jù)中心解決方案業(yè)務部執(zhí)行副總裁兼總經理Forrest Norrod

AMD Instinc MI325X擴展領先的AI性能

AMD Instinct MI325X加速器提供業(yè)界領先的內存容量和帶寬，256GB的HBM3E支持6.0TB/s，比H200增加1.8倍的容量和1.3倍的帶寬。與H200相比，AMD Instinct MI325X的峰值理論FP16和FP8計算性能也提高了1.3倍。

AMD Instinct MI325X加速器

這種領先的內存和計算可以在FP162的Mistral 7B上提供高達1.3倍的推理性能，在FP83的Llama 3.1 70B上提供1.2倍的推理性能，在H200的FP16的Mixtral 8x7B上提供1.4倍的推理性能。

AMD Instinct MI325X加速器目前正按計劃于2024年第四季度投產，預計從2025年第一季度開始，將有廣泛的平臺供應商提供系統(tǒng)，包括戴爾科技（Dell Technologies）、Eviden、技嘉（Gigabyte）、惠普企業(yè)（Hewlett Packard Enterprise）、聯(lián)想、超微（Supermicro）等。

AMD繼續(xù)其對年度路線圖節(jié)奏的承諾，預覽了下一代AMD Instinc MI350系列加速器?；贏MD CDNA 4架構，AMD Instinct MI350系列加速器的推理性能比基于AMD CDNA 3的加速器提高了35倍。

AMD Instinc MI350系列將繼續(xù)推動內存容量的領先地位，每個加速器高達288GB的HBM3E內存。AMD Instinct MI350系列加速器有望在2025年下半年上市。

AMD下一代AI網(wǎng)絡

AMD正在利用最廣泛部署的超大規(guī)模可編程DPU為下一代人工智能網(wǎng)絡提供動力。AI網(wǎng)絡分為兩個部分：前端，向AI集群提供數(shù)據(jù)和信息，后端，管理加速器和集群之間的數(shù)據(jù)傳輸，對于確保CPU和加速器在AI基礎設施中得到有效利用至關重要。

為了有效地管理這兩個網(wǎng)絡，并在整個系統(tǒng)中推動高性能、可擴展性和效率，AMD為前端引入了AMD Pensando Salina DPU，為后端引入了AMD Pensando Pollara 400，這是業(yè)界首款支持超以太網(wǎng)聯(lián)盟(UEC)的AI網(wǎng)卡。

世界上性能最高的第三代可編程DPU–AMD Pensando Salina DPU

AMD Pensando Salina DPU是世界上性能最高的第三代可編程DPU，與上一代相比，性能、帶寬和規(guī)模提高了兩倍。AMD Pensando Salina DPU支持400G吞吐量，可實現(xiàn)快速數(shù)據(jù)傳輸速率，是AI前端網(wǎng)絡集群的關鍵組件，可為數(shù)據(jù)驅動的AI應用優(yōu)化性能、效率、安全性和可擴展性。

業(yè)界首款支持uec的AI網(wǎng)卡AMD Pensando Pollara 400

AMD Pensando Pollara 400采用AMD P4可編程引擎，是業(yè)界首款支持UEC的AI網(wǎng)卡。它支持下一代RDMA軟件，并以開放的網(wǎng)絡生態(tài)系統(tǒng)為后盾。AMD Pensando Pollara 400對于在后端網(wǎng)絡中提供加速器到加速器通信的領先性能、可擴展性和效率至關重要。

AMD Pensando Salina DPU和AMD Pensando Pollara 400都將在2024年第四季度向客戶提供樣品，并有望在2025年上半年上市。

AMD AI軟件為生成式AI提供新功能

AMD繼續(xù)在驅動軟件功能和開放生態(tài)系統(tǒng)方面進行投資，以在AMD ROCm開放軟件堆棧中提供強大的新特性和功能。

在開放軟件社區(qū)中，AMD正在推動對最廣泛使用的AI框架、庫和模型(包括PyTorch、Triton、Hugging Face等)中AMD計算引擎的支持。這項工作轉化為開箱即用的性能，并支持AMD Instinct加速器對流行的生成式AI模型(如Stable Diffusion 3, Meta Llama 3, 3.1和3.2)以及Hugging Face的100多萬個模型的支持。

在社區(qū)之外，AMD繼續(xù)推進其ROCm開放軟件堆棧，以最新功能支持生成式人工智能工作負載的領先訓練和推理。ROCm 6.2提供包括對關鍵AI功能的支持，如FP8數(shù)據(jù)類型、Flash Attention 3、內核融合等。有了這些新功能，ROCm 6.2比ROCm 6.0在推理方面提供了2.4倍的性能改進，在各種大模型的訓練方面提供了1.8倍的性能改進。（發(fā)自舊金山）

xiesc