Автор: Компания AMD в рамках мероприятия Advance AI официально представила специализированный ускоритель вычислений Instinct MI300X, предназначенный для работы с огромными объемами данных для генеративного ИИ и высокопроизводительных вычислительных нагрузок. Это самый мощный ускоритель вычислений в арсенале AMD.
В основе Instinct MI300X используется архитектура CDNA 3 и чиплетная компоновка с использованием кристаллов, выполненных по 5- и 6-нм техпроцессам. Для сборки чипов применяется продвинутая 3D-упаковка и TSV-монтаж. Базовый слой чипа представлен четырьмя кристаллами I/O Die с поддержкой 128-канального интерфейса памяти HBM3, 256 Мбайт кеш-памяти Infinity Cache, поддержкой 64 линий PCIe 5.0 и 64 линий PCIe 4.0.
Поверх кристаллов I/O Die установлены восемь кристаллов XCD, в каждом из которых содержится по 38 исполнительных блоков на архитектуре CDNA 3, что в сумме даёт 304 блока. Ускоритель оснащён 192 Гбайт памяти HBM3 с пропускной способностью в 5,3 Тбайт/с. Для объединения MI300X в кластеры предусмотрена поддержка шины Infinity Fabric четвёртого поколения. В целом в составе MI300X присутствуют 153 млрд транзисторов.
AMD сравнивает MI300X с ИИ-ускорителями NVIDIA H100. Последний имеет 80 Гбайт HBM3 со скоростью 3,35 Тбайт/с. AMD заявляет, что MI300X обеспечивает паритет в задачах обучения ИИ, но в 1,6 раза превосходит конкурента в инференс-задачах (работе уже обученных систем ИИ). Например, AMD обещает увеличение скорости работы большой языковой модели Llama 2 с 70 млрд параметров в 1,4 раза, по сравнению с H100, а в работе модели Bloom с 176 млрд параметров MI300X обеспечит пропускную способность в 1,6 раза выше.
Instinct MI300X можно будет объединять в системы из восьми ускорителей на одной плате. Такая платформа сможет конкурировать с системой NVIDIA H100 HGX, и при этом обеспечит более высокую производительность и значительно большой объём памяти, а последнее весьма важно для задач ИИ.
Компания AMD называет Instinct MI300X самыми мощными ускорителями ИИ-вычислений. Платформа AMD из восьми MI300X обеспечивает производительность в 10,4 Пфлопс в операциях FP16 / BF16. Для сравнения, HGX-платформа из NVIDIA H100 в тех же задачах обеспечивает производительность в 7,9 Пфлопс. А объём памяти HBM3 у решения AMD в 2,4 раза больше, чем у платформы конкурента.
AMD также представила новую программную платформу ROCm 6, оптимизированную для работы с ускорителями серии Instinct MI300. По словам компании, новое программное обеспечение улучшает работу ускорителей вычислений со специализированными библиотеками больших языковых моделей в 2,6 раза, а также привносит другие оптимизации, которые, в общем и целом, обеспечивают для MI300X в 8 раз более высокую производительность по сравнению с ускорителями MI250X, работающими с программной платформой ROCm 5.
Вместе с Instinct MI300X компания AMD представила специализированные гибридные процессоры MI300A для дата-центров и высокопроизводительных вычислений (HPC). Фактически, это серверный гибридный процессор, объединяющий на одной подложке CPU и мощный ускоритель вычислений.
В целом их структура очень похожа на компоновку MI300X, однако в MI300A используется только шесть блоков XCD на архитектуре CDNA 3. В них содержатся 146 млрд транзисторов. Ещё три чиплета в MI300A представлено вычислительными кристаллами CCD, в каждом из которых содержатся по восемь процессорных ядер Zen 4. То есть всего здесь имеется 24 ядра, которые работают на 48 потоков. Специализированные APU MI300A получили 128 Гбайт набортной памяти HBM3 с пропускной способностью 5,3 Тбайт/с.
Компания AMD заявляет для Instinct MI300A производительность в 61 Тфлопс в операциях FP64 и 122 Тфлопс в операциях FP32. Также отмечается, что новинка обеспечивает вдвое более высокую производительность в расчёте на ватт потребляемой энергии, чем конкурирующее решение NVIDIA Grace Hopper. Последнее, напомним, сочетает в себе ускоритель NVIDIA и центральный процессор на базе Arm.
