AMD вместе с ускорителями Instinct MI350X/MI355X представила 7-ю версию своего открытого программного стека ROCm (Radeon open compute). Как сообщает компания, ROCm 7.0 предназначен для удовлетворения растущих потребностей рабочих нагрузок генеративного ИИ и HPC, одновременно расширяя возможности разработчиков за счёт доступности, эффективности и активного сотрудничества сообщества.

По данным AMD, платформа ROCm 7 предлагает более чем в 3,5 раза большую производительность инференса, чем ROCm 6, и в 3 раза большую эффективность обучения. Это стало возможным благодаря улучшениям производительности и поддержке типов данных с меньшей точностью, таких как FP4 и FP6. Дальнейшие улучшения в коммуникационных стеках позволили оптимизировать использование ускорителя и перемещение данных.

ROCm 7 поддерживает распределённый инференс, а также фреймворки SGLang, vLLM и llm-d. Платформа ROCm 7 создавалась совместно с этими партнёрами, включая разработку общих интерфейсов и примитивов для обеспечения эффективного распределённого инференса на платформах AMD.

Источник изображений: AMD

Вместе с ROCm 7 компания представила MLOps-платформу ROCm Enterprise AI для бесперебойных ИИ-операций в корпоративном сегменте. Платформа предлагает инструменты для тонкой настройки модели и интеграции как со структурированными, так и неструктурированными рабочими процессами. AMD заявила, что работает с партнёрами по экосистеме над созданием эталонных реализаций для таких приложений, как чат-боты и обобщение документов.

AMD отметила, что тесное партнёрство гарантирует разработчикам доступ к лучшим в своем классе инструментам, постоянному улучшению производительности и открытой среде для быстрой итерации и развёртывания. Также AMD представила партнёров экосистемы ROCm, которые используют преимущества данной платформы:

• Meta✴ — выполнение рабочих нагрузок ранжирования, рекомендаций и генерации контента на ускорителях AMD Instinct, в том числе с использованием моделей Llama.
• Microsoft — Instinct MI300X теперь поддерживает как проприетарные, так и открыте модели в Azure.
• Red Hat OpenShift AI — поддержка масштабируемого инфренса LLM и ИИ-операций с ROCm на Red Hat OpenShift AI для гибридных облачных сред.
• Cohere — развёртывание модели Command R+ со 104 млрд параметров и контекстным окном в 128 тыс. токенов на ускорителях AMD Instinct с использованием vLLM и ROCm для инференса корпоративного уровня.

Кроме того, AMD представила «простую в использовании платформу для разработчиков» AMD Developer Cloud, обеспечивающую быстрый доступ к AMD Instinct с возможностью масштабирования от одного (192 Гбайт памяти) до восьми AMD Instinct MI300X (1536 Гбайт памяти). Сообщается, что конфигурации с одним ускорителем в основном используются для рабочих нагрузок инференса на «лёгких» моделях, тогда как максимальная конфигурация обеспечивает распределённое обучение, тонкую настройку и высокопроизводительный инференс для крупномасштабных моделей.

AMD сообщила, что платформа AMD Developer Cloud была разработана с учётом четырёх основных целей:

• Ускорение внедрения AMD GPU — расширение доступа к ускорителям для широкого круга разработчиков и их сообществ;
• Демонстрация производительности — практический опыт компании подчёркивает удобство использования и развёртывания AMD GPU, гарантируя разработчикам возможность использовать всю их мощь;
• Поддержка open source — компания предоставляет возможность ключевым участникам легко интегрировать собственную поддержку AMD GPU в свои проекты;
• Содействие обучению и сотрудничеству — наличие образовательного контента по запросу и интерактивных форумов.

По словам компании, AMD Developer Cloud предполагает различные варианты использования. Решение идеально подходит для независимых разработчиков AI/ML, работающих над низкоуровневым программированием, разработкой ядер (kernel) или корпоративных приложений и проектов, нацеленных на нативную поддержку AMD. Также платформу можно использовать для мероприятий и хакатонов, обеспечивая масштабируемую поддержку образовательных и практических мероприятий с предоставлением кредитов на использование ускорителей во время семинаров, хакатонов, конкурсов и демонстраций.

Также с выходом ROCm 7 появилась поддержка ноутбуков и рабочих станциях на Windows с видеокартами Radeon и процессорами Ryzen AI. С этим связан ещё один важный анонс — компания представила программу ROCm on Radeon Test Drive, которая будет запущена этим летом партнёрстве с различными поставщиками оборудования (первыми стали Colfax и System76), чтобы упростить разработчикам возможность опробовать ROCm на GPU Radeon, передаёт Phoronix. В рамках Radeon Test Drive предоставляется возможность удалённо протестировать GPU Radeon (PRO).

После долгого затишья обновилась серия графических ускорителей AMD Radeon PRO — Advanced Micro Devices представила Radeon PRO V710, созданный специально по заказу Microsoft для размещения в облаке Azure. Новинка характеризуется немалым для своего класса объёмом видеопамяти — она несёт на борту целых 28 Гбайт, то есть, больше, чем у всех сегодняшних игровых GPU, включая GeForce RTX 4090 и Radeon RX 7900 XTX.

При этом AMD Radeon PRO V710 не является вычислительным ускорителем в чистом виде, хотя и способен развивать 27,7 Тфлопс в режиме FP16 и 55,3 Топс в режиме INT8 на частоте 2 ГГц. В состав 5-нм новинки, состоящей из 28,1 млрд транзисторов, входят 3456 потоковых процессора, сгруппированных в 54 вычислительных блока RDNA 3. Реализована поддержка аппаратного ускорения трассировки лучей.

Источник здесь и далее: AMD

Памяти, как уже отмечалось, новинка получила 28 Гбайт. Это GDDR6 ECC с 224-битной шиной, обеспечивающей пропускную способность 448 Гбайт/с. При этом 4 Гбайт этой памяти всегда используются для системных нужд, так что пользовательским задачам доступно лишь 24 Гбайт. Графический процессор располагает также 54 Мбайт быстрого кеша AMD Infinity Cache.

Технически Radeon PRO V710 представляет собой полноразмерную плату расширения PCIe 4.0 x16 одинарной высоты с пассивным охлаждением. При теплопакете 158 Вт адаптер полностью полагается на систему охлаждения сервера. Поскольку это, по сути, заказное решение, приобрести отдельно данный ускоритель будет нельзя, а в условиях ЦОД проблем с охлаждением быть не должно, к тому же, частота GPU намеренно ограничена планкой 2 ГГц.

Главной сферой применения Radeon PRO V710 станет его применение в облачных сценариях класса Desktop-as-a-Service и Workstation-as-a-Service, то есть для запуска виртуальных рабочих сред. Набортный кодировщик видео поддерживает сжатие в форматах AV1, HEVC H.265 и AVC H.264. Также озвучены сценарии облачного гейминга и применения ускорителя в инференс-системах. В последнем случае будет актуальна совместимость с AMD ROCm и наличие блоков ускорения перемножения матриц.

Microsoft Azure уже анонсировала новые инстансы на основе нового ускорителя. Они поддерживают в качестве гостевых систем как Windows, так и Linux, в последнем случае обеспечена поддержка Azure Kubernetes Service. Количество виртуальных vCPU – от 4 до 28, объёмы пользовательской памяти начинаются с 16 Гбайт и достигают 160 Гбайт, а видеопамяти за счёт поддержки SR-IOV выделяется от 4 до 24 Гбайт. Минимальная ширина сетевого канала при этом составит 3,3 Гбит/с, а максимальная — 20 Гбит/с.

В течение последних двух лет, как сообщает Phoronix, AMD без особой огласки финансировала проект по реализации бинарной совместимости ускорителей AMD и приложений NVIDIA CUDA. ПО работает поверх стека ROCm, используя готовые библиотеки без необходимости адаптации исходного кода.

Возглавляет проект Анджей Яник (Andrzej Janik). Созданное им решение ZLUDA с открытым исходным кодом изначально предлагало реализацию CUDA на базе Intel oneAPI Level Zero, позволяя запускать CUDA-приложения на ускорителях Intel без каких-либо адаптаций и с относительно небольшой потерей производительности. Intel рассматривала возможность поддержки разработки ZLUDA, однако от этой идеи отказалась и не предоставила финансирование проекту.

Источник: Phoronix

В итоге Яник заключил в 2022 году контракт с AMD, в рамках которого должен был адаптировать ZLUDA для использования с ускорителями AMD с HIP/ROCm. И ему это удалось, однако в этом году AMD решила прекратить финансирование проекта и не выпускать ZLUDA в качестве своего программного продукта. Согласно соглашению, Яник имеет право открыть исходный код продукта в случае, если срок действия контракта истечёт.

Источник: GitHub/vosen

Программист воспользовался этим правом, предоставив ресурсу Phoronix доступ к новой реализации ZLUDA. После нескольких дней тестирования специалисты Phoronix сообщили, что новый вариант действительно работает поверх ROCm, позволяя запускать практически любые CUDA-приложения без каких-либо дополнительных манипуляций. Хотя о 100 % совместимости речи пока не идёт, тем не менее, даже проприетарные инструменты рендеринга теперь работают с Radeon.

Как сообщается, данное решение имеет двойную лицензию: Apache 2.0 и MIT. Коды проекта размещены в репозитории на GitHub. ZLUDA доступна для Windows и Linux. Примечательно, что поддержку ускорителей Intel автор из проекта удалил.

Компания ASRock сообщила о выпуске программного инструмента AI QuickSet для Linux, который позволяет быстро загружать, устанавливать и настраивать приложения ИИ. Ранее этот софт был доступен только для Windows 10/11.

AI QuickSet предоставляет удобный и понятный интерфейс для поиска, скачивания, установки и конфигурирования различных ИИ-средств и компонентов (вроде TensorFlow и PyTorch), а также специализированных библиотек.

В процессе работы AI QuickSet запрашивает у пользователя параметры функционирования ИИ-приложения или активирует конфигурацию по умолчанию. Это, как заявляется, гарантирует оптимальную работу программ, а пользователям не приходится углубляться в сложные ручные настройки.

Linux-версия AI QuickSet совместима с Ubuntu 22.04.3 Desktop. Говорится, что инструмент задействует возможности ускорителей AMD серии Radeon RX 7900 и программного стека AMD ROCm. Поддерживаются различные приложения и модели open source, включая Image/Manga Translator, Stable Diffusion CLI, Ultralytics YOLOv8 и др.

Источник изображения: ASRock

Для использования AI QuickSet необходим компьютер с процессором Intel Core 14/13-го поколения или AMD Ryzen серий 7000/5000. Говорится о совместимости с материнскими платами Intel серии 700/600 и AMD серии 600/500. Объём оперативной памяти должен составлять не менее 32 Гбайт. Требуется наличие ускорителя ASRock AMD Radeon серии RX 7000 (версия для Windows) или AMD Radeon серии RX 7900 (вариант для Linux).