Компания Gigabyte анонсировала рабочую станцию AI TOP 100 B850 для локальной обработки ресурсоёмких ИИ-нагрузок с целью снижения зависимости от облачных сервисов. Новинка выполнена в башенном форм-факторе на аппаратной платформе AMD.

В основу системы положены материнская плата на наборе логики AMD B850 и процессор Ryzen 9 9950X (16C/32T, 4,3/5,7 ГГц). Реализовано жидкостное охлаждение. Объём оперативной памяти DDR5 равен 128 Гбайт. В оснащение входит SSD вместимостью 2 Тбайт с интерфейсом PCIe 4.0. Платформа также оснащена четырьмя портами SATA-3 для подключения накопителей.

Модель Gigabyte AI TOP 100 B850 доступна в двух модификациях — AT1A9N9-5100 и AT1A9A7-5101. В первом случае установлен ускоритель NVIDIA GeForce RTX 5090 с 32 Гбайт памяти GDDR7: в такой конфигурации устройство подходит для локального запуска небольших LLM, генеративного ИИ и агентных рабочих процессов. Утверждается, что производительность при инференсе достигает 64,9 токена в секунду при работе с моделью, содержащей 32 млрд параметров.

Источник изображений: Gigabyte

Вторая версия несёт на борту две карты AMD Radeon AI PRO R9700 с 32 Гбайт памяти GDDR6 каждая: этот вариант предназначен для работы с более крупными моделями и приложениями, требовательными к размеру памяти. Например, возможны инференс при использовании LLM, насчитывающих до 235 млрд параметров, и тонкая настройка моделей со 110 млрд параметров.

Рабочая станция располагает слотами PCIe 5.0 x16 (×2), PCIe 4.0 x2, M.2 PCIe 5.0 (×2) и M.2 PCIe 4.0, двумя сетевыми портами 10GbE, адаптерами Wi-Fi 7 и Bluetooth 5.4, звуковым кодеком High Definition Audio. На фронтальную панель выведены по два порта USB 3.0 Type-A и USB 2.0 Type-A, а также разъём USB 3.2 Type-C. Сзади расположены два гнезда RJ45 для сетевых кабелей, интерфейс HDMI, по четыре порта USB 3.0 Type-A и USB 2.0 Type-A, три порта USB 3.1 Type-A, разъём USB Type-C и аудиогнёзда. За питание отвечает блок мощностью 1600 Вт с сертификатом 80 Plus Platinum. Габариты составляют 230 × 551 × 447 мм, масса — 25 кг. Говорится о совместимости с Windows 11 Pro и Linux.

AMD пополнила семейство профессиональных видеокарт Radeon AI Pro R9000 моделями Radeon AI Pro R9700S и Radeon AI Pro R9600D, выполненными на архитектуре RDNA 4 с графическим чипом Navi 48. Ускорители рассчитаны на использование в рабочих станциях.

Модель Radeon AI Pro R9700S получила 64 исполнительных блока, 4096 потоковых процессоров и 128 ИИ-блоков. Изделие насчитывает 53,9 млрд транзисторов. Игровая частота (Game Frequency) достигает 2350 МГц, частота с ускорением (Boost Frequency) — 2920 МГц. Пиковая ИИ-производительность в режиме FP32 достигает 47,8 Тфлопс, на векторных операциях FP16 — 95,7 Тфлопс, в режиме INT8 (Structured Sparsity) — 766 TOPS. Энергопотребление составляет 300 Вт.

Источник изображений: AMD

В свою очередь, версия Radeon AI Pro R9600D располагает 48 исполнительными блоками, 3072 потоковыми процессорами и 96 ИИ-блоками. Игровая частота — 1080 МГц, частота с ускорением — 2020 МГц. Показатели быстродействия в режимах FP32, FP16 Vector и INT8 Structured Sparsity указаны на отметках 24,8 Тфлопс, 49,6 Тфлопс и 397 TOPS соответственно. Энергопотребления равно 150 Вт.

Обе новинки используют интерфейс PCIe 5.0 x16, несут на борту 32 Гбайт памяти GDDR6 с 256-бит шиной и пропускной способностью до 640 Гбайт/с. Объём кеша AMD Infinity Cache равен 64 Мбайт. Ускорители получили двухслотовое исполнение и по четыре интерфейса DisplayPort 2.1a. Задействовано пассивное охлаждение.

Заявлена совместимость с Windows 10/11 и Linux. Среди поддерживаемых технологий упомянуты AMD Fluid Motion Frames, Radeon Super Resolution, Smart Access Memory, Smart Access Video, Radeon Anti-Lag, Radeon Image Sharpening 2, Enhanced Sync, FreeSync, Radeon Chill, Virtual Super Resolution, FSR и др. Также поддерживается работа с ROCm.

Компания ASRock анонсировала рабочую станцию GAI4G-R9700 для задач, связанных с ИИ и другими ресурсоёмкими нагрузками. Новинка, выполненная в форм-факторе 4U, может монтироваться в стойку или использоваться отдельно в виде «настольной» системы.

В основу положена аппаратная платформа AMD. Применена материнская плата ASRock WRX90 WS EVO с поддержкой одного процессора Socket sTR5: это может быть чип Ryzen Threadripper PRO 9000 WX (до 96 вычислительных ядер). Доступны восемь слотов для модулей оперативной памяти DDR5-6400 RDIMM/RDIMM-3DS суммарным объёмом до 2 Тбайт.

Рабочая станция несёт на борту четыре ускорителя AMD Radeon AI PRO R9700 Creator, каждый из которых содержит 32 Гбайт GDRR6 (256 бит) и предлагает по четыре интерфейса DisplayPort 2.1a. Предусмотрены два посадочных места для SFF-накопителей, а также по одному коннектору M.2 M-key 22110/2280/2260 (PCIe 5.0 x4) и M.2 M-key 2280/2260 (PCIe 4.0 x4) для SSD.

Источник изображения: ASRock

Новинка получила контроллер ASPEED BMC AST2600, два сетевых порт 10GbE на базе Intel X710-AT2 и выделенный сетевой порт управления (Realtek RTL8211F). На фронтальную панель выведены два разъёма USB 3.2 Gen1 Type-A. Сзади находятся интерфейс DisplayPort 1.1a (BMC), три гнезда RJ45, четыре порта USB 3.2 Type-A, по два порта USB 4 Type-C и USB 3.1 Type-A, интерфейс SPDIF и 3,5-мм аудиогнёзда.

Установлен блок питания мощностью 2500 Вт с сертификатом 80 PLUS Platinum. Применяется воздушное охлаждение с пятью вентиляторами (3 × 120 мм и 2 × 80 мм), скорость вращения которых регулируется ШИМ-методом. Габариты рабочей станции составляют 526 × 430 × 175 мм (без монтажных элементов и ножек).

AMD вместе с ускорителями Instinct MI350X/MI355X представила 7-ю версию своего открытого программного стека ROCm (Radeon open compute). Как сообщает компания, ROCm 7.0 предназначен для удовлетворения растущих потребностей рабочих нагрузок генеративного ИИ и HPC, одновременно расширяя возможности разработчиков за счёт доступности, эффективности и активного сотрудничества сообщества.

По данным AMD, платформа ROCm 7 предлагает более чем в 3,5 раза большую производительность инференса, чем ROCm 6, и в 3 раза большую эффективность обучения. Это стало возможным благодаря улучшениям производительности и поддержке типов данных с меньшей точностью, таких как FP4 и FP6. Дальнейшие улучшения в коммуникационных стеках позволили оптимизировать использование ускорителя и перемещение данных.

ROCm 7 поддерживает распределённый инференс, а также фреймворки SGLang, vLLM и llm-d. Платформа ROCm 7 создавалась совместно с этими партнёрами, включая разработку общих интерфейсов и примитивов для обеспечения эффективного распределённого инференса на платформах AMD.

Источник изображений: AMD

Вместе с ROCm 7 компания представила MLOps-платформу ROCm Enterprise AI для бесперебойных ИИ-операций в корпоративном сегменте. Платформа предлагает инструменты для тонкой настройки модели и интеграции как со структурированными, так и неструктурированными рабочими процессами. AMD заявила, что работает с партнёрами по экосистеме над созданием эталонных реализаций для таких приложений, как чат-боты и обобщение документов.

AMD отметила, что тесное партнёрство гарантирует разработчикам доступ к лучшим в своем классе инструментам, постоянному улучшению производительности и открытой среде для быстрой итерации и развёртывания. Также AMD представила партнёров экосистемы ROCm, которые используют преимущества данной платформы:

• Meta✴ — выполнение рабочих нагрузок ранжирования, рекомендаций и генерации контента на ускорителях AMD Instinct, в том числе с использованием моделей Llama.
• Microsoft — Instinct MI300X теперь поддерживает как проприетарные, так и открыте модели в Azure.
• Red Hat OpenShift AI — поддержка масштабируемого инфренса LLM и ИИ-операций с ROCm на Red Hat OpenShift AI для гибридных облачных сред.
• Cohere — развёртывание модели Command R+ со 104 млрд параметров и контекстным окном в 128 тыс. токенов на ускорителях AMD Instinct с использованием vLLM и ROCm для инференса корпоративного уровня.

Кроме того, AMD представила «простую в использовании платформу для разработчиков» AMD Developer Cloud, обеспечивающую быстрый доступ к AMD Instinct с возможностью масштабирования от одного (192 Гбайт памяти) до восьми AMD Instinct MI300X (1536 Гбайт памяти). Сообщается, что конфигурации с одним ускорителем в основном используются для рабочих нагрузок инференса на «лёгких» моделях, тогда как максимальная конфигурация обеспечивает распределённое обучение, тонкую настройку и высокопроизводительный инференс для крупномасштабных моделей.

AMD сообщила, что платформа AMD Developer Cloud была разработана с учётом четырёх основных целей:

• Ускорение внедрения AMD GPU — расширение доступа к ускорителям для широкого круга разработчиков и их сообществ;
• Демонстрация производительности — практический опыт компании подчёркивает удобство использования и развёртывания AMD GPU, гарантируя разработчикам возможность использовать всю их мощь;
• Поддержка open source — компания предоставляет возможность ключевым участникам легко интегрировать собственную поддержку AMD GPU в свои проекты;
• Содействие обучению и сотрудничеству — наличие образовательного контента по запросу и интерактивных форумов.

По словам компании, AMD Developer Cloud предполагает различные варианты использования. Решение идеально подходит для независимых разработчиков AI/ML, работающих над низкоуровневым программированием, разработкой ядер (kernel) или корпоративных приложений и проектов, нацеленных на нативную поддержку AMD. Также платформу можно использовать для мероприятий и хакатонов, обеспечивая масштабируемую поддержку образовательных и практических мероприятий с предоставлением кредитов на использование ускорителей во время семинаров, хакатонов, конкурсов и демонстраций.

Также с выходом ROCm 7 появилась поддержка ноутбуков и рабочих станциях на Windows с видеокартами Radeon и процессорами Ryzen AI. С этим связан ещё один важный анонс — компания представила программу ROCm on Radeon Test Drive, которая будет запущена этим летом партнёрстве с различными поставщиками оборудования (первыми стали Colfax и System76), чтобы упростить разработчикам возможность опробовать ROCm на GPU Radeon, передаёт Phoronix. В рамках Radeon Test Drive предоставляется возможность удалённо протестировать GPU Radeon (PRO).