Разработчик решений в области генеративного ИИ MosaicML, недавно перешедший в собственность Databricks, сообщил о хороших результатах в обучении больших языковых моделей (LLM) с использованием ускорителей AMD Instinct MI250 и собственной платформы.

Компания рассказала, что подыскивает от имени своих клиентов новое «железо» для машинного обучения, поскольку NVIDIA в настоящее время не в состоянии обеспечить своими ускорителями всех желающих. MosaicML пояснила, что требования к таким чипам просты:

• Реальные рабочие нагрузки: поддержка обучения LLM с 16-бит точностью (FP16 или BF16) с той же сходимостью и качеством конечной модели, что и при обучении на системах NVIDIA.
• Скорость и стоимость: конкурентоспособные производительность и соотношение производительности и стоимости.
• Разработка: минимальные изменения кода по сравнению с её существующим стеком (PyTorch, FSDP, Composer, StreamingDataset, LLM Foundry).

Источник изображений: MosaicML

Как отметила компания, ни один из чипов до настоящего времени смог полностью удовлетворить все требования MosaicML. Однако с выходом обновлённых версий фреймворка PyTorch 2.0 и платформы ROCm 5.4+ ситуация изменилась — обучение LLM стало возможным на ускорителях AMD Instinct MI250 без изменений кода при использовании её стека LLM Foundry.

Некоторые основные моменты:

• Обучение LLM было стабильным. С высокодетерминированным обучающим стеком LLM Foundry обучение LLM MPT-1B на ускорителях AMD MI250 и NVIDIA A100 дало почти идентичные кривые потерь при запуске с одной и той же контрольной точки. Исследователи даже смогли переключаться между ускорителями AMD и NVIDIA в течение тренировочного прогона.
• Производительность была конкурентоспособной с существующими системами A100. Исследователи профилировали пропускную способность обучения моделей MPT с параметрами от 1 до 13 млрд и обнаружили, что скорость обработки MI250 на один ускоритель находится в пределах 80 % от A100-40GB и в пределах 73 % от A100-80GB. Как ожидает компания, этот разрыв сократится по мере улучшения программного обеспечения AMD.

При этом никаких изменений в коде не потребовалось.

Все результаты получены на одном узле из четырёх MI250, но компания работает с гиперскейлерами для проверки возможностей обучения на более крупных кластерах AMD Instinct. «В целом наши первоначальные тесты показали, что AMD создала эффективный и простой в использовании программно-аппаратный стек, который может конкурировать с NVIDIA», — сообщила MosaicML. Это важный шаг в борьбе с доминирующим положением NVIDIA на рынке ИИ.

Amazon Web Services (AWS), крупнейший в мире провайдер облачных вычислений, рассматривает возможность использования новых ИИ-ускорителей AMD Instinct MI300. Об этом сообщил агентству Reuters Дейв Браун (Dave Brown), вице-президент Amazon по EC2, уточнив, что окончательное решение по данному вопросу пока не принято. При этом у компании уже есть ИИ-ускорители собственной разработки: Trainium и Inferentia2.

Браун рассказал, что AWS отказалась сотрудничать с NVIDIA в деле развёртывания её платформы DGX Cloud, которая пока что доступна только в облаке Oracle. «Они обратились к нам, мы рассмотрели бизнес-модель, но она не имела особого смысла для AWS, которая сама обладает большим опытом в создании надёжных серверов и работе с цепочками поставок», — сообщил Браун, отметив, что AWS предпочитает разрабатывать свои серверы с нуля.

Изображение: AMD

В интервью Reuters гендиректор AMD Лиза Су (Lisa Su) рассказала, что для привлечения клиентов компания предлагает широкий перечень всех компонентов, необходимых для создания систем для запуска ИИ-решений, подобных ChatGPT, оставляя за ними возможность выбора того, что именно подойдёт с учётом использования стандартных отраслевых соединений. Браун сообщил, что команды Amazon и AMD уже сотрудничают какое-то время.

Добавим, что AWS уже предлагает собственные системы с актуальными ускорителями NVIDIA H100. Аналитики отмечают, что интерес Amazon к MI300 указывает на стремление технологических компаний диверсифицировать парк ИИ-оборудования. А это открывает новые возможности для разработчиков чипов. При этом, как отмечал ресурс The Information, NVIDIA пока что благосклонна к небольшим облачным провайдерам, которые не занимаются созданием собственных ИИ-ускорителей.

Вместе с Bergamo и Genoa-X компания AMD представила и новый ИИ-ускоритель, а точнее два варианта одного и того же продукта — Instinct MI300A и MI300X. Как и в случае с EPYC, модульный подход к построению чипов позволил компании с минимумом усилий расширить портфолио.

Об Instinct MI300A компания рассказывала неоднократно. Это самодостаточный APU (или XPU), объединяющий 24 ядра EPYC Genoa (три CCD), ускоритель на базе CDNA3 и 128 Гбайт общей памяти HBM3. Конкурировать он будет с решением NVIDIA Grace Hopper, которое включает 72-ядерный Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100 с 96 Гбайт HBM3. Intel же из гонки гибридов временно выбыла, отказавшись в Falcon Shores от блока CPU.

Изображения: AMD

Правда, подход у компаний разный. NVIDIA предпочитает использовать NVLink и для объединения кристаллов внутри Grace Hopper (C2C), и для связи между узлами, что упрощает масштабирование. AMD в случае Instinct MI300 использует большую подложку-интерпозер, которая объединяет HBM-стеки (8 шт.) и блоки Zen 4/CDNA3 (4 шт.), что даёт определённую гибкость в выборе конфигурации чипа.

Этим компания и воспользовалась, представив OAM-ускорители MI300X, которые напрочь лишены CPU-блоков. Весьма своевременное появление 24-Гбайт модулей HBM3 позволило поднять общий объём памяти до 192 Гбайт, а её пропускную способность (ПСП) — до 5,2 Тбайт/с. Впрочем, о характеристиках новинки AMD больше ничего и не говорит, если не считать упоминания ПСП шины Infinity Fabric (896 Гбайт/с) и количества транзисторов (153 млрд шт.).

Столь большой объём памяти выгодно отличает MI300X от SXM-версии NVIDIA H100, которая может предложить только 80 Гбайт HBM3 и ПСП 3,35 Тбайт/с. Да, у NVIDIA есть «сендвич» H100 NVL, у которого имеется уже 188 Гбайт HBM3 (7,8 Тбайт/с). Но это всё же совсем иной форм-фактор, хотя, как и MI300X, ориентированный на работу с действительно большими ИИ-моделями.

Больший объём набортной памяти позволяет избавиться от лишних перемещений данных между ускорителем и основной памятью системы или несколькими ускорителями. Как и полагается, AMD анонсировала Instinct Platform — плату наподобие NVIDIA HGX, которая объединяет восемь ускорителей MI300X и, по-видимому, соответствует стандарту OCP UBB, что упрощает создание узлов на её основе.

Первые образцы Instinct MI300X появятся в следующем квартале, а образцы MI300A уже поставляются заказчикам. Впрочем, одним «железом» сыт не будешь — компания активно развивает программную платформу, в том числе ROCm, поскольку в области ПО для ИИ догнать, а уж тем более перегнать NVIDIA будет непросто. Это настолько важный пункт для AMD, что даже в презентации речь сначала долго шла о ПО, а уж потом были представлены новые ускорители.

Компания AMD на суперкомпьютерной конференции ISC 2023, по сообщению ресурса Tom's Hardware, раскрыла дополнительную информацию о гибридном изделии Instinct MI300. Новый APU найдёт применение в HPC-системах, а также в высокопроизводительных серверах для дата-центров.

Как говорилось ранее, MI300 — это самый крупный и сложный чип, когда-либо созданный специалистами AMD. Он содержит в общей сложности около 146 млрд транзисторов. Конструкция включает ядра CPU (Zen 4) и GPU (CDNA 3), вспомогательную логику, I/O-контроллер, а также память HBM3. В общей сложности задействованы 13 чиплетов, четыре из которых изготавливаются по 6-нм технологии, а ещё девять — по 5-нм.

По сравнению с Instinct MI250 новинка получила ряд архитектурных изменений. В частности, узел с Instinct MI250 (как у Frontier) имеет отдельные блоки CPU и GPU, дополненные единственным процессором EPYC для координации рабочих нагрузок. В свою очередь, узел Instinct MI300 содержит интегрированный 24-ядерный чип EPYC Genoa, а поэтому необходимость во внешнем CPU отпадает.

Источник изображений: AMD

Вместе с тем сохранена топология, позволяющая каждому из блоков обмениваться данными со всеми другими. Причём в случае Instinct MI300 снижается задержка и повышается общая производительность. Компоненты чипа объединены посредством Infinity Fabric четвёртого поколения. В оснащение ходят 128 Гбайт общей для CPU и GPU памяти HBM3. Похожий подход реализован в чипах NVIDIA Grace Hopper, а вот Intel от гибридности в ускорителях Falcon Shores пока отказалась.

Компания Atos объявила о заключении контракта на создание и установку нового высокопроизводительного комплекса для Общества научных исследований имени Макса Планка. В основу системы ляжет суперкомпьютерная платформа BullSequana XH3000 с новейшими процессорами AMD EPYC и ускорителями Instinct. Стоимость проекта превышает €20 млн.

Суперкомпьютер будет эксплуатироваться Вычислительным и информационным центром Общества Макса Планка (MPCDF) в Гархинге недалеко от Мюнхена (Германия). Систему планируется применять для решения задач в области астрофизики, биологических исследований, разработки передовых материалов, физики плазмы и технологий ИИ.

Комплекс получит систему прямого жидкостного охлаждения (DLC) без вентиляторов. Коэффициент эффективности использования энергии (PUE) составит менее 1,05, что намного ниже по сравнению с другими HPC-установками. В суперкомпьютере будут применяться чипы AMD EPYC Genoa и ускорители Instinct MI300A. Система будет включать 768 процессорных узлов и 192 узла с ускорителями. В состав комплекса войдёт хранилище IBM SpectrumScale.

Источник изображения: Atos

Узлы CPU планируется поставить в III квартале 2023 года, тогда как развёртывание узлов с ускорителями ожидается в первой половине 2024 года. По производительности новый суперкомпьютер в три раза превзойдёт нынешний комплекс Cobra, который используется в MPCDF и также базируется на технологиях Atos. Его пиковое быстродействие достигает 11,4 Пфлопс.

На CES 2023 компания AMD впервые показала публике новый APU Instinct MI300. На сегодняшний момент MI300 — крупнейший и самый сложный чип, когда-либо созданный в стенах Advanced Micro Devices. Он насчитывает 146 млрд транзисторов, составляющих ядра CPU и GPU, вспомогательную логику, I/O-контроллер, а также память HBM3. По сложности новинка, таким образом, превосходит и Intel Xeon Max (100 млрд транзисторов), и гибрид NVIDIA Grace Hopper (80 млрд транзисторов).

Все компоненты чипа объединены посредством 4-го поколения Infinity Fabric, физически же чиплеты разнесены не только по горизонтали, но и по вертикали, причём сами чиплеты производятся с использованием разных техпроцессов. В составе MI300 имеется 4 чиплета, выполненных по технологии 6 нм, на которых, в свою очередь, располагаются ещё 9 чиплетов, но уже использующих вышеупомянутый 5-нм техпроцесс.

Источник: AMD/YouTube

6-нм чиплетамы образуют активную подложку, которая включает I/O-контроллер (в том числе для работы с памятью) и вспомогательную логику, а более совершенный 5-нм техпроцесс использован для вычислительных ядер. CPU-ядер с архитектурой Zen 4 в составе нового процессора 24. К сожалению, именно о CDNA-ядрах говорится мало и не озвучивается даже их число. С учётом того, что в Zen 4 используются 8-ядерные чиплеты, 3 из 9 «верхних» блоков MI300 именно процессорные.

Также на снимке можно разглядеть 8 сборок HBM3, суммарный объём которых составляет 128 Гбайт. Теоретически это может означать эффективную ширину шины вплоть до 8192 бит и пропускную способность в районе 5 Тбайт/с или даже больше. Такое сочетание позволит MI300 в 8 раз опередить MI250X в ИИ-задачах (правда, речь о разреженных FP8-вычислениях), и это при пятикратном превосходстве в энергоэффективности. Последнюю цифру озвучивала и Intel, говоря о своих APU Falcon Shores, выход которых намечен на 2024 год.

Конкретные значения энергопотребления и тепловыделения пока остаются тайной, но MI300, согласно Tom's Hardware, получил LGA-упаковку (SH5), напоминающую таковую у новеньких EPYC Genoa. Также на презентации было указано, что работоспособный кремний MI300 уже получен и находится в настоящее время в лабораториях AMD. Иными словами, у «красных» всё идёт по плану — официальный анонс состоится во второй половине нынешнего, 2023 года. Впрочем, MI300 будет дорогим и редким чипом.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

SiPearl, европейский разработчик высокопроизводительных и энергоэффективных процессоров для суперкомпьютеров, и компания AMD объявили о сотрудничестве. Цель инициативы — ускорение создания HPC-систем экзафлопсного класса для Европы.

На первом этапе стороны оценят совместимость ПО AMD ROCm с Arm-процессорами SiPearl Rhea. На основе полученных результатов будет создан оптимизированный софт, который расширит возможности названных чипов в сочетании с ускорителями AMD Instinct. Данная работа направлена на портирование и оптимизацию компонентов AMD HIP, компиляторов и библиотек OpenMP.

На следующем этапе сотрудничество будет расширено за счёт привлечения сторонних европейских институтов, использующих инструменты моделирования исследований. Это позволит ключевым европейским разработчикам и владельцам кода переносить свои приложения на платформу SiPearl/AMD. Кроме того, планируется взаимодействовать с OEM-производителями, использующими чипы SiPearl Rhea вместе с ускорителями AMD Instinct.

Источник изображения: SiPearl

Предполагается, что сотрудничество поможет в создании экзафлопсных суперкомпьютеров для Европы, нацеленных на широкий спектр НРС-задач: это научные проекты, искусственный интеллект, здравоохранение, климат, энергетика, инженерия, геология и правительство.

Стартап SiPearl начал операционную деятельность в январе 2020 года. В руководящий состав входят специалисты Atos, Intel, Marvell, MediaTek и STMicroelectronics. Ранее SiPearl сообщила о партнёрстве с HPE, а также о сотрудничестве с Intel и NVIDIA.

До ввода в строй нового кластера Лос-Аламосской национальной лаборатории (LLNL) под названием El Capitan ещё остается немало времени. Тестовые мини-кластеры El Capitan уже показывают неплохие результаты; в их основе лежит привычное сочетание процессоров AMD EPYC Milan и ускорителей Instinct MI250X, однако финальная версия суперкомпьютера, как оказалось, будет использовать более прогрессивную новинку — новейшие APU MI300.

Об этом на очередном мероприятии HPC User Forum поведал миру глава центра высокопроизводительных вычислений LLNL. Поскольку полномасштабный запуск El Capitan назначен на конец 2023 года, времени на переход от EPYC 7003 с дискретными модулями ускорителей Instinct к высокоинтегрированному MI300 должно хватить. При этом ожидается, что машина будет активно эксплуатироваться минимум до 2030 года.

Источник: LLNL

MI300 — амбициозный проект AMD, который должен показать, что компания полностью освоила все преимущества чиплетной технологии: на одной подложке будут установлены чиплеты процессорных ядер Zen 4 (Genoa), блоки ускорителей с архитектурой CDNA3, модули кеша и сборки сверхбыстрой памяти типа HBM3. Таким образом, MI300 с полным основанием претендует на звание первого в мире действительно универсального процессора для HPC-систем, способного работать с любыми видами нагрузок.

Источник: LLNL (via TheNextPlatform)

Общий уровень энергопотребления El Capitan планируется удержать в рамках 40 МВт (а не 35 МВт) при FP64-производительности свыше 2 Эфлопс — удельный показатель составит порядка 50 Гфлопс/Вт. В последнем рейтинге Green500 кластер Frontier TDS показал почти 63 Гфлопс/Вт, тогда как для суперкомпьютера Frontier целиком удалось добиться 52,23 Гфлопс/Вт. В El Capitan лаборатория перейдет от использования проприетарного системного и управляющего ПО к собственному стеку NNSA Tri-Lab Operating System Stack (TOSS).

Такие узлы HPE Cray EX235a используются в тестовых кластерах El Capitan. Переход на MI300 упростит конструкцию. Источник: HPC Wire

Также было упомянуто, что у КНР есть уже два экзафлопсных суперкомпьютера, а «глобальные соперники» США за последние годы модернизировали свой ядерный арсенал. Подобная задача теперь стоит и перед самими Соединёнными Штатами. Национальное управление ядерной безопасности (National Nuclear Security Administration, NNSA) возложит эту миссию на El Capitan, начиная со II квартала 2024 года.

Напомним, на очереди среди всех экзафлопсных систем США этот суперкомпьютер третий, вторым же является 2-Эфлопс Aurora, система HPE с изрядно задержавшимися процессорами Intel Sapphire Rapids и ускорителями Ponte Vecchio, которая устанавливается в Аргоннской национальной лаборатории. Но MI300 — не единственный HPC-гибрид. В скором времени появятся несколько машин с чипами NVIDIA Grace Hopper.

C момента анонса архитектуры Zen и появления процессоров EPYC можно отсчитывать начало возвращения AMD на серверный рынок и в сферу HPC. Многие владельцы ЦОД и проектировщики суперкомпьютеров всё чаще выбирают AMD, но компания также стремится упрочнить свои позиции и на рынке систем машинного интеллекта, где долгое время доминирует NVIDIA со своей экосистемой CUDA.

Причём речь идёт о завоевании всех сегментов, от сферы периферийных вычислений до крупных облачных систем, для чего в распоряжении компании уже есть «нужный кремний и программное обеспечение». Именно такое заявление «красные» сделали на мероприятии Financial Analyst Day 2022. Глава AMD, Лиза Су (Lisa Su) отметила, что предстоит много работы, но открывающиеся перспективы роста того стоят. Наступление уже началось: отмечается интерес к процессорам EPYC для применения в инференс-системах и ускорителей Instinct для обучения нейросетей.

Охват рынка ИИ-систем и машинного обучения решениями AMD. Источник: AMD

С Instinct всё понятно, на сегодня это один из мощнейших ускорителей в отношении «чистой» производительности, а вот EPYC добились серьёзного прироста скорости исполнения инференс-нагрузок во многом благодаря благодаря библиотеке ZenDNN (Zen Deep Neural Network). Эта библиотека тесно интегрирована с популярными фреймворками TensorFlow, PyTorch и ONNXRT.

Она поддерживается процессорами EPYC, начиная со второго поколения, но компания пойдет и дальше в деле внедрения элементов ИИ в новые поколения процессоров на аппаратном уровне. Речь, в том числе, идёт о поддержке AVX-512 VNNI, которая появится в EPYC Genoa и Ryzen 7000. Ранее поддержкой таких инструкций могли похвастаться только процессоры Intel, которая активно вкладывалась в развитие ПО в течение нескольких лет.

Адаптивная архитектура XDNA. Источник: AMD

Другой путь заключается в использовании чиплетов на базе блоков Xilinx. Эта инициатива получила название адаптивной архитектуры XDNA. Нужны блоки появились ещё в серии Versal в 2018 году, а сейчас AMD намеревается снабдить аналогичным ИИ-движком ноутбучные Ryzen: Phoenix Point (2023 год) и Strix Point (2024 год). Эта же технология появится в EPYC, но точные сроки пока не оговорены, зато сообщается, что чипы с архитектурой Zen 5 c новыми оптимизациями для машинного обучения дебютируют в 2024 году.

На этом планы относительно портфолио Xilinx не заканчиваются. Решения на базе матриц Zynq давно и активно применяются в индустрии, здравоохранении, транспортных системах и «умных» производствах. Это же относится к рынку телекоммуникаций, использующему Xilinx Versal и облачным ЦОД, где довольно широко применяются ускорители Alveo и ПЛИС Kintex. И AMD ни в коем случае не собирается покидать эти секторы рынка.

Сферы и отрасли, потребности которых могут покрываться решениями AMD. Источник: AMD

Компания также активно готовит почву к пришествию своего первого серверного APU Instinct MI300. Так, пакет ROCm получил оптимизации для сценариев обучения и инференса в PyTorch и TensorFlow, и он же теперь может работать на потребительских моделях Radeon с архитектурой RDNA. AMD также разрабатывает SDK с предварительно оптимизированными моделями, что упростит разработку и внедрение ИИ-приложений.

Можно сказать, что охват рынка искусственного интеллекта и машинного обучения у AMD будет держаться на трёх китах: процессорах Ryzen и EPYC для моделей малых и средних объёмов; будущих EPYC с ИИ-блоками и ускорителях на базе Radeon и Versal для средних и больших моделей; ускорителях и APU Instinct вкупе с адаптивными чипами Xilinx для моделей большого и сверхбольшого размера.

Консолидация всех технологий ИИ, имеющихся у AMD, в единый программный стек. Источник: AMD

А для лучшей консолидации AMD активно объединяет в единый массив ранее независимые средства ПО для всех типов вычислителей. В этом она активно сотрудничает с другими компаниями, включая таких гигантов, как Microsoft и Meta✴. Концепция Unified AI Stack будет развиваться и в дальнейшем, включая всё новые и новые компоненты, так что в итоге разработчику систем машинного интеллекта можно будет использовать единый набор инструментов, поддерживающий все ИИ-технологии AMD. В том же направлении движется и Intel со своей инициативой oneAPI.