Компания Atos объявила о заключении контракта на создание и установку нового высокопроизводительного комплекса для Общества научных исследований имени Макса Планка. В основу системы ляжет суперкомпьютерная платформа BullSequana XH3000 с новейшими процессорами AMD EPYC и ускорителями Instinct. Стоимость проекта превышает €20 млн.

Суперкомпьютер будет эксплуатироваться Вычислительным и информационным центром Общества Макса Планка (MPCDF) в Гархинге недалеко от Мюнхена (Германия). Систему планируется применять для решения задач в области астрофизики, биологических исследований, разработки передовых материалов, физики плазмы и технологий ИИ.

Комплекс получит систему прямого жидкостного охлаждения (DLC) без вентиляторов. Коэффициент эффективности использования энергии (PUE) составит менее 1,05, что намного ниже по сравнению с другими HPC-установками. В суперкомпьютере будут применяться чипы AMD EPYC Genoa и ускорители Instinct MI300A. Система будет включать 768 процессорных узлов и 192 узла с ускорителями. В состав комплекса войдёт хранилище IBM SpectrumScale.

Источник изображения: Atos

Узлы CPU планируется поставить в III квартале 2023 года, тогда как развёртывание узлов с ускорителями ожидается в первой половине 2024 года. По производительности новый суперкомпьютер в три раза превзойдёт нынешний комплекс Cobra, который используется в MPCDF и также базируется на технологиях Atos. Его пиковое быстродействие достигает 11,4 Пфлопс.

На CES 2023 компания AMD впервые показала публике новый APU Instinct MI300. На сегодняшний момент MI300 — крупнейший и самый сложный чип, когда-либо созданный в стенах Advanced Micro Devices. Он насчитывает 146 млрд транзисторов, составляющих ядра CPU и GPU, вспомогательную логику, I/O-контроллер, а также память HBM3. По сложности новинка, таким образом, превосходит и Intel Xeon Max (100 млрд транзисторов), и гибрид NVIDIA Grace Hopper (80 млрд транзисторов).

Все компоненты чипа объединены посредством 4-го поколения Infinity Fabric, физически же чиплеты разнесены не только по горизонтали, но и по вертикали, причём сами чиплеты производятся с использованием разных техпроцессов. В составе MI300 имеется 4 чиплета, выполненных по технологии 6 нм, на которых, в свою очередь, располагаются ещё 9 чиплетов, но уже использующих вышеупомянутый 5-нм техпроцесс.

Источник: AMD/YouTube

6-нм чиплетамы образуют активную подложку, которая включает I/O-контроллер (в том числе для работы с памятью) и вспомогательную логику, а более совершенный 5-нм техпроцесс использован для вычислительных ядер. CPU-ядер с архитектурой Zen 4 в составе нового процессора 24. К сожалению, именно о CDNA-ядрах говорится мало и не озвучивается даже их число. С учётом того, что в Zen 4 используются 8-ядерные чиплеты, 3 из 9 «верхних» блоков MI300 именно процессорные.

Также на снимке можно разглядеть 8 сборок HBM3, суммарный объём которых составляет 128 Гбайт. Теоретически это может означать эффективную ширину шины вплоть до 8192 бит и пропускную способность в районе 5 Тбайт/с или даже больше. Такое сочетание позволит MI300 в 8 раз опередить MI250X в ИИ-задачах (правда, речь о разреженных FP8-вычислениях), и это при пятикратном превосходстве в энергоэффективности. Последнюю цифру озвучивала и Intel, говоря о своих APU Falcon Shores, выход которых намечен на 2024 год.

Конкретные значения энергопотребления и тепловыделения пока остаются тайной, но MI300, согласно Tom's Hardware, получил LGA-упаковку (SH5), напоминающую таковую у новеньких EPYC Genoa. Также на презентации было указано, что работоспособный кремний MI300 уже получен и находится в настоящее время в лабораториях AMD. Иными словами, у «красных» всё идёт по плану — официальный анонс состоится во второй половине нынешнего, 2023 года. Впрочем, MI300 будет дорогим и редким чипом.

До ввода в строй нового кластера Лос-Аламосской национальной лаборатории (LLNL) под названием El Capitan ещё остается немало времени. Тестовые мини-кластеры El Capitan уже показывают неплохие результаты; в их основе лежит привычное сочетание процессоров AMD EPYC Milan и ускорителей Instinct MI250X, однако финальная версия суперкомпьютера, как оказалось, будет использовать более прогрессивную новинку — новейшие APU MI300.

Об этом на очередном мероприятии HPC User Forum поведал миру глава центра высокопроизводительных вычислений LLNL. Поскольку полномасштабный запуск El Capitan назначен на конец 2023 года, времени на переход от EPYC 7003 с дискретными модулями ускорителей Instinct к высокоинтегрированному MI300 должно хватить. При этом ожидается, что машина будет активно эксплуатироваться минимум до 2030 года.

Источник: LLNL

MI300 — амбициозный проект AMD, который должен показать, что компания полностью освоила все преимущества чиплетной технологии: на одной подложке будут установлены чиплеты процессорных ядер Zen 4 (Genoa), блоки ускорителей с архитектурой CDNA3, модули кеша и сборки сверхбыстрой памяти типа HBM3. Таким образом, MI300 с полным основанием претендует на звание первого в мире действительно универсального процессора для HPC-систем, способного работать с любыми видами нагрузок.

Источник: LLNL (via TheNextPlatform)

Общий уровень энергопотребления El Capitan планируется удержать в рамках 40 МВт (а не 35 МВт) при FP64-производительности свыше 2 Эфлопс — удельный показатель составит порядка 50 Гфлопс/Вт. В последнем рейтинге Green500 кластер Frontier TDS показал почти 63 Гфлопс/Вт, тогда как для суперкомпьютера Frontier целиком удалось добиться 52,23 Гфлопс/Вт. В El Capitan лаборатория перейдет от использования проприетарного системного и управляющего ПО к собственному стеку NNSA Tri-Lab Operating System Stack (TOSS).

Такие узлы HPE Cray EX235a используются в тестовых кластерах El Capitan. Переход на MI300 упростит конструкцию. Источник: HPC Wire

Также было упомянуто, что у КНР есть уже два экзафлопсных суперкомпьютера, а «глобальные соперники» США за последние годы модернизировали свой ядерный арсенал. Подобная задача теперь стоит и перед самими Соединёнными Штатами. Национальное управление ядерной безопасности (National Nuclear Security Administration, NNSA) возложит эту миссию на El Capitan, начиная со II квартала 2024 года.

Напомним, на очереди среди всех экзафлопсных систем США этот суперкомпьютер третий, вторым же является 2-Эфлопс Aurora, система HPE с изрядно задержавшимися процессорами Intel Sapphire Rapids и ускорителями Ponte Vecchio, которая устанавливается в Аргоннской национальной лаборатории. Но MI300 — не единственный HPC-гибрид. В скором времени появятся несколько машин с чипами NVIDIA Grace Hopper.

Идея интеграции классического процессора с графическим не нова — очень многие клиентские CPU/APU сегодня построены именно по такой схеме. В мире серверов и HPC эта концепция внедряется не так быстро, но на мероприятии Financial Analyst Day 2022 компания AMD рассказала о планах по созданию своего первого 5-нм гибридного APU MI300. Этот чип, запланированный на 2023 год, должен объединить в себе архитектуры Zen 4 и CDNA 3.

MI300 Источник: AMD

Как известно, текущее поколение ускорителей Instinct MI200 использует вторую версию архитектуры CDNA, и теперь мы знаем о планах «красных» по внедрению следующей версии. В отличие от других планов AMD, касающихся графических процессоров и завязанных на двухгодичный цикл обновления, серверные варианты ускорителей будут обновляться раз в год. Компания также раскрыла часть деталей, относящихся к CDNA 3.

Источник: AMD

Во-первых, весь «кремний» CDNA 3 будет производиться с использованием 5-нм техпроцесса (TSMC N5/N5P), и, как и CDNA 2, он будет базироваться на чиплетной компоновке с отдельными кристаллами для памяти, кешей и вычислительных ядер. При этом AMD называет свою технологию 3D chiplet, то есть, речь идёт о плотной вертикально-горизонтальной компоновке. Так, чиплеты кеша будут располагаться под процессорными, а на самый верх «стопки» компания вынесет чиплеты логики, как наиболее прожорливые и горячие.

Источник: AMD

Самым важным новшеством в CDNA — четвёртое поколение Infinity Architecture, позволяющее, в числе прочего, сделать подсистему памяти полностью унифицированной и когерентной — в MI200 реализована только когерентность, но не единое адресное пространство. Иными словами, если старшие варианты MI200 всё ещё выглядят как пара ускорителей, то решения на базе CDNA 3 с точки зрения системы будут выглядеть и функционировать как единый чип, несмотря на чиплетную компоновку.

Источник: AMD

Что касается памяти, то это, конечно же, общая для всех HBM. Тип не уточняется, но можно с достаточной степенью уверенности предположить, что это будет HBM3. Об архитектурных улучшениях в сценариях машинного обучения известно пока немного, известно, что в CDNA 3 появится поддержка новых смешанных типов вычислений, зато AMD уверенно обещает более чем в 5 раз поднять производительность на Вт в такого рода задачах. Надо полагать, что достигнуто это будет существенным увеличением качества и количества движков для матричных вычислений.

Источник: AMD

Но самое интересное в свежих планах AMD — проект MI300. Об интеграции классических CPU с ускорителями говорилось давно, однако недостаточно тонкие и энергоэффективные техпроцессы не позволяли создать чип, укладывающийся в разумные рамки энергопотребления и тепловыделения. С 5-нм оптимизированным техпроцессом это, похоже, становится возможным.

Источник: AMD

MI300 должен объединить в себе архитектуры CDNA 3 и Zen 4, причём, благодаря Infinity Architecture они смогут равноправно пользоваться всеми ресурсами памяти (и, возможно, кешей), имеющимися на чипе, что исключает копирование одного и того же набора данных между пулами памяти, лишь снижающего общую эффективность. Не исключено также, что отпадёт нужда во внешней DRAM благодаря наличию на борту этого монстра собственного объёмного пула HBM. Впрочем, новый вариант Infinity получил поддержку CXL 2.0, что упростит работу с внешними пулами DRAM.

Источник: AMD

Пока неизвестно, сколько процессорных ядер и сколько ядер CDNA 3 получит MI300, но AMD заявляет, что новинка более чем в 8 раз превзойдёт MI250X в задачах обучения ИИ-моделей. В целом, планы AMD хорошо укладываются в современную тенденцию гибкой компоновки ресурсов в рамках чипа: этим же путём идут NVIDIA со своим проектом Grace Hopper (процессорные ядра Grace + H100) и Intel, разрабатывающая XPU Falcon Shores (x86 + Xe). Сама AMD также планирует интегрировать CPU и FPGA.