Компания HPE обновила суперкомпьютерную платформу HPE Cray Supercomputing GX5000 нового поколения. Система высокой плотности ориентирована на НРС-задачи и ресурсоёмкие нагрузки, связанные с ИИ. В основу положены серверы с процессорами AMD EPYC Venice 9006. В конфигурации с чипами EPYC 9996 (256 вычислительных ядер) суммарное количество ядер на серверную стойку достигает 81 920. По заявлениям производителя, это на 40 % больше по сравнению с ближайшей конкурирующей системой высокой плотности.

Для новой платформы будут доступны серверы HPE Cray Supercomputing GX350a Accelerated Blade и HPE Cray Supercomputing GX250 Compute Blade. Первые ориентированы на смешанные вычисления: они объединяют один процессор AMD EPYC Venice и четыре ускорителя AMD Instinct MI430X. В одной стойке могут быть размещены до 28 таких узлов, что в сумме даст 112 ускорителей. В свою очередь, сервер GX250 рассчитан на FP64-операции: он несёт на борту восемь процессоров EPYC Venice 9006 (без ускорителей). В одной стойке могут размещаться до 40 узлов, содержащих в сумме 320 CPU.

Предусмотрена возможность использования прямого жидкостного охлаждения. По сравнению с системами предыдущего поколения новая платформа HPE Cray Supercomputing GX5000 обеспечивает возможность сокращения пространства в дата-центре на 25 % при сопоставимой вычислительной мощности.

Источник изображения: HPE

Отмечается, что в число первых пользователей платформы входят Окриджская национальная лаборатория (ORNL) Министерства энергетики США (DOE) и Центр высокопроизводительных вычислений Штутгартского университета (HLRS).

Производитель серверных решений «Е-Флопс» и инжиниринговая компания «АМДтехнологии» разработали HPC-комплекс для решения ИИ-задач. Проект был реализован по заказу российского банка, входящего в Топ-10 крупнейших финансовых организаций страны, имя которого не уточняется.

Созданное отечественными инженерами изделие состоит из 22 вычислительных узлов, базирующихся ускорителях NVIDIA H100 80GB и x86-процессорах, обеспечивающих пиковую производительность 11792 Тфлопс (FP64) для научных расчётов и 700 Пфлопс (FP8/INT8) для задач ИИ. Машина включает 4224 процессорных ядра, 33792 Гбайт RAM вычислительных узлов и 14080 Гбайт памяти GPU, а также 2973696 ядер CUDA и 92928 тензорных ядер. Каждый ускоритель получил 200G-интерфейс InfiniBand NDR. Локальное подключение обеспечивается 25GbE-интерфейсами, для управления задействована 10GbE-сеть.

Вычислительный комплекс состоит из внутреннего и внешнего сегментов. Внутренний сегмент размещён внутри безопасного периметра банка без выхода в интернет, он ориентирован исключительно на решения задач ИИ. Внешний сегмент находится вне периметра информационной инфраструктуры банка и предназначен для HPC-нагрузок.

Источник изображения: NVIDIA

В соответствии с требованиями заказчика реализованы две независимых подсистемы хранения данных: внутреннего и внешнего сегментов. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD «сырой» ёмкостью 61 Тбайт, а «холодные» — на массивах HDD ёмкостью 2 Пбайт. Для его подключения используется InfiniBand NDR. Во внутреннем сегменте используется распределённое гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов. Говорится об FC32 SAN для доступа к объектной СХД.

ПО включает средства мониторинга и управления (в том числе NVIDIA DCGM), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик Slurm. Управляющие серверы работают в среде Proxmox.

Суперкомпьютер уже введён в эксплуатацию и развёрнут в сертифицированном ЦОД одного из крупнейших провайдеров. Все серверы, коммутаторы, СХД внешнего сегмента, патч-панели размещены в 16 серверных шкафах с использованием воздушного охлаждения и организацией холодного и горячего коридоров. В вычислительный комплекс, по требованию заказчика, заложена возможность дальнейшего увеличения количества вычислительных узлов до 42, а также наращивание сетевой инфраструктуры.

В Центре вычислительных наук Института физико-химических исследований Японии (RIKEN Center for Computational Science, R-CCS) началась эксплуатация высокопроизводительных комплексов RIKYU и ROQUO, выполненных на аппаратной платформе NVIDIA. Обе системы ориентированы на ресурсоёмкие задачи ИИ.

В частности, RIKYU может применяться для разработки открытых фундаментальных моделей, а также проведения исследований в сферах наук о жизни, материаловедения и пр. Задействованы 400 узлов Supermicro PIO-121GL-NBIB-01 на базе NVIDIA GB200 NVL4 (два процессора Grace и четыре ускорителя Blackwell, объединенных посредством NVLink). Применяются жидкостное охлаждение и 800G-интерконнект InfiniBand XDR. Кроме того, в состав суперкомпьютера входят 16 узлов Supermicro SYS-212HA-TN с процессорами Intel Xeon 6980P (Granite Rapids-AP), 1,5 Тбайт памяти и хранилищем с накопителями NVMe SSD. Производительность в режиме FP64 достигает 59,63 Пфлопс, в режиме FP8 — 15,539 Эфлопс.

Источник изображения: RIKEN

В свою очередь, суперкомпьютер ROQUO спроектирован с прицелом на гибридные квантово-классические вычисления. Он получил 135 вычислительных узлов на основе NVIDIA GB200 NVL4. Интерконнект NVIDIA Quantum-X800 InfiniBand обеспечивает пропускную способность до 3,2 Тбит/с. Применено жидкостное охлаждение. Быстродействие в режиме FP64 находится на отметке 19,8 Пфлопс с пиковым значением 21 Пфлопс. Производительность в режиме FP8 превышает 5 Эфлопс. Вычислительный комплекс может функционировать в связке с квантовыми системами Quantinuum Reimei и IBM Quantum System Two.

В целом, новые суперкомпьютеры формируют единую исследовательскую платформу, в составе которой RIKYU обеспечивает ресурсы для научных задач с использованием ИИ, а ROQUO позволяет сочетать классические ИИ-вычисления с квантовыми методами. Такая связка даёт учёным гибкий инструментарий для работы со сложными моделями и для решения комплексных задач.

Национальный научный фонд США (NSF), по сообщению Datacenter Dynamics, выделил $10 млн Питтсбургскому суперкомпьютерному центру (PSC) на создание вычислительного комплекса следующего поколения Bridges-3. Монтаж системы начнётся в начале следующего года.

Новый суперкомпьютер станет преемником нынешней машины Bridges-2 (на изображении). Этот комплекс имеет гетерогенную архитектуру с узлами разных типов под различные задачи. В частности, задействованы 504 узла Regular Memory с 256/512 Гбайт оперативной памяти и двумя процессорами AMD EPYC 7742 каждый. Кроме того, присутствуют узлы Extreme Memory, несущие на борту по четыре чипа Intel Xeon Platinum 8260M Cascade Lake и 4 Тбайт ОЗУ. Наконец, применяются GPU-узлы в нескольких конфигурациях — в том числе с ускорителями NVIDIA H100 и NVIDIA L40S.

Источник изображения: PSC

Технические характеристики Bridges-3 пока полностью не раскрываются. Но известно, что созданием вычислительного комплекса займётся HPE. Система получит серверы на основе неназванных процессоров AMD с «большим количеством ядер». Будут применяться ИИ-ускорители NVIDIA B200. Упомянуты интерконнект InfiniBand и хранилище типа All-Flash на базе Lustre.

Бруно Абреу (Bruno Abreu), заместитель научного директора PSC и главный специалист проекта Bridges-3 отмечает, что проектируемая система сохранит все ключевые возможности своего предшественника, получив при этом современные CPU и GPU, обеспечивающие существенное повышение производительности для задач моделирования, симуляции, анализа данных и ИИ. Суперкомпьютер расположится в новом дата-центре PSC. Ввод Bridges-3 в эксплуатацию намечен на лето 2027 года.

NVIDIA объявила о разработке по всей Европе 35 суперкомпьютеров на базе её чипов, которые позволят более 3 млн исследователей ускорить проведение научных исследований и внедрение промышленных инноваций в сфере ИИ. Это крупнейшее за год расширение в Европе сети суперкомпьютеров, охватывающее национальные суперкомпьютерные центры, ИИ-фабрики и академические исследовательские институты. Эти системы будут поддерживать исследования в области климатологии, здравоохранения, декарбонизации чистой энергетики, квантовых вычислений и фундаментальной науки.

Работу большей части европейских ИИ-фабрик обеспечивают платформы Blackwell и Hopper, при этом с прошлого года было развернуто или анонсировано 800 Эфлопс вычислительных мощностей для ИИ. Эти суперкомпьютеры, включая обновлённый EuroHPC MareNostrum5 AI Барселонского суперкомпьютерного центра (BSC-CNS), Blue Swan (BavariaAI), IT4LIA, HammerHAI Центра высокопроизводительных вычислений в Штутгарте (HLRS) и ИИ-фабрика Mimer Национальной академической суперкомпьютерной инфраструктуры Швеции (NAISS), основаны на передовой ИИ-инфраструктуре NVIDIA, говорит компания.

Так, суперкомпьютер MareNostrum 5 будет дооснащён системами GB300 NVL72 и GB200 NVL4, объединённых интерконнектом NVIDIA Quantum-X800 InfiniBand. Система, обеспечивающая производительность до 20 Эфлопс при обучении ИИ и 33 Эфлопс при ИИ-инференсе, позволит ускорить работу генеративного ИИ, климатическое моделирование, исследования в области здравоохранения и биотехнологий, устойчивого сельского хозяйства, энергетических систем и госсервисов.

Источник изображения: NVIDIA

Система Blue Swan (BavariaAI) добавит 1 тыс. ускорителей (GB200 NVL4 и Quantum-2 InfiniBand) суперкомпьютерным центрам FAU Erlangen и LRZ. Платформа обеспечит производительность до 11 Эфлопс при обучении ИИ и 22 Эфлопс при ИИ-инференсе. Она будет поддерживать инициативу Баварии по созданию базовых моделей, продвигая открытые мультимодальные модели для науки, государственного управления, исследований в области здравоохранения, робототехники и т.д.

HammerHAI (HLRS) представляет собой первую в Германии ИИ-фабрику с более чем 850 GPU на базе GB200 NVL4 с Quantum-X800 InfiniBand. Суперкомпьютер HammerHAI, обеспечивающий производительность до 8 Эфлопс при обучении ИИ и 15 Эфлопс при ИИ-инференсе, обеспечит исследователям и промышленным пользователям безопасную ИИ-инфраструктуру для инженерного моделирования, инференса и научных исследования.

Суперкомпьютер Mimer EuroHPC AI Factory (NAISS), размещённый в Линчёпингском университете (LiU, Швеция), будет использовать 100 систем GB200 NVL4 и сеть ConnectX-8. Обеспечивая производительность до 4 Эфлопс при обучении ИИ и около 7 Эфлопс при ИИ-инференсе, Mimer AI Factory будет способствовать развитию шведской ИИ-экосистемы в таких областях, как биологические науки, материаловедение, автономные системы, доверенный ИИ и т.д. Наконец, ИИ-фабрика IT4LIA с более чем 8 тыс. GPU на базе GB200 NVL4 с Quantum-X800 InfiniBand и ПО NVIDIA AI Enterprise обеспечивает производительность в размере 82 Эфлопс при обучении ИИ и 164 Эфлопс при ИИ-инференсе.

Июньский рейтинг самых производительных суперкомпьютеров мира TOP500 принёс неожиданный сюрприз — впервые за несколько лет в список попала новая, крупная машина LineShine из Китая. И не только попала, но и сразу заняла в нём первое место. Более того, она же первой публично преодолела порог FP64-производительности 2 Эфлопс, опираясь только на CPU.

Импортонезависимая система LineShine достигла 2,198 Эфлопс в бенчмарке HPL, что составляет порядка 80 % от пиковой теоретической производительности (2,736 Эфлопс), что для столь крупной машины хороший результат. Не менее примечательно, что и в HPCG эта система тоже занимает первое место с результатом 22 Пфлопс, обгоняя El Capitan (17,41 Пфлопс) и Fugaku (16,00). В Green500, правда, она занимает аж 50 место, поскольку потребляет 42,2 МВт, что даёт около 52,07 Гфлопс/Вт. Но, во-первых, данный суперкомпьютер лишён ускорителей, а во-вторых — улучшать энергоэффективность сложнее, чем производительность.

LineShine находится в Национальном суперкомпьютерном центре Шэньчжэня (NSCCSZ) и базируется на кастомным китайских 304-ядерных Arm-процессорах LX2 (1,55 ГГц) и платформе LingKun.Всего 13,79 млн ядер, объединённых проприетарным интерконнектом LingQi работающих под управлением ОС Kylin. В ИИ-бенчмарке HPL-MxP система заняла четвёртое место с показателем 7,92 Эфлопс, т.е. разница между FP64-вычислениями в традиционном Linpack и вычислениями со смешанной точностью составляет довольно скромные 3,6x, что опять-таки указывает на архитектуру без выделенных ИИ-ускорителей.

Источник изображения: Markus Winkler / Unsplash

Ещё один новичок в первой десятке TOP500 — итальянский суперкомпьютер Eni HPC7 с устоявшейся производительностью 571,5 Пфлопс (в пике 861,13 Пфлопс), который занял шестое место. Он построен на ровно той же платформе, что и бывший лидер списка El Capitan: узлы HPE Cray EX255a с APU AMD Instinct MI300A. При этом у Eni теперь сразу две машины в Топ-10, поскольку система HPC6 (477,9/606,97 Пфлопс) находится на восьмом месте. Они бы, к слову, могли бы оказаться непосредственными соседями, если бы Microsoft решила обновить тесты своего облачного суперкомпьютера Eagle. Ресурсы у неё точно есть, а вот желание трать драгоценное машинное время ИИ-ускорителей на бенчмарки вряд ли есть.

Система Fugaku также остаётся в первой десятке, уже шестой год подряд. Впрочем, если бы не нежелание Китая делиться информацией о своих системах, дефицита в которых явно нет, апдейты к TOP500 были бы гораздо чаще и интереснее. Авторы рейтинга отдельно отмечают разнообразие аппаратных платформ, подчёркивая, что добраться до экзафлопса можно разными путями. Речь и про процессоры, и про ускорители, и про интерконнекты. Всего в новом списке TOP500 появилось 44 новых машины, а минимальный порог вхождения повысился до округлённо 2,66 Пфлопс. Для вхождения же в первую десятку нужно как минимум 434,9 Пфлопс.

Среди поставщиков в Топ-10 с точки зрения производительности лидирует HPE (El Capitan, Frontier, Aurora, HPC7, HPC6 и Alps). По процессорам в лидерах снова AMD (El Capitan, Frontier, HPC7 и HPC6). NVIDIA представлена в трёх системах (JUPITER Booster, Eagle, and Alps), а Intel — в двух (Aurora и Eagle). Atos/Eviden/Bull и Fujitsu поставили по одной системе, JUPITER Booster и Fugaku соответственно. Ну а LineShine гордо стоит в стороне от всех основных вендоров. Новых заявок от российских компаний по-прежнему нет. А из новичков среди стран можно упомянуть Индонезию с системой на объекте ASEAN-Korea HPC (436 место) и Узбекистан с государственным суперкомпьютером (321 место).

В Центре вычислительных наук японского Института физико-химических исследований (R-CCS) введён в строй гибридный квантово-классический суперкомпьютер Roquo, названный в честь горы Рокко к северу от города Кобе. В создании НРС-системы приняли участие DTS, NVIDIA, Giga Computing, DDN и ScaleWorX.

Roquo состоит из 135 вычислительных узлов на базе NVIDIA GB200 NVL4. В общей сложности задействованы 540 чипов Blackwell и 270 чипов NVIDIA Grace. Применяется интерконнект NVIDIA Quantum-X800 InfiniBand с общей пропускной способностью до 3,2 Тбит/с (установлены коммутаторы Q3400, поддерживающие скорость передачи данных 800 Гбит/с на порт). Реализовано жидкостное охлаждение.

Заявленная производительность на операциях FP64 составляет 19,8 Пфлопс, а теоретическое пиковое быстродействие на операциях FP8 превышает 5 Эфлопс. Суперкомпьютер использует интерфейс SQC, что позволяет формировать гибридные среды с поддержкой традиционных и квантовых вычислений.

Источник изображения: RIKEN

В рамках проекта по созданию Roquo корпорация DTS осуществляла общую разработку платформы в соответствии с требованиями R-CCS. В свою очередь, NVIDIA предоставила базовые вычислительные и сетевые компоненты, тогда как Giga Computing отвечала за проектирование и производство серверов. DDN предоставила высокоскоростное файловое хранилище. Наконец, специалисты ScaleWorX осуществили общую системную интеграцию.

Суперкомпьютер Roquo, как ожидается, поможет ускорить разработку и оценку эффективности новых квантовых алгоритмов. Кроме того, система будет использоваться для решения сложных задач, с которыми не в состоянии справиться классические НРС-комплексы.

Люблянский университет в Словении (University of Ljubljana), по сообщению DataCenter Dynamics, запустил высокопроизводительную систему FRIDA, ориентированную на задачи ИИ и машинного обучения. Это не классический суперкомпьютер, а модульный контейнерный дата-центр, размещённый на крыше здания Факультета компьютерных и информационных наук (FRI) в Любляне.

Известно, что в составе FRIDA задействованы 104 ускорителя на основе GPU. В частности, применяются изделия NVIDIA Blackwell B200 и B300. Суммарный объём GPU-памяти составляет 16,8 Тбайт. Комплекс оборудован гибридной воздушно-жидкостной системой охлаждения. Все вычислительные узлы связаны интерконнектом с высокой пропускной способностью.

Отмечается, что производительность FRIDA при вычислениях с низкой точностью достигает 708 Пфлопс. Пиковое быстродействие при операциях с разреженными матрицами низкой точности заявлено на уровне 1,42 Эфлопс.

FRIDA дополнит словенскую НРС-систему Vega, которая была введена в строй в 2021 году в рамках проекта Европейского совместного предприятия по развитию высокопроизводительных вычислений (EuroHPC JU). Эта машина, основанная на процессорах AMD и ускорителях NVIDIA, демонстрирует FP64-производительность на уровне 6,9 Пфлопс.

Источник изображения: linkedin.com

Vega задумывалась как универсальная платформа для сложных вычислений: она может применяться для решения задач в самых разных областях, включая биоинженерию и разработку новых лекарств, изучение климата и прогнозирование погоды, персонализированную медицину, создание новых материалов и пр. В свою очередь, система FRIDA ориентирована прежде всего на нагрузки, связанные с ИИ.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о запуске квантового компьютера Sol, смонтированного на площадке суперкомпьютерного центра Cineca в Болонье (Италия). Система предоставит европейским пользователям новые инструменты для решения задач в области ИИ, НРС и квантовых технологий.

Компьютер Sol, спроектированный компанией Pasqal, основан на нейтральных атомах. На первом этапе система будет использовать как минимум 140 кубитов в аналоговом режиме. На 2027 год запланировано обновление комплекса, включающее переход на гибридную аналогово-цифровую модель: предполагается, что это расширит сферу применения устройства.

Квантовая платформа Sol интегрирована с итальянским суперкомпьютером Leonardo. Благодаря этому возможна организация квантово-классических вычислений для решения сложных задач, с которыми не в состоянии справиться традиционные суперкомпьютеры. При этом сама платформа Leonardo получила расширение LISA (Leonardo Improved Supercomputing Architecture) — это специальный раздел, оптимизированный для ИИ-нагрузок. Вычислительный блок, поставленный компанией Bull, объединяет 166 серверов, каждый из которых несёт на борту восемь ИИ-ускорителей на базе GPU (в сумме 1328 чипов).

Источник изображения: Pasqal

Кроме того, в Италии введён в строй квантовый компьютер Nox с 54 кубитами. Эта машина использует сверхпроводящую систему Radiance компании IQM. Как и Sol, комплекс Nox будет функционировать в связке с Leonardo, поддерживая гибридные квантово-классические вычисления.

Реализация проектов по развёртыванию новых систем осуществлялась при финансовой поддержке Министерства просвещения, университетов и научных исследований Италии (MUR), Национального исследовательского центра Италии в области высокопроизводительных вычислений, больших данных и квантовых вычислений (ICSC), а также Европейского союза (через EuroHPC JU).

В Ливерморской национальной лаборатории имени Лоуренса (LLNL) Министерства энергетики США (DOE) развёрнут вычислительный комплекс Lynx. Этот суперкомпьютер создан в рамках программы CTS-2 (Commodity Technology Systems) Национального управления ядерной безопасности США (NNSA).

Полностью характеристики машины пока не раскрываются. Известно, что она состоит из 952 узлов на базе серверов Dell PowerEdge C6620 и PowerEdge R760 с процессорами Intel Xeon Sapphire Rapids. Ранее сообщалось, что каждый из узлов располагает 512 Гбайт DDR5.

Особенностью Lynx является использование 400G-интерконнекта Cornelis Omni-Path CN5000. Данная технология оптимизирована специально для задач ИИ и НРС: она обеспечивает низкие задержки, минимизацию перегрузок, почти линейное масштабирование производительности обучения для больших языковых моделей (LLM) и более эффективный инференс.

Источник изображения: Cornelis

Новый суперкомпьютер предоставит дополнительные мощности для программы NNSA ASC по передовому моделированию и вычислениям (Advanced Simulation and Computing). Кроме того, использовать ресурсы системы планируется при решении широкого спектра задач в области национальной безопасности. «Lynx представляет собой важную веху в рамках усилий NNSA по оценке и внедрению HPC-технологий следующего поколения», — заявила администрация ASC.