США более не намерены использовать государственные суперкомпьютеры для прогнозирования погоды. Национальное управление океанических и атмосферных исследований (NOAA) решило использовать для своих операций в этой сфере мощности Google Cloud, сообщает The Register.

Объявлено, что управление станет первым национальным центром прогнозирования погоды, использующим ресурсы коммерческого облака. Впрочем, метеослужба Великобритании тоже переходит на гибридную схему, переводя свои ресурсы в Microsoft Azure. Обычно же все национальные метеорологические службы в мире используют либо собственные суперкомпьютеры, либо сторонние мощности, финансируемые за счёт государства.

Ранее контрактом на управление суперкомпьютерами NOAA обладала General Dynamics, последними стали машины HPE Cray в дата-центрах в Аризоне и Вирджинии. Системы Dogwood и Cactus могли обеспечивать около 14 Пфлопс вычислительных мощностей. Теперь управление намерено перенести свою систему Weather and Climate Operational Supercomputing System в облако к декабрю 2027 года, вместе с ПО, применяемым для анализа данных Национальной метеорологической службой США (National Weather Service, NWS), входящей в состав NOAA.

Источник изображения: Raychel Sanner/unsplash.com

В управлении считают, что использование облака сделает подготовку прогнозов более быстрой и гибкой, что позволит обнародовать соответствующие данные значительно быстрее, эффективнее оповещать об экстремальных погодных явлениях и др. Вероятно, локальные системы не справлялись с задачами достаточно эффективно, во всяком случае в NOAA заявляют, что именно облако позволит устранить традиционные «узкие места» стационарных систем. Так, в сезон тропических штормов можно будет наращивать вычислительные мощности за счёт облачных ресурсов и сокращать их использование, когда погода успокоится.

В рамках нового соглашения NOAA также может использовать ИИ-инструменты Google DeepMind для создания системы прогнозирования AI Global Forecast System. Это, как ожидается, позволит давать точные прогнозы погоды с использованием на 99,7 % меньшего количества вычислительных циклов — на прогнозирование будут уходить не часы, а минуты.

NWS уже занимается обновлением ПО, работающего с данными от математических моделей GFS и GEFS. В марте ведомство заключило контракты с Accenture и Booz Allen Hamilton, которые будут курировать разработку ПО для облачных ресурсов (HIVE и CIRRUS). Это программное обеспечение предназначено для региональных подразделений и будет рассылать экстренные предупреждения, заменяя действующие локальные программы.

Для выполнения новых задач Google рассчитывает использовать инстансы Google Cloud H4D на базе AMD EPYC Turin, предоставляющие до 192 vCPU (полноценное ядро, а не SMT), 1488 Гбайт RAM и 200G-интерконнект. Для выполнения задач, требующих использования суперкомпьютеров, можно использовать Cluster Toolkit для развёртывания кластеров и Cluster Director для их обслуживания. Служба Batch берёт на себя управление очередями, планированием и выделением ресурсов.

Компания HPE обновила суперкомпьютерную платформу HPE Cray Supercomputing GX5000 нового поколения. Система высокой плотности ориентирована на НРС-задачи и ресурсоёмкие нагрузки, связанные с ИИ. В основу положены серверы с процессорами AMD EPYC Venice 9006. В конфигурации с чипами EPYC 9996 (256 вычислительных ядер) суммарное количество ядер на серверную стойку достигает 81 920. По заявлениям производителя, это на 40 % больше по сравнению с ближайшей конкурирующей системой высокой плотности.

Для новой платформы будут доступны серверы HPE Cray Supercomputing GX350a Accelerated Blade и HPE Cray Supercomputing GX250 Compute Blade. Первые ориентированы на смешанные вычисления: они объединяют один процессор AMD EPYC Venice и четыре ускорителя AMD Instinct MI430X. В одной стойке могут быть размещены до 28 таких узлов, что в сумме даст 112 ускорителей. В свою очередь, сервер GX250 рассчитан на FP64-операции: он несёт на борту восемь процессоров EPYC Venice 9006 (без ускорителей). В одной стойке могут размещаться до 40 узлов, содержащих в сумме 320 CPU.

Предусмотрена возможность использования прямого жидкостного охлаждения. По сравнению с системами предыдущего поколения новая платформа HPE Cray Supercomputing GX5000 обеспечивает возможность сокращения пространства в дата-центре на 25 % при сопоставимой вычислительной мощности.

Источник изображения: HPE

Отмечается, что в число первых пользователей платформы входят Окриджская национальная лаборатория (ORNL) Министерства энергетики США (DOE) и Центр высокопроизводительных вычислений Штутгартского университета (HLRS).

Производитель серверных решений «Е-Флопс» и инжиниринговая компания «АМДтехнологии» разработали HPC-комплекс для решения ИИ-задач. Проект был реализован по заказу российского банка, входящего в Топ-10 крупнейших финансовых организаций страны, имя которого не уточняется.

Созданное отечественными инженерами изделие состоит из 22 вычислительных узлов, базирующихся ускорителях NVIDIA H100 80GB и x86-процессорах, обеспечивающих пиковую производительность 11792 Тфлопс (FP64) для научных расчётов и 700 Пфлопс (FP8/INT8) для задач ИИ. Машина включает 4224 процессорных ядра, 33792 Гбайт RAM вычислительных узлов и 14080 Гбайт памяти GPU, а также 2973696 ядер CUDA и 92928 тензорных ядер. Каждый ускоритель получил 200G-интерфейс InfiniBand NDR. Локальное подключение обеспечивается 25GbE-интерфейсами, для управления задействована 10GbE-сеть.

Вычислительный комплекс состоит из внутреннего и внешнего сегментов. Внутренний сегмент размещён внутри безопасного периметра банка без выхода в интернет, он ориентирован исключительно на решения задач ИИ. Внешний сегмент находится вне периметра информационной инфраструктуры банка и предназначен для HPC-нагрузок.

Источник изображения: NVIDIA

В соответствии с требованиями заказчика реализованы две независимых подсистемы хранения данных: внутреннего и внешнего сегментов. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD «сырой» ёмкостью 61 Тбайт, а «холодные» — на массивах HDD ёмкостью 2 Пбайт. Для его подключения используется InfiniBand NDR. Во внутреннем сегменте используется распределённое гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов. Говорится об FC32 SAN для доступа к объектной СХД.

ПО включает средства мониторинга и управления (в том числе NVIDIA DCGM), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик Slurm. Управляющие серверы работают в среде Proxmox.

Суперкомпьютер уже введён в эксплуатацию и развёрнут в сертифицированном ЦОД одного из крупнейших провайдеров. Все серверы, коммутаторы, СХД внешнего сегмента, патч-панели размещены в 16 серверных шкафах с использованием воздушного охлаждения и организацией холодного и горячего коридоров. В вычислительный комплекс, по требованию заказчика, заложена возможность дальнейшего увеличения количества вычислительных узлов до 42, а также наращивание сетевой инфраструктуры.

В Центре вычислительных наук Института физико-химических исследований Японии (RIKEN Center for Computational Science, R-CCS) началась эксплуатация высокопроизводительных комплексов RIKYU и ROQUO, выполненных на аппаратной платформе NVIDIA. Обе системы ориентированы на ресурсоёмкие задачи ИИ.

В частности, RIKYU может применяться для разработки открытых фундаментальных моделей, а также проведения исследований в сферах наук о жизни, материаловедения и пр. Задействованы 400 узлов Supermicro PIO-121GL-NBIB-01 на базе NVIDIA GB200 NVL4 (два процессора Grace и четыре ускорителя Blackwell, объединенных посредством NVLink). Применяются жидкостное охлаждение и 800G-интерконнект InfiniBand XDR. Кроме того, в состав суперкомпьютера входят 16 узлов Supermicro SYS-212HA-TN с процессорами Intel Xeon 6980P (Granite Rapids-AP), 1,5 Тбайт памяти и хранилищем с накопителями NVMe SSD. Производительность в режиме FP64 достигает 59,63 Пфлопс, в режиме FP8 — 15,539 Эфлопс.

Источник изображения: RIKEN

В свою очередь, суперкомпьютер ROQUO спроектирован с прицелом на гибридные квантово-классические вычисления. Он получил 135 вычислительных узлов на основе NVIDIA GB200 NVL4. Интерконнект NVIDIA Quantum-X800 InfiniBand обеспечивает пропускную способность до 3,2 Тбит/с. Применено жидкостное охлаждение. Быстродействие в режиме FP64 находится на отметке 19,8 Пфлопс с пиковым значением 21 Пфлопс. Производительность в режиме FP8 превышает 5 Эфлопс. Вычислительный комплекс может функционировать в связке с квантовыми системами Quantinuum Reimei и IBM Quantum System Two.

В целом, новые суперкомпьютеры формируют единую исследовательскую платформу, в составе которой RIKYU обеспечивает ресурсы для научных задач с использованием ИИ, а ROQUO позволяет сочетать классические ИИ-вычисления с квантовыми методами. Такая связка даёт учёным гибкий инструментарий для работы со сложными моделями и для решения комплексных задач.

Национальный научный фонд США (NSF), по сообщению Datacenter Dynamics, выделил $10 млн Питтсбургскому суперкомпьютерному центру (PSC) на создание вычислительного комплекса следующего поколения Bridges-3. Монтаж системы начнётся в начале следующего года.

Новый суперкомпьютер станет преемником нынешней машины Bridges-2 (на изображении). Этот комплекс имеет гетерогенную архитектуру с узлами разных типов под различные задачи. В частности, задействованы 504 узла Regular Memory с 256/512 Гбайт оперативной памяти и двумя процессорами AMD EPYC 7742 каждый. Кроме того, присутствуют узлы Extreme Memory, несущие на борту по четыре чипа Intel Xeon Platinum 8260M Cascade Lake и 4 Тбайт ОЗУ. Наконец, применяются GPU-узлы в нескольких конфигурациях — в том числе с ускорителями NVIDIA H100 и NVIDIA L40S.

Источник изображения: PSC

Технические характеристики Bridges-3 пока полностью не раскрываются. Но известно, что созданием вычислительного комплекса займётся HPE. Система получит серверы на основе неназванных процессоров AMD с «большим количеством ядер». Будут применяться ИИ-ускорители NVIDIA B200. Упомянуты интерконнект InfiniBand и хранилище типа All-Flash на базе Lustre.

Бруно Абреу (Bruno Abreu), заместитель научного директора PSC и главный специалист проекта Bridges-3 отмечает, что проектируемая система сохранит все ключевые возможности своего предшественника, получив при этом современные CPU и GPU, обеспечивающие существенное повышение производительности для задач моделирования, симуляции, анализа данных и ИИ. Суперкомпьютер расположится в новом дата-центре PSC. Ввод Bridges-3 в эксплуатацию намечен на лето 2027 года.

NVIDIA объявила о разработке по всей Европе 35 суперкомпьютеров на базе её чипов, которые позволят более 3 млн исследователей ускорить проведение научных исследований и внедрение промышленных инноваций в сфере ИИ. Это крупнейшее за год расширение в Европе сети суперкомпьютеров, охватывающее национальные суперкомпьютерные центры, ИИ-фабрики и академические исследовательские институты. Эти системы будут поддерживать исследования в области климатологии, здравоохранения, декарбонизации чистой энергетики, квантовых вычислений и фундаментальной науки.

Работу большей части европейских ИИ-фабрик обеспечивают платформы Blackwell и Hopper, при этом с прошлого года было развернуто или анонсировано 800 Эфлопс вычислительных мощностей для ИИ. Эти суперкомпьютеры, включая обновлённый EuroHPC MareNostrum5 AI Барселонского суперкомпьютерного центра (BSC-CNS), Blue Swan (BavariaAI), IT4LIA, HammerHAI Центра высокопроизводительных вычислений в Штутгарте (HLRS) и ИИ-фабрика Mimer Национальной академической суперкомпьютерной инфраструктуры Швеции (NAISS), основаны на передовой ИИ-инфраструктуре NVIDIA, говорит компания.

Так, суперкомпьютер MareNostrum 5 будет дооснащён системами GB300 NVL72 и GB200 NVL4, объединённых интерконнектом NVIDIA Quantum-X800 InfiniBand. Система, обеспечивающая производительность до 20 Эфлопс при обучении ИИ и 33 Эфлопс при ИИ-инференсе, позволит ускорить работу генеративного ИИ, климатическое моделирование, исследования в области здравоохранения и биотехнологий, устойчивого сельского хозяйства, энергетических систем и госсервисов.

Источник изображения: NVIDIA

Система Blue Swan (BavariaAI) добавит 1 тыс. ускорителей (GB200 NVL4 и Quantum-2 InfiniBand) суперкомпьютерным центрам FAU Erlangen и LRZ. Платформа обеспечит производительность до 11 Эфлопс при обучении ИИ и 22 Эфлопс при ИИ-инференсе. Она будет поддерживать инициативу Баварии по созданию базовых моделей, продвигая открытые мультимодальные модели для науки, государственного управления, исследований в области здравоохранения, робототехники и т.д.

HammerHAI (HLRS) представляет собой первую в Германии ИИ-фабрику с более чем 850 GPU на базе GB200 NVL4 с Quantum-X800 InfiniBand. Суперкомпьютер HammerHAI, обеспечивающий производительность до 8 Эфлопс при обучении ИИ и 15 Эфлопс при ИИ-инференсе, обеспечит исследователям и промышленным пользователям безопасную ИИ-инфраструктуру для инженерного моделирования, инференса и научных исследования.

Суперкомпьютер Mimer EuroHPC AI Factory (NAISS), размещённый в Линчёпингском университете (LiU, Швеция), будет использовать 100 систем GB200 NVL4 и сеть ConnectX-8. Обеспечивая производительность до 4 Эфлопс при обучении ИИ и около 7 Эфлопс при ИИ-инференсе, Mimer AI Factory будет способствовать развитию шведской ИИ-экосистемы в таких областях, как биологические науки, материаловедение, автономные системы, доверенный ИИ и т.д. Наконец, ИИ-фабрика IT4LIA с более чем 8 тыс. GPU на базе GB200 NVL4 с Quantum-X800 InfiniBand и ПО NVIDIA AI Enterprise обеспечивает производительность в размере 82 Эфлопс при обучении ИИ и 164 Эфлопс при ИИ-инференсе.

Июньский рейтинг самых производительных суперкомпьютеров мира TOP500 принёс неожиданный сюрприз — впервые за несколько лет в список попала новая, крупная машина LineShine из Китая. И не только попала, но и сразу заняла в нём первое место. Более того, она же первой публично преодолела порог FP64-производительности 2 Эфлопс, опираясь только на CPU.

Импортонезависимая система LineShine достигла 2,198 Эфлопс в бенчмарке HPL, что составляет порядка 80 % от пиковой теоретической производительности (2,736 Эфлопс), что для столь крупной машины хороший результат. Не менее примечательно, что и в HPCG эта система тоже занимает первое место с результатом 22 Пфлопс, обгоняя El Capitan (17,41 Пфлопс) и Fugaku (16,00). В Green500, правда, она занимает аж 50 место, поскольку потребляет 42,2 МВт, что даёт около 52,07 Гфлопс/Вт. Но, во-первых, данный суперкомпьютер лишён ускорителей, а во-вторых — улучшать энергоэффективность сложнее, чем производительность.

LineShine находится в Национальном суперкомпьютерном центре Шэньчжэня (NSCCSZ) и базируется на кастомным китайских 304-ядерных Arm-процессорах LX2 (1,55 ГГц) и платформе LingKun.Всего 13,79 млн ядер, объединённых проприетарным интерконнектом LingQi работающих под управлением ОС Kylin. В ИИ-бенчмарке HPL-MxP система заняла четвёртое место с показателем 7,92 Эфлопс, т.е. разница между FP64-вычислениями в традиционном Linpack и вычислениями со смешанной точностью составляет довольно скромные 3,6x, что опять-таки указывает на архитектуру без выделенных ИИ-ускорителей.

Источник изображения: Markus Winkler / Unsplash

Ещё один новичок в первой десятке TOP500 — итальянский суперкомпьютер Eni HPC7 с устоявшейся производительностью 571,5 Пфлопс (в пике 861,13 Пфлопс), который занял шестое место. Он построен на ровно той же платформе, что и бывший лидер списка El Capitan: узлы HPE Cray EX255a с APU AMD Instinct MI300A. При этом у Eni теперь сразу две машины в Топ-10, поскольку система HPC6 (477,9/606,97 Пфлопс) находится на восьмом месте. Они бы, к слову, могли бы оказаться непосредственными соседями, если бы Microsoft решила обновить тесты своего облачного суперкомпьютера Eagle. Ресурсы у неё точно есть, а вот желание трать драгоценное машинное время ИИ-ускорителей на бенчмарки вряд ли есть.

Система Fugaku также остаётся в первой десятке, уже шестой год подряд. Впрочем, если бы не нежелание Китая делиться информацией о своих системах, дефицита в которых явно нет, апдейты к TOP500 были бы гораздо чаще и интереснее. Авторы рейтинга отдельно отмечают разнообразие аппаратных платформ, подчёркивая, что добраться до экзафлопса можно разными путями. Речь и про процессоры, и про ускорители, и про интерконнекты. Всего в новом списке TOP500 появилось 44 новых машины, а минимальный порог вхождения повысился до округлённо 2,66 Пфлопс. Для вхождения же в первую десятку нужно как минимум 434,9 Пфлопс.

Среди поставщиков в Топ-10 с точки зрения производительности лидирует HPE (El Capitan, Frontier, Aurora, HPC7, HPC6 и Alps). По процессорам в лидерах снова AMD (El Capitan, Frontier, HPC7 и HPC6). NVIDIA представлена в трёх системах (JUPITER Booster, Eagle, and Alps), а Intel — в двух (Aurora и Eagle). Atos/Eviden/Bull и Fujitsu поставили по одной системе, JUPITER Booster и Fugaku соответственно. Ну а LineShine гордо стоит в стороне от всех основных вендоров. Новых заявок от российских компаний по-прежнему нет. А из новичков среди стран можно упомянуть Индонезию с системой на объекте ASEAN-Korea HPC (436 место) и Узбекистан с государственным суперкомпьютером (321 место).

В Центре вычислительных наук японского Института физико-химических исследований (R-CCS) введён в строй гибридный квантово-классический суперкомпьютер Roquo, названный в честь горы Рокко к северу от города Кобе. В создании НРС-системы приняли участие DTS, NVIDIA, Giga Computing, DDN и ScaleWorX.

Roquo состоит из 135 вычислительных узлов на базе NVIDIA GB200 NVL4. В общей сложности задействованы 540 чипов Blackwell и 270 чипов NVIDIA Grace. Применяется интерконнект NVIDIA Quantum-X800 InfiniBand с общей пропускной способностью до 3,2 Тбит/с (установлены коммутаторы Q3400, поддерживающие скорость передачи данных 800 Гбит/с на порт). Реализовано жидкостное охлаждение.

Заявленная производительность на операциях FP64 составляет 19,8 Пфлопс, а теоретическое пиковое быстродействие на операциях FP8 превышает 5 Эфлопс. Суперкомпьютер использует интерфейс SQC, что позволяет формировать гибридные среды с поддержкой традиционных и квантовых вычислений.

Источник изображения: RIKEN

В рамках проекта по созданию Roquo корпорация DTS осуществляла общую разработку платформы в соответствии с требованиями R-CCS. В свою очередь, NVIDIA предоставила базовые вычислительные и сетевые компоненты, тогда как Giga Computing отвечала за проектирование и производство серверов. DDN предоставила высокоскоростное файловое хранилище. Наконец, специалисты ScaleWorX осуществили общую системную интеграцию.

Суперкомпьютер Roquo, как ожидается, поможет ускорить разработку и оценку эффективности новых квантовых алгоритмов. Кроме того, система будет использоваться для решения сложных задач, с которыми не в состоянии справиться классические НРС-комплексы.

Люблянский университет в Словении (University of Ljubljana), по сообщению DataCenter Dynamics, запустил высокопроизводительную систему FRIDA, ориентированную на задачи ИИ и машинного обучения. Это не классический суперкомпьютер, а модульный контейнерный дата-центр, размещённый на крыше здания Факультета компьютерных и информационных наук (FRI) в Любляне.

Известно, что в составе FRIDA задействованы 104 ускорителя на основе GPU. В частности, применяются изделия NVIDIA Blackwell B200 и B300. Суммарный объём GPU-памяти составляет 16,8 Тбайт. Комплекс оборудован гибридной воздушно-жидкостной системой охлаждения. Все вычислительные узлы связаны интерконнектом с высокой пропускной способностью.

Отмечается, что производительность FRIDA при вычислениях с низкой точностью достигает 708 Пфлопс. Пиковое быстродействие при операциях с разреженными матрицами низкой точности заявлено на уровне 1,42 Эфлопс.

FRIDA дополнит словенскую НРС-систему Vega, которая была введена в строй в 2021 году в рамках проекта Европейского совместного предприятия по развитию высокопроизводительных вычислений (EuroHPC JU). Эта машина, основанная на процессорах AMD и ускорителях NVIDIA, демонстрирует FP64-производительность на уровне 6,9 Пфлопс.

Источник изображения: linkedin.com

Vega задумывалась как универсальная платформа для сложных вычислений: она может применяться для решения задач в самых разных областях, включая биоинженерию и разработку новых лекарств, изучение климата и прогнозирование погоды, персонализированную медицину, создание новых материалов и пр. В свою очередь, система FRIDA ориентирована прежде всего на нагрузки, связанные с ИИ.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о запуске квантового компьютера Sol, смонтированного на площадке суперкомпьютерного центра Cineca в Болонье (Италия). Система предоставит европейским пользователям новые инструменты для решения задач в области ИИ, НРС и квантовых технологий.

Компьютер Sol, спроектированный компанией Pasqal, основан на нейтральных атомах. На первом этапе система будет использовать как минимум 140 кубитов в аналоговом режиме. На 2027 год запланировано обновление комплекса, включающее переход на гибридную аналогово-цифровую модель: предполагается, что это расширит сферу применения устройства.

Квантовая платформа Sol интегрирована с итальянским суперкомпьютером Leonardo. Благодаря этому возможна организация квантово-классических вычислений для решения сложных задач, с которыми не в состоянии справиться традиционные суперкомпьютеры. При этом сама платформа Leonardo получила расширение LISA (Leonardo Improved Supercomputing Architecture) — это специальный раздел, оптимизированный для ИИ-нагрузок. Вычислительный блок, поставленный компанией Bull, объединяет 166 серверов, каждый из которых несёт на борту восемь ИИ-ускорителей на базе GPU (в сумме 1328 чипов).

Источник изображения: Pasqal

Кроме того, в Италии введён в строй квантовый компьютер Nox с 54 кубитами. Эта машина использует сверхпроводящую систему Radiance компании IQM. Как и Sol, комплекс Nox будет функционировать в связке с Leonardo, поддерживая гибридные квантово-классические вычисления.

Реализация проектов по развёртыванию новых систем осуществлялась при финансовой поддержке Министерства просвещения, университетов и научных исследований Италии (MUR), Национального исследовательского центра Италии в области высокопроизводительных вычислений, больших данных и квантовых вычислений (ICSC), а также Европейского союза (через EuroHPC JU).