Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о начале приёма заявок от заинтересованных площадок для размещения специализированных суперкомпьютеров промышленного уровня.

Речь идёт о вычислительных комплексах не ниже среднего класса, специально разработанных с учётом норм безопасности, конфиденциальности и целостности данных в индустриальном сегменте. К таким системам обычно предъявляются более высокие требования, нежели к суперкомпьютерам для решения научных задач.

Суперкомпьютер Leonardo. Источник изображения: EuroHPC JU / Cineca

EuroHPC JU планирует закупить новые вычислительные комплексы совместно с консорциумом частных партнёров. С выбранными площадками будут заключены соглашения о размещении и эксплуатации оборудования. EuroHPC JU приобретёт как минимум один промышленный суперкомпьютер в 2024 году. Подробности о проекте не раскрываются, но известно, что общий вклад ЕС в его реализацию составит €12,2 млн.

Новые промышленные суперкомпьютеры будут совместно финансироваться из бюджета EuroHPC JU, полученного в рамках Программы «Цифровая Европа» (DEP), а также за счёт взносов государств-участников организации. При этом EuroHPC JU покроет до 35 % затрат на приобретение вычислительных комплексов. Развёртывание этих систем поможет удовлетворить растущий спрос на вычислительные ресурсы со стороны индустриальных заказчиков. В целом, инициатива должна способствовать «повышению инновационного потенциала предприятий в Европе».

Расположенная в Нью-Йорке Брукхейвенская национальная лаборатория (Brookhaven National Laboratory) Министерства энергетики США перепрофилировала помещения, относившиеся к ускорителю частиц, в дата-центр для научных исследований. Datacenter Dynamics сообщает, что после реновации объект вошёл в состав научно-вычислительного центра (SDDC) при лаборатории.

Проект обошёлся в $74,85 млн, средства были получены в рамках программы Science Laboratories Infrastructure Министерства энергетики. Новый ЦОД занимает площадь 5481 м². Ранее комплекс обслуживал источник синхротронного излучения NSLS, который работал с 1982 по 2014 год. В 2015 году его заменил проект NSLS-II. Благодаря NSLS были получены две Нобелевские премии по химии.

Источник изображения: Brookhaven National Laboratory

Строительство ЦОД началось в III квартале 2021 года, а функционировать он начала ещё в IV квартале 2021. Однако переходный период не завершился до сих пор. К концу 2022 года в дата-центре имелись 54 серверных стойки, в том числе обслуживающие NSLS-II. Ожидалось, что к концу 2023 года число стоек увеличится до 106. Из 135 стоек старого ЦОД только 20 перенесли в здание NSLS, остальные утилизировали или заменили. В 2024–2027 гг. никаких крупных переездов более не планируется.

Источник изображения: Brookhaven National Laboratory

Кампус соответствует уровню Tier III, а также отвечает требованиям к надёжности и доступности. Дата-центр может длительное время работать без магистрального электричества и охлаждённой воды извне. Уровень PUE равен 1.2, а суммарная ёмкость составляет 9,6 МВт. Инфраструктура отдельные помещения для ленточной библиотеки, сетевое оборудования и основного машинного зала. Последний который разбит на две секции: для HTC- и HPC-вычислений.

Источник изображения: Brookhaven National Laboratory

Доступ к мощностям нового объекта получают учёные-физики, биологи, климатологи и, конечно, специалисты по энергетике. В частности, обрабатываются данные, полученные ускорителем NSLS-II, а также другая информация. Дополнительно ЦОД поддерживает международные исследования, проводимые экспертами Большого адронного коллайдера и ускорителя SuperKEKB в Японии.

Компания Cadence анонсировала систему Millennium Enterprise Multiphysics Platform: это, как утверждается, первое в отрасли программно-аппаратное решение для проектирования и анализа мультифизических систем. Суперкомпьютер, получивший название Cadence Millennium M1 CFD, ориентирован на решение задач в области вычислительной гидродинамики (CFD).

Отмечается, что CFD используется для сокращения длительных циклов проектирования и уменьшения количества дорогостоящих экспериментов. Такие решения востребованы в аэрокосмической, оборонной, автомобильной, электронной и других отраслях.

Источник изображения: Cadence

Суперкомпьютер Millennium M1 использует узлы с традиционными CPU, дополненные ускорителями на базе GPU — до 32 ускорителей на стойку и с возможностью масштабирования до 5 тыс. GPU на кластер и более. Задействован высокоскоростной интерконнект. При этом Cadence пока не раскрывает точные характеристики системы, но говорит, что она в 20 раз энергоэффективнее традиционных CPU-кластеров. Кроме того, машина позволяет создавать цифровых двойников с функцией визуализации.

Источник изображения: Cadence

Отмечается, что ключевой особенностью Millennium M1 является специализированное ПО. Оно может использоваться для решения задач моделирования турбулентных течений — Large Eddy Simulation (LES). Быстрое генерирование высококачественных синтетических данных позволяет ИИ-алгоритмам находить оптимальные решения без ущерба для точности. В целом, как утверждается, суперкомпьютер Millennium M1 расширяет возможности LES в аэрокосмической, автомобильной, энергетической и других отраслях благодаря сокращению времени выполнения расчётов с дней до часов.

Система доступна в двух вариантах — облачном (минимум 8 ускорителей) и локальном (минимум 32 ускорителя). В первом случае машина размещается на платформе Cadence и масштабируется по мере необходимости. Во втором случае система размещается локально в IT-инфраструктуре заказчика.

Компания Lenovo объявила о заключении контракта с Падерборнским университетом в Германии (University of Paderborn) на создание нового НРС-комплекса, мощности которого будут использоваться для обеспечения исследований в рамках Национальной программы высокопроизводительных вычислений (NHR).

В основу суперкомпьютера лягут двухузловые серверы ThinkSystem SD665 V3. Конфигурация каждого узла включает два процессора AMD EPYC Genoa и до 24 модулей оперативной памяти DDR5-4800. Применена технология прямого жидкостного охлаждения Lenovo Neptune Direct Water Cooling (DWC).

Кроме того, НРС-комплекс будет использовать GPU-серверы ThinkSystem SD665-N V3, несущие на борту четыре ускорителя NVIDIA H100, связанные между собой посредством NVLink. Общее количество ядер составит более 136 тыс. Для подсистемы хранения выбрана платформа IBM ESS 3500, обеспечивающая возможности гибкого использования SSD (NVMe) и HDD.

Новый суперкомпьютер расположится в Падерборнском центре параллельных вычислений (PC2). Монтаж оборудования планируется произвести во II половине текущего года. За интеграцию будет отвечать pro-com DATENSYSTEME GmbH. Ожидается, что по сравнению с нынешней системой центра Noctua 2 (на изображении), построенной Atos, готовящийся суперкомпьютер будет обладать примерно вдвое более высокой производительностью. Быстродействие Noctua 2 составляет до 4,19 Пфлопс (Linpack) для CPU-ядер и до 1,7 Пфлопс (Linpack) для GPU-блоков.

Источник изображения: University of Paderborn

Особое внимание при строительстве суперкомпьютера будет уделяться энергетической эффективности. Благодаря использованию источников питания с жидкостным охлаждением и полностью изолированных стоек более 97 % вырабатываемого тепла может быть передано непосредственно в систему циркуляции тёплой воды. Применение теплообменников и блоков распределения охлаждающей жидкости (CDU) обеспечивает температуру носителя в обратном контуре выше 45 °C, что позволяет повторно использовать генерируемое тепло.

Тайваньское подразделение корпорации Intel и Научно-исследовательский институт промышленных технологий Тайваня (ITRI) сообщили об открытии совместной лаборатории по сертификации систем охлаждения для HPC-платформ. Новая структура получила название ITRI-Intel.

О планах по запуску лаборатории стороны объявили в конце 2023 года. Тогда говорилось, что Intel расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, включая ЦОД, ориентированные на задачи ИИ.

По данным Международного энергетического агентства (IEA), в 2022 году потребление энергии дата-центрами по всему миру колебалось от 0,9 % до 1,3 % от общих энергозатрат. При этом выбросы углекислого газа в сегменте ЦОД составили 0,3 % от глобального объёма. Ожидается, что внедрение новых технологий, включая системы иммерсионного (погружного) охлаждения, поможет поднять энергоэффективность дата-центров и сократить выбросы СО₂ в соответствующем сегменте на 45 %.

Источник изображения: ITRI-Intel

Лаборатория ITRI-Intel будет предлагать комплексные услуги по сертификации технологий охлаждения НРС-систем на соответствие международным стандартам. Это, в частности, тестирование свойств материалов, оценка совместимости с серверными компонентами и анализ жизненного цикла. Отмечается также, что ITRI разрабатывает однофазную технологию погружного охлаждения с очень низким энергопотреблением. При этом не используются фторированные растворители (PFAS), которые, как считается, могут оказывать негативное влияние на здоровье людей.

Компания Lenovo поставила в Кардиффский университет в Великобритании 90 серверов ThinkSystem, которые позволили поднять производительность кластера Hawk HPC приблизительно в два раза. Система применяется для решения сложных задач в таких областях, как астрофизика и наука о жизни.

Источник изображения: Lenovo

Lenovo и британский поставщик IT-решений Logicalis предоставили HPC-ресурсы для двух исследовательских групп в Кардиффском университете. Одна из них — научная коллаборация, участвующая в проекте лазерно-интерферометрической гравитационно-волновой обсерватории (LIGO). Эта инициатива нацелена на обнаружение гравитационных волн.

Сообщается, что для проекта LIGO компания Lenovo предоставила 75 серверов ThinkSystem SR645, оснащённых процессорами AMD EPYC Genoa. Эти системы поддерживают до 6 Тбайт оперативной памяти DDR5-4800 в виде 24 модулей и до трёх ускорителей PCIe (2 × PCIe 5.0 и 1 × PCIe 4.0). Отмечается, что установка серверов позволила удвоить вычислительные мощности, доступные исследователям.

Вторая исследовательская группа в Кардиффском университете, изучающая процессы звёздообразования, получила 15 серверов Lenovo ThinkSystem SR630 на платформе Intel Xeon Sapphire Rapids и два сервера хранения ThinkSystem SR650 с возможностью установки 20 накопителей LFF или 40 накопителей SFF. Группа сосредоточена на анализе спиральных галактик, таких как наш Млечный Путь. Приобретённые серверы помогут в выполнении сложных задач моделирования.

Юлихский исследовательский центр (FZJ) в Германии раскрыл информацию о конфигурации дата-центра для первого европейского суперкомпьютера экзафлопсного класса — системы JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research).

Напомним, Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec, немецкая компания по производству суперкомпьютерного оборудования. Ввод суперкомпьютера в эксплуатацию запланирован на осень 2024 года.

Сообщается, что JUPITER будет построен на базе модульного ЦОД, за создание которого отвечает Eviden. Этот дата-центр займёт площадь приблизительно 2300 м². Модульная архитектура на основе контейнеров обеспечит ряд преимуществ: значительное сокращение времени планирования и монтажа, а также снижение затрат на строительство и эксплуатацию. Кроме того, в дальнейшем облегчится модернизация, тогда как инфраструктура электропитания и охлаждения может гибко адаптироваться к новым требованиям. Eviden заявляет, что благодаря модульности сроки поставки необходимых узлов сократятся на 50 %.

Источник изображения: Eviden

Конфигурация ЦОД включает около 50 взаимозаменяемых модулей, в том числе 20 IT-контейнеров, 15 контейнеров энергоснабжения, а также примерно 10 логистических контейнеров со складскими помещениями, инженерными комнатами и пр. В состав IT-модулей войдут по два контейнера, объединяющих 20 стоек платформы BullSequana XH3000 с прямым жидкостным охлаждением. Модули данных будут содержать четыре контейнера с накопителями.

Модульный ЦОД финансируется Федеральным министерством образования и исследований (BMBF). При этом BMBF и Министерство культуры и науки земли Северный Рейн-Вестфалия (MKW NRW) обеспечат равное финансирование технического оборудования. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность «незначительно превысит 1 Эфлопс».

На следующей неделе планируется запуск на Международную космическую станцию (МКС) обновлённого варианта специального вычислительного модуля HPE Spaceborne Computer-2. Как сообщает Национальная лаборатория МКС, это коммерческая версия суперкомпьютера из серийных компонентов, созданная на основе серверов семейств HPE EdgeLine и ProLiant.

Организаторами запуска выступают NASA, Northrop Grumman и SpaceX. Старт должен состояться 29 января 2024 года в рамках миссии NG-20 — борту корабля Northrop Grumman Cygnus планируется доставить на станцию различные научные материалы, оборудование и компоненты. Одним из грузов будет и обновлённая версия Spaceborne-2, ранее отправленного на МКС в феврале 2021 года и вернувшегося на Землю 11 января 2023. Первый компьютер серии Spaceborne отправили на МКС 14 августа 2017 года, возвращение состоялось 4 июня 2019.

Источник изображения: NASA

По данным Datacenter Dynamics, в состав системы всё ещё входят x86-серверы HPE Edgeline EL4000 с одним GPU и HPE DL360 Gen10. Обновлённая система протестирована HPE и передана NASA. Всего по требованию NASA пришлось внести 516 корректировок. Например, HPE в сотрудничестве с KIOXIA оснастила систему дополнительным хранилищем. Суперкомпьютер поможет продолжающимся на МКС исследованиям, обеспечив более быструю обработку наблюдений со станции за Землёй и более эффективный мониторинг здоровья астронавтов.

Итальянская нефтегазовая компания Eni, по сообщению ресурса Inside HPC, заказала суперкомпьютер HPE Cray EX4000 на аппаратной платформе AMD. Быстродействие этой машины, как ожидается, составит около 600 Пфлопс.

Известно, что в состав системы, получившей название HPC6, войдут 3472 узла, каждый из которых получит 64-ядерный процессор AMD EPYC и четыре ускорителя AMD Instinct MI250X. Таким образом, общее количество ускорителей составит 13 888. Судя по всему, компания смогла достаточно полно адаптировать своё ПО для работы на современных ускорителях AMD, эксперименты с которыми она начала ещё несколько лет назад.

Комплекс будет использовать хранилище HPE Cray ClusterStor E1000 с интерконнектом HPE Slingshot. Узлы суперкомпьютера будут организованы в 28 стоек. Предусмотрено применение технологии прямого жидкостного охлаждения, которая, по заявлениям Eni, рассеивает 96 % вырабатываемого тепла. Максимальная потребляемая мощность — 10,17 МВт.

Источник изображения: AMD

Новый суперкомпьютер разместится в ЦОД Eni Green Data Center в Феррера-Эрбоньоне, который, как утверждается, является одним из самых энергоэффективных и экологически чистых вычислительных центров в Европе. По производительности HPC6 значительно превзойдёт комплексы HPC4 и HPC5, совокупная вычислительная мощность которых составляет 70 Пфлопс. При производительности 600 Пфлопс система HPC6 займёт второе место в текущем списке TOP500 самых мощных суперкомпьютеров мира.

Компания Aligned представила новую систему жидкостного охлаждения DeltaFlow^~, которая позволяет увеличить плотность размщения вычислительных мощностей 300 кВт на стойку, сообщил ресур Datacenter Dynamics.

DeltaFlow^~ — это готовое решение, поддерживающее текущие и будущие технологии жидкостного охлаждения, включая прямое охлаждение direct-to-chip с CDU, охлаждение с использованием теплообменника на задней дверце (Rear-door Heat Exchanger, RDHx) и иммерсионное охлаждение. Решение опирается на систему с замкнутым контуром без использования наружного воздуха или воды. По словам Alidned, новая СЖО позволяет клиентам по-максимуму использовать современные чипы и ускорителя, сокращая время выхода на рынок, затраты и риски.

Фото: Aligned

DeltaFlow^~ также интегрируется с технологией воздушного охлаждения Delta³ (Delta Cube) без изменений в подаче электроэнергии или существующей температуры в машинных залах. Delta³ вместо традиционного холодного коридора использует вентиляторы и теплообменники, расположенные непосредственно за стойками и подключённые к водяному контуру, уходящему к чиллерам. Delta³ позволяет добиться плотности до 50 кВт на стойку.

Aligned стала одной из последних компаний, анонсировавшей платформу для оборудования высокой плотности, основанное на жидкостном охлаждении. Ранее в этом месяце Stack представила решение с использованием погружного охлаждения, которое позволяет поддерживать мощность 300 кВт или выше на стойку. Летом прошлого года CyrusOne анонсировала новую архитектуру ЦОД для ИИ-нагрузок, где тоже используется погружное охлаждение и тоже можно получить 300 кВт на стойку.

Тогда же Digital Realty запустила услугу колокации с поддержкой размещений до 70 кВт на стойку, а в декабре Equinix объявила о планах по расширению поддержки передовых технологий СЖО в значительной части своих ЦОД, хотя и не указала предельную плотность. DataBank также переработала конструкцию машинных залов для поддержки размещений высокой плотностью с использованием жидкостного охлаждения.