Компания Supermicro анонсировала большое количество серверов на новейшей платформе Intel — Xeon Sapphire Rapids. Новинки серии X13 пополнили семейства SuperBlade, Hyper, BigTwin, GrandTwin, SuperEdge, FatTwin, CloudDC, WIO, MP Servers, Petascale Storage Systems и др.

SuperBlade — это высокопроизводительный сервер с высокой плотностью компоновки. Мультиузловая конфигурация и дублирование критических компонентов обеспечивают возможность уменьшения физических размеров и высокую надёжность. Эти системы предназначены для ИИ, аналитики данных, HPC, облачных и корпоративных рабочих нагрузок.

Источник изображений: Supermicro

В серии Hyper и Hyper-E войдут стоечные решения с высокой производительностью, гибкими возможностями в плане конфигурации подсистемы хранения данных и средств ввода/вывода. В свою очередь, BigTwin — мультиузловые системы с поддержкой двух процессоров Xeon Sapphire Rapids на узел. Они подойдут для облачных платформ и хранилищ данных. Что касается Petascale Storage, то это All-Flash (NVMe) СХД типоразмера 1U. Благодаря использованию накопителей EDSFF можно формировать хранилища высокой ёмкости в компактном исполнении.

В семействе GrandTwin будут представлены устройства на базе нескольких узлов с модульной архитектурой. Особенность — возможность адаптации под конкретные задачи путём добавления нужных компонентов. Серия FatTwin будет включать модели формата 4U с четырьмя или восемью узлами (один процессор на узел). Поддерживаются гибридные хранилища NVMe/SAS/SATA: до шести накопителей на узел у 8-узловых систем и до восьми накопителей на узел у 4-узловых решений.

Серверы Edge для периферийных вычислений отличаются компактными размерами и расширенным температурным диапазоном — до +55 °C. А модели SuperEdge имеют повышенную плотность компоновки: три однопроцессорных узла в формате 2U. Кроме того, анонсированы серверы Universal GPU и PCIe GPU для платформ ИИ и НРС. Например, модульное решение X13 Universal GPU будет комплектоваться двумя процессорами, а также ускорителями разного типа — PCIe, OAM и SXM.

Серия CloudDC вберёт в себя системы «всё в одном» для облачных инфраструктур. Будут доступны модели с двумя и шестью разъёмами PCIe 5.0, а также двумя слотами AIOM (PCIe 5.0; OCP 3.0). Семейство WIO — это устройства с расширенными возможностями организации подсистемы I/O. Наконец, MP Servers обеспечат максимальную гибкость конфигурирования и масштабируемости в формате 2U.

Увы, техническими подробностями о новинках компания пока не поделилась, поскольку анонс самих процессоров намечен только на январь 2023 года. Тем не менее, Supermicro в рамках программы Jumpstart уже предоставляет удалённый демо-доступ к некоторым системам серии X13. Аналогичная программа действует и для систем серии H13 на базе новейших AMD EPYC Genoa, анонс которых уже состоялся.

Моделирование и цифровые двойники позволят проектировщикам дата-центров, строителям и операторам возводить высокоэффективные объекты. Но создать цифрового двойника ЦОД с точным представлением всех компонентов суперкомпьютерного комплекса для HPC и ИИ-задач — непростая задача.

С ней поможет справиться платформа моделирования NVIDIA Omniverse для совместного виртуального проектирования. На конференции SC22 компания NVIDIA продемонстрировала, как эту платформу можно использовать для улучшения проектирования и разработки сложных подсистем суперкомпьютерных ЦОД.

Omniverse позволяет операторам ЦОД агрегировать данные из сторонних приложений автоматизированного проектирования, моделирования и мониторинга, обеспечивая возможность работы с полными наборами данных в реальном времени. На конференции также была продемонстрирована NVIDIA Air, платформа моделирования сети ЦОД. С помощью NVIDIA Air разработчики смогут смоделировать и предварительно проверить точную физическую и логическую топологию сети.

Изображения: NVIDIA

Сообщается, что при создании одного из новейших ИИ-суперкомпьютеров NVIDIA было использовано несколько наборов инженерных данных из сторонних отраслевых инструментов, таких как Autodesk Revit, PTC Creo и Trimble SketchUp. Это позволило проектировщикам создать точную модель машины и ЦОД в формате Universal Scene Description (USD), используя которую они совместно дорабатывали проект в режиме реального времени.

Разработчики также использовали PATCH MANAGER, приложение для планирования прокладки сети, учитывающего всё вплоть до физического расположения кабелей. С PATCH MANAGER, подключенным к Omniverse, сложная топология соединений (от порта до порта), компоновка стоек и узлов, а также кабели могут быть интегрированы непосредственно в модель ЦОД. Для прогнозирования воздушных потоков и теплообмена использовалось ПО Cadence 6SigmaDCX, дополненное ИИ-моделями от NVIDIA Modulus, которые позволяют в режиме, близком к реальному времени, моделировать изменения теплоотдачи и охлаждения в сложных условиях.

После завершения строительства ЦОД его датчики, систему управления и телеметрии можно подключить к цифровому двойнику в Omniverse, чтобы отслеживать его работу в режиме реального времени. Благодаря идеально синхронизированному цифровому двойнику инженеры смогут моделировать часто случающиеся инциденты, такие как скачки мощности или сбои системы охлаждения. Операторы смогут использовать ИИ-рекомендации для повышения энергоэффективности дата-центра и сокращение выбросов CO₂. Цифровой двойник также позволит им тестировать и проверять обновления ПО и компонентов перед их установкой в реальном ЦОД.

Компания Dell в ходе конференции SC22 анонсировала платформу Quantum Computing Solution — систему гибридных квантовых вычислений. Поначалу решение будет доступно в США и Канаде, а в течение следующего года появится и в других регионах.

Концепция предусматривает использование двух физических уровней. Первый состоит из серверов PowerEdge 750xa со специализированным ПО, в том числе квантовым симулятором. На этом уровне осуществляются классические вычисления с использованием стандартных CPU и ускорителей.

Второй уровень — квантовый компьютер IonQ Aria, доступ к которому предоставляется через интернет. Здесь пользователи смогут протестировать свои приложения, разработанные с применением симулятора. При обработке задач определённых типов квантовая система даст многократный выигрыш в производительности по сравнению с обычными HPC-решениями. Таким образом, гибридная модель Dell Quantum Computing Solution позволит использовать преимущества обоих миров — классической схемы и квантовой модели.

Источник изображения: IonQ

«Клиент сможет выполнять любое экспериментальное моделирование локально, а когда ему потребуется доступ к реальной физической квантовой платформе, трафик будет передаваться через интернет», — отметил Кен Дураццо, вице-президент по исследованиям Dell.

Библиотека Qiskit Dell Runtime даст возможность создавать квантовые приложения по принципу «напишите один раз, запускайте где угодно». Иными словами, процесс написания кода и его выполнения будут одинаковыми на виртуальном и физическом квантовых процессорах. Похожее решение предлагают Atos и IQM.

Компания Gigabyte Technology в ходе конференции SCC 2022 продемонстрировала ряд новых аппаратных решений, включая серверы и материнские платы на платформе AMD EPYC Genoa, а также HPC-систему G492-ID0 на базе Intel Xeon Ice Lake-SP.

Одна из новинок — четырёхузловой сервер H273-Z80, выполненный в форм-факторе 2U. Каждый из узлов может нести на борту два чипа Genoa, 24 модуля оперативной памяти DDR5-4800, две низкопрофильные карты PCIe 5.0 x16 половинной длины и карту OCP 3.0. Кроме того, каждый из узлов содержит два сетевых порта 1GbE (Intel I350-AM2) и выделенный сетевой порт управления (ASPEED AST2600), два порта USB 3.2 Gen1 и разъём Mini-DP. Допускается подключение шести SFF-накопителей NVMe/SATA/SAS.

Источник изображений: Gigabyte

Gigabyte также сообщает, что платформа EPYC Genoa теперь доступна и для большого количествва других серверов. Это однопроцессорные модели E263-Z30 и E163-Z30, а также R163-Z30, R163-Z32, R263-Z30, R263-Z32 и R263-Z33. В число совместимых двухсокетных решений входят: E283-Z90; G293-Z41; R183-Z90, R183-Z91, R183-Z92, R283-Z90, R283-Z91, R282-Z92 и R282-Z93. Кроме того, названы четырёхузловые серверы H273-Z80, H273-Z81 и H273-Z82.

Также представлены несколько материнских плат для Genoa, в частности, модели MZ73-LM0 и MZ33-AR0. Первая из этих новинок рассчитана на два процессора. Допускается установка 24 модулей оперативной памяти DDR5-4800 и четырёх карт расширения PCIe 5.0 x16. Присутствуют разъём SlimSAS 4i (4 × SATA 3.0) и два коннектора MCIO 8i (4 × NVMe или 16 × SATA), два порта 10GbE (Broadcom BCM57416) и выделенный сетевой порт управления (ASPEED AST2600), слот M.2 для SSD 2280/22110, два порта USB 3.2 Gen1, последовательный порт, разъём D-Sub.

Модель MZ33-AR0, в свою очередь, рассчитана на один процессор. Плата располагает 24 слотами для модулей ОЗУ, двумя разъёмами MCIO 8i (16 × SATA), коннектором M.2 2280/22110, двумя портами 10GbE (Broadcom BCM57416) и выделенным сетевым портом управления. Доступны четыре слота PCIe 5.0 x16.

Есть и другие новинки. Так, 4U-сервер G492-ID0 поддерживает два чипа Intel Xeon Ice Lake-SP и 32 модуля оперативной памяти DDR4-3200. Доступны шесть посадочных мест для SFF-накопителей U.2 NVMe/SATA. Система оборудована HGX-платой с восемью SXM4-ускорителями NVIDIA A100. Кроме того, есть десять слотов для низкопрофильных карт расширения с интерфейсом PCIe 4.0 x16 и два разъёма M.2 для модулей 2242/2260/2280. Установлены четыре блока питания мощностью 3000 Вт с сертификатом 80 PLUS Platinum.

Компании Atos и IQM объявили о подписании партнёрского соглашения, нацеленного на совместное развитие технологий квантовых вычислений. В рамках договора блок квантовой обработки (QPU) IQM будет интегрирован в состав Atos Quantum Learning Machine (QLM), а также в состав платформы разработки квантовых приложений Atos.

Сотрудничество позволит клиентам создавать приложения для квантовых систем и запускать их для проверки в среде QLM, эмулируя все атрибуты целевого квантового оборудования (топология, набор вентилей, модель шума). Таким образом, заказчики смогут запускать такие приложения на реальном оборудовании IQM Quantum Computing без необходимости их модификации.

Источник изображения: IQM

Atos QLM является симулятором квантовых систем. Стратегия Atos заключается в использовании ИИ и квантовых вычислений для повышения производительности традиционных НРС-систем. Предполагается, что суперкомпьютеры будут использовать Atos QLM в качестве шлюза для доступа к квантовым платформам в гибридной вычислительной среде.

Партнёрство позволит клиентам создавать гибридные приложения с использованием платформы программирования Atos QLM, способной эмулировать до 41 кубита, и IQM QPU с архитектурой до 20 кубитов сегодня и до 50 кубитов в 2023 году. Кроме того, компания Atos сообщила о заключении соглашения о сотрудничестве с Aspen Systems. Инициатива направлена на то, чтобы обеспечить доступ к Atos QLM клиентам на территории Соединённых Штатов и Канады.

Компания NVIDIA объявила о заключении соглашения о многолетнем сотрудничестве с Microsoft для создания одного из самых мощных ИИ-суперкомпьютеров, основанного на передовой инфраструктуре Microsoft Azure в сочетании с ускорителями и интерконнектом NVIDIA, а также полным стеком программного обеспечения для ИИ.

Облачный суперкомпьютер Azure будет включать мощные масштабируемые инстансы серий ND и NC, оптимизированные для распределённого обучения и инференса, 400G-интерконнект InfiniBand NDR (Quantum-2), ускорители NVIDIA H100 и программный пакет NVIDIA AI Enterprise. Отмечается, что Azure станет первым публичным облаком с такими возможностями. Кроме того, оно получит десятки тысяч ускорителей A100 и H100.

В свою очередь, Microsoft оптимизирует свою библиотеку DeepSpeed для нового «железа» NVIDIA. Кроме того, полный набор готовых ИИ-решений NVIDIA и комплекты для разработки программного обеспечения, оптимизированные для Azure, будут доступны корпоративным клиентам Azure.

Источник: NVIDIA

В рамках сотрудничества NVIDIA будет использовать экземпляры масштабируемых виртуальных машин Azure для исследований в области генеративного ИИ — области ИИ, позволяющей нейросети с помощью машинного обучения создавать собственный контент на основе имеющихся образцов. Базовые модели, такие как Megatron Turing NLG 530B, являются основой для создания с помощью самообучающихся алгоритмов текста, кода, цифровых изображений, видео или аудио.

Стартап SambaNova Systems сообщил о расширении сотрудничества с Аргоннской национальной лабораторией Министерства энергетики США. В рамках многолетнего соглашения компания установит вычислительную систему DataScale нового поколения. Комплекс обеспечит ускорение выполнения различных ИИ-задач, включая обработку изображений и масштабных языковых моделей.

DataScale — полностью интегрированная программно-аппаратная платформа, которая позволяет компаниям и организациям переосмыслить свой подход к ИИ. Система второго поколения DataScale SN30 содержит ускоритель собственной разработки Cardinal SN30, особенностью которого является возможность реконфигурации. Решение содержит 640 Мбайт кеша SRAM и 1 Тбайт DRAM.

Источник изображения: Аргоннская национальная лаборатория

В рамках соглашения с Аргоннской национальной лабораторией комплекс DataScale будет доступен научному сообществу на базе площадки ALCF AI Testbed. Она помогает исследователям во внедрении ИИ и алгоритмов глубокого обучения в науке.

Специалисты лаборатории применяли комплекс SambaNova предыдущего поколения для широкого спектра исследовательских проектов. Это, в частности, разработка суррогатных моделей для повышения точности прогнозирования погоды, ускорение моделирования гидродинамики для исследований в области двигателестроения и обработка изображений высокого разрешения для повышения эффективности экспериментальных открытий. Кроме того, система используется для проектов в области периферийных вычислений, нейтринной физики и прогнозирования злокачественных образований.

Суперкомпьютер Frontier производительностью 1,102 Эфлопс так и остался лидером списка TOP500. Быстродействие машины не улучшилось, но и новых официальных конкурентов у неё не появилось. Кроме того, Frontier продемонстрировал результат 7,94 Эфлопс в вычислениях смешанной точности в тесте HPL-MxP (ранее HPL-AI). При этом суперкомпьютер всё ещё находится в стадии отладки и страдает от сбоев.

Система Fugaku, ранее занимавшая первое место в течение целых двух лет, сохранила за собой второе место (0,442 Эфлопс) и осталась лидером HPGC (16 Пфлопс), поскольку Frontier в последнем тесте набрал 14 Пфлопс. Машина LUMI тоже со своего третьего места в TOP500 не сдвинулась, хотя и была с лета подвергнута серьёзной модернизации, которая вдвое увеличила её производительность, до 0,309 Эфлопс.

Изображение: CINECA

Четвёртое место досталось единственному новичку в нынешнем Топ-10 — итальянскому суперкомпьютеру Leonardo, созданному в рамках EuroHPC. Машина достигла показателя 0,174 Эфлопс с 1 463 616 ядрами. Суперкомпьютер базируется на платформе Atos BullSequana XH2000 с 32-ядерными процессорами Intel Xeon Ice Lake-SP 8358 и SXM-ускорителями NVIDIA A100 (40 Гбайт), дополненных интерконнектом NVIDIA HDR100 Infiniband.

Источник: TOP500

Leonardo — система до некоторой степени необычная. Анонсирована она была ещё два года назад, так что среди новых топовых систем в рейтинге она стала единственной на базе Intel Xeon, тогда как остальные используют AMD EPYC и уже устаревшие по нынешним временам ускорители A100 первой волны. Leonardo сместил вниз всех остальных участников Топ-10. Но Китай упорно игнорирует TOP500 с лета прошлого года! А у него есть как минимум две системы экзафлопсного класса, OceanLight и Tianhe-3, и, по данным Hyperion Research, есть свидетельства, что у Китая имеется по меньшей мере ещё пять мощных машин, которые вписываются в Топ-10.

Источник: TOP500

В следующем году в США, наконец, должна заработать экзафлопсная система Aurora, выход которой так надолго задержала Intel. Причём для неё всё ещё приводятся данные об энергопотреблении на уровне 60 МВт. В 2023 ожидается и 2-Эфлопс суперкомпьютер El Capitan, вероятно, первый на базе гибридных APU. Ещё одну интересную машину под названием EOS готовит NVIDIA. В Европе, по данным Hyperion Research, за пару лет должны появиться две системы экзафлопсного класса, причём одна получит чипы от EPI и это, надо полагать, будут Arm-процессоры SiPearl.

Фото: ALCF

По количеству машин в TOP500 всё так же лидируют Китай и США — 162 (было 173) и 126 позиций соответственно. Но если рассматривать Европу целиком, а не по отдельным странам, то соотношение уже иное, поскольку число машин выросло за полгода со 118 до 131. Всего в ноябрьском TOP500 появилась 41 новая система и, как легко догадаться, более половины из них относятся к однотипным решениям Lenovo для китайских заказчиков. Российских систем по-прежнему семь штук, но рассчитывать на новые позиции в рейтинге вряд ли стоит, даже если какие-то машины будут созданы или просто существенно модернизированы.

Источник: TOP500

Минимальный порог для входа в рейтинг поднялся до 1,729 Пфлопс. В остальном существенных подвижек в рейтинге нет. Например, доля Ethernet увеличилась с 226 до 233 машин, а Infiniband сократилась со 196 до 194. Omnipath ужался с 40 до 36 машин, а систем с экзотическими интернконнектами теперь не 6, а 4. Доля систем на базе процессоров AMD продолжает нарастать, равно как и количество систем с ускорителями, которые в массе своей представлены решениями NVIDIA.

Фото: Lenovo/Flatiron Institute

Новейшие ускорители последней впервые дебютировали в TOP500, причём весьма скромная по всем остальным параметрам машина (2,038 Пфлопс, 405 место) Henri сразу стала лидером GREEN500, оказавшись самой энергоэффективной системой рейтинга — 65,09 Гфлопс/Вт. Суперкомпьютер имеет 5920 ядер и использует процессоры Intel Xeon Platinum 8362 (да, это старая платформа, даже без PCIe 5.0) и PCIe-ускорители H100. Разница с Frontier (52,23 Гфлопс/Вт) велика, но и масштаб систем несопоставим.

Источник: Hyperion Research

В целом, HPC-рынок с точки зрения неоднократно упомянутой Hyperion Research ждёт позитивное будущее. Показатель CAGR на протяжении пяти лет (2021–2026 гг.) составит 6,4 %, а общий объём составит $40,4 млрд. Наибольший рост (CAGR 8,6 %) по-прежнему будут показывать хранилища, которые становятся всё более ёмкими и быстрыми, чтобы поспевать за объёмами данных. В частности, для ИИ-серверов на том же промежутке времени предсказывается CAGR уже на уровне 22 %. Чуть меньший показатель только для HPC в облаках — 17,6 %.

Источник: Hyperion Research

И с учётом облаков общий объём рынка составит уже порядка $50 млрд. Аналитики отмечают существенный сдвиг в сторону облаков именно в этом году, теперь они рассматриваются не только как дополнение к локальным системам. Впрочем, есть и другие любопытные изменения. Так, согласно опросу, только у 29 % респондентов время исполнения наиболее важных или наиболее часто используемых нагрузок составляет более 24 часов, тогда как в прошлом году таковых было 40 %. Ещё один интересный сдвиг — не просто ожидаемый отказ от CentOS в пользу RHEL и Rocky Linux, но и рост популярности Ubuntu.

При этом HPC-рынок страдает одновременно и от сокращения квалифицированных работников, и от всё нарастающей сложности самих систем. Суперкомпьютеры со временем будут включать не только ускорители различных типов, включая DPU, без которых уже вряд ли обойтись, но и квантовые платформы — исследователи насчитали аж 44 компании-разработчика квантового «железа». Кроме того, благодаря усилиям вендоров в HPC пришли и корпоративные пользователи с теми же самыми проблемами, которые как-то придётся решать.

SiPearl, европейский разработчик высокопроизводительных и энергоэффективных процессоров для суперкомпьютеров, и компания AMD объявили о сотрудничестве. Цель инициативы — ускорение создания HPC-систем экзафлопсного класса для Европы.

На первом этапе стороны оценят совместимость ПО AMD ROCm с Arm-процессорами SiPearl Rhea. На основе полученных результатов будет создан оптимизированный софт, который расширит возможности названных чипов в сочетании с ускорителями AMD Instinct. Данная работа направлена на портирование и оптимизацию компонентов AMD HIP, компиляторов и библиотек OpenMP.

На следующем этапе сотрудничество будет расширено за счёт привлечения сторонних европейских институтов, использующих инструменты моделирования исследований. Это позволит ключевым европейским разработчикам и владельцам кода переносить свои приложения на платформу SiPearl/AMD. Кроме того, планируется взаимодействовать с OEM-производителями, использующими чипы SiPearl Rhea вместе с ускорителями AMD Instinct.

Источник изображения: SiPearl

Предполагается, что сотрудничество поможет в создании экзафлопсных суперкомпьютеров для Европы, нацеленных на широкий спектр НРС-задач: это научные проекты, искусственный интеллект, здравоохранение, климат, энергетика, инженерия, геология и правительство.

Стартап SiPearl начал операционную деятельность в январе 2020 года. В руководящий состав входят специалисты Atos, Intel, Marvell, MediaTek и STMicroelectronics. Ранее SiPearl сообщила о партнёрстве с HPE, а также о сотрудничестве с Intel и NVIDIA.

Компании One Stop Systems (OSS) и TMGcore в ходе конференции SC22 продемонстрировали первый в мире суперкомпьютер с двухфазным иммерсионным (погружным) охлаждением. Новая версия системы OSS Rigel Edge Supercomputer предназначена для поддержания периферийных приложений и ИИ-нагрузок.

Технология иммерсионного охлаждения TMGcore предусматривает применение непроводящих, химически инертных, неагрессивных жидкостей. В них погружаются модули Rigel, что позволяет эффективно отводить тепло. А это даёт возможность создавать компактные системы с высокой производительностью.

«Являясь первым в мире суперкомпьютером с двухфазным иммерсионным охлаждением для мобильных ИИ-нагрузок, созданный комплекс обеспечивает новый уровень операционной эффективности, компактности, надёжности и производительности», — заявляют разработчики.

Источник изображения: TMGcore

Rigel используется в составе автономной системы охлаждения TMGcore EdgeBox 4.5. Утверждается, что по термоэффективности она в 400 раз превосходит традиционные воздушные системы. Кроме того, новое решение благодаря применению жидкости обеспечивает улучшенную защиту компонентов от физических воздействий. Компании уже работают над более компактной версией EdgeBox, которая сможет монтироваться на наземном, водном и воздушном транспорте.

Источник изображения: OSS

Узлы Rigel оборудованы 24-ядерными процессорами AMD EPYC, четырьмя ускорителями NVIDIA HGX A100, четырьмя 200G-адаптерами NVIDIA ConnectX-6 InfiniBand, NVMe-хранилищем вместимостью 64 Тбайт, а также восемью слотами для модулей оперативной памяти ECC DDR4 RDIMM/LRDIMM (до 128 Гбайт каждый) или RDIMM/LRDIMM-3DS (до 256 Гбайт каждый). Для питания используются сдвоенные БП мощностью 1600/2000 Вт. Диапазон рабочих температур — от 0 до 35 °C.