Обнародован очередной рейтинг 500 наиболее производительных вычислительных комплексов мира TOP500. Лидирующую позицию сохранил суперкомпьютер Frontier, установленный в Национальной лаборатории Окриджа (ORNL) Министерства энергетики США. Причём его быстродействие поднялось до 1,194 Эфлопс с 1,102 Эфлопс в ноябре 2022 года.

На втором месте в списке находится система Fugaku, расположенная в японском Институте физико-химических исследований (RIKEN): она обеспечивает производительность на уровне 442,01 Пфлопс. Замыкает тройку лидеров комплекс LUMI, смонтированный в Каяани (Финляндия): его результат — 309,10 Пфлопс.

Источник изображения: ORNL

Приблизительно 72,0 % суперкомпьютеров в свежем списке TOP500 оснащены процессорами Intel — против 75,8 % шестью месяцами ранее. Доля систем с чипами AMD за полгода поднялась с 20,2 % до 24,2 %. Минимальный порог для входа в рейтинг увеличился до 1,87 Пфлопс против 1,73 Пфлопс в ноябре прошлого года. Суммарная производительность всех машин TOP500 теперь составляет 5,24 Эфлопс, тогда как полгода назад она равнялась 4,86 Эфлопса.

Источник: TOP500

В новом рейтинге 185 суперкомпьютеров используют различные ускорители/сопроцессоры (полгода назад показатель составлял 179 систем). Из них в 76 машинах применяются решения с архитектурой NVIDIA Volta, в 74 — NVIDIA Ampere, в 16 — AMD Instinct. Наиболее распространены ускорители NVIDIA Tesla V100 — они задействованы в 61 HPC-комплексе.

Источник: TOP500

Наибольшее количество суперкомпьютеров располагается в США — здесь функционируют 150 машин из нового рейтинга, или 30,0 %. На втором месте с географической точки зрениях находится Китай: 134 НРС-комплекса, или 26,8 %. Третья позиция досталось Германии, которая оперирует 36 машинами (7,2 %). Россия находится на 12-й строке: в нашей стране работают семь суперкомпьютеров (1,4 %), попавших в свежий список ТОР500. Если говорить о целых континентах, то в Азии построены 192 машины из списка, в Северной Америке — 160 систем, а в Европе — 133 суперкомпьютера.

Источник изображения: RIKEN

Ведущим поставщиком суперкомпьютерных узлов является Lenovo, на чьих решениях основаны 168 систем из списка, или примерно 33,6 %. На втором месте располагается HPE — 100 суперкомпьютеров и 20 %. Третью позицию занимает Inspur с 43 системами и 8,6 %.

Наиболее распространённая технология интерконнекта — Ethernet, которая применяется в 227 машина из списка: это около 45,4 %. В 200 суперкомпьютерах (40 %) задействована технология Infiniband, ещё в 35 (7 %) — Omnipath. Наиболее распространены процессоры Intel Cascade Lake-SP, установленные в 142 машинах (28,4 %). На втором месте по популярности значатся изделия Intel Skylake-SP, применяющиеся в 125 системах (25 %). Бронза досталась чипам AMD Zen-2 (Rome) — 63 комплекса НРС и 12,6 %. 

Суперкомпьютер Frontier производительностью 1,102 Эфлопс так и остался лидером списка TOP500. Быстродействие машины не улучшилось, но и новых официальных конкурентов у неё не появилось. Кроме того, Frontier продемонстрировал результат 7,94 Эфлопс в вычислениях смешанной точности в тесте HPL-MxP (ранее HPL-AI). При этом суперкомпьютер всё ещё находится в стадии отладки и страдает от сбоев.

Система Fugaku, ранее занимавшая первое место в течение целых двух лет, сохранила за собой второе место (0,442 Эфлопс) и осталась лидером HPGC (16 Пфлопс), поскольку Frontier в последнем тесте набрал 14 Пфлопс. Машина LUMI тоже со своего третьего места в TOP500 не сдвинулась, хотя и была с лета подвергнута серьёзной модернизации, которая вдвое увеличила её производительность, до 0,309 Эфлопс.

Изображение: CINECA

Четвёртое место досталось единственному новичку в нынешнем Топ-10 — итальянскому суперкомпьютеру Leonardo, созданному в рамках EuroHPC. Машина достигла показателя 0,174 Эфлопс с 1 463 616 ядрами. Суперкомпьютер базируется на платформе Atos BullSequana XH2000 с 32-ядерными процессорами Intel Xeon Ice Lake-SP 8358 и SXM-ускорителями NVIDIA A100 (40 Гбайт), дополненных интерконнектом NVIDIA HDR100 Infiniband.

Источник: TOP500

Leonardo — система до некоторой степени необычная. Анонсирована она была ещё два года назад, так что среди новых топовых систем в рейтинге она стала единственной на базе Intel Xeon, тогда как остальные используют AMD EPYC и уже устаревшие по нынешним временам ускорители A100 первой волны. Leonardo сместил вниз всех остальных участников Топ-10. Но Китай упорно игнорирует TOP500 с лета прошлого года! А у него есть как минимум две системы экзафлопсного класса, OceanLight и Tianhe-3, и, по данным Hyperion Research, есть свидетельства, что у Китая имеется по меньшей мере ещё пять мощных машин, которые вписываются в Топ-10.

Источник: TOP500

В следующем году в США, наконец, должна заработать экзафлопсная система Aurora, выход которой так надолго задержала Intel. Причём для неё всё ещё приводятся данные об энергопотреблении на уровне 60 МВт. В 2023 ожидается и 2-Эфлопс суперкомпьютер El Capitan, вероятно, первый на базе гибридных APU. Ещё одну интересную машину под названием EOS готовит NVIDIA. В Европе, по данным Hyperion Research, за пару лет должны появиться две системы экзафлопсного класса, причём одна получит чипы от EPI и это, надо полагать, будут Arm-процессоры SiPearl.

Фото: ALCF

По количеству машин в TOP500 всё так же лидируют Китай и США — 162 (было 173) и 126 позиций соответственно. Но если рассматривать Европу целиком, а не по отдельным странам, то соотношение уже иное, поскольку число машин выросло за полгода со 118 до 131. Всего в ноябрьском TOP500 появилась 41 новая система и, как легко догадаться, более половины из них относятся к однотипным решениям Lenovo для китайских заказчиков. Российских систем по-прежнему семь штук, но рассчитывать на новые позиции в рейтинге вряд ли стоит, даже если какие-то машины будут созданы или просто существенно модернизированы.

Источник: TOP500

Минимальный порог для входа в рейтинг поднялся до 1,729 Пфлопс. В остальном существенных подвижек в рейтинге нет. Например, доля Ethernet увеличилась с 226 до 233 машин, а Infiniband сократилась со 196 до 194. Omnipath ужался с 40 до 36 машин, а систем с экзотическими интернконнектами теперь не 6, а 4. Доля систем на базе процессоров AMD продолжает нарастать, равно как и количество систем с ускорителями, которые в массе своей представлены решениями NVIDIA.

Фото: Lenovo/Flatiron Institute

Новейшие ускорители последней впервые дебютировали в TOP500, причём весьма скромная по всем остальным параметрам машина (2,038 Пфлопс, 405 место) Henri сразу стала лидером GREEN500, оказавшись самой энергоэффективной системой рейтинга — 65,09 Гфлопс/Вт. Суперкомпьютер имеет 5920 ядер и использует процессоры Intel Xeon Platinum 8362 (да, это старая платформа, даже без PCIe 5.0) и PCIe-ускорители H100. Разница с Frontier (52,23 Гфлопс/Вт) велика, но и масштаб систем несопоставим.

Источник: Hyperion Research

В целом, HPC-рынок с точки зрения неоднократно упомянутой Hyperion Research ждёт позитивное будущее. Показатель CAGR на протяжении пяти лет (2021–2026 гг.) составит 6,4 %, а общий объём составит $40,4 млрд. Наибольший рост (CAGR 8,6 %) по-прежнему будут показывать хранилища, которые становятся всё более ёмкими и быстрыми, чтобы поспевать за объёмами данных. В частности, для ИИ-серверов на том же промежутке времени предсказывается CAGR уже на уровне 22 %. Чуть меньший показатель только для HPC в облаках — 17,6 %.

Источник: Hyperion Research

И с учётом облаков общий объём рынка составит уже порядка $50 млрд. Аналитики отмечают существенный сдвиг в сторону облаков именно в этом году, теперь они рассматриваются не только как дополнение к локальным системам. Впрочем, есть и другие любопытные изменения. Так, согласно опросу, только у 29 % респондентов время исполнения наиболее важных или наиболее часто используемых нагрузок составляет более 24 часов, тогда как в прошлом году таковых было 40 %. Ещё один интересный сдвиг — не просто ожидаемый отказ от CentOS в пользу RHEL и Rocky Linux, но и рост популярности Ubuntu.

При этом HPC-рынок страдает одновременно и от сокращения квалифицированных работников, и от всё нарастающей сложности самих систем. Суперкомпьютеры со временем будут включать не только ускорители различных типов, включая DPU, без которых уже вряд ли обойтись, но и квантовые платформы — исследователи насчитали аж 44 компании-разработчика квантового «железа». Кроме того, благодаря усилиям вендоров в HPC пришли и корпоративные пользователи с теми же самыми проблемами, которые как-то придётся решать.

Официально эру экзафлопсных вычислений открыл не так давно суперкомпьютер Frontier, показавший в тестах устоявшуюся производительность на уровне 1,102 Эфлопс. Хотя неофициально более мощные машины уже год как работают в Китае, США готовит им достойного противника. Это система El Capitan, которая монтируется в Лос-Аламосской национальной лаборатории (LLNL) в Нью-Мексико. Даже тестовая платформа, состоящая всего из трёх шкафов, уже попала Топ-200 наиболее мощных HPC-систем на планете.

Как и Frontier, основу El Capitan составляют вычислительные узлы HPE Cray EX235a, в которых установлены процессоры AMD EPYC третьего поколения (Milan) и ускорители Instinct MI250X. Три тестовых шкафа получили названия rzVernal, Tioga и Tenaya, и в свежий список TOP500 вошли все трое. Быстрейшей оказалась rzVernal, занявшая 123 место с результатом 4,1 Пфлопс, Tioga расположилась на 135- месте (3,67 Пфлопс), а Tenaya показала всего 2,86 Пфлопс, но и этого хватило для 200 места.

Тестовые стойки El Capitan. Источник: LLNL

В 2008 году для преодоления планки в 1 Пфлопс потребовалось целое здание и система с 12960 чипами IBM Cell и 6948 процессорами AMD Opteron (IBM Roadrunner). Сегодня втрое-вчетверо быстрее работает один шкаф, включающий в себя от двух до пяти стоек. Когда El Capitan будет полностью введён в строй полностью в 2023 году его производительность должна составить свыше 2 Эфлопс. Впрочем, нынешний лидер TOP500 в лице Frontier также может приблизиться к этому рубежу.

Каждый узел El Capitan содержит пару 64-ядерных процессоров AMD EPYC 7003, а также восемь OAM-модулей Instinct MI250X, поэтому удивляться «способностям» новой системы не стоит — один такой модуль развивает 45-90 Тфлопс, в зависимости от типа вычислений, а в менее точных форматах может показать и свыше 3500 Тфлопс. В качестве интерконнекта используется фирменная сеть Cray Slingshot 11, каждый узел оснащается четырьмя адаптерами. Разумеется, при такой плотности размещения мощностей охлаждение может быть только жидкостное.

Конструкция узла HPE Cray EX235a. Источник: HPC Wire

По оценкам некоторых экспертов, у США будет лишь два с небольшим года для того, чтобы удержать ведущие позиции в HPC-сегменте, поскольку к 2025 году число китайских систем экзафлопсного класса может вырасти до 10. При этом и у SunWay (ShenWei) OceanLight, и у Tianhe-3 вполне может выявиться потенциал для модернизации. Но тем интереснее будет битва за Зеттафлоп. Возможно, потесниться в итоге придётся и Arm, и x86.

59-я редакция TOP500, публичного рейтинга самых производительных суперкомпьютеров мира, стала наиболее знаменательной за последние 14 лет, поскольку официально был преодолён экзафлопсный барьер. Путь от петафлопса оказался долгим — первой петафлопсной системой стал суперкомпьютер IBM Roadrunner, и произошло это аж в 2008 году. Но минимальным порогом для попадания в TOP500 эта отметка стала только в 2019 году.

Как и было обещано, официально и публично отметку в 1 Эфлопс в бенчмарке HPL на FP64-вычислениях первым преодолел суперкомпьютер Frontier — его устоявшаяся производительность составила 1,102 Эфлопс при теоретическом пике в 1,686 Эфлопс. Система на платформе HPE Cray EX235a использует оптимизированные 64-ядерные процессоры AMD EPYC Milan (2 ГГц), ускорители AMD Instinct MI250X и фирменный интерконнект Slingshot 11-го поколения. Система имеет суммарно 8 730 112 ядер, потребляет 21,1 МВт и выдаёт 52,23 Гфлопс/Вт, что делает её второй по энергоэффективности в мире.

Суперкомпьютер Frontier (Фото: AMD)

Впрочем, первое место в Green500 по данному показателю всё равно занимает тестовый кластер в составе всё того же Frontier: 120 832 ядра, 19,2 Пфлопс, 309 кВт, 62,68 Гфлопс/Вт. Третье и четвёртое места достались европейским машинам LUMI и Adastra, новичкам TOP500, которые по «железу» идентичны Frontier, но значительно меньше. Да и разница в Гфлопс/Вт между ними минимальна. Скопом они сместили предыдущего лидера — экзотичную японскую систему MN-3 от Preferred Networks.

Японская система Fugaku, лидер по производительности в течение двух последних лет, сместилась на второе место TOP500. Третье место у финской системы LUMI с показателем производительности 151,9 Пфлопс — обратите внимание, насколько велик разрыв в первой тройке машин. Наконец, в Топ-10 последнее место занял новичок Adastra (46,1 Пфлопс), который расположен во Франции.

Источник: TOP500

В бенчмарке HPCG всё ещё лидирует Fugaku (16 Пфлопс), но, судя по всему, только потому, что для Frontier данных пока нет. Ну и потому, что результат суперкомпьютера LUMI, который почти на порядок медленнее Frontier, в HPCG составляет 1,94 Пфлопс. Наконец, в HPL-AI Frontier также отобрал первенство у Fugaku — 6,86 Эфлопс в вычислениях смешанной точности против 2 Эфлопс. В общем, у Frontier полная победа по всем фронтам, и эту машину можно назвать не только самой быстрой в мире, но первой по-настоящему экзафлопсной системой.

Если, конечно, не учитывать неофициальные результаты OceanLight и Tianhe-3 из Поднебесной, которые в TOP500 никто не заявил. Число китайских систем в нынешнем рейтинге осталось прежним (173 шт.), тогда как США «ужались» со 150 до 127 шт. Российских систем в списке всё так же семь. Лидерами по числу поставленных систем остаются Lenovo, HPE и Inspur, а по их суммарной производительности — HPE, Fujitsu и Lenovo. С другой стороны, массовых изменений и не было — в нынешнем списке всего около сорока новых систем.

Источник: TOP500

Однако нельзя не отметить явный прогресс AMD — да, чуть больше трёх четвертей машин из списка используют процессоры Intel, но AMD удалось за полгода отъесть около 4 %. При этом AMD EPYC Milan присутствует в более чем трёх десятках систем, а доля Intel Xeon Ice Lake-SP вдвое меньше, хотя эти процессоры появились практически одновременно. Ускорители ожидаемо стали использовать больше — они применяются в 170 системах (было 150). Подавляющее большинство приходится на решения NVIDIA разных поколений, но и для новых Instinct MI250X нашлось место в восьми машинах. Ну а в области интерконнекта Infiniband потихоньку догоняет Ethernet: 226 машин против 196 + ещё 40 с Omni-Path + редкие проприетарные решения.

Последняя версия публичного рейтинга самых производительных в мире суперкомпьютеров TOP500 так и осталась без экзафлопсных машин. Китай не захотел включать в него две системы такого класса и пошёл обходным путём, номинировав работы своих учёных на премию Гордона Белла — в соответствующих научных работах даны неполные характеристики машин и показатели их производительности.

Поэтому лидером списка остаётся обновлённая японская система Fugaku, 7,6 млн ядер которой выдают 442 Пфлопс. И она всё ещё втрое быстрее своего ближайшего конкурента Summit. Первые результаты сборки Frontier в список попасть не успели. Всего в ноябрьском рейтинге есть порядка 70 новых систем, но, как и прежде, больше половины из них — однотипные системы Lenovo, массово устанавливаемые в Китае. На Китай вообще приходится более трети (34,6%) систем в списке. На втором месте находятся США (29,8%), а на третьем — Япония (6,4%).

По суммарной производительности Топ-3 тот же, но порядок иной: США (32,5%), Япония (20,7%), Китай (17,5%). В число лидеров также входят Германия, Франция, Нидерланды, Канада, Великобритания, Южная Корея и Россия. У РФ теперь есть сразу семь машин в списке с суммарной производительностью 73,715 Пфлопс. Для сравнения — Perlmutter (5 место) после апгрейда выдаёт 70,87 Пфлопс, а у Южной Кореи тоже есть семь машин, но с чуть более высокой суммарной производительностью в 82,177 Пфлопс.

Суперкомпьютер Chervonenkis (Фото: Яндекс)

К уже имевшимся в TOP500 российским системам MTS GROM (294 место), Lomonosov-2 (Ломоносов-2, 241 место) и Christofari (Кристофари, 72 место) добавились Christofari Neo (Кристофари Нео, 43 место), а также сразу три системы Яндекса: Ляпунов (Lyapunov, 40 место), Галушкин (Galushkin, 36 место) и Червоненкис (Chervonenkis, 19 место). Примечательно, что все российские системы этого года используют AMD EPYC Rome и NVIDIA A100, а также интерконнект Infininiband.

Машины для МТС и Сбера сделала сама NVIDIA (это всё DGX), а вот у Яндекса путь особый. Ляпунов (12,81 Пфлопс) создан китайским Национальным университетом оборонных технологий (National University of Defense Technology, NUDT) и Inspur на базе серверов NF5488A5 (AMD EPYC 7662@2 ГГц + A100 40 Гбайт). Червоненкис (21,53 Пфлопс) и Галушкин (16,02 Пфлопс) разработаны IPE, NVIDIA и Tyan. В этих системах используются EPYC 7702 (тоже 64-ядерные с базовой частотой 2 ГГц) и более новые A100 (80 Гбайт).

Среди прочих новых систем TOP500 особо выделяется Voyager-EUS2, которая замыкает Топ-10. Это ещё система на базе обновлённых инстансов Microsoft Azure ND A100 v4 с 80-Гбайт версией A100. Однако ещё одной облачной машиной уже никого не удивить, в отличие от совершенно неожиданного возврата японской PEZY, пропавшей с радаров после скандала 2017 года. Новая ZettaScaler3.0 занимает 453 место и базируется на AMD EPYC 7702P и фирменных ускорителях PEZY-SC3.

Изображение: OGAWA, Tadashi (twitter.com/ogawa_tter)

В целом, последний год был удачным и для AMD, и для NVIDIA. Первая почти втрое нарастила число систем на базе EPYC — их теперь в списке 74 (или почти треть новых участников списка), если учитывать Naples/Hygon (таких систем 3). Если же смотреть более детально именно на CPU, то тут лидером всё равно остаётся Intel, хотя она и потеряла несколько процентных пунктов за последние полгода — всего 408 машин используют её процессоры. Правда, новейших Ice Lake-SP среди них всего 10, тогда как у EPYC Milan уже 17.

Без акселераторов обходятся 350 суперкомпьютеров списка, зато из 150 оставшихся 143 используют различные поколения ускорителей NVIDIA. Удивительно, но ни одной системы с ускорителями AMD Instinct в ноябрьском рейтинге нет. Остальные акселераторы представлены в единичном экземпляре. И это либо устаревшие системы, либо экзотика из Китая и Японии. Последняя в лице MN-3 всё ещё лидирует по энергоэффективности в Green500.

Систем с Infiniband в списке 178, с Ethernet — 242. Как обычно, по производительности систем лидирует именно IB — 44,5% против 22,4% у Ethernet. Это, к слову, несколько отличается от показателей HPC-индустрии в целом, где в количественном выражении у них практически равные доли. На Omni-Path пришлось 40 систем в TOP500, и столько же на проприетарные интерконнекты. Тут интересно разве что появление второй машины с Atos BXI V2.

Среди производителей по количеству машин лидируют Lenovo (180 шт., это в основном уже упомянутые типовые развёртывания в Китае), HPE (84 шт., сюда же входит наследие Cray и SGI) и Inspur (50 шт.). По производительности картина иная, в Топ-3 входят HPE, Fujitsu (во многом благодаря Fugaku) и Lenovo. По HPC-рынку в целом, согласно данным Hyperion Research, в денежном выражении тройка лидеров включает HPE, Dell и Fujitsu (да, опять «виноват» Fugaku).

То, чего многие ждали и опасались, похоже, случилось. Издание The Next Platform получило от доверенного источника первое подтверждение циркулировавших несколько месяцев слухов о том, что Китай успешно преодолел экзафлопсный барьер. Причём сделал это ещё весной этого года и на двух независимых суперкомпьютерах с чипами собственной разработки, но публиковать результаты в TOP500 не стал.

Если появятся и другие подтверждения, что, как ожидается, случится в середине ноября, то это будет означать проигрыш США в HPC-гонке, поскольку завершение ввода в эксплуатацию Frontier — первой в США и, как изначально предполагалось, в мире системы экзафлопсного класса — запланировано только на следующий год. Ожидается, что её пиковая производительность составит 1,5 Эфлопс, а устоявшаяся — 1,3 Эфлопс.

О планах по созданию экзафлопсных систем Китай официально объявил в 2019 году. Тогда было анонсировано сразу три проекта: Национальный университет оборонных технологий (National University of Defense Technology, NUDT) должен был развивать системы Sunway, Национальный исследовательский центр параллельной вычислительной техники (National Research Center of Parallel Computer, NRCPC) ответственен за доработку платформ Tianhe, а Sugon планировала задействовать процессоры Hygon (клон первого поколения AMD EPYC) и ускорители собственной разработки, но, вероятно, в этом деле не очень преуспела.

Точные конфигурации обоих суперкомпьютеров доподлинно неизвестны, поскольку на этот раз Китай решил не хвастаться достигнутыми результатами. Тем не менее, кое-какие сведения всё же есть. Наследник TaihuLight под кодовым именем Oceanlite на базе нового поколения чипов Sunway (ShenWei) имеет минимум 42 млн ядер и пиковую производительность 1,3 Эфлопс в HPL. Устоявшуася производительность составляет 1,05 Эфлопс, а в FP16-вычислениях — 4,4 Эфлопс. Предполагается, что чипы Oceanlite по сравнению с ShenWei 26010 имеют вдвое больше вычислительных блоков на единицу площади, да и число самих чипов также выросло в два раза. При этом энергопотребление суперкомпьютера составляет 35 МВт.

Прототип Tianhe-3. Фото: Xinhua

Вторая система, условно называемая Tiahne-3, также имеет пиковую производительность 1,3 Эфлопс, но данных о потребляемой мощности нет. Зато об её чипах известно чуть больше — за их разработку отвечает Phytium, росту которой в своё время помог запрет на поставку Intel Xeon для китайских суперкомпьютеров. В активе компании есть собственные 7-нм Arm-процессоры FeiTeng и ускорители (DSP) серии Matrix. Похоже, компания успела получить нужные объёмы чипов до того, как TSMC прекратила их выпуск под давлением США.

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Российская компания МТС объявила о запуске суперкомпьютера MTS GROM, который будет использоваться для развития цифровой экосистемы. С производительностью 2,26 Пфлопс в мировом рейтинге высокопроизводительных машин TOP500 он находится на 241 месте, а среди российских суперкомпьютеров рейтинга он занимает третье место (из трёх).

Суперкомпьютер MTS GROM построен на базе программно-аппаратной платформы NVIDIA DGX A100 и включает 155 узлов: 2 × AMD EPYC 7742 (64C/128T, 2,25/2,4 ГГц, 256 Мбайт L3-кеш, TDP 225 Вт) + 8 × NVIDIA A100 (40 Гбайт) c NVSwitch. Суммарный объём RAM составляет 20,48 Тбайт, а число ядер CPU достигает 19840. Работает система под управлением Ubuntu 20.04.1 LTS.

Узлы объединены посредством InfiniBand, а для хранения данных используется NVMe-oF СХД NetApp, благодаря чему достигается сверхбыстрое взаимодействие вычислительных узлов с СХД для сокращения времени обучения ИИ-моделей. Система построена является воплощением NVIDIA DGX SuperPOD for Enterprise и была развёрнута всего за месяц.

С помощью нового суперкомпьютера Центр искусственного интеллекта МТС планирует реализовывать внутренние и внешние проекты в области клиентского сервиса и повышения операционной эффективности бизнеса. В частности, MTS GROM будет полезен образовательным учреждениям, крупным научным и медицинским центрам в исследованиях, связанных с моделированием сложных процессов.

Как сообщает компания, «в дальнейшем высокопроизводительные мощности MTS GROM станут доступны российским компаниям в портфеле провайдера #CloudMTS. Это позволит крупному бизнесу кратно сократить время на разработку и внедрение проектов на основе искусственного интеллекта и больших данных. Стартапам — в сотни раз снизить затраты на высокопроизводительные вычисления для анализа речи, обработки видео и распознавания лиц». Воспользоваться мощностями MTS GROM можно будет, оставив заявку на сайте #CloudMTS.

«МТС формирует цифровую экосистему для российских компаний. На базе MTS GROM мы будем развивать самые перспективные технологии, связанные с искусственным интеллектом, анализом больших данных и облачными решениями. Суперкомпьютер MTS GROM призван повысить технологичность компании, а также лечь в основу будущих сервисов, которые бизнес и научные организации смогут получить в облаке #CloudMTS, значительно экономя», — отметил директор облачного бизнеса МТС Олег Мотовилов.

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.