Материалы по тегу: top500

16.11.2021 [03:33], Игорь Осколков

TOP500: уж ноябрь на дворе, а экзафлопса не видать

Последняя версия публичного рейтинга самых производительных в мире суперкомпьютеров TOP500 так и осталась без экзафлопсных машин. Китай не захотел включать в него две системы такого класса и пошёл обходным путём, номинировав работы своих учёных на премию Гордона Белла — в соответствующих научных работах даны неполные характеристики машин и показатели их производительности.

Поэтому лидером списка остаётся обновлённая японская система Fugaku, 7,6 млн ядер которой выдают 442 Пфлопс. И она всё ещё втрое быстрее своего ближайшего конкурента Summit. Первые результаты сборки Frontier в список попасть не успели. Всего в ноябрьском рейтинге есть порядка 70 новых систем, но, как и прежде, больше половины из них — однотипные системы Lenovo, массово устанавливаемые в Китае. На Китай вообще приходится более трети (34,6%) систем в списке. На втором месте находятся США (29,8%), а на третьем — Япония (6,4%).

По суммарной производительности Топ-3 тот же, но порядок иной: США (32,5%), Япония (20,7%), Китай (17,5%). В число лидеров также входят Германия, Франция, Нидерланды, Канада, Великобритания, Южная Корея и Россия. У РФ теперь есть сразу семь машин в списке с суммарной производительностью 73,715 Пфлопс. Для сравнения — Perlmutter (5 место) после апгрейда выдаёт 70,87 Пфлопс, а у Южной Кореи тоже есть семь машин, но с чуть более высокой суммарной производительностью в 82,177 Пфлопс.

Суперкомпьютер Chervonenkis (Фото: Яндекс)

Суперкомпьютер Chervonenkis (Фото: Яндекс)

К уже имевшимся в TOP500 российским системам MTS GROM (294 место), Lomonosov-2 (Ломоносов-2, 241 место) и Christofari (Кристофари, 72 место) добавились Christofari Neo (Кристофари Нео, 43 место), а также сразу три системы Яндекса: Ляпунов (Lyapunov, 40 место), Галушкин (Galushkin, 36 место) и Червоненкис (Chervonenkis, 19 место). Примечательно, что все российские системы этого года используют AMD EPYC Rome и NVIDIA A100, а также интерконнект Infininiband.

Машины для МТС и Сбера сделала сама NVIDIA (это всё DGX), а вот у Яндекса путь особый. Ляпунов (12,81 Пфлопс) создан китайским Национальным университетом оборонных технологий (National University of Defense Technology, NUDT) и Inspur на базе серверов NF5488A5 (AMD EPYC 7662@2 ГГц + A100 40 Гбайт). Червоненкис (21,53 Пфлопс) и Галушкин (16,02 Пфлопс) разработаны IPE, NVIDIA и Tyan. В этих системах используются EPYC 7702 (тоже 64-ядерные с базовой частотой 2 ГГц) и более новые A100 (80 Гбайт).

Среди прочих новых систем TOP500 особо выделяется Voyager-EUS2, которая замыкает Топ-10. Это ещё система на базе обновлённых инстансов Microsoft Azure ND A100 v4 с 80-Гбайт версией A100. Однако ещё одной облачной машиной уже никого не удивить, в отличие от совершенно неожиданного возврата японской PEZY, пропавшей с радаров после скандала 2017 года. Новая ZettaScaler3.0 занимает 453 место и базируется на AMD  EPYC 7702P и фирменных ускорителях PEZY-SC3.

Изображение: OGAWA, Tadashi (twitter.com/ogawa_tter)

Изображение: OGAWA, Tadashi (twitter.com/ogawa_tter)

В целом, последний год был удачным и для AMD, и для NVIDIA. Первая почти втрое нарастила число систем на базе EPYC — их теперь в списке 74 (или почти треть новых участников списка), если учитывать Naples/Hygon (таких систем 3). Если же смотреть более детально именно на CPU, то тут лидером всё равно остаётся Intel, хотя она и потеряла несколько процентных пунктов за последние полгода — всего 408 машин используют её процессоры. Правда, новейших Ice Lake-SP среди них всего 10, тогда как у EPYC Milan уже 17.

Без акселераторов обходятся 350 суперкомпьютеров списка, зато из 150 оставшихся 143 используют различные поколения ускорителей NVIDIA. Удивительно, но ни одной системы с ускорителями AMD Instinct в ноябрьском рейтинге нет. Остальные акселераторы представлены в единичном экземпляре. И это либо устаревшие системы, либо экзотика из Китая и Японии. Последняя в лице MN-3 всё ещё лидирует по энергоэффективности в Green500.

Систем с Infiniband в списке 178, с Ethernet — 242. Как обычно, по производительности систем лидирует именно IB — 44,5% против 22,4% у Ethernet. Это, к слову, несколько отличается от показателей HPC-индустрии в целом, где в количественном выражении у них практически равные доли. На Omni-Path пришлось 40 систем в TOP500, и столько же на проприетарные интерконнекты. Тут интересно разве что появление второй машины с Atos BXI V2.

Среди производителей по количеству машин лидируют Lenovo (180 шт., это в основном уже упомянутые типовые развёртывания в Китае), HPE (84 шт., сюда же входит наследие Cray и SGI) и Inspur (50 шт.). По производительности картина иная, в Топ-3 входят HPE, Fujitsu (во многом благодаря Fugaku) и Lenovo. По HPC-рынку в целом, согласно данным Hyperion Research, в денежном выражении тройка лидеров включает HPE, Dell и Fujitsu (да, опять «виноват» Fugaku).

Постоянный URL: http://servernews.ru/1053797
27.10.2021 [01:44], Игорь Осколков

Похоже, у Китая уже есть сразу два экзафлопсных суперкомпьютера — больше таких систем нет ни у кого, даже у США

То, чего многие ждали и опасались, похоже, случилось. Издание The Next Platform получило от доверенного источника первое подтверждение циркулировавших несколько месяцев слухов о том, что Китай успешно преодолел экзафлопсный барьер. Причём сделал это ещё весной этого года и на двух независимых суперкомпьютерах с чипами собственной разработки, но публиковать результаты в TOP500 не стал.

Если появятся и другие подтверждения, что, как ожидается, случится в середине ноября, то это будет означать проигрыш США в HPC-гонке, поскольку завершение ввода в эксплуатацию Frontier — первой в США и, как изначально предполагалось, в мире системы экзафлопсного класса — запланировано только на следующий год. Ожидается, что её пиковая производительность составит 1,5 Эфлопс, а устоявшаяся — 1,3 Эфлопс.

О планах по созданию экзафлопсных систем Китай официально объявил в 2019 году. Тогда было анонсировано сразу три проекта: Национальный университет оборонных технологий (National University of Defense Technology, NUDT) должен был развивать системы Sunway, Национальный исследовательский центр параллельной вычислительной техники (National Research Center of Parallel Computer, NRCPC) ответственен за доработку платформ Tianhe, а Sugon планировала задействовать процессоры Hygon (клон первого поколения AMD EPYC) и ускорители собственной разработки, но, вероятно, в этом деле не очень преуспела.

Точные конфигурации обоих суперкомпьютеров доподлинно неизвестны, поскольку на этот раз Китай решил не хвастаться достигнутыми результатами. Тем не менее, кое-какие сведения всё же есть. Наследник TaihuLight под кодовым именем Oceanlite на базе нового поколения чипов Sunway (ShenWei) имеет минимум 42 млн ядер и пиковую производительность 1,3 Эфлопс в HPL. Устоявшуася производительность составляет 1,05 Эфлопс, а в FP16-вычислениях — 4,4 Эфлопс. Предполагается, что чипы Oceanlite по сравнению с ShenWei 26010 имеют вдвое больше вычислительных блоков на единицу площади, да и число самих чипов также выросло в два раза. При этом энергопотребление суперкомпьютера составляет 35 МВт.

Прототип Tianhe-3. Фото: Xinhua

Прототип Tianhe-3. Фото: Xinhua

Вторая система, условно называемая Tiahne-3, также имеет пиковую производительность 1,3 Эфлопс, но данных о потребляемой мощности нет. Зато об её чипах известно чуть больше — за их разработку отвечает Phytium, росту которой в своё время помог запрет на поставку Intel Xeon для китайских суперкомпьютеров. В активе компании есть собственные 7-нм Arm-процессоры FeiTeng и ускорители (DSP) серии Matrix. Похоже, компания успела получить нужные объёмы чипов до того, как TSMC прекратила их выпуск под давлением США.

Постоянный URL: http://servernews.ru/1052267
07.07.2021 [13:01], Владимир Агапов

Vega, первый суперкомпьютер проекта EuroHPC, полностью введён в эксплуатацию

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Постоянный URL: http://servernews.ru/1043695
30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
29.06.2021 [13:25], Владимир Мироненко

МТС запустила суперкомпьютер MTS GROM: третья российская система в TOP500

Российская компания МТС объявила о запуске суперкомпьютера MTS GROM, который будет использоваться для развития цифровой экосистемы. С производительностью 2,26 Пфлопс в мировом рейтинге высокопроизводительных машин TOP500 он находится на 241 месте, а среди российских суперкомпьютеров рейтинга он занимает третье место (из трёх).

Суперкомпьютер MTS GROM построен на базе программно-аппаратной платформы NVIDIA DGX A100 и включает 155 узлов: 2 × AMD EPYC 7742 (64C/128T, 2,25/2,4 ГГц, 256 Мбайт L3-кеш, TDP 225 Вт) + 8 × NVIDIA A100 (40 Гбайт) c NVSwitch. Суммарный объём RAM составляет 20,48 Тбайт, а число ядер CPU достигает 19840. Работает система под управлением Ubuntu 20.04.1 LTS.

Узлы объединены посредством InfiniBand, а для хранения данных используется NVMe-oF СХД NetApp, благодаря чему достигается сверхбыстрое взаимодействие вычислительных узлов с СХД для сокращения времени обучения ИИ-моделей. Система построена является воплощением NVIDIA DGX SuperPOD for Enterprise и была развёрнута всего за месяц.

С помощью нового суперкомпьютера Центр искусственного интеллекта МТС планирует реализовывать внутренние и внешние проекты в области клиентского сервиса и повышения операционной эффективности бизнеса. В частности, MTS GROM будет полезен образовательным учреждениям, крупным научным и медицинским центрам в исследованиях, связанных с моделированием сложных процессов.

Как сообщает компания, «в дальнейшем высокопроизводительные мощности MTS GROM станут доступны российским компаниям в портфеле провайдера #CloudMTS. Это позволит крупному бизнесу кратно сократить время на разработку и внедрение проектов на основе искусственного интеллекта и больших данных. Стартапам — в сотни раз снизить затраты на высокопроизводительные вычисления для анализа речи, обработки видео и распознавания лиц». Воспользоваться мощностями MTS GROM можно будет, оставив заявку на сайте #CloudMTS.

«МТС формирует цифровую экосистему для российских компаний. На базе MTS GROM мы будем развивать самые перспективные технологии, связанные с искусственным интеллектом, анализом больших данных и облачными решениями. Суперкомпьютер MTS GROM призван повысить технологичность компании, а также лечь в основу будущих сервисов, которые бизнес и научные организации смогут получить в облаке #CloudMTS, значительно экономя», — отметил директор облачного бизнеса МТС Олег Мотовилов.

Постоянный URL: http://servernews.ru/1043086
29.06.2021 [00:03], Владимир Агапов

За год число суперкомпьютеров с процессорами AMD в рейтинге TOP500 выросло в 5 раз

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.

Постоянный URL: http://servernews.ru/1043045
28.06.2021 [16:41], Владимир Мироненко

Более ⅔ суперкомпьютеров в свежем рейтинге TOP500 используют технологии NVIDIA

Согласно свежему рейтингу суперкомпьютеров TOP500, технологии NVIDIA используются в 342 системах (68%), включая 70% всех новых систем списка и в 8 из 10, занимающих первые строчки. Речь, естественно, не только про ускорители, но и про сетевые решения. Новый рейтинг показал, что центры высокопроизводительных вычислений (HPC) всё чаще применяют ИИ, и что потребители продолжают использовать сочетание программно-аппаратных решений NVIDIA для выполнения своих научных и коммерческих рабочих нагрузок.

Так, в TOP500 есть 15 систем на базе фирменных узлов NVIDIA DGX, а количество систем, использующих InfiniBand, выросло по сравнению с прошлым годом на 20 %, что повысило её рейтинг в качестве предпочтительного типа интерконнекта для обработки растущего потока данных ИИ, HPC и моделирования с низкой задержкой и ускорением ряда операций.

Ещё одним признаком растущей важности рабочих нагрузок ИИ является то, что для 10 систем в списке были предоставлены реузультаты HPL-AI, что в 5 раз больше, чем в июне прошлого года (или вдвое больше, чем в ноябре). Более того, часть систем заметно улучшила результаты. Так производительность суперкомпьютера Summit выросла с 415 Пфлопс до 1,15 Эфлопс.

Причина такого резкого скачка — серьёзная оптимизация кода HPL-AI, выпущенного в марте. Это первое обновление бенчмарка с тех пор, как он был выпущен исследователями из Университета Теннесси в конце 2018 года. Одна только оптимизация обмена данными между чипами вкупе с повышением параллелизации позволила получить на некоторых нагрузках почти трёхкратный прирост. Это в очередной раз подчёрквает важность программной экосистемы.

В TOP500 также есть две уникальные системы, так называемые «супероблака» — суперкомпьютеры с новыми возможностями на стыке ИИ, HPC и облачного подхода. Так, публичное облако Microsoft Azure вышло на новый уровень с кластерами, которые заняли четыре места подряд (с 26-го по 29-е) в TOP500. Они являются частями супероблака, глобального ИИ-суперкомпьютера, доступного сегодня по запросу для любого пользователя на планете. Каждая из четырёх систем Azure показала FP64-производительность в 16,59 Пфлопс в тесте HPL (High Performance LINPACK).

NVIDIA также выделила несколько наиболее интересных с её точки зрения HPC-систем в TOP500. Например, Кембриджский университет представил Wilkes-3 — самую быструю академическую систему в Великобритании, занявшую 3-е место в списке самых энергоэффективных систем в мире Green500. Кроме того, это первый в мире суперкомпьютер с облачным подходом. Perlmutter из Национального вычислительного центра энергетических исследований (NERSC) занял 5-е место в TOP500 с 64,59 Пфлопс — это единственная новая и крупная машина в первой десятке TOP500.

HiPerGator AI занял 22-е место в рейтинге с показателем 17,2 Пфлопс и 2-е место в рейтинге Green500, что сделало его самым энергоэффективным академическим ИИ-суперкомпьютером в мире. Наконец, Суперкомпьютер MeluXina из Люксембурга занял 37-е место с 10,5 Пфлопс. Это одна из первых систем, дебютировавших в списке сети европейских национальных суперкомпьютеров, которые будут применять ИИ и аналитику данных в научных и коммерческих приложениях.

Среди новых систем в июньском TOP500 есть и одна российская. Это суперкомпьютер MTS GROM на базе NVIDIA DGX SuperPOD (DGX A100), который ввели в эксплуатацию менее чем за месяц. Система находится на 241-ом месте и имеет FP64-производительность 2,26 Пфлопс. Ресурсы системы будут доступны в облаке #CloudMTS.

Постоянный URL: http://servernews.ru/1043007
23.11.2020 [20:00], Игорь Осколков

SC20: на экзафлопсном фронте без перемен

Ноябрьский рейтинг суперкомпьютеров TOP500 оказался ещё более скудным на новинки в сравнении с летним. Тогда в списке появилось менее сотни новых машин, сейчас — всего 44. Составители списка вновь вынуждены констатировать, что это новый антирекорд с момента выхода первого рейтинга в 1993 году. Однако перспективы не так плохи — до 2026 года мы должны увидеть от 28 до 38 систем мощностью от 1 Эфлопс, на создание которых уйдёт $10-15 млрд.

Лидером же нынешнего TOP4500 остаётся Fugaku, который с лета немного «нарастил мускулы» благодаря доукомплектации новыми узлами и, что не менее важно, за счёт программных оптимизаций. Теперь у него 7,3 млн ядер, которые выдают на-гора 442 Пфлопс реальной производительности. И он всё ещё практически в три раза быстрее второго места в списке, суперкомпьютера Summit. В более современном и комплексном бенчмарке HPCG разрыв между ними ещё заметнее: 16 Пфлопс против 2,93 Пфлопс. А в специализированном HPL-AI и вовсе разгромный — 2 Эфлопс против 0,55 Эфлопс.

Однако и «цена» за такую производительность немаленькая — почти 30 МВт! По показателю Гфлопс/Вт Fugaku чуть лучше того же Summit, а в Green500 он опустился на 10 место. И вот, что интересно — в первой десятке сейчас сплошь системы на базе AMD EPYC 7002 с NVIDIA A100 (верхняя часть списка) и IBM POWER или Intel Xeon с NVIDIA V100 (нижняя), если не учитывать специализированную машину Preferred Networks MN-3. Да и в целом по TOP500 более четверти машин (136) используют ускорители NVIDIA или в редких случаях другие акселераторы. Новых MI100 пока в списке нет.

Зато AMD, процессорами EPYC которой теперь оснащена 21 машина (19 из них Rome), теперь представлена в 12 из 44 новых участников списка. Из них 9 — с 64-ядерными CPU. И это очень сильно контрастирует с наиболее массовыми конфигурациями от 16 до 24 ядер на сокет, которые суммарно занимают почти 60% списка. Что любопытно, среди этих 21 машин шесть имеют ускорители NVIDIA A100, причём одна половина в составе DGX A100 и с 64-ядерными CPU, а вторая — с 24-ядерными. Ещё 14 машин не имеют никаких ускорителей, и 11 из них тоже базируются на 64-ядерных EPYC.

Так что можно аккуратно сказать, что решения AMD интересны и в качестве основы для систем с ускорителями (и тут необязательно использовать старшие SKU), и в составе CPU-only машин. Тем не менее, 90% нынешнего списка остаётся за Intel. Половина новых участников списка всё так же используют Intel Xeon Cascade Lake, а остальные — либо более старые поколения Intel, либо более экзотичные архитектуры. Ладно, A64FX уже не такой экзотичный, а вот пара машин с NEC SX-Aurora Vector Engine Type10AE в качестве основных процессоров на фоне остальных выделяется.

Загадывать наперёд смысла нет, но всё же интересно, что будет дальше делать IBM после реструктуризации, и особенно интересно — что сделает NVIDIA с Arm. Fujitsu A64FX, который лежит в основе Fugaku, всё же довольно нетипичный чип во всех отношениях, а Marvell, только-только получив новые процессоры ThunderX3, похоже, отказывается от серверных CPU. Из альтернатив, готовых составить компанию A100 прямо сейчас, остаётся, по-видимому, только Arm-платформы Ampere. Для A100 же от нынешних EPYC нужны, пожалуй, именно линии PCIe 4.0, которые требуются и самим акселераторам, и сетевым адаптерам, чтобы упростить масштабирование кластера. И вот с интерконнектом и вообще с сетями у NVIDIA после покупки Mellanox всё неплохо.

Особенно интересны в этом контексте DPU, которые потенциально могут значительно снизить потребность в обычных CPU, но насколько это будет применимо именно в HPC, ещё вопрос. Да, половина списка TOP500 опирается на Ethernet, однако совокупная мощность всех систем с InfiniBand составляет 40% от суммарной мощности всех суперкомпьютеров списка. Ещё столько же приходится на проприетарные и кастомные интерконнекты вкупе с Omni-Path (есть даже одна машина с OPA от Cornelis Networks). Следующий шаг NVIDIA уже объявлен — адаптеры, DPU и коммутаторы следующего поколения NDR InfiniBand с базовой скоростью 400 Гбит/с появятся в ближайшие пару лет. Правда, со стороны хоста им опять понадобится или много линий PCIe 4.0, или вовсе PCIe 5.0.

Прямо сейчас такой порядок скоростей на узел есть только у Fugaku. Любопытно, что из всех известных на данный момент проектов экзафлопсных машин, по данным Hyperion Research, только для одной китайской в планах явно указывается использование 400G-интерконнекта «домашней выделки». Причём эта система NUDT Tiahne-3 будет полагаться на некий Arm-чип (вероятно, развитие Phytium), но с учётом последних событий — санкций на современные техпроцессы и неразбериху в китайском офисе Arm — пока не очень понятно, как это всё будет реализовано и когда. Всего у Китая есть три проекта машин экзафлопсного класса.

Евросоюз тоже рассчитывает получить три таких машины в 2022-2023 году, и одна из них будет базироваться на Arm-процессорах собственной разработки SiPearl Rhea. А пока в рамках проекта EuroHPC, который испытывал проблемы с финансированием, будут построены сразу несколько суперкомпьютеров в разных регионах, включая весьма мощные. Великобритания, покинувшая проект в связи с Brexit’ом, по оценкам, будет вынуждена выложить от 0,7 до 1,2 млн фунтов, чтобы получить на рубеже 2022-2023 г.г. собственный экзафлопсный компьютер.

Наконец, в США пока разрабатываются три главных экзафлопсных системы: Aurora, Frontier и El Capitan. Первая из-за пересмотра проекта и ряда проблем Intel задержится примерно на год, так что вторая в конце 2021 года станет первой такой системой в США. В её основу лягут AMD EPYC на базе Zen3, которые должны показать в начале следующего года, и ускорители на базе архитектуры AMD CDNA. Из особенностей отмечается высокая плотность — 300 кВт на стойку, что требует СЖО — и суммарное потребление на уровне 40 МВт. Примерно того же стоит ждать и от суперкомпьютера El Capitan, который будет основан на следующем поколении CPU и GPU AMD и заработает в 2023 году.

Есть и ещё одна система с производительностью около 1 Эфлопс, которая будет поэтапно введена в строй в 2020-2021 г.г. — это Perlmutter на базе AMD EPYC Zen3 и ускорителей NVIDIA. Интересно, вся эта «фантастическая четвёрка» будет базироваться на платформе HPE Cray EX. Последовательная покупка SGI и Cray резко укрепила позиции HPE на рынке суперкомпьютеров. По итогам 2019 года, согласно данным Hyperion Research, она занимает более 37% рынка HPC-серверов. На втором месте Dell с долей 22%, а все прочие игроки занимают менее 7% каждый.

При этом совокупный среднегодовой темп роста до 2024 года именно этого сегмента будет не так велик — 6,8% вместо ранее предсказанных 8,7%. Наибольший прирост придётся на большие во всех смыслах машины, включая экзафлопсные. Быстрее всего будет расти сегмент СХД — 8,3%. Тут в лидерах как раз Dell и IBM, а HPE и DDN на третьем и четвёртом местах соответственно. Хуже всего придётся нижнему сегменту HPC-серверов начального уровня (до $100 тыс.) — после кризиса 2008 года она так и не восстановился, а сейчас скорее пойдёт в облака.

Да и вообще HPC в облаках будет расти более чем в 2,5 раза быстрее, чем в on-premise — CAGR до 2024 года составит 17,6% против 6,7%. Впрочем, разница в объёмах рынках всё равно будет составлять более 4,3 раз в пользу on-premise. Тем не менее, облака добавят $8,8 млрд к общему объёму рынка HPC, который вырастет до более чем $47 млрд. Следует учитывать, что всё это пока что предварительные прогнозы, которые теперь будут обновляться гораздо чаще. Пандемия COVID-19, как теперь стало понятно, заметно повлияла на рынок HPC.

Общие выводы Hyperion Research, в целом, совпадают с данными доклада Intersect360, о котором мы уже писали ранее — многие проекты отложены или заморожены, и не все из них будут реализованы даже после снижения влияния пандемии на мировую экономику. Во всех случаях основным препятствием для закупок, как и прежде, останется стоимость систем. Но для on-premise также будут важны затраты на питание и охлаждение и ограничения по площади. А основными критериями при выборе новых систем помимо очевидного соотношения цена/производительность также станут безопасность, скорость работы CPU и способность работы с ИИ и Big Data.

Постоянный URL: http://servernews.ru/1026082
25.06.2020 [18:37], Владимир Мироненко

Суперкомпьютеры EuroHPC имеют неплохую производительность, но до экзафлопса пока далеко

Всего год, а может быть и меньше, отделяет EuroHPC от запуска новейших суперкомпьютеров, созданных в рамках проектов этой организации. В связи с этим обозреватель Primeurmagazine Эд Эммен (Ad Emmen) проанализировал присутствие EuroHPC в последнем издании рейтинга TOP500.

В 2020 году в TOP500 вошли 96 европейских систем общей производительностью 379 петафлопс. По сравнению с предыдущим рейтингом выросла их общая производительность, хотя количество систем не увеличилось. Сейчас устанавливаются все более и более мощные суперкомпьютеры, но аналитик отметил, что даже если объединить все европейские системы, вошедшие в TOP500, Европа всё ещё далека до суммарной производительности систем в экзафлопс.

Если говорить только о странах, входящих в EuroHPC, то в TOP500 присутствует 93 их системы. На системы EuroHPC приходится порядка 17 % общей производительности, и этот показатель не сильно изменился с годами. И европейская система никогда не возглавляла топ-10 суперкомпьютеров.

В настоящее время в топ-10 входят три системы EuroHPC. Это HPC5 итальянской нефтегазовой компании Eni, Marconi-100, находящаяся в исследовательском центре CINECA в Италии, а также замыкающая десятку Piz Daint, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано (Швейцария).

Таким образом, на EuroHPC приходится треть суперкомпьютеров в Топ-10, что соответствует первоначальной цели организации. Если говорить о Топ-100, то в этот рейтинг входит в среднем 35 европейских систем, что также составляет одну треть. Напомним, что проект EuroHPC направлен на укрепление независимости Европейских стран в области высокопроизводительных вычислений, на него придётся более 1€ млрд.

Постоянный URL: http://servernews.ru/1014269
23.06.2020 [15:15], Игорь Осколков

Летний рейтинг суперкомпьютеров TOP500: экзафлопс напополам

Появлению первого ARM-суперкомпьютера Fugaku на первом месте TOP500 мы уже порадовались. Но если взглянуть на оставшуюся часть списка, поводов для радости уже не так много. Шутка ли, в этом году в число новых машин в списке оказалось наименьшим с момента основания рейтинга.

Существенный прирост суммарной мощности всего списка с 1,65 до 2,23 Эфлопс обеспечила опять же машина Fugaku, внеся тем самым лёгкую сумятицу — отрыв между первым и вторым местом очень существенен. Однако тут есть два важных момента. Во-первых, A64FX концептуально ближе к Xeon Phi — собственная память, стандартные ядра + «широкие» инструкции сбоку — и стоит ли его причислять к CPU или всё же к ускорителям, ещё надо подумать. Во-вторых, энергоэффективность у этой 28-МВт машины оказалась практически идентичной показателю Summit (POWER9 + Volta).

Лидером Green500 вообще оказался специфический суперкомпьютер Preferred Networks MN-3 c ускорителями PFN MN-Core. Как и PEZY, это ещё одно японское чудо, которое вряд ли станет массовым. Остальные же места в «зелёном» списке, как и прежде, по большей части принадлежат машинам на базе процессоров Intel или POWER вкупе с ускорителями NVIDIA. Собственный суперкомпьютер NVIDIA Selene на базе DGX A100 (с AMD EPYC 7002 внутри) занимает в Green500 и TOP500 второе и седьмое место соответственно.

При этом, в целом, соотношение между производителями компонентов практически не поменялось. 470 систем используют процессоры Intel, ещё 11, включая Hygon, используют AMD. Причём Rome полгода назад было всего пару штук, а теперь уже восемь. Всего 4 машины базируются на ARM: Fugaku и её прототип, Flow на базе Fujitsu PRIMEHPC FX1000 с теми же процессорами A64FX и Astra на базе Marvell ThunderX2. Есть под одному SPARC и ShenWei, остальные — IBM POWER. Ускорители установлены почти в трети систем, в подавляющем большинстве случаев это NVIDIA разных поколений.

Теперь NVIDIA имеет право зачесть в свои активы заслуги Mellanox. Формально среди интерконнектов лидирует Ethernet, используемый более чем в половине систем. За ним идёт InfiniBand — почти треть машин. Остальное приходится на проприетарные решения. Однако суммарная производительность суперкомпьютеров с Ethernet почти на треть меньше, чем этот же показатель у машин с IB или проприетарными интерконнектами. Массово Ethernet начинает встречаться у систем после первой сотни позиций TOP500.

Примерно такая же картина наблюдается со странами и производителями. Формально по числу суперкомпьютеров лидирует, конечно, Китай (226 шт.) и большая тройка Lenovo, Sugon, Inspur. В США машин 114, в Японии 30, а в России и вовсе 2 (36-е место у SberCloud Christofari и 131-е у Ломоносов-2 в МГУ). Однако по суммарной мощности лидирует США, а Япония, благодаря всё тому же Fugaku, идёт вровень с Китаем.

Из необычного — в первой десятке свежего рейтинга на шестом месте находится промышленный суперкомпьютер HPC5 итальянской корпорации Eni, который является самым быстрым в Европе вообще. Не то, чтобы у нефтегазовых компаний не хватало возможностей получить такую машину, просто далеко не всегда они готовы делиться информацией.

Составители TOP500 отдельно отметили, что рынки коммерческих и академических суперкомпьютеров отличаются кардинально, и впервые проанализировали первую сотню машин в каждой категории. Собственно говоря, коммерческих машинах как раз уже давно довольно много, но топовые позиции традиционно удерживаются по большей части не ими.

По суммарным числу и производительности коммерческих установок в лидерах опять Китай и китайские же компании. А вот для академических систем картина совершенно иная. По числу машин в лидерах уже США и Япония, по производительности опять же Япония (снова всплеск из-за Fugaku) и США, а среди вендоров верхние строчки занимают привычные имена: Cray + HPE, Atos, IBM, Fujitsu. Среди производителей чипов в количественном выражении лидируют Intel и связка Intel+NVIDIA в обоих сегментах. В плане производительности для коммерческих суперкомпьютеров картинка такая же, а вот в исследовательских машинах доминирует пара POWER+NVIDIA и теперь уже ARM.

В целом же, скорость прироста общей производительности за последние десятилетия осталась практически неизменной. Малое число новых систем в рейтинге успешно скомпенсировал Fugaku, а в скором будущем нас ожидают как минимум три сверхмощные машины экзафлопсного класса Aurora, El Capitane и Frontier. Fugaku же хоть и не дотянул до этой заветной цифры в FP64-вычислениях, но на уровне организации системы его уже можно причислить к суперкомпьютерам нового поколения.

Постоянный URL: http://servernews.ru/1014052
Система Orphus