Материалы по тегу: top500

07.07.2021 [13:01], Владимир Агапов

Vega, первый суперкомпьютер проекта EuroHPC, полностью введён в эксплуатацию

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Постоянный URL: http://servernews.ru/1043695
30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
29.06.2021 [13:25], Владимир Мироненко

МТС запустила суперкомпьютер MTS GROM: третья российская система в TOP500

Российская компания МТС объявила о запуске суперкомпьютера MTS GROM, который будет использоваться для развития цифровой экосистемы. С производительностью 2,26 Пфлопс в мировом рейтинге высокопроизводительных машин TOP500 он находится на 241 месте, а среди российских суперкомпьютеров рейтинга он занимает третье место (из трёх).

Суперкомпьютер MTS GROM построен на базе программно-аппаратной платформы NVIDIA DGX A100 и включает 155 узлов: 2 × AMD EPYC 7742 (64C/128T, 2,25/2,4 ГГц, 256 Мбайт L3-кеш, TDP 225 Вт) + 8 × NVIDIA A100 (40 Гбайт) c NVSwitch. Суммарный объём RAM составляет 20,48 Тбайт, а число ядер CPU достигает 19840. Работает система под управлением Ubuntu 20.04.1 LTS.

Узлы объединены посредством InfiniBand, а для хранения данных используется NVMe-oF СХД NetApp, благодаря чему достигается сверхбыстрое взаимодействие вычислительных узлов с СХД для сокращения времени обучения ИИ-моделей. Система построена является воплощением NVIDIA DGX SuperPOD for Enterprise и была развёрнута всего за месяц.

С помощью нового суперкомпьютера Центр искусственного интеллекта МТС планирует реализовывать внутренние и внешние проекты в области клиентского сервиса и повышения операционной эффективности бизнеса. В частности, MTS GROM будет полезен образовательным учреждениям, крупным научным и медицинским центрам в исследованиях, связанных с моделированием сложных процессов.

Как сообщает компания, «в дальнейшем высокопроизводительные мощности MTS GROM станут доступны российским компаниям в портфеле провайдера #CloudMTS. Это позволит крупному бизнесу кратно сократить время на разработку и внедрение проектов на основе искусственного интеллекта и больших данных. Стартапам — в сотни раз снизить затраты на высокопроизводительные вычисления для анализа речи, обработки видео и распознавания лиц». Воспользоваться мощностями MTS GROM можно будет, оставив заявку на сайте #CloudMTS.

«МТС формирует цифровую экосистему для российских компаний. На базе MTS GROM мы будем развивать самые перспективные технологии, связанные с искусственным интеллектом, анализом больших данных и облачными решениями. Суперкомпьютер MTS GROM призван повысить технологичность компании, а также лечь в основу будущих сервисов, которые бизнес и научные организации смогут получить в облаке #CloudMTS, значительно экономя», — отметил директор облачного бизнеса МТС Олег Мотовилов.

Постоянный URL: http://servernews.ru/1043086
29.06.2021 [00:03], Владимир Агапов

За год число суперкомпьютеров с процессорами AMD в рейтинге TOP500 выросло в 5 раз

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.

Постоянный URL: http://servernews.ru/1043045
28.06.2021 [16:41], Владимир Мироненко

Более ⅔ суперкомпьютеров в свежем рейтинге TOP500 используют технологии NVIDIA

Согласно свежему рейтингу суперкомпьютеров TOP500, технологии NVIDIA используются в 342 системах (68%), включая 70% всех новых систем списка и в 8 из 10, занимающих первые строчки. Речь, естественно, не только про ускорители, но и про сетевые решения. Новый рейтинг показал, что центры высокопроизводительных вычислений (HPC) всё чаще применяют ИИ, и что потребители продолжают использовать сочетание программно-аппаратных решений NVIDIA для выполнения своих научных и коммерческих рабочих нагрузок.

Так, в TOP500 есть 15 систем на базе фирменных узлов NVIDIA DGX, а количество систем, использующих InfiniBand, выросло по сравнению с прошлым годом на 20 %, что повысило её рейтинг в качестве предпочтительного типа интерконнекта для обработки растущего потока данных ИИ, HPC и моделирования с низкой задержкой и ускорением ряда операций.

Ещё одним признаком растущей важности рабочих нагрузок ИИ является то, что для 10 систем в списке были предоставлены реузультаты HPL-AI, что в 5 раз больше, чем в июне прошлого года (или вдвое больше, чем в ноябре). Более того, часть систем заметно улучшила результаты. Так производительность суперкомпьютера Summit выросла с 415 Пфлопс до 1,15 Эфлопс.

Причина такого резкого скачка — серьёзная оптимизация кода HPL-AI, выпущенного в марте. Это первое обновление бенчмарка с тех пор, как он был выпущен исследователями из Университета Теннесси в конце 2018 года. Одна только оптимизация обмена данными между чипами вкупе с повышением параллелизации позволила получить на некоторых нагрузках почти трёхкратный прирост. Это в очередной раз подчёрквает важность программной экосистемы.

В TOP500 также есть две уникальные системы, так называемые «супероблака» — суперкомпьютеры с новыми возможностями на стыке ИИ, HPC и облачного подхода. Так, публичное облако Microsoft Azure вышло на новый уровень с кластерами, которые заняли четыре места подряд (с 26-го по 29-е) в TOP500. Они являются частями супероблака, глобального ИИ-суперкомпьютера, доступного сегодня по запросу для любого пользователя на планете. Каждая из четырёх систем Azure показала FP64-производительность в 16,59 Пфлопс в тесте HPL (High Performance LINPACK).

NVIDIA также выделила несколько наиболее интересных с её точки зрения HPC-систем в TOP500. Например, Кембриджский университет представил Wilkes-3 — самую быструю академическую систему в Великобритании, занявшую 3-е место в списке самых энергоэффективных систем в мире Green500. Кроме того, это первый в мире суперкомпьютер с облачным подходом. Perlmutter из Национального вычислительного центра энергетических исследований (NERSC) занял 5-е место в TOP500 с 64,59 Пфлопс — это единственная новая и крупная машина в первой десятке TOP500.

HiPerGator AI занял 22-е место в рейтинге с показателем 17,2 Пфлопс и 2-е место в рейтинге Green500, что сделало его самым энергоэффективным академическим ИИ-суперкомпьютером в мире. Наконец, Суперкомпьютер MeluXina из Люксембурга занял 37-е место с 10,5 Пфлопс. Это одна из первых систем, дебютировавших в списке сети европейских национальных суперкомпьютеров, которые будут применять ИИ и аналитику данных в научных и коммерческих приложениях.

Среди новых систем в июньском TOP500 есть и одна российская. Это суперкомпьютер MTS GROM на базе NVIDIA DGX SuperPOD (DGX A100), который ввели в эксплуатацию менее чем за месяц. Система находится на 241-ом месте и имеет FP64-производительность 2,26 Пфлопс. Ресурсы системы будут доступны в облаке #CloudMTS.

Постоянный URL: http://servernews.ru/1043007
23.11.2020 [20:00], Игорь Осколков

SC20: на экзафлопсном фронте без перемен

Ноябрьский рейтинг суперкомпьютеров TOP500 оказался ещё более скудным на новинки в сравнении с летним. Тогда в списке появилось менее сотни новых машин, сейчас — всего 44. Составители списка вновь вынуждены констатировать, что это новый антирекорд с момента выхода первого рейтинга в 1993 году. Однако перспективы не так плохи — до 2026 года мы должны увидеть от 28 до 38 систем мощностью от 1 Эфлопс, на создание которых уйдёт $10-15 млрд.

Лидером же нынешнего TOP4500 остаётся Fugaku, который с лета немного «нарастил мускулы» благодаря доукомплектации новыми узлами и, что не менее важно, за счёт программных оптимизаций. Теперь у него 7,3 млн ядер, которые выдают на-гора 442 Пфлопс реальной производительности. И он всё ещё практически в три раза быстрее второго места в списке, суперкомпьютера Summit. В более современном и комплексном бенчмарке HPCG разрыв между ними ещё заметнее: 16 Пфлопс против 2,93 Пфлопс. А в специализированном HPL-AI и вовсе разгромный — 2 Эфлопс против 0,55 Эфлопс.

Однако и «цена» за такую производительность немаленькая — почти 30 МВт! По показателю Гфлопс/Вт Fugaku чуть лучше того же Summit, а в Green500 он опустился на 10 место. И вот, что интересно — в первой десятке сейчас сплошь системы на базе AMD EPYC 7002 с NVIDIA A100 (верхняя часть списка) и IBM POWER или Intel Xeon с NVIDIA V100 (нижняя), если не учитывать специализированную машину Preferred Networks MN-3. Да и в целом по TOP500 более четверти машин (136) используют ускорители NVIDIA или в редких случаях другие акселераторы. Новых MI100 пока в списке нет.

Зато AMD, процессорами EPYC которой теперь оснащена 21 машина (19 из них Rome), теперь представлена в 12 из 44 новых участников списка. Из них 9 — с 64-ядерными CPU. И это очень сильно контрастирует с наиболее массовыми конфигурациями от 16 до 24 ядер на сокет, которые суммарно занимают почти 60% списка. Что любопытно, среди этих 21 машин шесть имеют ускорители NVIDIA A100, причём одна половина в составе DGX A100 и с 64-ядерными CPU, а вторая — с 24-ядерными. Ещё 14 машин не имеют никаких ускорителей, и 11 из них тоже базируются на 64-ядерных EPYC.

Так что можно аккуратно сказать, что решения AMD интересны и в качестве основы для систем с ускорителями (и тут необязательно использовать старшие SKU), и в составе CPU-only машин. Тем не менее, 90% нынешнего списка остаётся за Intel. Половина новых участников списка всё так же используют Intel Xeon Cascade Lake, а остальные — либо более старые поколения Intel, либо более экзотичные архитектуры. Ладно, A64FX уже не такой экзотичный, а вот пара машин с NEC SX-Aurora Vector Engine Type10AE в качестве основных процессоров на фоне остальных выделяется.

Загадывать наперёд смысла нет, но всё же интересно, что будет дальше делать IBM после реструктуризации, и особенно интересно — что сделает NVIDIA с Arm. Fujitsu A64FX, который лежит в основе Fugaku, всё же довольно нетипичный чип во всех отношениях, а Marvell, только-только получив новые процессоры ThunderX3, похоже, отказывается от серверных CPU. Из альтернатив, готовых составить компанию A100 прямо сейчас, остаётся, по-видимому, только Arm-платформы Ampere. Для A100 же от нынешних EPYC нужны, пожалуй, именно линии PCIe 4.0, которые требуются и самим акселераторам, и сетевым адаптерам, чтобы упростить масштабирование кластера. И вот с интерконнектом и вообще с сетями у NVIDIA после покупки Mellanox всё неплохо.

Особенно интересны в этом контексте DPU, которые потенциально могут значительно снизить потребность в обычных CPU, но насколько это будет применимо именно в HPC, ещё вопрос. Да, половина списка TOP500 опирается на Ethernet, однако совокупная мощность всех систем с InfiniBand составляет 40% от суммарной мощности всех суперкомпьютеров списка. Ещё столько же приходится на проприетарные и кастомные интерконнекты вкупе с Omni-Path (есть даже одна машина с OPA от Cornelis Networks). Следующий шаг NVIDIA уже объявлен — адаптеры, DPU и коммутаторы следующего поколения NDR InfiniBand с базовой скоростью 400 Гбит/с появятся в ближайшие пару лет. Правда, со стороны хоста им опять понадобится или много линий PCIe 4.0, или вовсе PCIe 5.0.

Прямо сейчас такой порядок скоростей на узел есть только у Fugaku. Любопытно, что из всех известных на данный момент проектов экзафлопсных машин, по данным Hyperion Research, только для одной китайской в планах явно указывается использование 400G-интерконнекта «домашней выделки». Причём эта система NUDT Tiahne-3 будет полагаться на некий Arm-чип (вероятно, развитие Phytium), но с учётом последних событий — санкций на современные техпроцессы и неразбериху в китайском офисе Arm — пока не очень понятно, как это всё будет реализовано и когда. Всего у Китая есть три проекта машин экзафлопсного класса.

Евросоюз тоже рассчитывает получить три таких машины в 2022-2023 году, и одна из них будет базироваться на Arm-процессорах собственной разработки SiPearl Rhea. А пока в рамках проекта EuroHPC, который испытывал проблемы с финансированием, будут построены сразу несколько суперкомпьютеров в разных регионах, включая весьма мощные. Великобритания, покинувшая проект в связи с Brexit’ом, по оценкам, будет вынуждена выложить от 0,7 до 1,2 млн фунтов, чтобы получить на рубеже 2022-2023 г.г. собственный экзафлопсный компьютер.

Наконец, в США пока разрабатываются три главных экзафлопсных системы: Aurora, Frontier и El Capitan. Первая из-за пересмотра проекта и ряда проблем Intel задержится примерно на год, так что вторая в конце 2021 года станет первой такой системой в США. В её основу лягут AMD EPYC на базе Zen3, которые должны показать в начале следующего года, и ускорители на базе архитектуры AMD CDNA. Из особенностей отмечается высокая плотность — 300 кВт на стойку, что требует СЖО — и суммарное потребление на уровне 40 МВт. Примерно того же стоит ждать и от суперкомпьютера El Capitan, который будет основан на следующем поколении CPU и GPU AMD и заработает в 2023 году.

Есть и ещё одна система с производительностью около 1 Эфлопс, которая будет поэтапно введена в строй в 2020-2021 г.г. — это Perlmutter на базе AMD EPYC Zen3 и ускорителей NVIDIA. Интересно, вся эта «фантастическая четвёрка» будет базироваться на платформе HPE Cray EX. Последовательная покупка SGI и Cray резко укрепила позиции HPE на рынке суперкомпьютеров. По итогам 2019 года, согласно данным Hyperion Research, она занимает более 37% рынка HPC-серверов. На втором месте Dell с долей 22%, а все прочие игроки занимают менее 7% каждый.

При этом совокупный среднегодовой темп роста до 2024 года именно этого сегмента будет не так велик — 6,8% вместо ранее предсказанных 8,7%. Наибольший прирост придётся на большие во всех смыслах машины, включая экзафлопсные. Быстрее всего будет расти сегмент СХД — 8,3%. Тут в лидерах как раз Dell и IBM, а HPE и DDN на третьем и четвёртом местах соответственно. Хуже всего придётся нижнему сегменту HPC-серверов начального уровня (до $100 тыс.) — после кризиса 2008 года она так и не восстановился, а сейчас скорее пойдёт в облака.

Да и вообще HPC в облаках будет расти более чем в 2,5 раза быстрее, чем в on-premise — CAGR до 2024 года составит 17,6% против 6,7%. Впрочем, разница в объёмах рынках всё равно будет составлять более 4,3 раз в пользу on-premise. Тем не менее, облака добавят $8,8 млрд к общему объёму рынка HPC, который вырастет до более чем $47 млрд. Следует учитывать, что всё это пока что предварительные прогнозы, которые теперь будут обновляться гораздо чаще. Пандемия COVID-19, как теперь стало понятно, заметно повлияла на рынок HPC.

Общие выводы Hyperion Research, в целом, совпадают с данными доклада Intersect360, о котором мы уже писали ранее — многие проекты отложены или заморожены, и не все из них будут реализованы даже после снижения влияния пандемии на мировую экономику. Во всех случаях основным препятствием для закупок, как и прежде, останется стоимость систем. Но для on-premise также будут важны затраты на питание и охлаждение и ограничения по площади. А основными критериями при выборе новых систем помимо очевидного соотношения цена/производительность также станут безопасность, скорость работы CPU и способность работы с ИИ и Big Data.

Постоянный URL: http://servernews.ru/1026082
25.06.2020 [18:37], Владимир Мироненко

Суперкомпьютеры EuroHPC имеют неплохую производительность, но до экзафлопса пока далеко

Всего год, а может быть и меньше, отделяет EuroHPC от запуска новейших суперкомпьютеров, созданных в рамках проектов этой организации. В связи с этим обозреватель Primeurmagazine Эд Эммен (Ad Emmen) проанализировал присутствие EuroHPC в последнем издании рейтинга TOP500.

В 2020 году в TOP500 вошли 96 европейских систем общей производительностью 379 петафлопс. По сравнению с предыдущим рейтингом выросла их общая производительность, хотя количество систем не увеличилось. Сейчас устанавливаются все более и более мощные суперкомпьютеры, но аналитик отметил, что даже если объединить все европейские системы, вошедшие в TOP500, Европа всё ещё далека до суммарной производительности систем в экзафлопс.

Если говорить только о странах, входящих в EuroHPC, то в TOP500 присутствует 93 их системы. На системы EuroHPC приходится порядка 17 % общей производительности, и этот показатель не сильно изменился с годами. И европейская система никогда не возглавляла топ-10 суперкомпьютеров.

В настоящее время в топ-10 входят три системы EuroHPC. Это HPC5 итальянской нефтегазовой компании Eni, Marconi-100, находящаяся в исследовательском центре CINECA в Италии, а также замыкающая десятку Piz Daint, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано (Швейцария).

Таким образом, на EuroHPC приходится треть суперкомпьютеров в Топ-10, что соответствует первоначальной цели организации. Если говорить о Топ-100, то в этот рейтинг входит в среднем 35 европейских систем, что также составляет одну треть. Напомним, что проект EuroHPC направлен на укрепление независимости Европейских стран в области высокопроизводительных вычислений, на него придётся более 1€ млрд.

Постоянный URL: http://servernews.ru/1014269
23.06.2020 [15:15], Игорь Осколков

Летний рейтинг суперкомпьютеров TOP500: экзафлопс напополам

Появлению первого ARM-суперкомпьютера Fugaku на первом месте TOP500 мы уже порадовались. Но если взглянуть на оставшуюся часть списка, поводов для радости уже не так много. Шутка ли, в этом году в число новых машин в списке оказалось наименьшим с момента основания рейтинга.

Существенный прирост суммарной мощности всего списка с 1,65 до 2,23 Эфлопс обеспечила опять же машина Fugaku, внеся тем самым лёгкую сумятицу — отрыв между первым и вторым местом очень существенен. Однако тут есть два важных момента. Во-первых, A64FX концептуально ближе к Xeon Phi — собственная память, стандартные ядра + «широкие» инструкции сбоку — и стоит ли его причислять к CPU или всё же к ускорителям, ещё надо подумать. Во-вторых, энергоэффективность у этой 28-МВт машины оказалась практически идентичной показателю Summit (POWER9 + Volta).

Лидером Green500 вообще оказался специфический суперкомпьютер Preferred Networks MN-3 c ускорителями PFN MN-Core. Как и PEZY, это ещё одно японское чудо, которое вряд ли станет массовым. Остальные же места в «зелёном» списке, как и прежде, по большей части принадлежат машинам на базе процессоров Intel или POWER вкупе с ускорителями NVIDIA. Собственный суперкомпьютер NVIDIA Selene на базе DGX A100 (с AMD EPYC 7002 внутри) занимает в Green500 и TOP500 второе и седьмое место соответственно.

При этом, в целом, соотношение между производителями компонентов практически не поменялось. 470 систем используют процессоры Intel, ещё 11, включая Hygon, используют AMD. Причём Rome полгода назад было всего пару штук, а теперь уже восемь. Всего 4 машины базируются на ARM: Fugaku и её прототип, Flow на базе Fujitsu PRIMEHPC FX1000 с теми же процессорами A64FX и Astra на базе Marvell ThunderX2. Есть под одному SPARC и ShenWei, остальные — IBM POWER. Ускорители установлены почти в трети систем, в подавляющем большинстве случаев это NVIDIA разных поколений.

Теперь NVIDIA имеет право зачесть в свои активы заслуги Mellanox. Формально среди интерконнектов лидирует Ethernet, используемый более чем в половине систем. За ним идёт InfiniBand — почти треть машин. Остальное приходится на проприетарные решения. Однако суммарная производительность суперкомпьютеров с Ethernet почти на треть меньше, чем этот же показатель у машин с IB или проприетарными интерконнектами. Массово Ethernet начинает встречаться у систем после первой сотни позиций TOP500.

Примерно такая же картина наблюдается со странами и производителями. Формально по числу суперкомпьютеров лидирует, конечно, Китай (226 шт.) и большая тройка Lenovo, Sugon, Inspur. В США машин 114, в Японии 30, а в России и вовсе 2 (36-е место у SberCloud Christofari и 131-е у Ломоносов-2 в МГУ). Однако по суммарной мощности лидирует США, а Япония, благодаря всё тому же Fugaku, идёт вровень с Китаем.

Из необычного — в первой десятке свежего рейтинга на шестом месте находится промышленный суперкомпьютер HPC5 итальянской корпорации Eni, который является самым быстрым в Европе вообще. Не то, чтобы у нефтегазовых компаний не хватало возможностей получить такую машину, просто далеко не всегда они готовы делиться информацией.

Составители TOP500 отдельно отметили, что рынки коммерческих и академических суперкомпьютеров отличаются кардинально, и впервые проанализировали первую сотню машин в каждой категории. Собственно говоря, коммерческих машинах как раз уже давно довольно много, но топовые позиции традиционно удерживаются по большей части не ими.

По суммарным числу и производительности коммерческих установок в лидерах опять Китай и китайские же компании. А вот для академических систем картина совершенно иная. По числу машин в лидерах уже США и Япония, по производительности опять же Япония (снова всплеск из-за Fugaku) и США, а среди вендоров верхние строчки занимают привычные имена: Cray + HPE, Atos, IBM, Fujitsu. Среди производителей чипов в количественном выражении лидируют Intel и связка Intel+NVIDIA в обоих сегментах. В плане производительности для коммерческих суперкомпьютеров картинка такая же, а вот в исследовательских машинах доминирует пара POWER+NVIDIA и теперь уже ARM.

В целом же, скорость прироста общей производительности за последние десятилетия осталась практически неизменной. Малое число новых систем в рейтинге успешно скомпенсировал Fugaku, а в скором будущем нас ожидают как минимум три сверхмощные машины экзафлопсного класса Aurora, El Capitane и Frontier. Fugaku же хоть и не дотянул до этой заветной цифры в FP64-вычислениях, но на уровне организации системы его уже можно причислить к суперкомпьютерам нового поколения.

Постоянный URL: http://servernews.ru/1014052
22.06.2020 [18:20], Игорь Осколков

ARM-суперкомпьютер Fugaku поднялся на вершину рейтингов TOP500, HPCG и HPL-AI

Конечно же, речь идёт о японском суперкомпьютере Fugaku на базе ARM-процессоров A64FX, который досрочно начал трудиться весной этого года. Эта машина стала самым мощным суперкомпьютером в мире сразу в трёх рейтингах: классическом TOP500, современном HPCG и специализированном HPL-AI.

Суперкомпьютер состоит из 158976 узлов, которые имеют почти 7,3 млн процессорных ядер, обеспечивающих реальную производительность на уровне 415,5 Пфлопс, то есть Fugaku почти в два с половиной раза быстрее лидера предыдущего рейтинга, машины Summit. Правда, оказалось, что с точки зрения энергоэффективности новая ARM-система мало чем отличается от связки обычного процессора и GPU, которой пользуется большая часть суперкомпьютеров. Так что на первое место в Green500 она не попала.

Однако на стороне Fugaku универсальность — понижение точности вычислений вдвое приводит к удвоение производительности. Так что машина имеет впечатляющую теоретическую пиковую скорость вычислений 4,3 Эопс на INT8 и не менее впечатляющие 537 Пфлопс на FP64. Это помогло занять её первое место в бенчмарке HPL-AI, которые использует вычисления разной точности. А общая архитектура процессора, включающего набортную память HBM2, и системы, использующей интерконнект Tofu, способствовали лидерству в бенчмарке HPCG, который оценивает эффективность машины в целом.

Постоянный URL: http://servernews.ru/1013963
13.06.2020 [13:11], Алексей Разин

Япония не теряет надежды возглавить список самых производительных суперкомпьютеров

Официально список 500 самых производительных суперкомпьютеров мира последний раз обновлялся в ноябре прошлого года, номинально в нём лидирует американская система Summit с уровнем быстродействия более 200 терафлопс. Прежде чем США в следующем году шагнут за предел в один эксафлопс, Япония рассчитывает возглавить список Top 500, расположив на его вершине суперкомпьютер Fujitsu Fugaku.

Известно, что в следующем году Национальная лаборатория Ок-Ридж получит на вооружение создаваемую в сотрудничестве с AMD систему Frontier, которая поднимет планку быстродействия до 1500 петафлопс. Это на какое-то время сделает американский суперкомпьютер недосягаемым для конкурентов, особенно с учётом санкций против Китая, который в последние годы является главным соперником США в этой сфере.

Источник изображения: Kyodo

Источник изображения: Kyodo

Как отмечает издание Nikkei Asian Review, японские власти готовы поддержать инициативу Fujitsu по созданию суперкомпьютера Fugaku, чей уровень быстродействия достигнет примерно 530 петафлопс. Сейчас самый производительный японский суперкомпьютер ABCI занимает восьмую строчку в мировом рейтинге, а на его вершине японская система в последний раз присутствовала восемь с половиной лет назад. Прототип Fugaku занимает в том же рейтинге 159 место, лидируя при этом в Green500.

Примечательно, что Fugaku уже используется японскими учёными для поиска методов лечения нового коронавируса, поэтому даже если его лидерство в перечне Top 500 будет краткосрочным, определённую пользу он принесёт и не для защиты чести страны на международной арене.

Суперкомпьютер Fugaku будет построен на основе 150 тысяч процессоров Fujitsu A64FX с ARM-совместимой архитектурой. Своего предшественника, который сейчас занимает восьмую позицию в мировом рейтинге, он превзойдёт по быстродействию в 16 раз, как минимум, а уровень энергопотребления при этом будет в три раза ниже. Окончательный ввод в строй Fugaku должен состояться не ранее 2021 года, и возможность возвращения Японии на вершину рейтинга будет сильно зависеть от расторопности HPE/Cray и других компаний, создающих для американцев в три раза более производительный Frontier.

Постоянный URL: http://servernews.ru/1013324
Система Orphus