Материалы по тегу: суперкомпьютер

19.07.2021 [13:15], Алексей Степин

Суперкомпьютер Frontier станет самой энергоэффективной системой экзафлопсного класса

Новый суперкомпьютер вычислительного центра Окриджской лаборатории Frontier должен вступить в строй к концу этого года и стать первой системой экза-класса в США. Хотя такая вычислительная производительность и означает многие мегаватты энергопотребления, OLCF рассказала, что благодаря новым технологиям будущий суперкомпьютер превзойдет раннюю оценку в 20 МВт на Эфлопс.

Физические законы невозможно обмануть и любая вычислительная система, кроме гипотетического обратимого процессора, неизбежно потребляет энергию и выделяет тепло. Но удельную энергоэффективность повышать можно и нужно. Ещё в 2008 году исследовательское агентство DARPA опубликовало любопытное исследование на эту тему.

Четыре проблемы: потребление, надёжность, параллелизм и перемещение данных

Четыре проблемы: потребление, надёжность, параллелизм и перемещение данных

На тот момент создание системы экза-класса уже было возможным на базе существующих технологий, но потреблять такая система стала бы гигаватт энергии; для сравнения, Новгородской области в том же 2008 году требовалось 3,55 ГВт. С учётом развития полупроводниковых технологий исследователи надеялись уложить Эфлопс в 155 МВт, а при самом агрессивном подходе даже 70 МВт.

Перемещение данных: главный пожиратель времени и энергии

Перемещение данных: главный пожиратель времени и энергии

Но и это было слишком большой цифрой, получить под которую финансирование было бы невозможно. Одно только энергопотребление такой системы обошлось бы в более чем $100 миллионов в течение пяти лет. В качестве реалистичной оценки, делающей экзафлопсные суперкомпьютеры реальными, была взята планка 20 МВт.

Также был озвучен и ряд других проблем, стоящих на пути к системам такого масштаба Одним из «бутылочных горлышек» стал бы интерконнект — в 2008 году ещё не было возможности «накормить» систему с такой степенью параллелизма без простоев вычислительных узлов. Время перемещения одного байта информации в подобной системе оказалось на порядки больше времени, затрачиваемого на сами вычисления.

Эволюция систем ORNL: от Titan к Frontier

Эволюция систем ORNL: от Titan к Frontier

С тех пор по меркам ИТ минула эпоха: утончались техпроцессы, стали популярными вычисления на GPU. Если суперкомпьютер Titan 2012 года имел соотношение ЦП к ГП 1:1, то уже в 2017 году с введением в строй его наследника Summit эта цифра выросла до 1:3, а в будущем Frontier она должна составить уже 1:4. На каждый процессор AMD EPYC придётся 4 ускорителя Radeon Instinct.

Само развитие микроэлектроники сделало возможным создание экзафлопсной системы, укладывающуюся в названную более 10 лет назад цифру 20 МВт. Сегодня никаких экзотических технологий и подходов к программированию для реализации проекта подобного масштаба не требуется. Увеличилась и плотность вычислений, и плотность хранения данных, и производительность сетевых подсистем — с 6,4 (Titan) до 100 Гбайт/с (Frontier) в последнем случае.

Развитие технологий позволит превзойти сделанные в 2008 году предсказания

Развитие технологий позволит превзойти сделанные в 2008 году предсказания

На данный момент потребление Frontier оценивается в 29 МВт, что несколько больше заявленной ранее цифры, но, напомним, 20 МВт было оценкой для 1 Эфлопс вычислительной мощности, Frontier же должен развивать более 1,5 Эфлопс, так что соотношение окажется даже лучше ранее предсказанного. Проблема с хранением и перемещением данных в новом суперкомпьютере будет решена за счёт широкого использования памяти типа HBM.

Эта оценка базируется на эффективности вычислений, составляющей 80% — 41,4 Гфлопс/Вт в режиме FP64, что выше наиболее энергоэффективных систем, для которых этот показатель составляет около 30 Гфлопс/Вт. Для сравнения можно взять сегодняшннего лидера TOP500, Arm-суперкомпьютер Fugaku. Его производительность составляет 442 Пфлопс, но потребляет он почти 30 МВт. В рейтинге Green500 он занимает 20 место. Полностью презентацию, посвященную истории экзафлопсных систем, можно посмотреть здесь.

Постоянный URL: http://servernews.ru/1044562
16.07.2021 [17:31], Алексей Степин

Японский облачный суперкомпьютер ABCI подвергся модернизации

Популярность идей машинного обучения и искусственного интеллекта приводит к тому, что многие страны и организации планируют обзавестись HPC-системами, специально предназначенными для этого класса задач. В частности, Токийский университет совместно с Fujitsu модернизировал существующую систему ABCI (AI Bridging Cloud Infrastructure), снабдив её новейшими процессорами Intel Xeon и ускорителями NVIDIA.

Как правило, когда речь заходит о суперкомпьютерах Fujitsu, вспоминаются уникальные наработки компании в сфере HPC — процессоры A64FX, но ABCI имеет более традиционную гетерогенную архитектуру. Изначально этот облачный суперкомпьютер включал в себя вычислительные узлы на базе Xeon Gold и ускорителей NVIDIA V100, объединённых 200-Гбит/с интерконнектом. В качестве файловой системы применена разработка IBM — Spectrum Scale. Это одна систем, специально созданных для решения задач искусственного интеллекта, при этом доступная независимым исследователям и коммерческим компаниям.

Так, 86% пользователей ABCI не входят в состав Японского национального института передовых технических наук (AIST); их число составляет примерно 2500. Но система явно нуждалась в модернизации. Как отметил глава AIST, с 2019 года загруженность ABCI выросла вчетверо, и сейчас на ней запущено 360 проектов, 60% из которых от внешних заказчиков. Сценарии использования самые разнообразные, от распознавания видео до обработки естественных языков и поиска новых лекарств.

Новые узлы ABCI заметно отличаются по архитектуре от старых

Новые узлы ABCI 2.0 заметно отличаются по архитектуре от старых

Как и в большей части систем, ориентированных на машинное обучение, упор при модернизации ABCI был сделан на вычислительную производительность в специфических форматах, включая FP32 и BF16. Изначально в состав ABCI входило 1088 узлов, каждый с четырьмя ускорителями V100 формата SXM2 и двумя процессорами Xeon Gold 6148. После модернизации к ним добавилось 120 узлов на базе пары Xeon Ice Lake-SP и восьми ускорителей A100 формата SXM4. Здесь вместо InfiniBand EDR используется уже InfiniBand HDR.

Стойка с новыми вычислительными узлами ABCI 2.0

Стойка с новыми вычислительными узлами ABCI 2.0

Согласно предварительным ожиданиям, производительность обновлённого суперкомпьютера должна вырасти практически в два раза на задачах вроде ResNet50, в остальных случаях заявлен прирост производительности от полутора до трёх раз. На вычислениях половинной точности речь идёт о цифре свыше 850 Пфлопс, что вплотную приближает ABCI к системам экза-класса. Разработчики также надеются повысить энергоэффективность системы путём применения специфических ускорителей, включая ASIC, но пока речь идёт о связке Intel + NVIDIA.

ABCI и сейчас можно назвать экономичной системой — при максимальной общей мощности комплекса 3,25 МВт сам суперкомпьютер при полной нагрузке потребляет лишь 2,3 МВт. Поскольку система ориентирована на предоставление вычислительных услуг сторонним заказчикам, модернизировано и системное ПО, в котором упор сместился в сторону контейнеризации.

Постоянный URL: http://servernews.ru/1044432
09.07.2021 [12:30], Алексей Степин

Суперкомпьютерный центр Pawsey готовится к наплыву данных с радиотелескопа SKA

Радиоастрономия — почтенная наука, связанная с изучением космоса и имеющая почти вековую историю. Но современные радиотелескопы очень сложны и генерируют огромные объёмы данных, обработать которые может только суперкомпьютер. Суперкомпьютерный центр Pawsey, расположенный в австралийском городе Перт, готовится к такому «наводнению», источником которого должен стать массив телескопов SKA.

Название проекта SKA расшифровывается как Square Kilometre Array — «антенный массив площадью в квадратный километр». Это крупнейший международный проект в области радиоастрономии, предусматривающий создание радиоинтерферометра с невиданной ранее площадью антенного поля. На самом деле с девяностых годов проект был существенно доработан, и теперь собирающая площадь SKA существенно превышает эту цифру.

Комплекс, включающий в себя сотни антенн и сотни тысяч элементов низкочастотного апертурного массива, будет располагаться сразу на двух континентах, в наиболее отдалённых местах Австралии и Южной Африки — для минимизации радиопомех, создаваемых современной человеческой деятельностью.

Основой Setonix станут решения

Основой Setonix станут решения

Сооружение SKA одобрено примерно неделю назад, но проект весьма масштабен. Полного окончания работ следует ожидать к концу текущего десятилетия, но готовиться к наплыву данных, поступающих со столь продвинутого радиотелескопа следует уже сейчас. Об этом объявил суперкомпьютерный центр Pawsey, расположенный в нескольких сотнях километров от будущей австралийской части SKA и обязанный своему рождению в 2014 году именно этому проекту.

Центр Pawsey успешно получил финансирование в объёме $70 млн, которые будут потрачены на замену и обновление сетевой и вычислительной инфраструктуры, а также систем хранения данных. Поставщиком нового оборудования является HPE Cray, будущий суперкомпьютер уже получил имя Setonix, в честь симпатичного австралийского зверька, известного как квокка.

Новый суперкомпьютер будет использовать технологию HPE S3

Новый суперкомпьютер будет использовать технологию HPE S3

Существующие мощности центра Pawsey оцениваются примерно в 1,8 Пфлопс, но Setonix будет в 30 раз мощнее и разовьет 50 Пфлопс, став быстрейшим суперкомпьютером Австралии. Объем объектных СХД в его составе достигнет 60 Пбайт — и это радует сотрудников Pawsey, ведь даже сейчас, на 20% вычислительных мощностей центра, относящихся к астрономическим задачам, приходится 80% всего объёма данных. В настоящее время эти данные поступают с другого радиотелескопа, MWA.

Стоит отметить, что данные поступают не в «сыром» виде — у MWA есть собственный ЦОД, заключённый в клетку Фарадея для предотвращения влияния на работу антенного комплекса. За обработку поступающего «сырья» отвечает массив на базе ПЛИС и графических ускорителей, причём это одна из крупнейших ПЛИС-систем в мире. И уже сейчас ясно, что более масштабная радиоастрономия требует перемены подхода к хранению и перемещению данных.

Технические параметры будущего радиоастрономического комплекса SKA

Технические параметры будущего радиоастрономического комплекса SKA

Ранее достаточно было простой калибровки, оцифровки и сохранения поступающих сигналов с помощью ленточных библиотек для последующей обработки, поскольку объёмы варьировались в пределах от гигабайт до терабайт. Но сейчас речь идёт уже о петабайтах, и для анализа таких массивов требуется настоящий суперкомпьютер. В рамках проекта ASKAP центр Pawsey совместно с HPE Cray разрабатывает платформу, способную справиться с таким потоком, причём речь идёт, в том числе, и об обработке в реальном времени.

Постоянный URL: http://servernews.ru/1043853
07.07.2021 [22:46], Алексей Степин

Самый мощный суперкомпьютер Великобритании Cambridge-1, обошедшийся NVIDIA в $100 млн, пущен в эксплуатацию

Великобритания в связи с Brexit'ом покинула консорциум EuroHPC и будет развивать сферу высокопроизводительных вычислений самостоятельно, в стране есть целый ряд крупных проектов. А одним из важнейших стал суперкомпьютер Cambridge-1 от NVIDIA, который был построен в рекордные сроки и сегодня официально введён в строй. Как и было обещано, NVIDIA вложила в его создание $100 млн.

В основе Cambridge-1 лежит платформа NVIDIA DGX SuperPOD for Enterprise. Это модульная кластерная система, которая отличается простотой развёртывания, на что и делает упор NVIDIA: от заказчика практически не требуется подготовка вспомогательной инфраструктуры, а срок поставки и установки составляет от нескольких недель. После монтажа система сразу готова к вводу в строй и использованию.

Производительность нового кластера достигает 9,68 Пфлопс в классических FP64-вычислениях, на упрощённых форматах данных, используемых для машинного обучения, она может достигать и 400 Пфлопс. На данный момент Cambridge-1 занимает 41 строчку июньского списка TOP500, 12 место в рейтинге европейских суперкомпьютеров, а в Великобритании это просто самая мощная система. Любопытно, что питается Cambridge-1 исключительно от «зелёных» источников энергии.

Система состоит из 80 модулей DGX A100 (80 Гбайт), имеет NVMe-пул ёмкостью 2 Пбайт, а совокупная пропускная способность интерконнекта InfiniBand HDR достигает 20 Тбайт/с. В качестве сетевых сопроцессоров применены NVIDIA BlueField-2, но в следующем году ожидается замена на более совершенные BlueField-3. DPU позволят упростить развёртывание рабочих нагрузок и управление ими.

Основной задачей для Cambridge-1 станут медицинские и биологические исследования. Глава NVIDIA Дженсен Хуанг (Jensen Huang) заявил, что это «первый серьёзный вклад NVIDIA в грядущую революцию в цифровой биологии». Имя своё новый суперкомпьютер получил неспроста — именно в Кембриджском университете, в Кавендишской лаборатории работали всемирно известные Уотсон и Крик, открывшие структуру ДНК.

Использовать ресурсы системы смогут как академические исследователи, так и коммерческие структуры: к примеру, можно вспомнить сотрудничество NVIDIA с корпорацией AstraZeneca. В рамках нового проекта технологии машинного обучения будут задействованы в «цифровой патологии» для автоматической аннотации многих тысяч снимков срезов тканей, которая должна помочь в поиске новых лекарств.

Ресурсами Cambridge-1 уже успели воспользоваться и другие организации: GSK, Благотворительный фонд Гая и Сент-Томаса, Королевский колледж Лондона, а также компания Oxford Nanopore. Одной из задач стал синтез искусственных, но полностью отвечающих реалиям биологии и нейрофизиологии, изображений мозга, что достигается с помощью машинного обучения на основе десятков тысяч реальных томограмм, полученных от пациентов всех возрастов с различными диагнозами.

Это моделирование поможет лучше понять механику развития нейрозаболеваний, таких как множественный склероз, болезнь Альцгеймера, а также онкологических заболеваний мозга, а значит, сделает прогнозы более точными и быстрыми. Что касается компании Oxford Nanopore, то она занимается методами улучшения и ускорения генетического анализа — благодаря Cambridge-1 секвенирование вместо дней будет занимать часы.

Постоянный URL: http://servernews.ru/1043746
07.07.2021 [13:01], Владимир Агапов

Vega, первый суперкомпьютер проекта EuroHPC, полностью введён в эксплуатацию

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Постоянный URL: http://servernews.ru/1043695
02.07.2021 [19:41], Сергей Карасёв

Будущее самого мощного европейского суперкомпьютера MareNostrum 5 под вопросом

Европейское консорциум по высокопроизводительным вычислениям (EuroHPC) отменил тендер на создание суперкомпьютерного комплекса MareNostrum 5. Сетевые источники сообщают, что в настоящее время будущее этой системы остаётся под вопросом. Предполагалось, что MareNostrum 5 станет самым мощным суперкомпьютером в Европе и одним из пяти мощнейших вычислительных комплексов в мире. Пиковая производительность должна была составить как минимум 200 Пфлопс.

MareNostrum 4 / изображение pemb.cat

MareNostrum 4 / изображение pemb.cat

Впервые проект MareNostrum 5 был анонсирован в 2019 году. Стоимость на период в пять лет оценивалась в 223 млн евро. Для размещения комплекса был выбран Барселонский суперкомпьютерный центр (BSC). Более того, уже практически завершена подготовка зала для размещения оборудования. И вот теперь стало известно, что проект приостановлен.

Изображение BSC

Изображение BSC

Причина заключается в том, что участники инициативы не смогли определиться с поставщиком оборудования. В ходе проведённого голосования ни один из участников тендера не набрал необходимое количество голосов. Впрочем, ставить окончательную точку в судьбе MareNostrum 5 пока рано. Представители BSC рассчитывают, что система всё же будет развёрнута.

Постоянный URL: http://servernews.ru/1043421
30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
29.06.2021 [13:25], Владимир Мироненко

МТС запустила суперкомпьютер MTS GROM: третья российская система в TOP500

Российская компания МТС объявила о запуске суперкомпьютера MTS GROM, который будет использоваться для развития цифровой экосистемы. С производительностью 2,26 Пфлопс в мировом рейтинге высокопроизводительных машин TOP500 он находится на 241 месте, а среди российских суперкомпьютеров рейтинга он занимает третье место (из трёх).

Суперкомпьютер MTS GROM построен на базе программно-аппаратной платформы NVIDIA DGX A100 и включает 155 узлов: 2 × AMD EPYC 7742 (64C/128T, 2,25/2,4 ГГц, 256 Мбайт L3-кеш, TDP 225 Вт) + 8 × NVIDIA A100 (40 Гбайт) c NVSwitch. Суммарный объём RAM составляет 20,48 Тбайт, а число ядер CPU достигает 19840. Работает система под управлением Ubuntu 20.04.1 LTS.

Узлы объединены посредством InfiniBand, а для хранения данных используется NVMe-oF СХД NetApp, благодаря чему достигается сверхбыстрое взаимодействие вычислительных узлов с СХД для сокращения времени обучения ИИ-моделей. Система построена является воплощением NVIDIA DGX SuperPOD for Enterprise и была развёрнута всего за месяц.

С помощью нового суперкомпьютера Центр искусственного интеллекта МТС планирует реализовывать внутренние и внешние проекты в области клиентского сервиса и повышения операционной эффективности бизнеса. В частности, MTS GROM будет полезен образовательным учреждениям, крупным научным и медицинским центрам в исследованиях, связанных с моделированием сложных процессов.

Как сообщает компания, «в дальнейшем высокопроизводительные мощности MTS GROM станут доступны российским компаниям в портфеле провайдера #CloudMTS. Это позволит крупному бизнесу кратно сократить время на разработку и внедрение проектов на основе искусственного интеллекта и больших данных. Стартапам — в сотни раз снизить затраты на высокопроизводительные вычисления для анализа речи, обработки видео и распознавания лиц». Воспользоваться мощностями MTS GROM можно будет, оставив заявку на сайте #CloudMTS.

«МТС формирует цифровую экосистему для российских компаний. На базе MTS GROM мы будем развивать самые перспективные технологии, связанные с искусственным интеллектом, анализом больших данных и облачными решениями. Суперкомпьютер MTS GROM призван повысить технологичность компании, а также лечь в основу будущих сервисов, которые бизнес и научные организации смогут получить в облаке #CloudMTS, значительно экономя», — отметил директор облачного бизнеса МТС Олег Мотовилов.

Постоянный URL: http://servernews.ru/1043086
29.06.2021 [00:03], Владимир Агапов

За год число суперкомпьютеров с процессорами AMD в рейтинге TOP500 выросло в 5 раз

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.

Постоянный URL: http://servernews.ru/1043045
28.06.2021 [16:41], Владимир Мироненко

Более ⅔ суперкомпьютеров в свежем рейтинге TOP500 используют технологии NVIDIA

Согласно свежему рейтингу суперкомпьютеров TOP500, технологии NVIDIA используются в 342 системах (68%), включая 70% всех новых систем списка и в 8 из 10, занимающих первые строчки. Речь, естественно, не только про ускорители, но и про сетевые решения. Новый рейтинг показал, что центры высокопроизводительных вычислений (HPC) всё чаще применяют ИИ, и что потребители продолжают использовать сочетание программно-аппаратных решений NVIDIA для выполнения своих научных и коммерческих рабочих нагрузок.

Так, в TOP500 есть 15 систем на базе фирменных узлов NVIDIA DGX, а количество систем, использующих InfiniBand, выросло по сравнению с прошлым годом на 20 %, что повысило её рейтинг в качестве предпочтительного типа интерконнекта для обработки растущего потока данных ИИ, HPC и моделирования с низкой задержкой и ускорением ряда операций.

Ещё одним признаком растущей важности рабочих нагрузок ИИ является то, что для 10 систем в списке были предоставлены реузультаты HPL-AI, что в 5 раз больше, чем в июне прошлого года (или вдвое больше, чем в ноябре). Более того, часть систем заметно улучшила результаты. Так производительность суперкомпьютера Summit выросла с 415 Пфлопс до 1,15 Эфлопс.

Причина такого резкого скачка — серьёзная оптимизация кода HPL-AI, выпущенного в марте. Это первое обновление бенчмарка с тех пор, как он был выпущен исследователями из Университета Теннесси в конце 2018 года. Одна только оптимизация обмена данными между чипами вкупе с повышением параллелизации позволила получить на некоторых нагрузках почти трёхкратный прирост. Это в очередной раз подчёрквает важность программной экосистемы.

В TOP500 также есть две уникальные системы, так называемые «супероблака» — суперкомпьютеры с новыми возможностями на стыке ИИ, HPC и облачного подхода. Так, публичное облако Microsoft Azure вышло на новый уровень с кластерами, которые заняли четыре места подряд (с 26-го по 29-е) в TOP500. Они являются частями супероблака, глобального ИИ-суперкомпьютера, доступного сегодня по запросу для любого пользователя на планете. Каждая из четырёх систем Azure показала FP64-производительность в 16,59 Пфлопс в тесте HPL (High Performance LINPACK).

NVIDIA также выделила несколько наиболее интересных с её точки зрения HPC-систем в TOP500. Например, Кембриджский университет представил Wilkes-3 — самую быструю академическую систему в Великобритании, занявшую 3-е место в списке самых энергоэффективных систем в мире Green500. Кроме того, это первый в мире суперкомпьютер с облачным подходом. Perlmutter из Национального вычислительного центра энергетических исследований (NERSC) занял 5-е место в TOP500 с 64,59 Пфлопс — это единственная новая и крупная машина в первой десятке TOP500.

HiPerGator AI занял 22-е место в рейтинге с показателем 17,2 Пфлопс и 2-е место в рейтинге Green500, что сделало его самым энергоэффективным академическим ИИ-суперкомпьютером в мире. Наконец, Суперкомпьютер MeluXina из Люксембурга занял 37-е место с 10,5 Пфлопс. Это одна из первых систем, дебютировавших в списке сети европейских национальных суперкомпьютеров, которые будут применять ИИ и аналитику данных в научных и коммерческих приложениях.

Среди новых систем в июньском TOP500 есть и одна российская. Это суперкомпьютер MTS GROM на базе NVIDIA DGX SuperPOD (DGX A100), который ввели в эксплуатацию менее чем за месяц. Система находится на 241-ом месте и имеет FP64-производительность 2,26 Пфлопс. Ресурсы системы будут доступны в облаке #CloudMTS.

Постоянный URL: http://servernews.ru/1043007
Система Orphus