Материалы по тегу: астрофизика

13.04.2021 [16:59], Алексей Степин

РСК микроЦОД помогает ФТИ им. А.Ф. Иоффе обуздать термоядерный синтез и лучше понять устройство Вселенной

РСК заслуженно занимает ведущее место в индустрии российских разработчиков систем высокопроизводительных вычислений (HPC). А без таких вычислений современные научные исследования зачастую немыслимы. Уникальный микроЦОД, разработанный и установленный силами RSC в Физико-техническом институте имени А.Ф. Иоффе, помогает российским учёным в астрофизике и исследованиях термоядерного синтеза.

Новая система РСК МикроЦОД была смонтирована в Физико-техническом институте имени А.Ф. Иоффе ещё в сентябре прошлого года, а вскоре после этого вошла в рейтинг Top50 наиболее производительных HPC-систем России и стран СНГ с показателем производительности 66,12 Тфлопс.

РСК МикроЦОД представляет собой полностью законченный и готовый к работе сверхкомпактный кластер, который можно разместить практически в любом помещении. Физически он представляет собой шкаф с вычислительными узлами «РСК Торнадо», объединёнными общей СЖО с поддержкой охлажденгия «горячей водой», то есть с температурой входящего теплоносителя +65 °C. При этом конструктив шкафа выполнен таким образом, что замена вычислительных узлов, модулей СЖО или блоков питания не требует остановки системы и может выполняться «на горячую».

РСК МикроЦОД

РСК МикроЦОД

Такой шкаф высотой 42U может содержать до 153 узлов, а общий показатель энергоэффективности PUE — достигаться значения менее 1,06. За управление и мониторинг в РСК микроЦОД отвечает фирменная модульная программная платформа «БазИС» с открытым исходным кодом. В духе времени большинство компонентов в новой системе реализовано как программно определяемые, что также упрощает развёртывание, обслуживание и модернизацию данной HPC-платформы.

Система также может масштабироваться до 51 «большого» узла, а вариант, установленный в ФТИ, содержит 20 узлов с двумя Intel Xeon Gold 6248R (24C/48T, 3,0-4,0 GHz, 35,75 Мбайт кеша, 205 Ватт TDP) и 384 Гбайт RAM. Для хранения данных используются SSD Intel, межузловая связь построена на базе технологии Intel Omni-Path. МикроЦОД легко поддаётся модернизации и может быть усилен новейшими Xeon Scalable третьего поколения, а также накопителями Optane 200.

В ФТИ имени А.Ф. Иоффе этот суперкомпьютер участвует в ряде ключевых физических и астрофизических исследований, проводимых в России сегодня. К примеру, он задействован в задаче по созданию управляемой среды для термоядерного синтеза, и этот вклад трудно переоценить — ведь за термоядерным синтезом будущее энергетики. Традиционно ещё со времён СССР ставка делается на токамаки, для запуска термоядерной реакции в плазме применяется её нагрев с помощью высокочастотного излучения.

Плазма — объект крайне сложный и капризный в поведении, но новый суперкомпьютер позволил лаборатории физики высокотемпературной плазмы ФТИ создать полную трёхмерную модель поведения ВЧ в плазме токамака. Такая модель уже рассчитана для малого токамака ФТ-2, а также для куда более крупного Т-15МД, установленного в Курчатовском институте в Москве.

Применяется новая система и в фундаментальных астрофизических исследованиях. Уже представлены уникальные результаты МГД-моделирования структуры магнитных полей в пульсарных туманностях Vela и PSR B1929+10. Также проведено кинетическое моделирование спектров электронов и позитронов, испускаемых быстродвижущимися пульсарами в подобного класса туманностях. Составлены модельные карты излучения для пульсаров Vela и PSR J0437-4715 Это позволит учёным лучше понять устройство Вселенной, частью которой все мы являемся.

Постоянный URL: http://servernews.ru/1037237
09.02.2021 [14:14], Алексей Степин

Ускорители AMD Instinct MI100 помогут изучить поведение галактик

Сегодня первое место в списке самых мощных на планете суперкомпьютеров занимает японский Fugaku, построенный на базе уникальных Arm-процессоров Fujitsu A64FX. Но времена его господства, похоже, продлятся недолго — в этом году будет запущен американский Frontier, который должен будет сместить с трона нынешнего короля супервычислений: сочетание AMD EPYC и ускорителей Instinct MI100 позволит ему преодолеть экзафлопсный барьер.

Как мы уже знаем, в основе ORNL Frontier лежит платформа HPE Cray EX. Каждый стандартный шкаф новой системы может содержать до 64 вычислительных модулей с двумя платами, несущими по два процессора AMD EPYC. Дополнят их ускорители AMD Instinct MI100, а в качестве интерконнекта будет использоваться Cray Slingshot. В отличие от Fugaku, Frontier относится к гетерогенным системам.

Суперкомпьютеры такой мощности позволят проводить исследования, недоступные учёным ранее. Одной из программ, разработанных в Ок-Ридже для Frontier, является CHOLLA. Речь идёт о комплекте специализированного программного обеспечения под общим названием «Computational Hydrodynamics on Parallel Architecture» (Вычислительная гидродинамика на параллельной архитектуре). Одна из ключевых областей применения такого ПО — астрофизика.

Структурная схема вычислительных модулей в MI100

Структурная схема вычислительных модулей в MI100

Использование мощностей Frontier позволит понять, как происходят изменения в галактиках, устроенных подобно нашему Млечному Пути, причём, увидеть эти изменения — образование, эволюцию и гибель отдельных звёзд в масштабах целой галактики — можно будет в достаточно высоком разрешении. Будет смоделировано поведение 10 тыс. кубических ячеек космического пространства (примерно 50 тыс. парсек) в течение 500 миллионов лет. Это первый проект вычислительной астрономии, имеющий столь серьёзные масштабы.

Проект CHOLLA, запущенный на Frontier, позволит понять поведение загадочной тёмной материи

Проект CHOLLA, запущенный на Frontier, позволит понять поведение загадочной тёмной материи

Интересно, что изначально программное обеспечение CHOLLA было рассчитано на платформу NVIDIA CUDA, но портирование на открытый аналог в лице AMD ROCm, оказалось очень простым. Как сообщает один из учёных Окриджской лаборатории, основную работу удалось проделать всего за несколько часов, а ведь речь о ПО, которое будет моделировать жизнь целой галактики. К тому же, производительность CHOLLA удалось без всяких оптимизаций поднять в 1,4 раза по сравнению с версией, выполняемой на NVIDIA Tesla V100. Оптимизированный вариант может оказаться ещё производительнее.

Постоянный URL: http://servernews.ru/1032230
13.02.2020 [22:36], Алексей Степин

Эра облачных суперкомпьютеров всё ближе: второй эксперимент увенчался успехом

В конце 2019 года мы рассказали читателям о проведённом совместно Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube астрофизическом эксперименте, впервые задействовавшим облачные службы в действительно серьёзных масштабах.

Тогда удалось нагрузить работой свыше 50 тысяч различных GPU-ускорителей в облачных платформах Amazon, Microsoft и Google Cloud, расположенных по всему миру. Совсем недавно завершился второй эксперимент, который ещё немного приблизил наступление эры облачных суперкомпьютеров.

Первый эксперимент показал, что обработка серьёзных массивов данных, полученных с крупнейшего в мире нейтринного детектора IceCube, возможна и с помощью облачных сервисов. Более того, развёртывание облачного суперкомпьютера оказалось весьма быстрой процедурой.

Второй эксперимент начался 4 февраля 2020 года, в нём были задействованы не использованные в первом опыте средства, полученные за счет гранта EAGER. Как и прежде, использовались ресурсы всех трёх ведущих облаков, однако на этот раз исследователи включили только самые эффективные инстансы и не ограничивали себя одними лишь облачными ресурсами.

Статистика мощностей (слева) и регионов во втором эксперименте

Статистика мощностей (слева) и регионов во втором эксперименте

Вместо этого облачные ресурсы подключались к уже имеющимся в распоряжении экспериментаторов мощностям, доступным через научные сети OSD, XSEDE и PRP. За распределение нагрузки, впрочем, всё также отвечала система HTCondor. Основной целью было выяснить, можно ли удерживать производительность такой распределённой гибридной системы на длительных промежутках времени.

Эксперимент увенчался успехом: начавшись в 9:45 утра, он завершился примерно к 17:45 вечера, то есть, «облачный суперкомпьютер» проработал полный рабочий день. Довольно быстро исследователям удалось вывести систему «на плато», состоящее примерно из 15 тысяч ускорителей с общей производительностью порядка 170 Пфлопс (FP32).

Цели и задачи IceCube: нейтринная астрономия поможет нам лучше понять вселенную

Хотя «облачный кластер» и получился менее мощным, нежели в первом эксперименте, но за счёт времени работы удалось обработать на 50% больше данных — 151 тысяча замеров против 101 тысячи. Средств при этом было затрачено существенно меньше, всего около $60 тысяч. Данные поступали непосредственно с детекторов IceCube, для передачи использовался стандартный протокол HTTP. Удалось также выявить самое эффективное по параметру «цена/производительность» решение. Им оказались инстансы, оснащённые ускорителями NVIDIA Tesla T4.

Второй эксперимент показал, что «облачные суперкомпьютеры» могут задействоваться на протяжении длительных периодов времени и что развёртывать их можно практически в любой день. Также очевидно, что подобного рода решения вполне могут усиливать уже имеющиеся в распоряжении учёных вычислительные ресурсы, существенно ускоряя выполнение поставленной задачи.

Постоянный URL: http://servernews.ru/1003646
02.12.2019 [21:12], Алексей Степин

Учёные задействовали 50 тыс. GPU в «облаках» для астрофизического эксперимента

Облачные вычислительные платформы вполне могут составить конкуренцию традиционным суперкомпьютерам. Это доказал эксперимент, поставленный совместно Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube.

В эксперименте было задействовано свыше 50 тысяч доступных ускорителей, располагавшихся в облачных платформах Amazon Web Services, Microsoft Azure и Google Cloud Platform в 28 регионах трёх континентов ‒ Северной Америки, Европы и Азии.

Статистика эксперимента: типы GPU и динамика нарастания мощности

Статистика эксперимента: типы GPU и динамика нарастания производительности

Всего в облаках сейчас имеет примерно 80 тысяч NVIDIA Tesla V100. Фактически же для опыта задействовался весь доступный на тот момент для аренды массив разнородных ускорителей ‒ 51500 единиц. Он был объединён в единый комплекс с помощью ПО HTCondor

Эксперимент начался 16 ноября и длился порядка 200 минут. Он преследовал три основных цели: выяснить, насколько серьёзные мощности можно задействовать таким образом; выявить реальные масштабы использования ГП в облаках; и, наконец, решить реальную научную задачу.На графике хорошо видно, как нарастала мощность «облачного суперкомпьютера»; она достигла максимума примерно к 110 минуте и составила приблизительно 350 Пфлопс (FP32). Для сравнения, лидер списка TOP500, суперкомпьютер Summit, развивает порядка 400 Пфлопс на вычислениях такой же точности.

Все сегменты общей задачи были оптимизированы с учётом особенностей каждой из восьми моделей доступных ускорителей NVIDA. Время работы сегментов не превышало 15‒30 минут для минимизации риска отключения от сервиса из-за внезапно возникшего спроса. Примерная оценка затрат: от $120 до $150 тысяч в первый день вычислений. То есть около половины выделенного на описываемый проект гранта EAGER.

Вклад различных моделей GPU в общее дело

Вклад различных моделей GPU в общее дело

Для расчётов использовались данные, полученные нейтринной обсерваторией IceCube. Это крупнейший в мире детектор нейтрино, размещённый на антарктической станции Амундсен-Скотт. Он имеет массив из 5160 высокочувствительных оптических детекторов, размещённых в специальных скважинах на глубинах от 1450 до 2450 метров.

В 2017 году с помощью нового массива удалось впервые зафиксировать космические нейтрино сверхвысоких энергий и отследить их источник. За час эксперимента удалось провести симуляцию такого объема данных с детекторов IceCube, который в обычных условиях потребовал бы месяца.

Доля разных регионов в проекте

Доля разных регионов в проекте

В настоящее время активно развивается так называемая «многоканальная астрономия» (multi-messenger astronomy). Её суть заключается в комплексном исследовании всего, что могут испускать астрономические объекты, от электромагнитного излучения до гравитационных волн и элементарных частиц. Но такая астрономия требует обработки гигантских массивов данных.

Проведённый эксперимент показал, что «облачные системы» подходят для подобных целей и позволяют развёртывать серьёзные мощности весьма оперативно, в течение небольшого промежутка времени, что крайне важно для проектов с жёсткими сроками.

Лаборатория IceCube

Хотя добиться запланированных изначально 80 тысяч ускорителей NVIDIA Tesla V100 и не удалось, но был получен бесценный опыт, который в перспективе должен проложить дорогу широкому использованию облачных сервисов с ГП-ускорителями и для других научных проектов. В ближайшем будущем бума облачных супервычислений не ожидается, ведь если они станут широко популярными, то стоимость такого предприятия неизбежно вырастет.

Следует также отметить, что «виртуальный суперкомпьютер» подходит для решения далеко не всех научных задач, связанных с супервычислениями. Некоторые из таких задач критичны к пропускной способности межсоединений, а это не самая сильная сторона подобного рода решений. Поставщики облачных услуг это понимают; в частности, на выставке SC19 Microsoft представила новые облачные серверы Azure, использующие внутреннюю сеть на базе InfiniBand HDR со скоростью 200 Гбит/с и поддержкой RDMA.

Постоянный URL: http://servernews.ru/998876
Система Orphus