Материалы по тегу: eurohpc

20.07.2021 [23:38], Владимир Агапов

EuroHPC запустил проект ADMIRE по разработке адаптивных СХД для экзафлопсных вычислений

Растущая потребность в обработке чрезвычайно больших наборов данных является одним из основных стимулов создания систем высокопроизводительных вычислений (HPC) экзафлопсного уровня. Плоские иерархии хранилищ, встречающиеся в классических архитектурах HPC, уже недостаточно производительны. Многоуровневые иерархии могут устранить узкие места, но для максимального повышения производительности требуется тщательный контроль, чтобы избежать перегрузок и сбалансировать производительность вычислений и ввода-вывода (IO).

Соответствующие универсальные интерфейсы и методы для управления таким расширенным стеком ввода-вывод пока что отсутствуют. Проект ADMIRE запущен ЕС как раз с целью создания такого активного стека, который будет динамически реагировать на требования к вычислениям и хранению благодаря интеллектуальной глобальной координации, гибкости вычислений и ввода-вывода, а также планирования ресурсов хранения на всех уровнях иерархии хранения.

hpcwire.com

hpcwire.com

В проект, запущенный 1 апреля 2021 г, вовлечены 14 институтов из 6 европейских стран. Координацию осуществляет Университет Карлоса III в Мадриде (UC3M), а финансирование — консорциум EuroHPC JU и сами страны, участвующие в проекте. Сформированный бюджет проекта составляет €7,9 млн.

Главная роль в ADMIRE отводится четырём институтам Германии. Они будут работать над различными компонентами системы в течении ближайших трёх лет. Разработчикам необходимо будет создать программно определяемую структуру, основанную на принципах масштабируемого мониторинга и управления, разделенния уровней управления и передачи данных, а также оркестрации ключевых компонентов системы и приложений через встроенные точки управления.

semanticscholar.org

semanticscholar.org

Исследователи из Университет Иоганна Гутенберга в Майнце (JGU) займутся разработкой специальных (ad-hoc) систем хранения данных (СХД), которые будут динамически реагировать на решения, принимаемые ADMIRE. С помощью ad-hoc СХД можно будет снизить нагрузку на основную параллельную файловую систему, обеспечив при этом значительно более высокую пропускную способность для данных и метаданных. В основу работы будет заложена разработанная ранее файловая система GekkoFS с дополнениями для проекта ADMIRE, позволяющими удовлетворить семантические требования, требованиям к целостности и шаблонам доступа и т.д.

Технический университет Дармштадта (TU Darmstadt) разработает алгоритмы и инструменты для настройки ресурсов, используемых ПО во время выполнения таким образом, чтобы оптимизировать как время выполнения отдельных программ, так и вычислительную мощность системы в целом. Для этого он доработает свой инструмент моделирования производительности Extra-P, чтобы добавить возможность IO-моделирования для системы ADMIRE.

clustercomp.org

clustercomp.org

Суперкомпьютерный центр Юлиха (JSC) оптимизирует производительность ввода-вывода конвейеров обработки, которые ускорят доступ к данным и их анализ на всех этапах — от загрузки до получения конечных результатов. Это нужно для того, чтобы система могла обрабатывать огромные информации из различных источников в реальных сценариях работы.

Центр вычислений и данных Макса Планка (MPCDF) привнесёт в проект методы обработки данных на различных этапах (in-transit/in-situ), с помощью которых они могут, например, сжиматься и анализироваться по ходу текущего моделирования. Благодаря этому задачи, которые обычно выполняются только после завершения моделирования и сохранения данных в файл, смогут быть решены, всё ещё находясь в основной памяти, что значительно сокращает объём данных, которые в конечном итоге сохраняются.

researchgate.net

researchgate.net

Участники ожидают, что эти инструменты позволят существенно увеличить производительность как отдельных приложений HPC, так и пропускную способность системы в целом. Благодаря использованию преимуществ быстрых и энергоэффективных накопителей на уровне узлов, Европейских ad-hoc СХД и методов обработки данных in-transit/in-situ. Кроме того, расширенный стек ввода-вывода будет обеспечивать качество обслуживания (QoS) и отказоустойчивость.

Постоянный URL: http://servernews.ru/1044735
12.07.2021 [23:44], Владимир Мироненко

AMD совместно с EuroCC поддержит развитие HPC в регионе EMEA

Представители финансируемого Евросоюзом проекта EuroCC, цель которого — объединение усилий многих стран для работы в областях высокопроизводительных вычислений (HPC), высокопроизводительной аналитики данных (HPDA) и искусственного интеллекта (ИИ), недавно провели встречу с экспертами в области HPC компании AMD.

«Проект EuroCC обеспечивает благоприятную среду для общения HPC-специалистов в значительном количестве центров в Европе, — отметил Джейсон Хоган О’Нил (Jason Hogan O’Neill), директор Центра передового опыта AMD в области HPC. — Мы с нетерпением ждём возможности показать EuroCC и поддерживающим его странам, как высокопроизводительные процессоры AMD EPYC и ускорители AMD Instinct могут помочь в достижении поставленных целей».

eurocc-access.eu

eurocc-access.eu

В рамках проекта EuroCC в каждой из 33 стран-участниц создаются национальные центры компетенций (NCC) в области HPC. AMD и EuroCC объединили усилия с NCC нескольких стран, чтобы провести совместный семинар, который станет отправной точкой для взаимодействия членов EuroCC с AMD, позволив больше узнать о том, как технологии AMD могут помочь в этой области.

Как сообщается, EuroCC и NCC планируют продолжить сотрудничество с AMD и другими поставщиками технологий с целью продвижения HPC-возможностей во всём регионе. Проект EuroCC осуществляется согласно рамочной программе Европейского Союза по исследованиям и инновациям Horizon 2020 (H2020, Горизонт 2020). Проект получил финансирование со стороны консорциума EuroHPC, который также развивается в рамках H2020.

Постоянный URL: http://servernews.ru/1044049
07.07.2021 [13:01], Владимир Агапов

Vega, первый суперкомпьютер проекта EuroHPC, полностью введён в эксплуатацию

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Постоянный URL: http://servernews.ru/1043695
02.07.2021 [19:41], Сергей Карасёв

Будущее самого мощного европейского суперкомпьютера MareNostrum 5 под вопросом

Европейское консорциум по высокопроизводительным вычислениям (EuroHPC) отменил тендер на создание суперкомпьютерного комплекса MareNostrum 5. Сетевые источники сообщают, что в настоящее время будущее этой системы остаётся под вопросом. Предполагалось, что MareNostrum 5 станет самым мощным суперкомпьютером в Европе и одним из пяти мощнейших вычислительных комплексов в мире. Пиковая производительность должна была составить как минимум 200 Пфлопс.

MareNostrum 4 / изображение pemb.cat

MareNostrum 4 / изображение pemb.cat

Впервые проект MareNostrum 5 был анонсирован в 2019 году. Стоимость на период в пять лет оценивалась в 223 млн евро. Для размещения комплекса был выбран Барселонский суперкомпьютерный центр (BSC). Более того, уже практически завершена подготовка зала для размещения оборудования. И вот теперь стало известно, что проект приостановлен.

Изображение BSC

Изображение BSC

Причина заключается в том, что участники инициативы не смогли определиться с поставщиком оборудования. В ходе проведённого голосования ни один из участников тендера не набрал необходимое количество голосов. Впрочем, ставить окончательную точку в судьбе MareNostrum 5 пока рано. Представители BSC рассчитывают, что система всё же будет развёрнута.

Постоянный URL: http://servernews.ru/1043421
22.04.2021 [00:19], Андрей Галадей

Первый суперкомпьютер европейского проекта EuroHPC готов к работе

На торжественной церемонии в словенском Мариборе состоялся запуск первого в ЕС суперкомпьютера мирового уровня в рамках проекта EuroHPC, который получил название Vega. Эта система, как утверждается, является крупнейшей в стране. Она основана на платформе BullSequana XH2000, созданной компанией Atos.

Суперкомпьютер обеспечивает стабильную производительность в 6,9 Пфлопс. Он позволит словенским и европейским учёным сотрудничать в крупных международных проектах и поддерживать разработку научных приложений, систем машинного обучения, искусственного интеллекта и высокопроизводительного анализа данных.

Строительство суперкомпьютера Vega финансировалось Европейским фондом регионального развития и Министерством образования, науки и спорта Словении (65,8 %), а также из фондов совместного предприятия EuroHPC (34,2 %). Как отмечается, суперкомпьютер Vega полностью готов к работе. Он значительно увеличит вычислительную мощность, доступную в настоящее время в Европе. Доступ к нему будет предоставлен уже в текущем месяце.

EuroHPC — это панъевропейский проект по разработке современных суперкомпьютеров, который был анонсирован ещё в 2018 году. Проект общей стоимостью €8 млрд предполагает софинансирование со стороны Евросоюза и стран-участниц. Однако планы неоднократно менялись. Так, Великобритания, один из активных участников проекта, покинула его, а в прошлом году назрел кризис — страны сократили бюджеты и были не готовы к финансированию.

Постоянный URL: http://servernews.ru/1037862
19.11.2020 [13:39], Сергей Карасёв

SC20: суперкомпьютер Leonardo получит 14 000 узлов с ускорителями NVIDIA Ampere

Некоммерческий консорциум CINECA, состоящий из 69 итальянских университетов и 21 национальных исследовательских центров, представил проект нового комплекса высокопроизводительных вычислений. В основу суперкомпьютера под названием Leonardo ляжет платформа Atos BullSequana XH2000.

Архитектура Leonardo предусматривает наличие двух секций — общего назначения и с ускорителями (Booster). В состав первого войдут более 3000 узлов CPU на основе процессоров Intel. Секция Booster объединит приблизительно 14 000 GPU-узлов, каждый из которых будет содержать четыре ускорителя NVIDIA. Ожидаемая максимальная производительность составит 240 Пфлопс FP64 и 10 Эфлопс FP16.

От DDN вычислительный комплекс получит 5 Пбайт пространства на высокопроизводительных накопителях и ещё 100 Пбайт пространства для хранения данных. Говорится об использовании интерконнекта Mellanox Infiniband HDR 200 Гбит/с.

Применять Leonardo планируется для решения сложных научных и медицинских задач. Это, в частности, моделирование климата, поиск перспективных лекарственных препаратов, в том числе для борьбы с коронавирусной инфекцией, и пр.

Постоянный URL: http://servernews.ru/1025782
21.10.2020 [12:18], Владимир Мироненко

HPE построит в Финляндии суперкомпьютер LUMI производительностью 550 Пфлопс

Компания Hewlett Packard Enterprise (HPE) объявила сегодня о заключении контракта стоимостью более 160 миллионов долларов США на создание суперкомпьютера LUMI в Финляндии.

Финансирование создания LUMI будет осуществляться в рамках панъевропейского проекта по разработке современных суперкомпьютеров EuroHPC. Новая система получит теоретическую пиковую производительность более 550 Пфлопс. Это превосходит возможности суперкомпьютера Fugaku в Центре вычислительных наук RIKEN, который достиг производительности в 415,5 Пфлопс в июне 2020 года.

HPE сообщила, что LUMI будет установлен в Финском научном центре ИТ в Каяани. Он будет основан на архитектуре HPE Cray EX с процессорами AMD EPYC и высокопроизводительными графическими картами AMD Instinct. Также суперкомпьютер будет использовать систему хранения HPE Cray ClusterStor E1000 и интерконнект HPE Slingshot плюс возможности жидкостного охлаждения для минимизации потребления электроэнергии и воды.

LUMI будет питаться от гидроэлектроэнергии, поставляемой государственной шведской компанией Vattenfall. Как было объявлено ранее, часть тепла, производимого LUMI, будет использоваться поставщиком коммунальных услуг Loiste Lämpö для отопления домов в Каяани.

Предполагается, что LUMI будет запущен в эксплуатацию в середине 2021 года. Его вычислительными возможностями смогут воспользоваться десять европейских стран в рамках недавно сформированного консорциума, в который вошли Бельгия, Чешская Республика, Дания, Эстония, Финляндия, Исландия, Норвегия, Польша, Швеция и Швейцария.

LUMI — вторая суперкомпьютерная система, которую HPE построит по контракту с EuroHPC, вслед за суперкомпьютером Euro_I4TI для Национального суперкомпьютерного центра IT4Innovations в Остраве.

Постоянный URL: http://servernews.ru/1023462
15.10.2020 [23:59], Владимир Мироненко

NVIDIA и EuroHPC построят четыре суперкомпьютера, включая мощную систему Leonardo

Совместное предприятие «EuroHPC JU» (European High Performance Computing Joint Undertaking) со штаб-квартирой в Люксембурге, представляющее интересы 32 стран Европы, в июне 2019 года выбрало восемь суперкомпьютерных центров по всему Европейскому Союзу в качестве мест для размещения первых восьми суперкомпьютерных систем EuroHPC.

Компания NVIDIA объявила в четверг, что её продукты будут обеспечивать функционирование по меньшей мере четырёх из них: Leonardo, который будет эксплуатироваться консорциумом CINECA в Италии; Meluxina (LuxConnect, Люксембург); EURO IT4I в Национальном суперкомпьютерном центре IT4Innovations в Чешской Республике; и Vega, размещённом в Институте информатики (IZUM) в Словении.

Все четыре системы будут использовать графические процессоры NVIDIA Ampere и сеть на базе NVIDIA HDR InfiniBand. Компания HPE построит суперкомпьютер EURO IT4I, в строительстве остальных в качестве основного подрядчика выступит Atos. У MeluXina будет 800 графических процессоров NVIDIA A100, у EURO IT4I — 560 штук NVIDIA A100, а у Vega — 240 графических процессоров NVIDIA A100. Ожидается, что Meluxina обеспечит пиковую производительность в пределах 10 Пфлопс, EURO IT4I — 15,2 Пфлопс и Vega — 6,8 Пфлопс, что позволит всем трём попасть в рейтинг TOP-500. 

Настоящим гигантом на их фоне выглядит суперкомпьютерная система CINECA Leonardo, которая, как ожидается, будет иметь пиковую производительность более 200 Пфлопс. Её стоимость составит до 240 млн евро. Половину суммы выделит EuroHPC, вторую половину — Министерство просвещения, университетов и научных исследований Италии. Leonardo — один из трёх запланированных к созданию EuroHPC JU суперкомпьютеров преэкзафлопсного класса.

Leonardo будет содержать около 14 000 новейших графических процессоров NVIDIA A100, распределённых между примерно 3500 узлами Atos Sequana, каждый из которых будет оснащён четырьмя A100 и одним процессором Intel (по всей видимости, 10-нм Sapphire Rapids Xeon Scalable), установленным на основной плате NVIDIA HGX. Узлы с водяным охлаждением будут использовать сеть NVIDIA Mellanox HDR InfiniBand 200 Гбит/с, которая, по словам CINECA, поддерживается за счёт интеллектуального ускорения вычислений в сети, обеспечивающего низкую задержку и высокую пропускную способность данных.

Ожидается, что другие системы, созданные Atos, будут использовать очень похожие конфигурации, за исключением очевидных расхождений в масштабе, в то время, как система, созданная HPE, будет основана на конфигурации HPE Apollo 6500.

При условии своевременного строительства центра обработки данных, развертывание Leonardo предполагается начать в 2021 году с вводом в эксплуатацию в 2022 году. Он будет использоваться CINECA для самых разных исследований, включая разработку лекарств, исследование космоса, моделирование погоды, материаловедение и климатическое моделирование.

Постоянный URL: http://servernews.ru/1023061
19.09.2020 [19:33], Владимир Мироненко

Евросоюз инвестирует €8 млрд в суперкомпьютерный проект EuroHPC

Европейская комиссия объявила о планах инвестировать €8 млрд в EuroHPC, панъевропейский проект по разработке современных суперкомпьютеров, в том числе экзафлопсного класса, запущенный в ноябре 2018 года. В настоящее время он включает 32 европейские страны. Весной, напомним, случилась заминка, так как только половина стран-участниц согласилась софинансировать проект, а зимой в связи с Brexit'ом проект покинула Великобритания.

Инвестиции предполагается выполнить в форме нового регулирования, которое пока ещё не было официально принято Советом Европейского Союза. Об этом объявила в ходе доклада о положении дел председатель Европейской комиссии Урсула фон дер Ляйен (Ursula von der Leyen). «Я рада объявить об инвестициях в размере 8 млрд евро в суперкомпьютеры следующего поколения — передовые технологии, созданные в Европе, — сказала фон дер Лайен. — И мы хотим, чтобы европейская промышленность разработала наш собственный микропроцессор следующего поколения, который позволит нам использовать увеличивающиеся объёмы данных энергоэффективно и безопасно. В этом вся суть цифровой декады Европы!».

Упомянутый в докладе чип будет создан в рамках программы European Processor Initiative (EPI), для которой SiPearl разрабатывает высокопроизводительный микропроцессор с низким энергопотреблением под кодовым названием Rhea. Процессор, подробности о котором «просочились» в Сеть на прошлой неделе, планируется выпустить в 2021 году и использовать в 2022 году в будущем европейском суперкомпьютере с вычислительной мощностью в эксафлопс. Rhea — первое поколение из запланированных EPI чипов. За ним последуют поколения Zeus, Titan и Chronos. Первый CPU SiPearl получит 72 ядра ARM Neoverse, поддержку HBM2E и DDR5. Параллельно компания ведёт разработку вычислительных блоков на базе архитектуры RISC-V.

Еврокомиссия распределила финансирование на 13 лет (2021–2033). Из 8 млрд евро «всего» 3,5 млрд поступит от самой Еврокомиссии, а остальная сумма будет внесена государствами-участниками и получена из других источников. Многие из стран-участниц сформировали национальные центры компетенции через EuroHPC, чтобы обеспечить более лёгкий доступ к суперкомпьютерным ресурсам для местных исследователей и организаций. В новом документе также подчеркнута лидирующая роль квантовых вычислений, включая как квантовые компьютеры, так и гибридные компьютеры, сочетающие элементы квантовых и классических вычислений. Основная задача проекта — снизить зависимость Европы в области HPC от технологий США.

«Высокопроизводительные вычисления являются важным цифровым потенциалом для Европы, — отметила Маргрет Вестагер (Margrethe Vestager), исполнительный вице-президент инициативы Европейской комиссии A Europe Fit for the Digital Age. — Как мы увидели в борьбе с пандемией коронавируса, суперкомпьютеры уже помогают в поиске методов лечения, распознавании и прогнозе распространение инфекции или принятии решений о мерах сдерживания». Она добавила, что данные в сочетании с искусственным интеллектом и суперкомпьютерами также являются важным активом в обнаружении закономерностей экосистем, помогая смягчить последствия изменения климата и избежать катастроф.

Постоянный URL: http://servernews.ru/1021045
23.07.2020 [17:55], Владимир Мироненко

Планы Европы выйти в лидеры по суперкомпьютингу под угрозой — нет денег

Амбициозные планы участников совместного предприятия «EuroHPC JU» (European High Performance Computing Joint Undertaking) по созданию современных суперкомпьютеров, в том числе экзафлопсного класса, оказались под угрозой. Как сообщается, лидеры государств-членов Евросоюза резко сократили предлагаемый бюджет на исследования и разработки на период с 2021 по 2027 годы.

Основная исследовательская программа Horizon Europe получит 80,9 млрд евро вместо 94,4 млрд евро, предлагавшихся Европейской комиссией. Это отразится на исследованиях в области суперкомпьютеров, которые будут финансироваться из программы Horizon Europe.

На финансирование организации DigitalEurope, занимающейся, в том числе, поддержкой суперкомпьютерной программы EuroHPC, выделено 6,76 млрд евро вместо запрашиваемых 8,2 млрд евро. А ведь эта сумма включает не только финансовое обеспечение разработок по суперкомпьютерам, но и другие виды деятельности, как, например, проекты в сфере ИИ.

Это, похоже, ставит крест на планах Европы попасть в тройку мировых лидеров по суперкомпьютерам. Нынешние суперкомпьютеры в Европе серьезно отстают от Fugaku, имеющегося у Японии. И запланированные к вводу в эксплуатацию суперкомпьютерные системы EuroHPC мощностью менее экзафлопса вряд ли достигнут уровня Fugaku.

В связи сокращением планов Европейской комиссии нынешний бюджет на 2021 организации DigitalEurope может гарантировать создание лишь одного суперкомпьютера экзафлопсного класса. Будет ли достаточно денег у DigitialEurope, чтобы запланировать запуск конкурентоспособного суперкомпьютера в 2023 году, пока неизвестно.

Постоянный URL: http://servernews.ru/1016452
Система Orphus