Материалы по тегу: компьютер

01.08.2021 [23:45], Владимир Агапов

Австралийский университет RMIT получит облачный суперкомпьютер на базе AWS

Благодаря расширению присутствия гиперскейлеров в различных регионах мира всё больше пользователей могут быстро получать облачные ресурсы по требованию, вплоть до кластера для высокопроизводительных вычислений (HPC). Наиболее развитые сервисы предлагают лидеры рынка, такие как Amazon, Google и Microsoft. Широкомасштабная обкатка технологий компонуемых суперкомпьютеров на их площадках началась пару лет назад, а в этому году такой облачный кластер уже занял 41 место в рейтинге TOP500.

Новой вехой в наступлении эры облачных суперкомпьютеров стал проект Королевского института Мельбурна (RIMT) по развёртыванию специализированной системы на платформе AWS для расширения своих образовательных и исследовательских возможностей. Вычислительные ресурсы будут выделены исследователям и студентам отраслевых центров института по следующим направлениям: Индустрии 4.0, космос, финтех, цифровое здравоохранение и креативные технологии.

rmit.edu.au

rmit.edu.au

RMIT будет использовать AWS Direct Connect для высокоскоростных выделенных сетевых подключений напрямую к дата-центру Amazon, чтобы исследователи, студенты, сотрудники и промышленные партнеры получили эффективные возможности анализа больших массивов данных, необходимых в их экспериментах. Это позволит RIMT сократить время необходимое на прохождение всех этапов разработки новых продуктов — от концепции до готовых рыночных решений.

Также RIMT намерен привлечь провайдера AARNet, который предоставит «широкие» интернет-каналы, и компанию Intel, в портфеле которой имеются передовые решения для обработки, оптимизации, хранения и перемещения больших и сложных массивов данных. Похожий проект есть у метеослужбы Великобритании, которая получит гибридный суперкпомпьютер, часть которого будет работать в облаке Microsoft Azure.

itpro.co.uk

itpro.co.uk

По словам вице-президента по цифровым инновациям RMIT, профессора Александра Субика (Aleksandar Subic), HPC-решения на базе AWS дадут «практически неограниченную» вычислительную мощность, которая отвечает требованиям к инфраструктуре большинства приложений. Проект RMIT, создаваемый при поддержке Инвестиционного фонда высшего образования правительства штата Виктория, станет первым в Австралии облачным суперкомпьютерным комплексом и передовым примером инноваций в академическом секторе.

Центр цифровых инноваций и школа компьютерных технологий были открыты RMIT в прошлом году для поддержки исследований мирового уровня и осуществления образовательных программ в области науки, технологий, инженерии и математики и технологий. Центр будет поддерживать разработку и эксплуатацию облачного суперкомпьютера, а его управлением займутся сами исследователи и студенты. В числе первых задач для него значатся секвенирование генома и моделирование атмосферных процессов.

Постоянный URL: http://servernews.ru/1045702
27.07.2021 [01:29], Андрей Галадей

NVIDIA и Королевский колледж Лондона ускорили исследования мозга с помощью суперкомпьютера Cambrdige-1

Компания NVIDIA и Королевский колледж Лондона обнародовали новые подробности об одном из первых проектов, запущенном на суперкомпьютере Cambridge-1, самой мощной системой такого класса в Великобритании. Система состоит из 80 модулей DGX A100 (80 Гбайт), объединённых интерконнектом InfiniBand HDR на базе DPU Bluefield-2. Постройка суперкомпьютера обошлась NVIDIA в $100 млн. В рейтинге TOP500 он занимает сейчас 41 место.

Сейчас суперкомпьютер используется для создания ИИ-моделей, способных генерировать синтетические изображения мозга на основе изображений, полученных с помощью МРТ. Это даёт возможность научить ИИ отличать здоровый мозг от больного, поскольку его тренируют на снимках пациентов разного возраста и с различными недугами. Как ожидается, в перспективе это позволит диагностировать возможные неврологические отклонения или заболевания мозга на ранней стадии.

Также новая методика с использованием ИИ может стать новаторским решением в понимании того, как формируется мозг, как травмы и болезни влияют на него, и как помочь ему восстановиться. Как отмечается, суперкомпьютер ускорил работы, сократив время обучение ИИ-моделей с месяцев до недель, а также дал возможность создавать более чёткие изображения.

В качестве программной составляющей используется свободный фреймворк MONAI на основе PyTorch, библиотека NVIDIA CUDA Deep Neural Network (cuDNN) для ускорения глубокого обучения нейросетей, а также NVIDIA Omniverse — открытая платформа для виртуального моделирования и визуализации в реальном времени.

Постоянный URL: http://servernews.ru/1045221
26.07.2021 [16:04], Сергей Карасёв

Иран начал работу над суперкомпьютером следующего поколения производительностью до 100 Пфлопс

Иранский исследовательский институт информационных и коммуникационных технологий (ICT Research Institute) выпустил предварительные рекомендации по созданию комплекса высокопроизводительных вычислений следующего поколения. Новый суперкомпьютер должен превзойти по производительности систему Simurgh. Отмечается, что в настоящее время работы над Maryam находятся на начальной стадии. Организаторы проекта пока принимают предложения по созданию системы и определяются с исполнителем работ.

Комплекс Simurgh, напомним, был введён в эксплуатацию в мае нынешнего года. Его быстродействие составляет 0,56 Пфлопс. В дальнейшем мощность суперкомпьютера планируется довести до 1 Пфлопс. Проект нового суперкомпьютера получил название Maryam — в честь Мариамы Мирзахани (Maryam Mirzakhani), иранского и американского математика, специализировавшейся в геометрии Лобачевского, пространствах Тейхмюллера, эргодической теории и симплектической геометрии.

Суперкомпьютер Simurgh. Фото: Maryam Kamyab / MEHR

Суперкомпьютер Simurgh. Фото: Maryam Kamyab / MEHR

Ранее говорилось, что последователь Simurgh будет обладать в 100 раз более высоким быстродействием по сравнению с данной системой. А это означает, что производительность может варьироваться от 56 до 100 Пфлопс. При этом совершенно не ясно, каким образом Иран сможет получить необходимое оборудование. Страна, годами находящаяся под санкциями, иногда получает «серые» поставки, но для достижения производительности 50-100 Пфлопс даже в течение нескольких лет потребуется не только современное «железо», но и сопутствующая инфраструктура.

Для сравнения — в июньском рейтинге TOP500 система Sierra, занимающая третье место, при мощности 94,64 Пфлопс потребляет 7,44 МВт. И это сложный инженерный комплекс. Если же брать нижнюю планку производительности будущего суперкомпьютера, то ближайшей похожей системой в рейтинге является бустер JUWELS (8 место), который использует современные решения AMD и NVIDIA: 44,12 Пфлопс и 1,76 МВт.

Постоянный URL: http://servernews.ru/1045185
19.07.2021 [13:15], Алексей Степин

Суперкомпьютер Frontier станет самой энергоэффективной системой экзафлопсного класса

Новый суперкомпьютер вычислительного центра Окриджской лаборатории Frontier должен вступить в строй к концу этого года и стать первой системой экза-класса в США. Хотя такая вычислительная производительность и означает многие мегаватты энергопотребления, OLCF рассказала, что благодаря новым технологиям будущий суперкомпьютер превзойдет раннюю оценку в 20 МВт на Эфлопс.

Физические законы невозможно обмануть и любая вычислительная система, кроме гипотетического обратимого процессора, неизбежно потребляет энергию и выделяет тепло. Но удельную энергоэффективность повышать можно и нужно. Ещё в 2008 году исследовательское агентство DARPA опубликовало любопытное исследование на эту тему.

Четыре проблемы: потребление, надёжность, параллелизм и перемещение данных

Четыре проблемы: потребление, надёжность, параллелизм и перемещение данных

На тот момент создание системы экза-класса уже было возможным на базе существующих технологий, но потреблять такая система стала бы гигаватт энергии; для сравнения, Новгородской области в том же 2008 году требовалось 3,55 ГВт. С учётом развития полупроводниковых технологий исследователи надеялись уложить Эфлопс в 155 МВт, а при самом агрессивном подходе даже 70 МВт.

Перемещение данных: главный пожиратель времени и энергии

Перемещение данных: главный пожиратель времени и энергии

Но и это было слишком большой цифрой, получить под которую финансирование было бы невозможно. Одно только энергопотребление такой системы обошлось бы в более чем $100 миллионов в течение пяти лет. В качестве реалистичной оценки, делающей экзафлопсные суперкомпьютеры реальными, была взята планка 20 МВт.

Также был озвучен и ряд других проблем, стоящих на пути к системам такого масштаба Одним из «бутылочных горлышек» стал бы интерконнект — в 2008 году ещё не было возможности «накормить» систему с такой степенью параллелизма без простоев вычислительных узлов. Время перемещения одного байта информации в подобной системе оказалось на порядки больше времени, затрачиваемого на сами вычисления.

Эволюция систем ORNL: от Titan к Frontier

Эволюция систем ORNL: от Titan к Frontier

С тех пор по меркам ИТ минула эпоха: утончались техпроцессы, стали популярными вычисления на GPU. Если суперкомпьютер Titan 2012 года имел соотношение ЦП к ГП 1:1, то уже в 2017 году с введением в строй его наследника Summit эта цифра выросла до 1:3, а в будущем Frontier она должна составить уже 1:4. На каждый процессор AMD EPYC придётся 4 ускорителя Radeon Instinct.

Само развитие микроэлектроники сделало возможным создание экзафлопсной системы, укладывающуюся в названную более 10 лет назад цифру 20 МВт. Сегодня никаких экзотических технологий и подходов к программированию для реализации проекта подобного масштаба не требуется. Увеличилась и плотность вычислений, и плотность хранения данных, и производительность сетевых подсистем — с 6,4 (Titan) до 100 Гбайт/с (Frontier) в последнем случае.

Развитие технологий позволит превзойти сделанные в 2008 году предсказания

Развитие технологий позволит превзойти сделанные в 2008 году предсказания

На данный момент потребление Frontier оценивается в 29 МВт, что несколько больше заявленной ранее цифры, но, напомним, 20 МВт было оценкой для 1 Эфлопс вычислительной мощности, Frontier же должен развивать более 1,5 Эфлопс, так что соотношение окажется даже лучше ранее предсказанного. Проблема с хранением и перемещением данных в новом суперкомпьютере будет решена за счёт широкого использования памяти типа HBM.

Эта оценка базируется на эффективности вычислений, составляющей 80% — 41,4 Гфлопс/Вт в режиме FP64, что выше наиболее энергоэффективных систем, для которых этот показатель составляет около 30 Гфлопс/Вт. Для сравнения можно взять сегодняшннего лидера TOP500, Arm-суперкомпьютер Fugaku. Его производительность составляет 442 Пфлопс, но потребляет он почти 30 МВт. В рейтинге Green500 он занимает 20 место. Полностью презентацию, посвященную истории экзафлопсных систем, можно посмотреть здесь.

Постоянный URL: http://servernews.ru/1044562
16.07.2021 [17:31], Алексей Степин

Японский облачный суперкомпьютер ABCI подвергся модернизации

Популярность идей машинного обучения и искусственного интеллекта приводит к тому, что многие страны и организации планируют обзавестись HPC-системами, специально предназначенными для этого класса задач. В частности, Токийский университет совместно с Fujitsu модернизировал существующую систему ABCI (AI Bridging Cloud Infrastructure), снабдив её новейшими процессорами Intel Xeon и ускорителями NVIDIA.

Как правило, когда речь заходит о суперкомпьютерах Fujitsu, вспоминаются уникальные наработки компании в сфере HPC — процессоры A64FX, но ABCI имеет более традиционную гетерогенную архитектуру. Изначально этот облачный суперкомпьютер включал в себя вычислительные узлы на базе Xeon Gold и ускорителей NVIDIA V100, объединённых 200-Гбит/с интерконнектом. В качестве файловой системы применена разработка IBM — Spectrum Scale. Это одна систем, специально созданных для решения задач искусственного интеллекта, при этом доступная независимым исследователям и коммерческим компаниям.

Так, 86% пользователей ABCI не входят в состав Японского национального института передовых технических наук (AIST); их число составляет примерно 2500. Но система явно нуждалась в модернизации. Как отметил глава AIST, с 2019 года загруженность ABCI выросла вчетверо, и сейчас на ней запущено 360 проектов, 60% из которых от внешних заказчиков. Сценарии использования самые разнообразные, от распознавания видео до обработки естественных языков и поиска новых лекарств.

Новые узлы ABCI заметно отличаются по архитектуре от старых

Новые узлы ABCI 2.0 заметно отличаются по архитектуре от старых

Как и в большей части систем, ориентированных на машинное обучение, упор при модернизации ABCI был сделан на вычислительную производительность в специфических форматах, включая FP32 и BF16. Изначально в состав ABCI входило 1088 узлов, каждый с четырьмя ускорителями V100 формата SXM2 и двумя процессорами Xeon Gold 6148. После модернизации к ним добавилось 120 узлов на базе пары Xeon Ice Lake-SP и восьми ускорителей A100 формата SXM4. Здесь вместо InfiniBand EDR используется уже InfiniBand HDR.

Стойка с новыми вычислительными узлами ABCI 2.0

Стойка с новыми вычислительными узлами ABCI 2.0

Согласно предварительным ожиданиям, производительность обновлённого суперкомпьютера должна вырасти практически в два раза на задачах вроде ResNet50, в остальных случаях заявлен прирост производительности от полутора до трёх раз. На вычислениях половинной точности речь идёт о цифре свыше 850 Пфлопс, что вплотную приближает ABCI к системам экза-класса. Разработчики также надеются повысить энергоэффективность системы путём применения специфических ускорителей, включая ASIC, но пока речь идёт о связке Intel + NVIDIA.

ABCI и сейчас можно назвать экономичной системой — при максимальной общей мощности комплекса 3,25 МВт сам суперкомпьютер при полной нагрузке потребляет лишь 2,3 МВт. Поскольку система ориентирована на предоставление вычислительных услуг сторонним заказчикам, модернизировано и системное ПО, в котором упор сместился в сторону контейнеризации.

Постоянный URL: http://servernews.ru/1044432
09.07.2021 [12:30], Алексей Степин

Суперкомпьютерный центр Pawsey готовится к наплыву данных с радиотелескопа SKA

Радиоастрономия — почтенная наука, связанная с изучением космоса и имеющая почти вековую историю. Но современные радиотелескопы очень сложны и генерируют огромные объёмы данных, обработать которые может только суперкомпьютер. Суперкомпьютерный центр Pawsey, расположенный в австралийском городе Перт, готовится к такому «наводнению», источником которого должен стать массив телескопов SKA.

Название проекта SKA расшифровывается как Square Kilometre Array — «антенный массив площадью в квадратный километр». Это крупнейший международный проект в области радиоастрономии, предусматривающий создание радиоинтерферометра с невиданной ранее площадью антенного поля. На самом деле с девяностых годов проект был существенно доработан, и теперь собирающая площадь SKA существенно превышает эту цифру.

Комплекс, включающий в себя сотни антенн и сотни тысяч элементов низкочастотного апертурного массива, будет располагаться сразу на двух континентах, в наиболее отдалённых местах Австралии и Южной Африки — для минимизации радиопомех, создаваемых современной человеческой деятельностью.

Основой Setonix станут решения

Основой Setonix станут решения

Сооружение SKA одобрено примерно неделю назад, но проект весьма масштабен. Полного окончания работ следует ожидать к концу текущего десятилетия, но готовиться к наплыву данных, поступающих со столь продвинутого радиотелескопа следует уже сейчас. Об этом объявил суперкомпьютерный центр Pawsey, расположенный в нескольких сотнях километров от будущей австралийской части SKA и обязанный своему рождению в 2014 году именно этому проекту.

Центр Pawsey успешно получил финансирование в объёме $70 млн, которые будут потрачены на замену и обновление сетевой и вычислительной инфраструктуры, а также систем хранения данных. Поставщиком нового оборудования является HPE Cray, будущий суперкомпьютер уже получил имя Setonix, в честь симпатичного австралийского зверька, известного как квокка.

Новый суперкомпьютер будет использовать технологию HPE S3

Новый суперкомпьютер будет использовать технологию HPE S3

Существующие мощности центра Pawsey оцениваются примерно в 1,8 Пфлопс, но Setonix будет в 30 раз мощнее и разовьет 50 Пфлопс, став быстрейшим суперкомпьютером Австралии. Объем объектных СХД в его составе достигнет 60 Пбайт — и это радует сотрудников Pawsey, ведь даже сейчас, на 20% вычислительных мощностей центра, относящихся к астрономическим задачам, приходится 80% всего объёма данных. В настоящее время эти данные поступают с другого радиотелескопа, MWA.

Стоит отметить, что данные поступают не в «сыром» виде — у MWA есть собственный ЦОД, заключённый в клетку Фарадея для предотвращения влияния на работу антенного комплекса. За обработку поступающего «сырья» отвечает массив на базе ПЛИС и графических ускорителей, причём это одна из крупнейших ПЛИС-систем в мире. И уже сейчас ясно, что более масштабная радиоастрономия требует перемены подхода к хранению и перемещению данных.

Технические параметры будущего радиоастрономического комплекса SKA

Технические параметры будущего радиоастрономического комплекса SKA

Ранее достаточно было простой калибровки, оцифровки и сохранения поступающих сигналов с помощью ленточных библиотек для последующей обработки, поскольку объёмы варьировались в пределах от гигабайт до терабайт. Но сейчас речь идёт уже о петабайтах, и для анализа таких массивов требуется настоящий суперкомпьютер. В рамках проекта ASKAP центр Pawsey совместно с HPE Cray разрабатывает платформу, способную справиться с таким потоком, причём речь идёт, в том числе, и об обработке в реальном времени.

Постоянный URL: http://servernews.ru/1043853
07.07.2021 [22:46], Алексей Степин

Самый мощный суперкомпьютер Великобритании Cambridge-1, обошедшийся NVIDIA в $100 млн, пущен в эксплуатацию

Великобритания в связи с Brexit'ом покинула консорциум EuroHPC и будет развивать сферу высокопроизводительных вычислений самостоятельно, в стране есть целый ряд крупных проектов. А одним из важнейших стал суперкомпьютер Cambridge-1 от NVIDIA, который был построен в рекордные сроки и сегодня официально введён в строй. Как и было обещано, NVIDIA вложила в его создание $100 млн.

В основе Cambridge-1 лежит платформа NVIDIA DGX SuperPOD for Enterprise. Это модульная кластерная система, которая отличается простотой развёртывания, на что и делает упор NVIDIA: от заказчика практически не требуется подготовка вспомогательной инфраструктуры, а срок поставки и установки составляет от нескольких недель. После монтажа система сразу готова к вводу в строй и использованию.

Производительность нового кластера достигает 9,68 Пфлопс в классических FP64-вычислениях, на упрощённых форматах данных, используемых для машинного обучения, она может достигать и 400 Пфлопс. На данный момент Cambridge-1 занимает 41 строчку июньского списка TOP500, 12 место в рейтинге европейских суперкомпьютеров, а в Великобритании это просто самая мощная система. Любопытно, что питается Cambridge-1 исключительно от «зелёных» источников энергии.

Система состоит из 80 модулей DGX A100 (80 Гбайт), имеет NVMe-пул ёмкостью 2 Пбайт, а совокупная пропускная способность интерконнекта InfiniBand HDR достигает 20 Тбайт/с. В качестве сетевых сопроцессоров применены NVIDIA BlueField-2, но в следующем году ожидается замена на более совершенные BlueField-3. DPU позволят упростить развёртывание рабочих нагрузок и управление ими.

Основной задачей для Cambridge-1 станут медицинские и биологические исследования. Глава NVIDIA Дженсен Хуанг (Jensen Huang) заявил, что это «первый серьёзный вклад NVIDIA в грядущую революцию в цифровой биологии». Имя своё новый суперкомпьютер получил неспроста — именно в Кембриджском университете, в Кавендишской лаборатории работали всемирно известные Уотсон и Крик, открывшие структуру ДНК.

Использовать ресурсы системы смогут как академические исследователи, так и коммерческие структуры: к примеру, можно вспомнить сотрудничество NVIDIA с корпорацией AstraZeneca. В рамках нового проекта технологии машинного обучения будут задействованы в «цифровой патологии» для автоматической аннотации многих тысяч снимков срезов тканей, которая должна помочь в поиске новых лекарств.

Ресурсами Cambridge-1 уже успели воспользоваться и другие организации: GSK, Благотворительный фонд Гая и Сент-Томаса, Королевский колледж Лондона, а также компания Oxford Nanopore. Одной из задач стал синтез искусственных, но полностью отвечающих реалиям биологии и нейрофизиологии, изображений мозга, что достигается с помощью машинного обучения на основе десятков тысяч реальных томограмм, полученных от пациентов всех возрастов с различными диагнозами.

Это моделирование поможет лучше понять механику развития нейрозаболеваний, таких как множественный склероз, болезнь Альцгеймера, а также онкологических заболеваний мозга, а значит, сделает прогнозы более точными и быстрыми. Что касается компании Oxford Nanopore, то она занимается методами улучшения и ускорения генетического анализа — благодаря Cambridge-1 секвенирование вместо дней будет занимать часы.

Постоянный URL: http://servernews.ru/1043746
07.07.2021 [13:01], Владимир Агапов

Vega, первый суперкомпьютер проекта EuroHPC, полностью введён в эксплуатацию

Первый в ЕС суперкомпьютер Vega, построенный в рамках совместного проекта euroHPC и словенских партнёров по национальной программе модернизации инфраструктуры в области высокопроизводительных вычислений RIVR, введён в эксплутацию и уже принимает европейских пользователей.

CPU-кластер системы занял 106-е место (3,82 Пфлопс) в июньском рейтинге TOP500, а кластер с ускорителями NVIDIA A100 — 134-е (3,1 Пфлопс). В рейтинге HPCG они занимают 71-е (46,6 Тфлопс) и 56-е места (77,55 Тфлопс) соответственно. По суммарной производительности обоих кластеров система занимает примерно 57-ю позицию в TOP500 и 42-ю в HPCG. Таким образом, Словения находится на 21-м месте среди стран, представивших свои суперкомпьютеры в списке TOP500, что эквивалентно её июньскому результату 1993 г., когда Словения впервые попала в этот рейтинг.

gov.si

gov.si

Система базируется на платформе BullSequana XH2000 (с процессорами AMD EPYC 7H12) от Atos, которая также поставила ещё несколько HPC-систем в рамках EuroHPC: CPU- (10,52 Пфлопс, №367,) и GPU-кластеры (2,29 Пфлопс, №230) MeluXina в Люксембурге, GPU- (6,0 Пфлопс, №69) и CPU-кластеры (2,84 Пфлопс, №149) Karolina в Чехии и Discoverer (4,52 Пфлопс, №91) в Болгарии. Подготовка ещё четырёх систем EuroHPC находится на завершающей стадии.

Финансирование работ по Vega ведётся совместно консорциумом EuroHPC через отдельный фонд Евросоюза и программу исследований Horizon 2020, Европейским фондом регионального развития, а также Министерством образования, науки и спорта Республики Словения. Управление Vega осуществляется Институтом информационных наук (IZUM) и экспертами национального консорциума Словении SLING, которые также участвуют в проекте EuroHPC Leonardo.

Европейским пользователям из научного, промышленного и государственного секторов выделяется рабочее время на Vega в соответствии с принципами и требованиями регламента EuroHPC JU. По словам исполнительного директора EuroHPC JU, Андерса Дам Йенсена (Anders Dam Jensen), «инвестирование в исследования и развёртывание инфраструктур, технологий и приложений HPC будет продолжено, чтобы обеспечить развитие HPC-экосистемы мирового класса в Европе и укрепить позиции ЕС в глобальной гонке за возможности экзафлопсных, постэкзафлопсных и квантовых вычислений».

Постоянный URL: http://servernews.ru/1043695
02.07.2021 [19:41], Сергей Карасёв

Будущее самого мощного европейского суперкомпьютера MareNostrum 5 под вопросом

Европейское консорциум по высокопроизводительным вычислениям (EuroHPC) отменил тендер на создание суперкомпьютерного комплекса MareNostrum 5. Сетевые источники сообщают, что в настоящее время будущее этой системы остаётся под вопросом. Предполагалось, что MareNostrum 5 станет самым мощным суперкомпьютером в Европе и одним из пяти мощнейших вычислительных комплексов в мире. Пиковая производительность должна была составить как минимум 200 Пфлопс.

MareNostrum 4 / изображение pemb.cat

MareNostrum 4 / изображение pemb.cat

Впервые проект MareNostrum 5 был анонсирован в 2019 году. Стоимость на период в пять лет оценивалась в 223 млн евро. Для размещения комплекса был выбран Барселонский суперкомпьютерный центр (BSC). Более того, уже практически завершена подготовка зала для размещения оборудования. И вот теперь стало известно, что проект приостановлен.

Изображение BSC

Изображение BSC

Причина заключается в том, что участники инициативы не смогли определиться с поставщиком оборудования. В ходе проведённого голосования ни один из участников тендера не набрал необходимое количество голосов. Впрочем, ставить окончательную точку в судьбе MareNostrum 5 пока рано. Представители BSC рассчитывают, что система всё же будет развёрнута.

Постоянный URL: http://servernews.ru/1043421
30.06.2021 [16:05], Владимир Агапов

Облачный суперкомпьютер Descartes Labs на платформе AWS занял 41 место в рейтинге TOP500

Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.

Mike Warren

Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.

Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.

В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.

Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.

«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.

Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.

Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.

Постоянный URL: http://servernews.ru/1043149
Система Orphus