Descartes Labs, занимающаяся автоматизацией анализа данных дистанционного зондирования Земли, смогла развернуть, при сотрудничестве с AWS облачную HPC-систему производительностью 9,95 Пфлопс. Нарастить вычислительную инфраструктуру без ущерба для производственных процессов компании позволили инстансы Amazon Elastic Compute Cloud (EC2), кластер которых образовал суперкомпьютер по требованию на 172,692 ядрах Intel Xeon Scalable.
Благодаря эластичности EC2, компания также протестировала в HPL (High Performance LINPACK) и другие размеры кластера мощностью от 1 Пфлопс. Для итогового теста понадобилось 9 часов. Отмечается, что нагрузка, генерируемая HPL, приближена к реальным задачам, которые решаются Descartes Labs при анализе спутниковых снимков. Так что это не тест ради теста, и есть все основания ожидать, что продемонстрированная производительность позволит компании обрабатывать петабайты данных о Земле и предоставлять необходимую клиентам аналитику практически в реальном масштабе времени.
Возможность построить суперкомпьютер в облаке открывает новый путь для обработки больших объёмов данных и решения задач планетарного масштаба. Основным его достоинством является гибкость системы, которая оптимально соответствует сложности проводимой работы и использует для этого ровно столько ресурсов, сколько необходимо. Для создания классического суперкомпьютера требуются специальные знания, годы планирования, долгосрочная приверженность конкретной архитектуре и десятки миллионов долларов инвестиций.
В облачном суперкомпьютере клиенту достаточно приобрести необходимые ресурсы на определённое время и можно сразу же приступать к решению задачи. По словам Майка Уоррена, технического директора Descartes Labs, доступ к узлам в регионе AWS US-East 1 обошёлся компании примерно в $5000, в то время как стоимость оборудования для построения вычислительной системы подобной мощности составила бы порядка $25 млн., не говоря уже о времени на её создание.
Descartes Labs была основана в 2014 году выходцами из Лос-Аламосской национальной лаборатории (LANL). Компания начала использовать платформу AWS в 2019 году, сумев достигнуть производительности 1,93 ПФлопс. Новый рекорд был поставлен на временно свободных мощностях EC2 в течение 48 часов в начале июня. Сначала авторы сделали тесты на малом кластере из 1024 инстансов, а потом развернули кластер из 4096 инстансов C5, C5d, R5, R5d, M5 и M5d.
«Сегодня мы используем облако для анализа наборов данных наблюдения Земли на петамасштабах, в частности, выходя за рамки только оптических изображений и переходя к более специфическим видам наблюдения Земли, такими как радар, InSAR и данные AIS», — сказал Майк. Он также отметил важность инвестиций в сетевые технологии, без которых создание подобных HPC-кластеров в облаке было бы невозможно.
Ранее Суперкомпьютерным центром Сан Диего и Нейтринной обсерваторией Ice Cube в публичных облаках «большой тройки» было проведено два эксперимента по созданию временных сверхкрупных кластеров для расчётов. В первом удалось задействовать более 50 тыс. ускорителей NVIDIA, а во втором исследователи, основываясь на полученных ранее данных, использовали уже наиболее выгодные и эффективные инстансы. Правда, специфика задачи была такова, что не требовала действительно быстрого интерконнекта.
Облачная служба Microsoft Azure ещё в прошлом году показала кластер производительностью 5 Пфлопс, узлы которого были объединены посредством InfiniBand. А уже в этом сразу четыре новых кластера на базе инстансов NDv4 в разных облачных регионах заняли места c 26 по 29 в свежем рейтинге TOP500 — производительность каждого составила 16,6 Пфлопс.
Источник:
