Ноябрьский рейтинг суперкомпьютеров TOP500 оказался ещё более скудным на новинки в сравнении с летним. Тогда в списке появилось менее сотни новых машин, сейчас — всего 44. Составители списка вновь вынуждены констатировать, что это новый антирекорд с момента выхода первого рейтинга в 1993 году. Однако перспективы не так плохи — до 2026 года мы должны увидеть от 28 до 38 систем мощностью от 1 Эфлопс, на создание которых уйдёт $10-15 млрд.

Лидером же нынешнего TOP4500 остаётся Fugaku, который с лета немного «нарастил мускулы» благодаря доукомплектации новыми узлами и, что не менее важно, за счёт программных оптимизаций. Теперь у него 7,3 млн ядер, которые выдают на-гора 442 Пфлопс реальной производительности. И он всё ещё практически в три раза быстрее второго места в списке, суперкомпьютера Summit. В более современном и комплексном бенчмарке HPCG разрыв между ними ещё заметнее: 16 Пфлопс против 2,93 Пфлопс. А в специализированном HPL-AI и вовсе разгромный — 2 Эфлопс против 0,55 Эфлопс.

Однако и «цена» за такую производительность немаленькая — почти 30 МВт! По показателю Гфлопс/Вт Fugaku чуть лучше того же Summit, а в Green500 он опустился на 10 место. И вот, что интересно — в первой десятке сейчас сплошь системы на базе AMD EPYC 7002 с NVIDIA A100 (верхняя часть списка) и IBM POWER или Intel Xeon с NVIDIA V100 (нижняя), если не учитывать специализированную машину Preferred Networks MN-3. Да и в целом по TOP500 более четверти машин (136) используют ускорители NVIDIA или в редких случаях другие акселераторы. Новых MI100 пока в списке нет.

Зато AMD, процессорами EPYC которой теперь оснащена 21 машина (19 из них Rome), теперь представлена в 12 из 44 новых участников списка. Из них 9 — с 64-ядерными CPU. И это очень сильно контрастирует с наиболее массовыми конфигурациями от 16 до 24 ядер на сокет, которые суммарно занимают почти 60% списка. Что любопытно, среди этих 21 машин шесть имеют ускорители NVIDIA A100, причём одна половина в составе DGX A100 и с 64-ядерными CPU, а вторая — с 24-ядерными. Ещё 14 машин не имеют никаких ускорителей, и 11 из них тоже базируются на 64-ядерных EPYC.

Так что можно аккуратно сказать, что решения AMD интересны и в качестве основы для систем с ускорителями (и тут необязательно использовать старшие SKU), и в составе CPU-only машин. Тем не менее, 90% нынешнего списка остаётся за Intel. Половина новых участников списка всё так же используют Intel Xeon Cascade Lake, а остальные — либо более старые поколения Intel, либо более экзотичные архитектуры. Ладно, A64FX уже не такой экзотичный, а вот пара машин с NEC SX-Aurora Vector Engine Type10AE в качестве основных процессоров на фоне остальных выделяется.

Загадывать наперёд смысла нет, но всё же интересно, что будет дальше делать IBM после реструктуризации, и особенно интересно — что сделает NVIDIA с Arm. Fujitsu A64FX, который лежит в основе Fugaku, всё же довольно нетипичный чип во всех отношениях, а Marvell, только-только получив новые процессоры ThunderX3, похоже, отказывается от серверных CPU. Из альтернатив, готовых составить компанию A100 прямо сейчас, остаётся, по-видимому, только Arm-платформы Ampere. Для A100 же от нынешних EPYC нужны, пожалуй, именно линии PCIe 4.0, которые требуются и самим акселераторам, и сетевым адаптерам, чтобы упростить масштабирование кластера. И вот с интерконнектом и вообще с сетями у NVIDIA после покупки Mellanox всё неплохо.

Особенно интересны в этом контексте DPU, которые потенциально могут значительно снизить потребность в обычных CPU, но насколько это будет применимо именно в HPC, ещё вопрос. Да, половина списка TOP500 опирается на Ethernet, однако совокупная мощность всех систем с InfiniBand составляет 40% от суммарной мощности всех суперкомпьютеров списка. Ещё столько же приходится на проприетарные и кастомные интерконнекты вкупе с Omni-Path (есть даже одна машина с OPA от Cornelis Networks). Следующий шаг NVIDIA уже объявлен — адаптеры, DPU и коммутаторы следующего поколения NDR InfiniBand с базовой скоростью 400 Гбит/с появятся в ближайшие пару лет. Правда, со стороны хоста им опять понадобится или много линий PCIe 4.0, или вовсе PCIe 5.0.

Прямо сейчас такой порядок скоростей на узел есть только у Fugaku. Любопытно, что из всех известных на данный момент проектов экзафлопсных машин, по данным Hyperion Research, только для одной китайской в планах явно указывается использование 400G-интерконнекта «домашней выделки». Причём эта система NUDT Tiahne-3 будет полагаться на некий Arm-чип (вероятно, развитие Phytium), но с учётом последних событий — санкций на современные техпроцессы и неразбериху в китайском офисе Arm — пока не очень понятно, как это всё будет реализовано и когда. Всего у Китая есть три проекта машин экзафлопсного класса.

Евросоюз тоже рассчитывает получить три таких машины в 2022-2023 году, и одна из них будет базироваться на Arm-процессорах собственной разработки SiPearl Rhea. А пока в рамках проекта EuroHPC, который испытывал проблемы с финансированием, будут построены сразу несколько суперкомпьютеров в разных регионах, включая весьма мощные. Великобритания, покинувшая проект в связи с Brexit’ом, по оценкам, будет вынуждена выложить от 0,7 до 1,2 млн фунтов, чтобы получить на рубеже 2022-2023 г.г. собственный экзафлопсный компьютер.

Наконец, в США пока разрабатываются три главных экзафлопсных системы: Aurora, Frontier и El Capitan. Первая из-за пересмотра проекта и ряда проблем Intel задержится примерно на год, так что вторая в конце 2021 года станет первой такой системой в США. В её основу лягут AMD EPYC на базе Zen3, которые должны показать в начале следующего года, и ускорители на базе архитектуры AMD CDNA. Из особенностей отмечается высокая плотность — 300 кВт на стойку, что требует СЖО — и суммарное потребление на уровне 40 МВт. Примерно того же стоит ждать и от суперкомпьютера El Capitan, который будет основан на следующем поколении CPU и GPU AMD и заработает в 2023 году.

Есть и ещё одна система с производительностью около 1 Эфлопс, которая будет поэтапно введена в строй в 2020-2021 г.г. — это Perlmutter на базе AMD EPYC Zen3 и ускорителей NVIDIA. Интересно, вся эта «фантастическая четвёрка» будет базироваться на платформе HPE Cray EX. Последовательная покупка SGI и Cray резко укрепила позиции HPE на рынке суперкомпьютеров. По итогам 2019 года, согласно данным Hyperion Research, она занимает более 37% рынка HPC-серверов. На втором месте Dell с долей 22%, а все прочие игроки занимают менее 7% каждый.

При этом совокупный среднегодовой темп роста до 2024 года именно этого сегмента будет не так велик — 6,8% вместо ранее предсказанных 8,7%. Наибольший прирост придётся на большие во всех смыслах машины, включая экзафлопсные. Быстрее всего будет расти сегмент СХД — 8,3%. Тут в лидерах как раз Dell и IBM, а HPE и DDN на третьем и четвёртом местах соответственно. Хуже всего придётся нижнему сегменту HPC-серверов начального уровня (до $100 тыс.) — после кризиса 2008 года она так и не восстановился, а сейчас скорее пойдёт в облака.

Да и вообще HPC в облаках будет расти более чем в 2,5 раза быстрее, чем в on-premise — CAGR до 2024 года составит 17,6% против 6,7%. Впрочем, разница в объёмах рынках всё равно будет составлять более 4,3 раз в пользу on-premise. Тем не менее, облака добавят $8,8 млрд к общему объёму рынка HPC, который вырастет до более чем $47 млрд. Следует учитывать, что всё это пока что предварительные прогнозы, которые теперь будут обновляться гораздо чаще. Пандемия COVID-19, как теперь стало понятно, заметно повлияла на рынок HPC.

Общие выводы Hyperion Research, в целом, совпадают с данными доклада Intersect360, о котором мы уже писали ранее — многие проекты отложены или заморожены, и не все из них будут реализованы даже после снижения влияния пандемии на мировую экономику. Во всех случаях основным препятствием для закупок, как и прежде, останется стоимость систем. Но для on-premise также будут важны затраты на питание и охлаждение и ограничения по площади. А основными критериями при выборе новых систем помимо очевидного соотношения цена/производительность также станут безопасность, скорость работы CPU и способность работы с ИИ и Big Data.

Компания Motivair Corporation разработала специализированные модули Dynamic Cold Plates, предназначенные для использования в составе систем жидкостного охлаждения (СЖО) мощных серверных процессоров и ускорителей. Представленные изделия позволяют повысить надёжность функционирования СЖО.

В традиционных системах применяется медная пластина с микроканалами для прохождения теплоносителя. При этом важно, чтобы в составе жидкости не присутствовали частицы с диаметром более 50 микрон, говорит Motivair. В противном случае каналы могут попросту блокироваться, из-за чего будет падать эффективность отвода тепла. Это заметно повышает требование к системам фильтрации и очистки теплоносителя.

Решение Motivair Dynamic Cold Plates лишено микроканалов — вместо них используются желобки, через которые могут свободно проходить частицы, имеющие до 400 микрон в поперечнике. Такая конструкция приводит к уменьшению общей площади контакта, но это компенсируется динамическим распределением потоков жидкости в желобках. В целом, новая технология, использованная в составе Dynamic Cold Plates, обеспечивает эффективный отвод тепла при высоких нагрузках с меньшим риском загрязнения и отказа СЖО.

Изделие имеет низкопрофильный форм-фактор. Оно может применяться с центральными и графическими процессорами, чьё максимальное значение рассеиваемой тепловой энергии достигает 1000 Вт. Это актуально для нынешних и будущих суперкомпьютеров. Компания принимает участие в создании систем охлаждение трёх систем экзафлопсного класса HPE Cray EX: Aurora, Frontier и El Capitan.

В облаке Microsoft Azure был достигнут новый рекорд масштабирования высокопроизводительных вычислений (HPC). Там удалось создать виртуальный кластер с 86 400 ядрами CPU. Для этого использовались физические серверы на базе AMD EPYC 7002 с подключением HDR InfiniBand, которые объединили в 720 виртуальных машин Azure HBv2. Это дало пиковую производительность на уровне 5 Пфлопс.

Облачный провайдер сотрудничал с Институтом передовых наук и технологий Бекмана при Иллинойском университете в Урбана-Шампейн (UIUC), чтобы проверить пределы масштабируемости Azure. В качестве рабочей нагрузки использовался инструмент для моделерирования молекулярной динамики (NAMD), разработанный в UIUC. Инструмент сыграл важную роль в исследовании COVID-19 в этом году.

«Команда обнаружила, что кластеры HBv2 не только соответствуют требованиям исследователей, но и что производительность и масштабируемость в Azure конкурируют, а в некоторых случаях превосходят возможности суперкомпьютера Frontera, занявшего 8-е место в списке Top500 за июнь 2020 года», — заявил Эван Бернесс (Evan Burness), главный специалист и программный менеджер Azure HPC.

Это позволит использовать мощности облака для будущих проектов. Проще говоря, это может позволить быстрее найти лекарство от коронавируса и других болезней. А Дэвид Харди (David Hardy), старший программист-исследователь в UIUC отметил, что благодаря библиотеке Charm++, которая позволяет распараллеливать задачи, удалось добиться хорошей производительности и масштабирования для NAMD в кластере Microsoft Azure. Причём это не потребовало переписывание исходного кода.

Напомним, что ранее в Azure показали новый рекорд производительности ввода-вывода на файловой системе BeeGFS.

Эван Бернесс (Evan Burness) из Microsoft Azure сообщил, что разработчики успешно продемонстрировали первую в истории облачную параллельную файловую систему, которая работает со скоростью 1 Тбайт/сек. Для этого ФС BeeOND (BeeGFS On Demand) была развёрнута на 300 инстансах HBv2 и задействовала более 250 Тбайт хранилища на накопителях NVMe.

Всё это позволило достичь скорости чтения в 1,46 Тбайт/сек и записи в 456 Гбайт/сек. Утверждается, что такой показатель примерно в 3,6 раза выше, чем демонстрировали ранее любые общедоступные облачные системы.

Отмечается, что файловая система использует удалённый прямой доступ к памяти (RDMA). Она также использует локальное хранилище виртуальных машин Azure, что минимизирует накладные расходы.

А ещё эта ФС может масштабироваться до тысяч узлов, что на выходе даёт очень высокую скорость обмена данными. Напомним, что BeeGFS использовали в суперкомпьютере Fugaku, который считается самым быстрым в мире. А ещё эта ФС применялась в системе для обработки «фото» чёрной дыры M87.

Сама идея дезагрегации вычислительных ресурсов не нова, как не нова и идея объединения таких ресурсов в физически разграниченные пулы. Исторически сложившиеся форматы серверного оборудования для таких целей подходят не лучшим образом, но есть способы решения данной проблемы.

Одним из игроков на рынке систем расширения PCI Express и прочих высокоскоростных шин является компания GigaIO и на конференции SC20 она продемонстрировала свою новинку: систему пулинга ускорителей Hydra, полностью поддерживающую стандарт PCI Express 4.0.

Эта компания давно занимается разработкой и созданием систем расширения PCI Express, которые позволяют обойти ограничения на количество слотов и устройств, накладываемые самими физическими параметрами современных серверов. На её счету имеется даже уникальная сетевая технология FabreX, полностью выстроенная на основе PCI Express 4.0. А на конференции SC20 компания представила и первую систему расширения для модульных инфраструктур класса DCI (Disaggregated Composable Infrastructure), способную работать на скоростях, предусмотренных в четвёртой версии стандарта PCIe.

С точки зрения организации сложных вычислительных комплексов DCI удобнее классического подхода, поскольку позволяет не разбрасывать ресурсы плат-ускорителей по отдельным серверам, а сосредоточить их в отдельных физических пулах, соединённых с остальными элементами инфраструктуры посредством стандартной шины PCI Express. В рамках DCI архитектура кластера становится более логичной и простой, что, в том числе, позволяет снизить затраты на его постройку и содержание.

Решения GigaIO используют стандартные кабели и разъёмы SFF-8644

PCI Express не сразу утвердилась в качестве основной системной шины, но сейчас она доминирует практически в любых системах, от x86 до IBM POWER и ARM. Хотя самой массовой версией остаётся PCIe 3.0, все разработки новых устройств закладывают в них поддержку, как минимум, PCIe 4.0, а значит, старые системы DCI уже не способны обеспечить максимальную пропускную способность и могут стать узким местом.

Новая модель GigaIO Hydra, однако, полностью поддерживает спецификации PCI Express 4.0, описывающие передачу данных со скоростью примерно 32 Гбайт/с на слот x16. Физически это модуль в стоечном корпусе высотой 5U, имеющий в своём составе 10 слотов PCIe 4.0, 8 из которых поддерживают установку полноразмерных плат ускорителей. Внешний линк представлен четырьмя разъёмами mini-SAS (SFF-8644), но логически образует два соединения PCIe 4.0 x16. Всё, что требуется от хост-системы — это наличие соответствующего HBA-адаптера.

Хост-адаптер GigaIO с поддержкой PCI Express 4.0

Новинка поддерживает установку любых ускорителей, включая новейшие NVIDIA A100 и AMD Instinct MI100. Все слоты PCIe в системе являются конфигурируемыми и могут работать в режиме peer-to-peer; хост-система может «бронировать» ресурсы ускорителей по мере необходимости. В этом плане Hydra универсальна: заказчик может использовать любое программное обеспечение для создания собственной модульной инфраструктуры. Всё, что делает Hydra, это обеспечивает прозрачное расширение ресурсов PCI Express, теперь уже на новых, более высоких скоростях передачи данных.

В составе нового PCIe-пула GigaIO имеется также система мониторинга и удалённого управления, она работает со стандартным API Redfish. За питание отвечает система из двух БП мощностью 2000 Ватт, опционально поддерживается схема 2+2. Пулы GigaIO Hydra нового поколения будут массово доступны в первом квартале следующего года.

Компания NEC сообщила о том, что с января следующего года заказчикам по всему миру станет доступен акселератор Vector Engine 2.0 серии SX-Aurora TSUBASA, анонсированный ещё летом.

Изделие Type 20B выполнено в виде двухслотовой карты расширения с интерфейсом PCIe. Оно содержит восемь векторных блоков с частотой 1,6 ГГц, обеспечивающих производительность на уровне 2,45 Тфлопс FP64, и 48 Гбайт памяти HBM2 с пропускной способностью приблизительно 1,53 Тбайт/с. При этом энергопотребление находится на уровне 200 Вт. Также есть версия ускорителя Type 20A, которая имеет 10 векторных блоков и производительность 3,07 Тфлопс FP64.

Благодаря векторной архитектуре крупные объёмы данных можно обрабатывать в пределах каждого цикла. Это открывает широкие возможности при решении задач в области искусственного интеллекта, машинного обучения, интенсивных научных вычислений и пр.

Векторный ускоритель Vector Engine 2.0 может использоваться в составе стандартных серверов и рабочих станций с архитектурой х86 от сторонних поставщиков оборудования. Таким образом, заказчики смогут сформировать вычислительную платформу в соответствии со своими требованиями и объёмом финансирования. Данное решение, по словам NEC, ориентировано на предприятия малого и среднего бизнеса, у которых есть потребность в формировании платформы высокопроизводительных вычислений (HPC).

Среди первых платформ, поддерживающих новые ускорители AMD Instinct MI100, была упомяната HPE Apollo 6500 Gen10 Plus. Она ориентирована на высокопроизводительные вычисления (HPC) и поддерживает не только новые решения AMD, но и HGX-платформу NVIDIA A100. В основе системы — серверы ProLiant XL645d и ProLiant XL675d на базе процессоров AMD EPYC.

Модель ProLiant XL645d допускает установку одного чипа семейства EPYC 7002 в расчёте на узел. Возможно использование NVIDIA HGX A100 4-GPU или четырёх двухслотовых или восьми однослотовых ускорителей PCIe. Например, MI100, объединённых мостиком Infinity Fabric. Модификация ProLiant XL675d имеет высоту 6U и рассчитана на два процессора EPYC 7002, а также десять двухслотовых или 16 однослотовых акселераторов PCIe или NVIDIA HGX A100 8-GPU.

Платформа HPE Apollo 6500 Gen10 Plus предлагает гибкие опции по использованию накопителей: это могут быть устройства SAS, SATA и NVMe. Допускается применение системы прямого жидкостного охлаждения.

В шасси типоразмера 6U могут быть установлены два 3U-сервера ProLiant XL645d или один сервер ProLiant XL675d. Новинки предназначены для решения задач в области искусственного интеллекта, глубокого обучения и т. п.

Компания Atos объявила в рамках SC20 о выпуске новых программных решений для систем высокопроизводительных вычислений (High Performance Computing, HPC). Их задача состоит в оптимизации производительности и снижении потребления энергии суперкомпьютерами.

Компания отмечает, что эти программные пакеты могут применяться в линейке фирменных решений Atos BullSequana X. В перечне ПО HPC Software Suites есть Smart Data Management Suite, Smart Energy Management Suite, Smart Performance Management Suite и Smart Management Center xScale. В Atos отмечают, что этот софт позволяет снизить «прожорливость» систем за счёт гибкой настройки суперкомпьютеров, что важно в свете ожидаемого в будущем перехода на экзафлопные вычисления.

smartcitiesworld.net

К примеру, Smart Management Center xScale упрощает задачи настройки, развертывания и работы кластера в целом. А Smart Energy Management Suite позволяет клиентам управлять энергопотреблением суперкомпьютеров, оптимизируя их производительность. Эта инициатива позволит, как ожидается, снизить выбросы углекислого газа, поскольку именно тепловые электростанции на данный момент вырабатывают большую часть энергии. При этом пока не приводится никаких конкретных цифр, позволяющих оценить работу такого ПО.

По словам Агнес Будо (Agnès Boudot), старшего вице-президента и руководителя подразделения HPC & Quantum в Atos, новые программные комплексы являются результатом обширного опыта компании в развертывании крупномасштабных суперкомпьютеров. Целью является предоставление энергоэффективных решений, которые будут минимально влиять на окружающую среду.

Также госпожа Будо отметила, что компания гордится тем, что этом году 30 её суперкомпьютеров вошли в TOP 500, в том числе JUWELS, один из самых энергоэффективных суперкомпьютером в мире, занимающий в Green500 третье место. Она уточнила, что программные комплексы Atos позволят пользователям раскрыть мощь своей суперкомпьютерной системы, одновременно улучшив её показатели в плане потребления энергии.

Отмечается, что это ПО уже доступно. Напомним, что это не первая «зелёная» инициатива компании. Ранее в Atos запустили сервис OneCloud, который призван ускорить переход клиентов на более экологичные облачные системы.

В настоящее время можно сказать, что вычислительные устройства различных типов — ЦП, графические процессоры, ПЛИС, DPU и другие ускорители — существуют практически отдельно друг от друга. И каждый случай, требующий их совместной работы, приходится рассматривать отдельно. Однако будущее за конвергенцией: куда проще и выгоднее иметь единую открытую программную платформу, позволяющую легко комбинировать различные ускорители, составляя из них систему, способную оптимально решать поставленные перед ней задачи.

Intel продвигает oneAPI как единую, универсальную платформу для разработки под все вычислительные платформы сразу. У AMD же есть проект ROCm, который позволяет объединить усилия CPU и GPU, а теперь — хотя сделка до конца не закрыта — FPGA Xilinx. На SC20 компании провели первую демонстрацию работы.

Ускорители Xilinx Alveo, как, впрочем, и любые ускорители на базе достаточно сложных ПЛИС, имеют широчайший спектр применения, от чисто вычислительных задач до вспомогательных, вроде обслуживания «умных» сетевых соединений и работы в качестве «сопроцессора данных» (DPU). Суть проведённой AMD демонстрации в том, что за счёт службы трансляции адресов PCIe (Address Translation Service, ATS) платы Alveo получают доступ к ресурсам памяти других устройств, будь то системные процессоры или ГП-ускорители.

Платформа AMD ROCm позволяет унифицировать такие процессы, как обнаружение и резервирование ресурсов ПЛИС в ускорителях Alveo. При этом обеспечивается безопасная изоляция ресурсов памяти для каждого пользователя, синхронизация ускорителей Alveo и Instinct, а за распределение нагрузки пользовательских запросов используется тот же механизм, что и для плат Instinct.

Такой подход должен действительно упростить и унифицировать создание HPC-систем нового поколения, которые будут сочетать в себе ускорители различных типов. Подробнее о технологии ROCm можно узнать на сайте AMD. Поскольку платформа является открытой, следует ожидать появления нового кода и в репозиториях ROCm на GitHub.

Бенчмарк MLPerf Training v0.7 обзавёлся новым вариантом теста, который рассчитан на рабочие нагрузки для систем высокопроизводительных вычислений (High Performance Computing, HPC). Бенчмарк предназначен для тестирования систем машинного обучения с использованием наборов данных объёмом от 5,1 до 8,8 Тбайт.

Новый тест также учитывает работу подсистем ввода-вывода. Как отмечается, правила для MLPerf HPC v0.7 почти полностью повторяют MLPerf Training v0.7 с некоторыми поправками, что позволит точнее оценивать ИИ-системы именно в контексте HPC

robohub.org

Так выглядят результаты первых тестов:

Результаты при использования той же модели и оптимизатора, что и в эталонной реализации

Результаты при использовании более быстрых моделей, чем исходная

Текущий набор тестов MLPerf HPC замеряет время, необходимое для подготовки новых моделей машинного обучения, чтобы они соответствовали стандартным целевым показателям качества. На данный момент это касается задач, связанных с климатической аналитикой и космологией. Впрочем, их потенциально можно применять и для других сфер вычислений такого рода.

Первая версия MLPerf HPC включает два теста:

• CosmoFlow: трехмерная свёрточная архитектура, обученная на данных космологического моделирования N тел для прогнозирования четырех целевых космологических параметров.
• DeepCAM: архитектура сегментации свёрточного кодера-декодера, обученная на данных моделирования климата CAM5 + TECA для выявления экстремальных погодных явлений, таких как атмосферные течения и тропические циклоны.