Крупные ЦОД и места установки суперкомпьютеров не лишены своего шарма. Как правило, такие помещения выглядят футуристически и минималистично, хотя корпуса строек и украшают различными изображениями. Но бывают исключения.

К таким исключениям относится испанская система MareNostrum, расположенная в Барселоне и принадлежащая Барселонскому суперкомпьютерному центру. Уникальность её в том, что суперкомпьютер этот смонтирован в старинном помещении часовни Torre Girona. Теперь полюбоваться на него и ряд других систем может любой желающий.

Суперкомпьютеры человечество строит уже достаточно давно и многие из них на сегодня представляют собой музейную, историческую ценность. MareNostrum, на сегодняшний день работающий в четвёртой своей версии, пока нельзя назвать экспонатом — это функционирующая система, состоящая из 3456 узлов Lenovo ThinkSystem SD530, в каждом из которых установлено по два 24-ядерных процессора Xeon Platinum.

На ноябрь 2019 года MareNostrum 4 занимал 30 место в рейтинге Top500 с развиваемой мощностью 13,7 Пфлопс и объёмом хранения данных 14 Пбайт. Но уникальной систему делают не её характеристики, а место расположения — это действительно бывшая часовня, принадлежащая Политехническому университету Каталонии.

Пожалуй, можно назвать такое сочетание своеобразным храмом, посвященным научно-техническому прогрессу. А теперь взглянуть на суперкомпьютер может любой желающий. И не только в реальном мире: Барселонский суперкомпьютерный центр подготовил и виртуальную экспозицию, в которой MareNostrum 4 является главным, но не единственным экспонатом.

В одном из боковых коридоров часовни установлены несколько других HPC-систем, представляющих собой ценность с точки зрения истории суперкомпьютеров. Это части машин MareNostrum 1/2/3, первый тестовый HPC-кластер Tibidabo на базе ARM-процессоров (2011 год), BSCSMP на базе Silicon Graphics Altix 4700 и ряд других экспонатов, часть из которых построена на уже практически забытых ныне архитектурах вроде DEC Alpha.

Экспозиция представляет собой интерес для всех ценителей истории техники, в частности — техники вычислительной. Информация о ней была опубликована в Twitter, а посетить её виртуально можно, воспользовавшись соответствующей ссылкой. Поддерживается использование VR-шлемов.

Гетерогенные вычисления применяются в современном мире очень активно несмотря на то, что программировать такие системы достаточно сложно. Не столь давно NVIDIA представила новую архитектуру Ampere и ускорители A100 на её основе.

Компания ASUS одной из первых освоила новинку и уже предлагает новый сервер высокопроизводительных вычислений ESC4000A-E10, изначально рассчитанный на использование именно NVIDIA A100. Эта HPC-система подходит для широкого круга задач, от виртуализации до комплексов машинного интеллекта.

Сервер ESC4000A-E10 выполнен в стоечном корпусе высотой 2U, центральную часть занимает узкая системная плата с одним процессорным разъёмом AMD SP3, окружённым восемью слотами DDR4 DIMM (до 2 Тбайт на систему). Ускорители в форм-факторе PCI Express устанавливаются с обеих сторон платы с помощью райзеров. Их количество может быть различным: в случае с полноразмерными A100 поддерживается установка четырёх плат, но однослотовых плат расширения можно установить целых восемь.

Для наиболее полного раскрытия потенциала новой системы ASUS взяла за основу для ESC4000A-E10 процессоры AMD EPYC второго поколения, благо в этой серии имеются и модели с 64 ядрами, например, EPYC 7702P, 7742 или 7H12. Поддерживаются все теплопакеты до 280 Ватт включительно. Столь мощный процессор и набор ускорителей A100 вкупе могут выделять около 1300 Ватт тепла (280+250×4), что требует мощной системы охлаждения. За продувку ESC4000A-E10 отвечает семь высокопроизводительных вентиляторов, все они установлены в специальных корзинах и могут заменяться «на горячую», что упрощает обслуживание системы и снижает время её простоя.

Также в ESC4000A-E10 предусмотрены отдельные слоты PCIe x8, они служат для установки контроллера RAID или высокоскоростного сетевого адаптера в форм-факторе OCP 3.0. Изначально сетевые возможности ESC4000A-E10 достаточно скромны и представлены двумя портами Gigabit Ethernet и выделенным портом Ethernet для удалённого управления. За последнее отвечает популярный базовый контроллер Aspeed AST2500, имеющий также отдельный VGA-выход для локальной настройки сервера. За счёт фирменного модуля KVM-over-IP ASMB9-iKVM и программного обеспечения ASUS Control Center сервер очень удобен в настройке и эксплуатации.

В общей сложности ESC4000A-E10 располагает 11 слотами PCI Express 4.0, что делает его весьма гибким в конфигурировании и позволяет использовать наиболее скоростные на сегодняшний момент платы расширения, будь то вычислительные ускорители или сетевые адаптеры класса 200 или 400G без ущерба для производительности. В передней части сервера имеется восемь стандартных дисковых корзин «горячей замены», совместимых с накопителями формата 2,5″/3,5″, причём четыре из восьми мест могут занимать накопители с интерфейсом NVMe. За питание отвечает пара блоков «горячей замены» мощностью 1600 Ватт каждый. Они имеют сертификацию 80 Plus Platinum.

Почему тем, кто ищет новый вычислительный сервер, стоит обратить внимание именно на ASUS ESC4000A-E10? Во-первых, повторимся, из-за его универсальности, ведь он поддерживает не только ускорители A100, но может комплектоваться и платами Tesla T4 или графическими картами Quadro, причём конфигурация может быть и смешанной, в зависимости от задач, которые ставит заказчик. Имеется сертификация NGC-Ready, подтверждающая полноценную возможность запуска NGC-контейнеров на уровне «чистого железа» (bare metal).

Во-вторых, серверы ASUS славятся своей повышенной энергоэффективностью, и это подтверждено их рейтингом в тестах SPECpower. За счёт технологии Thermal Radar 2.0 управление системами охлаждения сервера выполняется более гибко, вентиляторы всегда работают на минимально достаточной скорости. Это может давать 36% экономию энергии, затрачиваемой на охлаждение в сравнении с менее интеллектуальными решениями.

Технология ASUS Power Balancer следит за энергопотреблением процессоров и управляет им в реальном времени, а для того, чтобы справляться с пиковыми нагрузками, ASUS внедрила технологию Performance Boost. Последняя использует несколько подходов одновременно, от автоматического удержания режима турбо на всех ядрах до тонкого тюнинга, позволяющего безопасно выйти за пределы формальных значений TDP. Иными словами, платформа полностью соответствует девизу компании «В поисках невероятного» — в ней реализованы все средства достижения максимальной производительности при минимально возможных энергозатратах. 

Среди упомянутых в анонсе задач, для которых подходит ESC4000A-E10, упомянута виртуализация — и вовсе не зря. Процессоры NVIDIA A100 интересны тем, что могут работать как в обычном режиме, так и разделяться на несколько (до семи) полностью изолированных и функционирующих независимо друг от друга блоков. Это даёт 28 разделов на полностью укомплектованную систему с четырьмя A100, а значит, она может полноценно обслужить столько же рабочих мест с графическим окружением и поддержкой 3D-ускорения.

Сам процессор A100 изначально создавался NVIDIA с прицелом на мир HPC. Архитектура Ampere вышла удачной настолько, что разработчики говорят о 40-кратном превосходстве над V100 в задачах обучения нейросетей. Поддерживаются все форматы вычислений, от INT4 до традиционного FP64, в последнем случае производительность достигает почти 10 Тфлопс, но при этом A100 благодаря использованию 7-нм техпроцесса имеет теплопакет всего 250 ватт против 400 у предшественника.

Производительность комплексов на базе A100 выше в версии с NVLink за счёт более эффективной системы межсоединений, но такие системы не обладают универсальностью ASUS ESC4000A-E10, в который можно устанавливать любые PCIe-совместимые ускорители. Потери невелики, сама NVIDIA указывает на 90% эффективности от NVLink-варианта A100 в формате SXM4. Потеря не слишком большая и легко окупающаяся за счет универсальности платформы ESC4000A-E10.

Компания ASUS присутствует на рынке серверного оборудования давно и её решения успели завоевать ряд наград, как качественные, надёжные и при этом экономичные системы. Все эти преимущества унаследовал и созданный в рамках партнёрской программы NVIDIA сервер ASUS ESC4000A-E10, став системой компактной, экономичной и универсальной, но вместе с тем, весьма производительной и полностью отвечающей современной концепции высокопроизводительных вычислений.

Новые системы ASUS ESC4000A-E10 уже доступны для приобретения по всему миру, в том числе, и на территории Российской Федерации. Более подробную информацию, в том числе, о стоимости новинки, можно получить в региональном представительстве ASUS.

В японском сегменте рынка супервычислений продолжает доминировать свой, уникальный подход к построению систем класса HPC. Fujitsu сделала ставку на гомогенную архитектуру A64FX с памятью HBM2 и заняла первое место в Top500, но и другая японская компания, NEC, не отказалась от своего видения суперкомпьютерной архитектуры.

На предыдущей конференции SC19 NEC пополнила свой арсенал новыми ускорителями SX-Aurora 10E, которые получили более быстрые сборки HBM2. О новых ускорителях «Type 20» речь заходила ещё до начала эпидемии COVID-19; к сожалению, она внесла свои коррективы и анонс новинок состоялся лишь сейчас, летом 2020 года.

Изначально процессор SX-Aurora, используемый во всей серии ускорителей «Type 10» имеет 8 векторных блоков, каждый из которых дополнен 2 Мбайт кеша и 6 сборок памяти HBM2 общим объёмом 24 или 48 Гбайт. Из-за сравнительно грубого 16-нм техпроцесса уровень тепловыделения достаточно высок и составляет примерно 225 Ватт. В отличие от Fujitsu A64FX, NEC SX-Aurora требует для своей работы управляющего хост-процессора, и обычно компания комбинирует его с Intel Xeon, но существуют варианты и с AMD EPYC второго поколения.

ISC 2018: HPC-модуль с восемью векторными ускорителями NEC SX-Aurora Type 10

Это роднит SX-Aurora с более широко распространёнными ускорителями на базе графических процессоров, однако позиционирование у них всё-таки выглядит иначе. ГП-ускорители, по мнению NEC, гораздо сложнее в программировании, хотя и обеспечивают высокую производительность.

Свою же разработку компания относит к решениям с похожим уровнем производительности, но гораздо более простым в программировании. Упор также делается на высокую пропускную способность памяти, составляющую у новинок «Type 20» 1,5 Тбайт/с.

Новая версия NEC Vector Engine, VE20, структурно, скорее всего, не изменилась. Вместо восьми ядер новый процессор получил 10, и, как уже было сказано, новые сборки HBM2, в результате чего ПСП удалось поднять с 1,35 до 1,5 Тбайт/с, а вычислительную мощность с 2,45 до 3,07 Тфлопс.

В серии пока представлено два новых ускорителя, Type 20A и 20B, последний аналогичен по конфигурации решениям Type 10 и использует усечённый вариант процессора с 8 ядрами. Говорится о неких архитектурных улучшениях, но деталей компания пока не раскрывает.  Оба варианта процессора VE20 работают на частоте 1,6 ГГц, а прирост производительности в сравнении с VE10 достигается в основном за счёт повышения ПСП. 

Похоже, VE20 лишь промежуточная ступень. В 2022 году планируется выпуск процессора VE30, который получит подсистему памяти с пропускной способностью свыше 2 Тбайт/с, в 2023 должен появиться его наследник VE40, но настоящий прорыв, судя по всему, откладывается до 2024 года, когда NEC планирует представить VE50, об архитектуре и возможностях которого пока ничего неизвестно.

Машинное обучение в последние годы развивается и внедряется очень активно. Разработчики аппаратного обеспечения внедряют в свои новейшие решения поддержку оптимальных для ИИ-систем форматов вычислений, под этот круг задач создаются специализированные ускорители и сопроцессоры.

Словацкая компания Tachyum достаточно молода, но уже пообещала выпустить процессор, который «отправит Xeon на свалку истории». О том, что эти чипы станут основой для суперкомпьютеров нового поколения, мы уже рассказывали читателям, а на конференции ISC High Performance 2020 Tachyum анонсировала и сами процессоры Prodigy, и ИИ-комплекс на их основе.

Запуск готовых сценариев машинного интеллекта достаточно несложная задача, с ней справляются даже компактные специализированные чипы. Но обучение таких систем требует куда более внушительных ресурсов. Такие ресурсы Tachyum может предоставить: на базе разработанных ею процессоров Prodigy она создала дизайн суперкомпьютера с мощностью 125 Пфлопс на стойку и 4 экзафлопса на полный комплекс, состоящий из 32 стоек высотой 52U.

Основой для новой машины является сервер-модуль собственной разработки Tachyum, системная плата которого оснащается четырьмя чипами Prodigy. Каждый процессор, по словам разработчиков, развивает до 625 Тфлопс, что дает 2,5 Пфлопс на сервер. Компания обещает для новых систем трёхкратный выигрыш по параметру «цена/производительность» и четырёхкратный — по стоимости владения. При этом энергопотребление должно быть на порядок меньше, нежели у традиционных систем такого класса.

Архитектура Prodigy представляет существенный интерес: это не узкоспециализированный чип, вроде разработок NVIDIA, а универсальный процессор, сочетающий в себе черты ЦП, ГП и ускорителя ИИ-операций. Структура кристалла построена вокруг концепции «минимального перемещения данных». При разработке Tachyum компания принимала во внимание задержки, вносимые расстоянием между компонентами процессора, и минимизировала их.

Процессор Prodigy может выполнять за такт две 512-битные операции типа multiply-add, 2 операции load и одну операцию store. Соответственно то, что каждое ядро Prodigy имеет восемь 64-бит векторных блока, похожих на те, что реализованы в расширениях Intel AVX-512 IFMA (Integer Fused Multiply Add, появилось в Cannon Lake). Блок вычислений с плавающей точкой поддерживает двойную, одинарную и половинную точность по стандартам IEEE. Для ИИ-задач имеется также поддержка 8-битных типов данных с плавающей запятой.

Векторные и матричные операции — сильная сторона Prodigy. На перемножении-сложении матриц размерностью 8 × 8 ядро развивает 1024 Флопс, используя 6 входных и 2 целевых регистра (в сумме есть тридцать два 512-бит регистра). Это не предел, разработчик говорит о возможности увеличения скорости выполнения этой операции вдвое. Tachyum обещает, что система на базе Prodigy станет первым в мире ИИ-кластером, способным запустить машинный интеллект, соответствующий человеческому мозгу.

С учётом заявлений о 10-кратной экономии электроэнергии и 1/3 стоимости от стоимости Xeon, это заявление звучит очень сильно. Но Prodigу — не бумажный продукт-однодневка. Tachyum разработала не только сам процессор, но и всю необходимую ему сопутствующую инфраструктуру, включая и компилятор, в котором реализованы оптимизации в рамках «минимального перемещения данных».

Новинка разрабона с использованием 7-нм техпроцесса, максимальное количество ядер с вышеописанной архитектурой — 64. Помимо самих ядер, кристалл T864 содержит восьмиканальный контроллер DDR5, контроллер PCI Express 5.0 на 64 (а не 72, как ожидалось ранее) линии и два сетевых интерфейса 400GbE. При тактовой частоте 4 ГГц Prodigy развивает 8 Тфлопс на стандартных вычислениях FP32, 1 Пфлоп на задачах обучения ИИ и 4 Петаопа в инференс-задачах.

Самая старшая версия, Tachyum Prodigy T16128, предлагает уже 128 ядер с частотой до 4 ГГц, 12 каналов памяти DDR5-4800 (но только 1DPC и до 512 Гбайт суммарно), 48 линий PCI Express 5.0 и два контроллера 400GbE. Производительность в HPC-задачах составит 16 Тфлопс, а в ИИ — 262 Тфлопс на обучении и тренировке. 

Системные платы для Prodigy представлены, как минимум, в двух вариантах: полноразмерные четырёхпроцессорные для сегмента HPC и компактные однопроцессорные для модульных систем высокой плотности. Полноразмерный вариант имеет 64 слота DIMM и поддерживает модули DDR5 объёмом до 512 Гбайт, что даёт 32 Тбайт памяти на вычислительный узел.

Сам узел полностью совместим со стандартами 19″ и Open Compute V3, он может иметь высоту 1U или 2U и поддерживает питание напряжением 48 Вольт. Плата имеет собственный BIOS UEFI, но для удалённого управления в ней реализован открытый стандарт OpenBMC.

Tachyum исповедует концепцию универсальности, но всё-таки узлы для HPC-систем на базе Prodigy могут быть нескольких типов — универсальные вычислительные, узлы хранения данных, а также узлы управления. В качестве «дисковой подсистемы» разработчики выбрали SSD-накопители в формате NF1, подобные представленному ещё в 2018 году накопителю Samsung.

Таких накопителей в корпусе системы может быть от одного до 36; поскольку NF1 существенно крупнее M.2, поддерживаются модели объёмом до 32 Тбайт, что даёт почти 1,2 Пбайт на узел. Стойка с модулями Prodigy будет вмещать до 50 модулей высотой 1U или до 25 высотой 2U. Согласно идее о минимизации дистанций при перемещении данных, сетевой коммутатор на 128 или 256 портов 100GbE устанавливается в середине стойки.

Такая конфигурация работает в системе с числом стоек до 16, более масштабные комплексы предполагается соединять между собой посредством коммутатора высотой 2U c 64 портами QSFP-DD, причём поддержка скорости 800 Гбит/с появится уже в 2022 году. 512 стоек могут объединяться посредством высокопроизводительного коммутатора CLOS, он имеет высоту 21U и также получит поддержку 800 Гбит/с в дальнейшем.

Компания активно поддерживает открытые стандарты: применён загрузчик Core-Boot, разработаны драйверы устройств для Linux, компиляторы и отладчики GCC, поддерживаются открытые приложения, такие, как LAMP, Hadoop, Sparc, различные базы данных. В первом квартале 2021 года ожидается поддержка Java, Python, TensorFlow, PyTorch, LLVM и даже операционной системы FreeBSD.

Любопытно, что существующее программное обеспечение на системах Tachyum Prodigy может быть запущено сразу в виде бинарных файлов x86, ARMv8 или RISC-V — разумеется, с пенальти. Производительность ожидается в пределах 60 ‒ 75% от «родной архитектуры», для достижения 100% эффективности всё же потребуется рекомпиляция. Но в рамках контрактной поддержки компания обещает помощь в этом деле для своих партнёров.

Разумеется, пока речи о полномасштабном производстве новых систем не идёт. Эталонные платформы Tachyum обещает во второй половине следующего года. Как обычно, сначала инженерные образцы получают OEM/ODM-партнёры компании и системные интеграторы, а массовые поставки должны начаться в 4 квартале 2021 года. Однако ПЛИС-эмуляторы Prodigy появятся уже в октябре этого года, инструментарий разработки ПО — и вовсе в августе.

Планы у Tachyum поистине наполеоновские, но её разработки интересны и содержат целый ряд любопытных идей. В чём-то новые процессоры можно сравнить с Fujitsu A64FX, которые также позволяют создавать гомогенные и универсальные вычислительные комплексы. Насколько удачной окажется новая платформа, говорить пока рано.

Всего год, а может быть и меньше, отделяет EuroHPC от запуска новейших суперкомпьютеров, созданных в рамках проектов этой организации. В связи с этим обозреватель Primeurmagazine Эд Эммен (Ad Emmen) проанализировал присутствие EuroHPC в последнем издании рейтинга TOP500.

В 2020 году в TOP500 вошли 96 европейских систем общей производительностью 379 петафлопс. По сравнению с предыдущим рейтингом выросла их общая производительность, хотя количество систем не увеличилось. Сейчас устанавливаются все более и более мощные суперкомпьютеры, но аналитик отметил, что даже если объединить все европейские системы, вошедшие в TOP500, Европа всё ещё далека до суммарной производительности систем в экзафлопс.

Если говорить только о странах, входящих в EuroHPC, то в TOP500 присутствует 93 их системы. На системы EuroHPC приходится порядка 17 % общей производительности, и этот показатель не сильно изменился с годами. И европейская система никогда не возглавляла топ-10 суперкомпьютеров.

В настоящее время в топ-10 входят три системы EuroHPC. Это HPC5 итальянской нефтегазовой компании Eni, Marconi-100, находящаяся в исследовательском центре CINECA в Италии, а также замыкающая десятку Piz Daint, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано (Швейцария).

Таким образом, на EuroHPC приходится треть суперкомпьютеров в Топ-10, что соответствует первоначальной цели организации. Если говорить о Топ-100, то в этот рейтинг входит в среднем 35 европейских систем, что также составляет одну треть. Напомним, что проект EuroHPC направлен на укрепление независимости Европейских стран в области высокопроизводительных вычислений, на него придётся более 1€ млрд.

Компания, а вернее, группа компаний РСК (RSC) — ведущий российский производитель суперкомпьютерных систем, чьи решения активно используются в борьбе с COVID-19. К примеру, не столь давно кластер суперкомпьютерного центра Российской академии наук «МВС-10П ОП» был модернизирован и получил новые вычислительные узлы на базе Xeon Scalable второго поколения.

Мимо такого мероприятия, как конференция ISC High Performance 2020 столь серьезный производитель пройти не мог и приурочил к проходящему ныне мероприятию анонс своих новых решений — как аппаратных модулей для создания систем класса HPC, так и программных новинок.

Разработкой и созданием суперкомпьютеров РСК занимается давно и присутствует на рынке с 2009 года, на её счету ряд инновационных решений. Плотность вычислений продолжает расти, растут потребляемые мощности, и отвечая на требования рынка, РСК уделяет самое пристальное внимание вопросам энергоэффективности, надёжности и простоты управления.

В рамках программно-определяемой платформы нового поколения компания представила на ISC 2020 свои новые разработки: вычислительные и гиперконвергентные узлы RSC Tornado, новые системы питания и программный комплекс RSC BasIS.

Компания экспериментировала с такой экзотикой, как процессоры Intel Xeon 9200, являющиеся, по сути, двумя Xeon 8200 под одной крышкой. Они были показаны на прошлой конференции SC19. Эта разработка Intel весьма специфична, так что современные вычислительные модули RSC Tornado Compute Node базируются на хорошо зарекомендовавших себя процессорах Xeon Scalable второго поколения с теплопакетами до 205 Ватт. Это либо серия Xeon Platinum 8200, либо Gold 6200; о более интересных Xeon Scalable третьего поколения (Cooper Lake) речи пока не идёт — они были представлены Intel совсем недавно.

Каждый модуль оснащается двумя процессорами, четырьмя планками Optane DCPMM общим объёмом до 2 Тбайт, двумя накопителями NVMe на базе Optane, а также двумя более медленными NVMe-накопителями Intel P4511 E1.S объёмом 4 Тбайт. «Малая» сетевая подсистема представлена двумя портами 10GbE, «большая» — портом Intel OmniPath 100 Гбит/с, InfiniBand EDR/HDR, либо портом 100GbE на усмотрение заказчика. Габариты модуля хорошо видны на слайде, где для сравнения размещён обычный карандаш.

В системе 100% жидкостного охлаждения как и прежде используется «горячий теплоноситель», это позволяет достичь высокой энергоэффективности — коэффициент PUE для новых модулей RSC Tornado не превышает 1,04. Вычислительная стойка с новыми модулями развивает до 0,7 Пфлопс, располагая 2,4 Пбайт пространства для хранения данных и скоростью их передачи в районе 2 Тбайт/с.

Гиперконвергентные модули RSC Tornado Hyper-Converged Node выполнены в том же стиле, но оптимизированы с учётом максимизации объёмов хранения данных. Благодаря использованию «линеечных» SSD каждый такой модуль может вмещать до 24 Тбайт в 12 NVMe-накопителях E1.S с «горячей заменой». Доступна поддержка Intel Memory Drive Technology (IMDT) с памятью ёмкостью до 4,2 Тбайт.

В качестве процессоров здесь также используются Xeon Scalable второго поколения. Сетевая часть даже более гибкая, нежели у вышеописанных вычислительных модулей: высокоскоростных интерфейсов Omni-Path, InfiniBand или Ethernet может быть два. RSC Tornado Hyper-Converged Node дают до 0,345 Пфлопс на стойку, но при этом объём хранимых данных достигает 3,6 Пбайт при скоростях передачи данных до 1,5 Тбайт/с.

В рамках единой системы охлаждаются гиперконвергентные модули так же, как и их чисто вычислительные собратья, и эффективность такого охлаждения столь же высока. Конструкция унифицированной вычислительной 42U-стойки с единой системой жидкостного охлаждения, занимающей всего 0,64 м2, позволяет установить любые узлы РСК количеством до 153 шт. Блоки питания выполнены в том же форм-факторе, что и остальные узлы.

Даже 3,6 Пбайт на стойку может оказаться мало, и на этот случай РСК представила новые модули хранения данных. В них устанавливается до 32 накопителей Intel E1.L в формате EDSFF, поэтому легко достигаются объёмы порядка 1 Пбайт на узел. В пересчёте на стойку это дает до 42 Пбайт, производительность таких «дисковых модулей» может достигать 0,8 Тбайт/с. Для ускорения работы используются модули Intel Optane DCPMM.

РСК активно продвигает использование жидкостного охлаждения. Наряду с «горячим теплоносителем» в новых модульных системах компания впервые предлагает готовые модули модернизации для стандартных серверов, что позволяет их перевести на использование жидких теплоносителей. Новые водоблоки полностью совместимы с существующими креплениями и легко заменяют воздушные радиаторы.

Каждый водоблок РСК может отвести до 400 Ватт тепла. Системы жидкостного охлаждения разработки РСК позволяют удалить за пределы сервера до 70% всего выделяемого тепла, что даёт возможность отключить системные вентиляторы и снизить за счёт этого энергопотребление. Надёжность гарантирует и тот факт, что теплоносители, применяемые РСК в этих системах, электрически инертны и в случае утечки не повредят оборудование.

Комплекс охлаждения РСК состоит из водоблоков, модуля распределения теплоносителя (крепится к стандартной стойке), насосного модуля. На входе стойка потребляет жидкость с температурой от 45 до 55 градусов Цельсия, на выход идёт среда с температурой 55 градусов. Теплообменник в насосном блоке передаёт тепло (50 градусов) на внешний контур кондиционирования. На вход же от внешнего контура приходит носитель с температурой в районе 23 ‒ 45 градусов.

По сравнению с традиционными воздушными комплексами охлаждения говорится о снижении стоимости эксплуатации на величину до 70%. За счёт уменьшения количества вентиляторов в серверах и кондиционерах обеспечивается дополнительная экономия электроэнергии, а пространство в ЦОД используется более эффективно: там, где раньше можно было рассеивать до 12 киловатт тепла, теперь рассеивается до 50 кВт. Кроме того, имеется возможность использования выделяемого тепла для других целей, например, для отопления соседних помещений.

О непревзойденной эффективности речи не идёт, но 50 кВт на стойку — это выше, нежели у аналогичных открытых решений (36 кВт на стойку) или решений, используемых Большой Семёркой облачных провайдеров. Погружные системы и системы прямого контакта могут давать от 150 до 400 кВт на стойку, но либо стоят существенно дороже и требуют специального оборудования, либо гораздо сложнее в эксплуатации и обслуживании при сравнимом показателе PUE.

С совместимостью у новых систем распределения теплоносителя РСК всё хорошо: они могут работать как с водоблоками собственной разработки, так и с решениями Asetek и CoolIT, а также с любыми стоечными серверами стандартной конфигурации.

В программной части группа РСК представила новый программно-определяемый комплекс BasIS. Он может работать как на платформах самой РСК, так и на любом стандартном аппаратном обеспечении. Большое внимание уделено как эффективности нового ПО, так и удобству и простоте управления. Система BasIS легко масштабируется по мере наращивания количества вычислительных узлов.

Пространство для хранения данных пользователя выделяется динамически, в режиме «storage on demand». Основой является широко распространённая в мире высокопроизводительных вычислений открытая распределённая файловая система Lustre, впервые представленная ещё в 2003 году. «Lustre on demand» используется, например, в суперкомпьютере РСК, установленном в Объединённом институте ядерных исследований в Дубне.

Можно сказать, что группа РСК очень хорошо понимает требования к HPC-системам сегодняшнего дня и предлагает современные, универсальные и качественно спроектированные решения, как в аппаратной, так и в программной части.

Высокопроизводительные вычисления (HPC) в облаке — одна из самых обсуждаемых в последнее время тем на технологических мероприятиях и форумах. Компании и исследовательские институты проявляют большой интерес к HPC, пытаясь понять, как расширить с их помощью свои возможности финансово оправданным путём.

HPC в облаке — отнюдь не новое направление, но за последние несколько лет произошли кардинальные изменения и улучшения инфраструктуры, которые делают HPC доступными для гораздо более широкой аудитории. Многие провайдеры уже предлагают инстансы, которые обеспечивают большую вычислительную мощность и пропускную способность памяти для приложений, требующих большого объёма вычислений.

Больше внимания уделяется проблеме масштабирования рабочих нагрузок в облаке. Появление более дружественных к HPC системных и программных сервисов также сделало возможным «собрать» кластерные экземпляры в облаке. Тем не менее, несмотря на достигнутый прогресс, с переносом приложений HPC в облако не так всё и просто. И по-прежнему требуется время для обучения и накопления опыта, необходимого для настройки инстансов конкретного облака.

Если вам нужно работать с несколькими облачными провайдерами, у вас есть несколько путей решения вопроса. Многие поставщики сервисов и компании помогают упростить размещение рабочих нагрузок в облаке, но даже они сталкиваются с одной и той же проблемой. В какой-то момент в рабочем процессе необходимо иметь единый интерфейс для запуска нагрузок с внутренним интерфейсом для конкретного облачного провайдера.

Intel и Google недавно начали работать над созданием инструментария, обеспечивающего единый интерфейс управления. В результате Intel запустила проект с открытым исходным кодом Rapid HPC Orchestration in the Cloud или RHOC. RHOC рассматривается, как средство, помогающее пользователям развернуть HPC-платформу в облаке.

RHOC использует две общие утилиты от Hashicorp в качестве базовых механизмов, обеспечивающих поддержку нескольких облаков для запуска инстансов. Используя инфраструктуру Terraform для управления и механизмы Packer для создания облачных образов. RHOC использует шаблоны для формирования и дальнейшего развёртывания образа в разных облаках.

Пользователи запускают задания прямо из командной строки и указывают, какие шаблоны использовать, а также предоставляют свои учётные данные для облачного провайдера. Затем RHOC занимается настройкой кластера в облаке. RHOC создает новый образ или повторно использует предварительно созданный образ, запускает требуемые экземпляры, настраивает их как кластер HPC и запускает выполнение задания.

По умолчанию RHOC выключает инстансы после окончания расчётов, но есть режим поддержки работы кластера в постоянном режиме с ручным отключением. Благодаря RHOC компания Intel и её партнёры по облачным технологиям смогут совместно создавать шаблоны, включащие наиболее оптимизированные для HPC инстансы и образы для конкретного поставщика облачных вычислений.

Появлению первого ARM-суперкомпьютера Fugaku на первом месте TOP500 мы уже порадовались. Но если взглянуть на оставшуюся часть списка, поводов для радости уже не так много. Шутка ли, в этом году в число новых машин в списке оказалось наименьшим с момента основания рейтинга.

Существенный прирост суммарной мощности всего списка с 1,65 до 2,23 Эфлопс обеспечила опять же машина Fugaku, внеся тем самым лёгкую сумятицу — отрыв между первым и вторым местом очень существенен. Однако тут есть два важных момента. Во-первых, A64FX концептуально ближе к Xeon Phi — собственная память, стандартные ядра + «широкие» инструкции сбоку — и стоит ли его причислять к CPU или всё же к ускорителям, ещё надо подумать. Во-вторых, энергоэффективность у этой 28-МВт машины оказалась практически идентичной показателю Summit (POWER9 + Volta).

Лидером Green500 вообще оказался специфический суперкомпьютер Preferred Networks MN-3 c ускорителями PFN MN-Core. Как и PEZY, это ещё одно японское чудо, которое вряд ли станет массовым. Остальные же места в «зелёном» списке, как и прежде, по большей части принадлежат машинам на базе процессоров Intel или POWER вкупе с ускорителями NVIDIA. Собственный суперкомпьютер NVIDIA Selene на базе DGX A100 (с AMD EPYC 7002 внутри) занимает в Green500 и TOP500 второе и седьмое место соответственно.

При этом, в целом, соотношение между производителями компонентов практически не поменялось. 470 систем используют процессоры Intel, ещё 11, включая Hygon, используют AMD. Причём Rome полгода назад было всего пару штук, а теперь уже восемь. Всего 4 машины базируются на ARM: Fugaku и её прототип, Flow на базе Fujitsu PRIMEHPC FX1000 с теми же процессорами A64FX и Astra на базе Marvell ThunderX2. Есть под одному SPARC и ShenWei, остальные — IBM POWER. Ускорители установлены почти в трети систем, в подавляющем большинстве случаев это NVIDIA разных поколений.

Теперь NVIDIA имеет право зачесть в свои активы заслуги Mellanox. Формально среди интерконнектов лидирует Ethernet, используемый более чем в половине систем. За ним идёт InfiniBand — почти треть машин. Остальное приходится на проприетарные решения. Однако суммарная производительность суперкомпьютеров с Ethernet почти на треть меньше, чем этот же показатель у машин с IB или проприетарными интерконнектами. Массово Ethernet начинает встречаться у систем после первой сотни позиций TOP500.

Примерно такая же картина наблюдается со странами и производителями. Формально по числу суперкомпьютеров лидирует, конечно, Китай (226 шт.) и большая тройка Lenovo, Sugon, Inspur. В США машин 114, в Японии 30, а в России и вовсе 2 (36-е место у SberCloud Christofari и 131-е у Ломоносов-2 в МГУ). Однако по суммарной мощности лидирует США, а Япония, благодаря всё тому же Fugaku, идёт вровень с Китаем.

Из необычного — в первой десятке свежего рейтинга на шестом месте находится промышленный суперкомпьютер HPC5 итальянской корпорации Eni, который является самым быстрым в Европе вообще. Не то, чтобы у нефтегазовых компаний не хватало возможностей получить такую машину, просто далеко не всегда они готовы делиться информацией.

Составители TOP500 отдельно отметили, что рынки коммерческих и академических суперкомпьютеров отличаются кардинально, и впервые проанализировали первую сотню машин в каждой категории. Собственно говоря, коммерческих машинах как раз уже давно довольно много, но топовые позиции традиционно удерживаются по большей части не ими.

По суммарным числу и производительности коммерческих установок в лидерах опять Китай и китайские же компании. А вот для академических систем картина совершенно иная. По числу машин в лидерах уже США и Япония, по производительности опять же Япония (снова всплеск из-за Fugaku) и США, а среди вендоров верхние строчки занимают привычные имена: Cray + HPE, Atos, IBM, Fujitsu. Среди производителей чипов в количественном выражении лидируют Intel и связка Intel+NVIDIA в обоих сегментах. В плане производительности для коммерческих суперкомпьютеров картинка такая же, а вот в исследовательских машинах доминирует пара POWER+NVIDIA и теперь уже ARM.

В целом же, скорость прироста общей производительности за последние десятилетия осталась практически неизменной. Малое число новых систем в рейтинге успешно скомпенсировал Fugaku, а в скором будущем нас ожидают как минимум три сверхмощные машины экзафлопсного класса Aurora, El Capitane и Frontier. Fugaku же хоть и не дотянул до этой заветной цифры в FP64-вычислениях, но на уровне организации системы его уже можно причислить к суперкомпьютерам нового поколения.

Конечно же, речь идёт о японском суперкомпьютере Fugaku на базе ARM-процессоров A64FX, который досрочно начал трудиться весной этого года. Эта машина стала самым мощным суперкомпьютером в мире сразу в трёх рейтингах: классическом TOP500, современном HPCG и специализированном HPL-AI.

Суперкомпьютер состоит из 158976 узлов, которые имеют почти 7,3 млн процессорных ядер, обеспечивающих реальную производительность на уровне 415,5 Пфлопс, то есть Fugaku почти в два с половиной раза быстрее лидера предыдущего рейтинга, машины Summit. Правда, оказалось, что с точки зрения энергоэффективности новая ARM-система мало чем отличается от связки обычного процессора и GPU, которой пользуется большая часть суперкомпьютеров. Так что на первое место в Green500 она не попала.

Однако на стороне Fugaku универсальность — понижение точности вычислений вдвое приводит к удвоение производительности. Так что машина имеет впечатляющую теоретическую пиковую скорость вычислений 4,3 Эопс на INT8 и не менее впечатляющие 537 Пфлопс на FP64. Это помогло занять её первое место в бенчмарке HPL-AI, которые использует вычисления разной точности. А общая архитектура процессора, включающего набортную память HBM2, и системы, использующей интерконнект Tofu, способствовали лидерству в бенчмарке HPCG, который оценивает эффективность машины в целом.

Отраслевая аналитическая компания Hyperion Research опубликовала результаты исследования рынка высокопроизводительных вычислений (HPC), включая оценку воздействия пандемии COVID-19 на отрасль, рост HPC в публичных облаках и значительные изменения в конкурентной позиции ведущих поставщиков серверов HPC.

По оценкам Hyperion, в целом за 2019 год рынок серверов HPC составил $13,7 млрд — рекордный доход для отрасли, хотя он и незначительно увеличился по сравнению с 2018 годом. Доход сектора суперкомпьютеров (системы стоимостью более $500 тысяч) составил $5,1 млрд, чуть меньше дохода принесли ведомственные системы ($100 000–$250 000) — $4 млрд, далее следуют системы подразделений ($250 000–$500 000) с выручкой $2,6 млрд и системы рабочих групп (менее $100 000) — $2 млрд дохода за год.

Hyperion предполагала, что влияние COVID-19 на индустрию в первом квартале выразится в падении чистого дохода на 15–18 %, что связано с задержкой поставок продукции из-за мер предосторожности, повлекших за собой сокращение выпуска и приостановку работы некоторых заводов поставщиков компонентов для HPC.

Глава Hyperion Эрл Джозеф (Earl Joseph) заявил, что воздействие COVID-19, вероятно, будет временным, хотя пока слишком рано прогнозировать серьёзность или продолжительность этого воздействия. Он допустил, что COVID-19 может оказать положительное влияние на отрасль, так как доходы публичных облачных вычислений для рабочих нагрузок HPC могут расти быстрее, чем прогнозировалось ранее. 

Джозеф также отметил, что пандемия ударила по нижней части рынка (серверы HPC по цене менее $100 тыс.), в результате чего «вероятно, будет несколько трудных лет». Он объяснил это влиянием трёх факторов. Во-первых, нижняя часть рынка ещё до начала пандемии всё больше переносила рабочие нагрузки HPC в общедоступные облака. Во-вторых, покупателями малых HPC-систем, как правило, являются предприятия малого и среднего бизнеса, которые сильнее страдают во время спадов и, следовательно, с большей вероятностью будут дольше сохранять свое существующее оборудование, откладывая модернизацию.

В-третьих, в крупных центрах высокопроизводительных вычислений, например, в нефтегазовых компаниях, обычно имеется два или три суперкомпьютера, а также три или четыре десятка систем поменьше, и они стараются увеличить нагрузку на большие системы и затем сократить расходы на сопутствующие системы.

В минувшем году на HPC-рынке HPE (которая приобрела Cray в прошлом году) увеличила отрыв от Dell Technologies, и эти компании значительно увеличило разрыв с остальными участниками рынка. HPE, у которой, по словам Джозефа, «был хороший год», получила доход от реализации HPC-серверов более чем на $5,1 млрд при доле рынка 37 %, а у Dell доход за год составил $3 млрд, доля рынка — 22 %. За ними следуют Inspur и Lenovo с долей рынка 6,6 % каждая. На пятом месте находится IBM, сократившая доходы от продажи доходах серверов HPC в 2018 году с почти миллиарда долларов до $498 млн в прошлом году, или до 3,6 % доли рынка.

Говоря о будущем рынка, Hyperion прогнозирует его ежегодный устойчивый рост на 8,7 % до $20,8 млрд в 2024 году. Прогнозируется, что категория суперкомпьютеров будет расти быстрее всего, на 11,6 % ежегодно, что в основном обусловлено государственными закупками систем экзафлопсного класса. Ожидается, что в категории рабочих групп будет самый низкий показатель роста — 3,4 %, а в системах подразделений и ведомственных системах — 8,1 % и 6,8 % соответственно.

Еще одна важная тенденция, отмеченная Hyperion: более высокий, чем ожидалось, рост публичных облачных высокопроизводительных вычислений. Hyperion повысила в этом сегменте свой прогноз по выручке — с $5,5 млрд долларов, ожидаемых в 2022 году, до $6,2 млрд. В 2023 году, как ожидает Hyperion, доход от HPC в публичных облаках достигнет $7,5 млрд.