Компания SiPearl, разрабатывающая высокопроизводительный и энергоэффективный микропроцессор для европейского суперкомпьютера, и Open-Silicon Research, индийское подразделение OpenFive, ведущего поставщика кастомных кремниевых решений с различными IP, объявили о заключении многолетнего соглашения о сотрудничестве с целью разработки 6-нм ARM-чипа для высокопроизводительных вычислений (HPC) с использованием 2.5D-упаковки.

6-нм система на кристалле (SoC) SiPearl Rhea будет производиться компанией TSMC. OpenFive является давним партнёром TSMC в рамках программы Value Chain Aggregator (VCA). SoC нацелена на запуск приложений HPC, использующих искусственный интеллект (ИИ), таких как автономное вождение, распознавание лиц и геномика, которые генерируют огромные объёмы данных.

Чип Rhea представляет собой мощное, хорошо масштабируемое решение. Чип будет основан на 64 ядрах ARM с более чем 30 млрд транзисторов и построен по 6-нм техпроцессу TSMC. SiPearl уже имеет лицензию ARM на использование ядра Neoverse V1 под кодовым названием Zeus и будет применять его в Rhea.

В конструкции чипа также будут использоваться некоторые элементы RISC-V вместе с IP-блоками OSR High Bandwidth Memory (HBM2E), интерфейсом D2D и HBM-памятью в единой упаковке 2.5D. Как ожидается, новый чип поступит в продажу в четвёртом квартале 2022 года, так что ещё предстоит пройти долгий путь по его разработке и интеграции.

Следует отметить, что SiPearl активно участвует в европейских проектах по разработке микросхем для высокопроизводительных вычислений, таких как проект European Processor Initiative (EPI). Она также является членом консорциума Mont-Blanc 2020 по оснащению Европы специализированным модульным и энергоэффективным высокопроизводительным вычислительным микропроцессором и участником команды PlayFrance.Digital.

Пять лет назад мы рассказывали о первом поколении российского интерконнекта Ангара или, если говорить более официально, межузловой высокоскоростной коммуникационной сети для суперкомпьютеров и кластеров. В рамках Elbrus Tech Day разработчики из НИЦЭВТ рассказали про второе поколение интерконнекта под названием Ангара-2, которое будет намного быстрее и эффективнее предыдущего.

В сравнении с первой версией были уменьшены задержки — они составляют менее 0,8 мкс, что ниже, нежели у нынешних InfiniBand FDR/EDR/HDR и Intel OmniPath. Снизилась и задержка на сетевой хоп. Скорость соединения выросла до 200 Гбит/с (в планах 400 Гбит/с), появилась поддержка топологий сети вплоть до 6D-тора.

Как и прежде, развитая поддержка RDMA позволяет в рамках сети эффективно строить гибридные системы, включающие в себя узлы на базе архитектур x86, Эльбрус и ARM, а также различные ускорители, в том числе, на базе ПЛИС. Кроме того, создатели работают и над поддержкой NVMe-oF. А в Ангара-2 также появится полноценная поддержка SR-IOV.

Для сети Ангара разработан собственный программный стек, ориентированный, в первую очередь, на высокопроизводительные вычисления. Как и в случае Intel DPDK, есть возможность общения приложений непосредственно с адаптером, минуя стандартные механизмы ядра Linux, за счёт чего и достигается низкий уровень задержек MPI. В Ангара-2 появится более широкий набор поддерживаемых типов сообщений, что упростит создание распределённых СХД на её основе.

Но может Ангара работать и с TCP/IP — совсем недавно разработчики представили вторую версию стека, обеспечивающего функциональность IP-over-Angara. Этот вариант не столь производителен, зато обеспечивает совместимость с существующими IP-решениями, позволяя задействовать RDMA для, к примеру, кластерных ФС.

Решения второго поколения должны появиться к концу текущего года. Контроллер Ангара-2 получит 32 линии PCIe 4.0, причём будет возможность мультихостового подключения — одна карта сможет обслуживать сразу несколько узлов. Адаптеры будут выпущены как в формате полноразмерных карт расширения с шестью портами QSFP-DD для безкоммутаторной топологии, так и в виде низкопрофильных плат с двумя портами для работы с коммутатором.

В первом случае возможно объединить до 1024 узлов в 3D-тор, во втором же использование 40-портовых коммутаторов позволит связать 20480 узлов в сеть с топологией 4D-тор. Под заказ НИЦЭВТ готов создать кастомные варианты с поддержкой 6D-тора и скоростями до 400 Гбит/с на порт.

Первое поколение Ангары уже давно используется в составе различных кластеров, в том числе с современными AMD EPYC Rome. Оно же будет актуально и для новых российских процессоров Эльбрус, так как в прошлом поколении, по словам представителя НИЦЭВТ, скорость работы фактически упирается в южный мост КПИ-2, который имеет только линии PCIe 2.0 x16 и x4.

Политехнический университет Мухаммеда VI бен аль-Хасана (UM6P) в Рабате (Марокко) официально объявил об открытии центра обработки данных уровня Tier III, который стал пристанищем для самого мощного в Африке комплекса высокопроизводительных вычислений. Новый суперкомпьютер получил имя Тубкал (Toubkal) в честь самого высокого пика Атласских гор.

В его основу положены серверы Dell Poweredge C6420, которые оснащены процессорами Intel Xeon Platinum 8276L. Эти чипы содержат 28 вычислительных ядер с возможностью одновременной обработки до 56 потоков инструкций. Номинальная тактовая частота составляет 2,2 ГГц, максимальная — 4,0 ГГц. В составе комплекса используются интерконнект Mellanox Infiniband HDR100. Ёмкость хранилища составлят более 8 Пбайт.

Заявленное быстродействие Toubkal находится на уровне 3,15 Пфлопс, а пиковое — около 5 Пфлопс. Суперкомпьютер успел «засветиться» в последнем рейтинге TOP500, где он занял 98 место. А в актуальном рейтинге TOP50 самых производительных суперкомпьютеров СНГ он бы смог занять третье место.

Система Toubkal смонтирована в новом Африканском суперкомпьютерном центре (ASCC). Инициативу по созданию комплекса поддержал Кембриджский университет (Великобритания). Ожидается, что суперкомпьютер будет использоваться для решения задач, связанных с искусственным интеллектом, Интернетом вещей, аналитикой данных, геномными исследованиями и пр.

Компания GIGABYTE Technology представила сервер G262-ZR0, предназначенный для решения задач в области ИИ и аналитики данных, а также для построения систем высокопроизводительных вычислений. Новинка использует платформу NVIDIA HGX A100 4-GPU, объединяющую графические ускорители NVIDIA A100, которые связаны высокоскоростным интерфейсом NVLink.

Общая вычислительная нагрузка возложена на два процессора AMD EPYC 7002 (плата MZ62-HD5), каждый из которых может содержать до 64 ядер. Для модулей оперативной памяти доступны 16 слотов: в системе можно задействовать до 4 Тбайт ОЗУ типа DDR4-3200. Предусмотрена возможность установки четырёх 2,5-дюймовых накопителей U.2 NVMe или SATA, а также двух твердотельных модулей M.2 посредством райзер-карты.

Ещё один слот M.2 есть на материнской плате. Также есть один мезонин OCP 3.0 PCI 4.0 x16 и два слота PCI 4.0 x16 во фронтальной части. Все они берует линии непосредственно у процессоров. Ещё четыре слота PCI 4.0 x16 в задней части подключены посредством коммутаторов Broadcom PEX88096. Все слоты рассчитаны на низкопрофильные карты расширения.

Присутствуют два сетевых порта 1GbE LAN на базе контроллера Intel I350-AM2, а также выделенный сетевой порт управления для BMC Aspeed AST2500. Питание обеспечивают два блока с сертификацией 80 PLUS Platinum мощностью 3000 Вт каждый.

На фронтальную панель, помимо гнёзд для сетевых кабелей, выведены два разъёма USB 3.0, а также интерфейс mini-DP. Сервер выполнен в формате 2‎U с габаритами 448 × 86,4 × 760 мм. Подробные характеристики новинки доступны здесь.

В британских СМИ появились сообщения о том, что Метеорологическое бюро Великобритании рассматривает возможность размещения за границей по крайней мере части нового суперкомпьютера. В прошлом году оно объявило о выделении £1,2 млрд ($1,56 млрд) на создание самого мощного в мире суперкомпьютера, предназначенного для работы с погодой и климатом. Первый этап проекта должен начаться в 2022 году, а второй этап, стартующий в 2028 году, предполагает увеличение системы в три раза.

Газета The Mail on Sunday утверждает, что высокие требования к мощности новой системы высокопроизводительных вычислений (HPC) могут означать, что официальные лица рассматривают северную Европу в качестве возможного варианта размещения части системы: «Объём электроэнергии, которую будет использовать этот суперкомпьютер, будет настолько вели, что они захотят разместить половину системы, например, где-нибудь, в Норвегии, где у них будет более чистая энергия».

«Большинство наших экспертов и учёных по-прежнему находятся в Великобритании — с современными технологиями суперкомпьютеры не обязательно должны располагаться в одном здании», — сообщил The Mail on Sunday представитель Метеорологического бюро. Он добавил, что результаты тендеров пока неизвестны, и лишь после их оглашения будет ясно, каким будет решение.

Согласно документу на поставку продукции Метеорологического бюро, требуется, чтобы «не менее 50 %» мощности новой системы располагалось в Соединённом Королевстве, чтобы «защищать основные общественные интересы». Также в нём указано, что «остальная часть может быть расположена за пределами Великобритании, при условии, что участник торгов сможет убедить Метеорологическое бюро в том, что правовое поле среды, в которой находится объект, не представляет риска для доступности услуг».

Нынешняя суперкомпьютерная система Метеорологического бюро состоит из трёх суперкомпьютеров Cray XC40 с производительностью 14 Пфлопс. Это одна из самых быстрых систем в мире из числа предназначенных для моделирования погоды и климата, и она входила в топ-20 списка Top500 на момент установки в 2016 году. Две машины используются для прогнозов погоды, а третья обеспечивает исследования и возможности развития. Метеорологическое бюро также имеет систему Isambard 1 на базе Arm и планирует задействовать систему Isambard 2, когда та будет завершена.

Корпорация NEC объявила о вводе в эксплуатацию Чешским гидрометеорологическим институтом (CHMI) суперкомпьютера NEC SX-Aurora TSUBASA, который будет использоваться для моделирования регионального климата с высоким разрешением.

Суперкомпьютер SX-Aurora TSUBASA был поставлен институту компанией NEC Deutschland GmbH в сентябре 2020 года, а об его эксплуатационной готовности было объявлено в декабре 2020 года.

В основе решения лежат 48 хостов, содержащих 384 векторных ускорителя Vector Engine типа VE 20B в системе с прямым жидкостным охлаждением (DLC) вместе с полностью неблокирующим высокоскоростным интерконнектом на основе Mellanox HDR InfiniBand, а также в общей сложности 18 Тбайт высокоскоростной памяти HBM2 и 24 Тбайт оперативной памяти DDR4. Кроме того, была развёрнута параллельная СХД на основе NEC LxFS-z Storage Appliance с полезной ёмкостью более 2 Пбайт.

NEC реализовала высокоэффективное охлаждение, объединив DLC и охлаждения панелей, чтобы избежать утечки отработанного тепла в компьютерный зал, что позволяет всей системе и окружающей среде работать без дополнительного кондиционирования воздуха в помещении. В целом, готовое решение демонстрирует гораздо лучшую энергоэффективность, чем изначально было определено требованиями тендера.

Новая система будет использоваться для моделирования будущего климата и того, как его изменения проявятся. Например, это поможет спрогнозировать будущую частоту и интенсивность периодов засухи или экстремальных погодных явлений, таких как внезапные наводнения и сильные ветры. Конечная цель проекта — помочь смягчить последствия изменяющегося климата. Кроме того, суперкомпьютер будет задействован для адаптации и оптимизации ряда метеорологических и климатических приложений.

«Мы очень рады ввести в эксплуатацию новый NEC SX-Aurora TSUBASA. Для нас векторная технология NEC, используемая в SX-Aurora TSUBASA, представляет собой весьма привлекательную альтернативу конкурирующим технологиям высокопроизводительных вычислений, тем более что нам не нужно переписывать большинство наших рабочих приложений. Ещё одним большим преимуществом является отличная энергоэффективность», — сообщила д-р Радмила Брозкова (Radmila Brozkova), руководитель отдела CHMI Numerical Weather Prediction.

Космос привлекает не только учёных, но и компании, работающие в области информационных технологий. Сама идея размещения вычислительных мощностей в космическом пространстве имеет ряд уникальных преимуществ. Одним из пионеров в этой област по праву можно считать HPE, ещё в 2017 году отправившую на МКС систему HPE Spaceborne. Сегодня HPE объявляет о переходе от тестовой фазы к коммерческой и представляет второе поколение платформы, Spaceborne-2.

Как правило, космическая электроника имеет ряд специфических особенностей, связанных с условиями функционирования. Во-первых, она должна быть устойчива к повышенным уровням радиации, а во-вторых, потреблять как можно меньше энергии. Стоит такая электроника очень дорого, а вычислительными мощностями не блистает, поэтому решение HPE об адаптации классических вычислительных платформ к условиям, царящим на МКС, выглядит вполне логично. К тому же, на МКС постоянно проводятся научные эксперименты, которым лишние терафлопсы отнюдь не помешали бы.

HPE Spaceborne-2

Первый вариант Spaceborne уже превосходил по производительности всё, когда-либо побывавшее на орбите. Этот космический суперкомпьютер состоял из двух серверов HPE Apollo 40, объединённых сетью InfiniBand со скоростью 56 Гбит/с, но что важнее, каждый вычислительный узел содержал по четыре ускорителя NVIDIA Tesla P100. Это позволило довести мощность Spaceborne до 1 Тфлопс — скромно по наземным меркам, но рекорд для космоса.

Первое поколение HPE Spaceborne не использовалось в научных целях или для управления подсистемами МКС, его задачей было доказать возможность нормального функционирования серверного оборудования в условиях космической станции. Эксперимент завершился успешно, и сегодня HPE готова представить новое поколение «космических суперкомпьютеров» — Spaceborne-2.

Его основой станет конвергентная платформа для периферийных вычислений HPE Edgeline EL4000, а в качестве основных вычислительных узлов будут применены серверы HPE ProLiant DL360 последнего поколения с двумя процессорами Intel Xeon Cascade Lake и ускорителями NVIDIA T4. Ожидается, что по производительности Spaceborne-2, как минимум, вдвое превзойдёт своего предшественника, но что более важно — это уже не эксперимент и новый космический суперкомпьютер будет приносить реальную пользу.

Стоек с EL4000 и DL360 будет две, и обе будут следить за состоянием и себя, и соседа. Все данные дублируются между стойками, а SSD будут программно и аппаратно объединены в RAID-массивы. Несмотря на то, что SSD менее устойчивы к космической радиации (у Spaceborne-1 из 20 дисков в процессе эксплуатации «умерло» 9), они имеют преимущество в скорости работы. К тому же некоторые запасные компоненты серверов будут в наличии на самой станции, чтобы их можно было быстро заменить.

Для общения между собой серверы будут использовать 10GbE-сеть. Питание систем будет осуществляться от двух независимых линий, которые подключены к солнечным батареям и аккумуляторам. Предусмотрено ступенчатое динамическое регулирование уровня энергопотребления. Охлаждение у новых систем гибридное — теплообменник в стойке напрямую подключается к водному контуру охлаждения МКС.

HPE Edgeline EL4000: слева видны частично выдвинутые вычислительные узлы

МКС — станция немолодая, первые модули были выведены на орбиту ещё в 1998 году, но всё это время она постоянно модернизировалась с учётом новых научных потребностей. За это время, как мы знаем, вычислительная техника успела сделать огромный скачок вперёд, но до нынешних пор её возможности были малодоступны учёным, работающим на МКС и нуждающимся во всё более серьёзных вычислительных мощностях. Станция обросла многочисленными приборами и датчиками, объёмы получаемых данных возросли, но даже для первичной обработки их всё равно приходилось передавать на Землю, что негативно сказывалось на времени проведения исследований.

Появление Spaceborne-2 позволит решить эту проблему: с мощностью свыше 2 Тфлопс можно будет осуществлять, как минимум, первичную обработку данных в кратчайшие сроки, а в некоторых случаях этих мощностей хватит и для проведения исследований без задействования наземных вычислительных мощностей. Среди названных HPE сценариев использования — отслеживание наземного трафика из космоса с целью выявления его тенденций, оценка загрязнений атмосферы Земли, а также отслеживание воздушного и космического трафика, также в реальном времени.

Немаловажное участие Spaceborne-2 примет и в обеспечении здоровья астронавтов, работающих на станции: мощностей новой платформы хватит на постоянное отслеживание показателей их здоровья, включая сложные — рентгеновские снимки и сонограммы. Это позволит ставить диагноз в кратчайшие сроки и, тем самым, минимизировать ущерб от возможного заболевания, а может быть, и спасти жизнь заболевшего астронавта.

HPE ProLiant DL360 (10-ое поколение)

Новый «космический суперкомпьютер» HPE будет способен работать не только в одиночку, но и в качестве периферийной платформы — Microsoft Azure Space обеспечит двухстороннюю связь Spaceborne-2 с наземными вычислительными комплексами, что позволит использовать её учёным по всему миру. Среди названных Microsoft Research исследований фигурирует моделирование и предсказание пылевых штормов на Земле, что поможет лучше понять аналогичные процессы на Марсе, оценка затрат воды при выращивании растений в условиях невесомости, а также исследование грозовых паттернов, приводящих к масштабным лесным пожарам.

Но МКС пока у человечества одна, и потребности в космических вычислительных мощностях явно превосходят её грузовые и пассажирские возможности. HPE разрабатывает платформу SatFrame, которая может быть использована на необитаемых спутниках — запуск такого спутника будет существенно дешевле пилотируемого полёта на МКС, а значит, позволить себе космический периферийный вычислительный микро-ЦОД сможет большее количество компаний и научных организаций.

В настоящее время срок запуска Spaceborne-2 уже назначен на 20 февраля. Если всё пойдёт по плану, то новый «космический суперкомпьютер» на МКС доставит 15-ая грузовая экспедиция Northrop Grumman. За доставку отвечает корабль Cygnus «SS. Katherine Johnson». Предполагается, что эксплуатация Spaceborne-2 продлится минимум 2-3 года. Уже открыт приём заявок для проведения экспериментов на новой космической вычислительной платформе. Среднее время ожидания для запуска задач составит 1-2 недели.

Сегодня первое место в списке самых мощных на планете суперкомпьютеров занимает японский Fugaku, построенный на базе уникальных Arm-процессоров Fujitsu A64FX. Но времена его господства, похоже, продлятся недолго — в этом году будет запущен американский Frontier, который должен будет сместить с трона нынешнего короля супервычислений: сочетание AMD EPYC и ускорителей Instinct MI100 позволит ему преодолеть экзафлопсный барьер.

Как мы уже знаем, в основе ORNL Frontier лежит платформа HPE Cray EX. Каждый стандартный шкаф новой системы может содержать до 64 вычислительных модулей с двумя платами, несущими по два процессора AMD EPYC. Дополнят их ускорители AMD Instinct MI100, а в качестве интерконнекта будет использоваться Cray Slingshot. В отличие от Fugaku, Frontier относится к гетерогенным системам.

Суперкомпьютеры такой мощности позволят проводить исследования, недоступные учёным ранее. Одной из программ, разработанных в Ок-Ридже для Frontier, является CHOLLA. Речь идёт о комплекте специализированного программного обеспечения под общим названием «Computational Hydrodynamics on Parallel Architecture» (Вычислительная гидродинамика на параллельной архитектуре). Одна из ключевых областей применения такого ПО — астрофизика.

Структурная схема вычислительных модулей в MI100

Использование мощностей Frontier позволит понять, как происходят изменения в галактиках, устроенных подобно нашему Млечному Пути, причём, увидеть эти изменения — образование, эволюцию и гибель отдельных звёзд в масштабах целой галактики — можно будет в достаточно высоком разрешении. Будет смоделировано поведение 10 тыс. кубических ячеек космического пространства (примерно 50 тыс. парсек) в течение 500 миллионов лет. Это первый проект вычислительной астрономии, имеющий столь серьёзные масштабы.

Проект CHOLLA, запущенный на Frontier, позволит понять поведение загадочной тёмной материи

Интересно, что изначально программное обеспечение CHOLLA было рассчитано на платформу NVIDIA CUDA, но портирование на открытый аналог в лице AMD ROCm, оказалось очень простым. Как сообщает один из учёных Окриджской лаборатории, основную работу удалось проделать всего за несколько часов, а ведь речь о ПО, которое будет моделировать жизнь целой галактики. К тому же, производительность CHOLLA удалось без всяких оптимизаций поднять в 1,4 раза по сравнению с версией, выполняемой на NVIDIA Tesla V100. Оптимизированный вариант может оказаться ещё производительнее.

Техасский центр передовых вычислений (Texas Advanced Computing Center, TACC), расположенный в Остине (США), предлагает совершить виртуальную прогулку, в том числе в VR, по одной из самых мощных вычислительных площадок в мире. Желающие могут взглянуть на суперкомпьютерные системы Stampede2 и Frontera.

Первая обеспечивает производительность в 10,7 Пфлопс, вторая — 23,5 Пфлопс. Нужно отметить, что оба суперкомпьютера входят в рейтинг мощнейших вычислительных систем мира Top500. Так, Stampede2 находится на 25-й позиции текущего списка, а Frontera — на 9-й.

Виртуальный тур по центру обработки данных TACC позволяет увидеть серверные шкафы и получить информацию об оснащении вычислительной площадки.

Нужно отметить, что оба названных суперкомпьютера используют чипы Intel Xeon. Так, Stampede2 оперирует 4200 узлами на базе Intel Knights Landing и 1736 узлами на основе Intel Xeon Skylake. В состав Frontera входят 8008 узлов на основе Intel Xeon Cascade Lake.

Подразделение Lenovo Data Center Group (DCG), специализирующееся на системах для центров обработки данных, рассказало о проекте нового комплекса высокопроизводительных вычислений стоимость €20 млн, который будет создан в Нидерландах.

Речь идёт о SURF — суперкомпьютерной инфраструктуре нидерландской ассоциации образовательных и исследовательских учреждений по развитию информационно-коммуникационных технологий. Будущий суперкомпьютер станет самым мощным в стране. В основу платформы лягут серверы Lenovo ThinkSystem на базе процессоров AMD EPYC Rome и Milan.

Изображения surf.nl

Говорится об использовании платформы NVIDIA HGX A100 (4-GPU) для работы с искусственным интеллектом и системами машинного обучения. Пиковая производительность составит 13 петафлопс. Комплекс предусматривает использование жидкостного охлаждения на основе технологии Lenovo Neptune. Её применение позволит значительно снизить потребление электроэнергии при пиковых значениях производительности системы.

Отмечается также, что смарт-коммутаторы NVIDIA Mellanox HDR InfiniBand (200 Гбит/с), которые поддерживают вычисления внутри сети (in-network), обеспечат максимально низкие задержки и высокую пропускную способность сети.