Японская компания NEC была одной из немногих, отстаивавших собственный уникальный путь в сфере развития вычислительных технологий со своими векторными процессорами SX-Aurora. Хотя данное направление до недавних пор активно развивалось, компания, похоже, не выдержала давления со стороны NVIDIA и AMD и объявила о прекращении разработок новых решений в серии Aurora.

Работы над усовершенствованием векторной архитектуры NEC продолжались до конца прошлого года, когда компания объявила о подготовке новых вычислительных узлов SX-Aurora TSUBASA C401-8 на базе ускорителей с 16 блоками Vector Engine 3.0 и 96 Гбайт интегрированной памяти HBM2. И хотя в августе этого года в Научном центре Университета Тохоку будет запущен новый суперкомпьютер на их основе, новых разработок в этой сфере не будет.

Вычислительный модуль SX-Aurora TSUBASA C401-8. Источник изображений здесь и далее: NEC

Как отметил Сатоши Мацуока (Satoshi Matsuoka), глава крупнейшего в Японии суперкомпьютерного центра RIKEN, где был создан суперкомпьютер Fugaku, NEC неслучайно объявила об отказе от разработки нового поколения процессоров SX-Aurora. Хотя в целях компании значилось 10-кратное повышение энергоэффективности, теперь NEC считает, что эта цель может быть достигнута с использованием стандартных коммерческих ускорителей.

Главной причиной называется появление решений AMD и NVIDIA, на голову превосходящих все наработки NEC. В частности, упоминается AMD Instinct MI300. При этом отмечено, что это решение «похоронило» бы даже новое поколение SX-Aurora, когда речь заходит о ПСП. Целью NEC был показатель 2+ Тбайт/с, в то время как новинка AMD, располагая памятью HBM3 с 8192-бит шиной, может обеспечить 6,8 Тбайт/с.

Планы NEC по развитию VE-архитектуры. Похоже, им уже не суждено сбыться

Также «естественным врагом» SX-Aurora является NVIDIA Grace Hopper с его мощной процессорной частью и развитой инфраструктурой NVLink, демонстрирующий к тому же выдающуюся энергоэффективность. Примечательно, что оба продукта от AMD и NVIDIA являются APU, то есть гибридными чипами, объединяющими ускорители и CPU собственной разработки, а также быструю память.

Финансовый кризис 2009 года ударил по разработкам NEC в области процессоростроения сильно, но ситуацию тогда спасла общая незрелость рынка GPGPU и технологии HBM. Сейчас на это надеяться нельзя, да и ситуация с точки зрения программной экосистемы в мире HPC говорит не в пользу NEC. По всей видимости, прямо на наших глазах ещё одна уникальная вычислительная архитектура становится достоянием истории.

При этом в Японии пока что сохраняется ещё одна уникальная отечественная архитектура — PEZY-SC. Arm-процессоры Fujitsu A64FX, ставшие основой Fugaku, тоже достаточно уникальны, однако их наследники в лице MONAKA переориентированы на более массовый сегмент. Таким образом, собственные массовые HPC-решения сейчас есть только у Китая, которому новейшие американские и британские ускорители достанутся в кастрированном виде.

Компания NEC Corporation сообщила о подготовке нового узла в серии SX-Aurora TSUBASA — модели C401-8, рассчитанной на центры обработки данных, на базе которых осуществляется сложное моделирование, выполняются научные расчёты и другие ресурсоёмкие задачи. Основой новинки станут неназванные пока векторные ускорители — судя по всему, это обещанные ранее Vector Engine 3.0 (VE30).

Новинки получили 16 векторных блоков с частотой 1,7 ГГц, тогда как прошлое поколение имело до 10 блоков с частотой 1,6 ГГц. Также появился L3-кеш. Пропускная способность HBM-памяти увеличилась в 1,6 раза — с 1,53 до 2,45 Тбайт/с, а её объём вырос вдвое — с 48 до 96 Гбайт. Итоговая производительность в FP64-вычислениях, как утверждается, выросла приблизительно в 2,5 раза по сравнению с предшественниками и превысила 5 Пфлопс. При этом по энергоэффективности готовящийся ускоритель, по словам NEC, в два раза превосходит традиционные изделия.

Источник изображения: NEC

В августе 2023 года суперкомпьютер на базе SX-Aurora TSUBASA C401-8 начнёт использоваться в Научном центре Университета Тохоку в Японии. В общей сложности будут задействованы 4032 векторных ускорителя NEC, а быстродействие составит до 21 Пфлопс. Использовать комплекс планируется для масштабных научных исследований. Месяцем позже заработает ещё одна HPC-система на базе C401-8, которую получит метеослужба Германии.

Корпорация NEC объявила о вводе в эксплуатацию Чешским гидрометеорологическим институтом (CHMI) суперкомпьютера NEC SX-Aurora TSUBASA, который будет использоваться для моделирования регионального климата с высоким разрешением.

Суперкомпьютер SX-Aurora TSUBASA был поставлен институту компанией NEC Deutschland GmbH в сентябре 2020 года, а об его эксплуатационной готовности было объявлено в декабре 2020 года.

В основе решения лежат 48 хостов, содержащих 384 векторных ускорителя Vector Engine типа VE 20B в системе с прямым жидкостным охлаждением (DLC) вместе с полностью неблокирующим высокоскоростным интерконнектом на основе Mellanox HDR InfiniBand, а также в общей сложности 18 Тбайт высокоскоростной памяти HBM2 и 24 Тбайт оперативной памяти DDR4. Кроме того, была развёрнута параллельная СХД на основе NEC LxFS-z Storage Appliance с полезной ёмкостью более 2 Пбайт.

NEC реализовала высокоэффективное охлаждение, объединив DLC и охлаждения панелей, чтобы избежать утечки отработанного тепла в компьютерный зал, что позволяет всей системе и окружающей среде работать без дополнительного кондиционирования воздуха в помещении. В целом, готовое решение демонстрирует гораздо лучшую энергоэффективность, чем изначально было определено требованиями тендера.

Новая система будет использоваться для моделирования будущего климата и того, как его изменения проявятся. Например, это поможет спрогнозировать будущую частоту и интенсивность периодов засухи или экстремальных погодных явлений, таких как внезапные наводнения и сильные ветры. Конечная цель проекта — помочь смягчить последствия изменяющегося климата. Кроме того, суперкомпьютер будет задействован для адаптации и оптимизации ряда метеорологических и климатических приложений.

«Мы очень рады ввести в эксплуатацию новый NEC SX-Aurora TSUBASA. Для нас векторная технология NEC, используемая в SX-Aurora TSUBASA, представляет собой весьма привлекательную альтернативу конкурирующим технологиям высокопроизводительных вычислений, тем более что нам не нужно переписывать большинство наших рабочих приложений. Ещё одним большим преимуществом является отличная энергоэффективность», — сообщила д-р Радмила Брозкова (Radmila Brozkova), руководитель отдела CHMI Numerical Weather Prediction.

Центр Cybermedia Университета Осаки и NEC Corporation объявили о планах представить новую суперкомпьютерную систему для высокопроизводительных вычислений (HPC) и высокопроизводительного анализа данных (HPDA) от NEC. Она заменит существующую систему, тоже поставленную NEC. Согласно графику, новая система начнёт работать в мае 2021 года. Она войдёт в инфраструктура нового поколения для открытых исследований и инноваций Университета Осаки (ONION).

Новая суперкомпьютерная система SQUID (Supercomputer for Quest for Unsolved Interdisciplinary Datascience) будет состоять из 1520 CPU-узлов на базе Intel Xeon Scalable 3-го поколения (Ice Lake), а также 42 GPU-узлов с восемью NVIDIA A100 и 36 «векторных» узлов, каждый из которых оснащён восемью ускорителями NEC SX-Aurora TSUBASA, обеспечивающими более быстрое и высокоэффективное моделирование погодных, сейсмических, гидравлических и других явлений. Эта гибридная суперкомпьютерная система способна обеспечить теоретическую производительность более 16 Пфлопс.

Для хранения данных будет использоваться решение DDN EXAScaler ёмкостью 20 Пбайт с 1,2-Пбайт хранилищем для высокоскоростной обработки данных. Для доступа также будет использовано ПО Cloudian Object-Storage HyperStore. А NVIDIA Mellanox HDR InfiniBand обеспечиет высокую скорость, низкую задержку и интеллектуальную связь между всеми узлами и СХД.

Новая суперкомпьютерная система позволяет исследователям динамически развёртывать и использовать программный стек по своему выбору. Кроме того, она обеспечит безопасную вычислительную среду, в которой пользователи могут с уверенностью использовать конфиденциальные данные. Например, чувствительные данные в хранилище университетского городка могут быть обработаны и проанализированы вычислительными узлами суперкомпьютера без перемещения данных из хранилища.

Безопасная вычислительная среда также предлагает функцию безопасного разделения, которая динамически отделяет и изолирует сеть для определенной группы пользователей и, таким образом, предоставляет услуги, которые не позволяют другим пользователям видеть данные и вычисления. Эти возможности будут востребованы, в частности, в медицинской сфере.

Наконец, новая суперкомпьютерная система будет интегрирована с облачными сервисами Oracle Cloud Infrastructure и Microsoft Azure. Динамический перенос части рабочих процессов в облако при высокой загруженности суперкомпьютера позволяет быстро реагировать на растущий спрос на вычислительные ресурсы, обеспечивая при этом те же возможности, что и локальная вычислительная среда. Это также обеспечит гибкость за счёт использования более современных вычислительных ресурсов, которые продолжают обновляться в облачных сервисах.

Компания NEC сообщила о том, что с января следующего года заказчикам по всему миру станет доступен акселератор Vector Engine 2.0 серии SX-Aurora TSUBASA, анонсированный ещё летом.

Изделие Type 20B выполнено в виде двухслотовой карты расширения с интерфейсом PCIe. Оно содержит восемь векторных блоков с частотой 1,6 ГГц, обеспечивающих производительность на уровне 2,45 Тфлопс FP64, и 48 Гбайт памяти HBM2 с пропускной способностью приблизительно 1,53 Тбайт/с. При этом энергопотребление находится на уровне 200 Вт. Также есть версия ускорителя Type 20A, которая имеет 10 векторных блоков и производительность 3,07 Тфлопс FP64.

Благодаря векторной архитектуре крупные объёмы данных можно обрабатывать в пределах каждого цикла. Это открывает широкие возможности при решении задач в области искусственного интеллекта, машинного обучения, интенсивных научных вычислений и пр.

Векторный ускоритель Vector Engine 2.0 может использоваться в составе стандартных серверов и рабочих станций с архитектурой х86 от сторонних поставщиков оборудования. Таким образом, заказчики смогут сформировать вычислительную платформу в соответствии со своими требованиями и объёмом финансирования. Данное решение, по словам NEC, ориентировано на предприятия малого и среднего бизнеса, у которых есть потребность в формировании платформы высокопроизводительных вычислений (HPC).

В японском сегменте рынка супервычислений продолжает доминировать свой, уникальный подход к построению систем класса HPC. Fujitsu сделала ставку на гомогенную архитектуру A64FX с памятью HBM2 и заняла первое место в Top500, но и другая японская компания, NEC, не отказалась от своего видения суперкомпьютерной архитектуры.

На предыдущей конференции SC19 NEC пополнила свой арсенал новыми ускорителями SX-Aurora 10E, которые получили более быстрые сборки HBM2. О новых ускорителях «Type 20» речь заходила ещё до начала эпидемии COVID-19; к сожалению, она внесла свои коррективы и анонс новинок состоялся лишь сейчас, летом 2020 года.

Изначально процессор SX-Aurora, используемый во всей серии ускорителей «Type 10» имеет 8 векторных блоков, каждый из которых дополнен 2 Мбайт кеша и 6 сборок памяти HBM2 общим объёмом 24 или 48 Гбайт. Из-за сравнительно грубого 16-нм техпроцесса уровень тепловыделения достаточно высок и составляет примерно 225 Ватт. В отличие от Fujitsu A64FX, NEC SX-Aurora требует для своей работы управляющего хост-процессора, и обычно компания комбинирует его с Intel Xeon, но существуют варианты и с AMD EPYC второго поколения.

ISC 2018: HPC-модуль с восемью векторными ускорителями NEC SX-Aurora Type 10

Это роднит SX-Aurora с более широко распространёнными ускорителями на базе графических процессоров, однако позиционирование у них всё-таки выглядит иначе. ГП-ускорители, по мнению NEC, гораздо сложнее в программировании, хотя и обеспечивают высокую производительность.

Свою же разработку компания относит к решениям с похожим уровнем производительности, но гораздо более простым в программировании. Упор также делается на высокую пропускную способность памяти, составляющую у новинок «Type 20» 1,5 Тбайт/с.

Новая версия NEC Vector Engine, VE20, структурно, скорее всего, не изменилась. Вместо восьми ядер новый процессор получил 10, и, как уже было сказано, новые сборки HBM2, в результате чего ПСП удалось поднять с 1,35 до 1,5 Тбайт/с, а вычислительную мощность с 2,45 до 3,07 Тфлопс.

В серии пока представлено два новых ускорителя, Type 20A и 20B, последний аналогичен по конфигурации решениям Type 10 и использует усечённый вариант процессора с 8 ядрами. Говорится о неких архитектурных улучшениях, но деталей компания пока не раскрывает. Оба варианта процессора VE20 работают на частоте 1,6 ГГц, а прирост производительности в сравнении с VE10 достигается в основном за счёт повышения ПСП.

Похоже, VE20 лишь промежуточная ступень. В 2022 году планируется выпуск процессора VE30, который получит подсистему памяти с пропускной способностью свыше 2 Тбайт/с, в 2023 должен появиться его наследник VE40, но настоящий прорыв, судя по всему, откладывается до 2024 года, когда NEC планирует представить VE50, об архитектуре и возможностях которого пока ничего неизвестно.

Компания NEC не спешит отказываться от своего уникального пути на рынке супервычислений и продолжает развивать серию векторных процессоров SX-Aurora.

На конференции SC19 компания представила ряд новых решений, сочетающих в себе SX-Aurora и новейшие процессоры AMD «Rome» Intel Xeon 9200.

Типы ускорителей SX-Aurora

Как и два года назад, основой платформы NEC является плата расширения «Type 10»; впрочем, в настоящее время производитель заменяет его на усовершенствованный «Type 10E» с более быстрыми сборками HBM2 на борту. За счёт этого ПСП удалось поднять на 10%, и даже в самом доступном варианте «Type 10CE» данный параметр теперь составляет 1 Тбайт/с против ранних 750 Гбайт/с.

Системы NEC на базе SX-Aurora

Массовый выпуск плат NEC «Type 10E» намечен на январь 2020 года. Всего в семействе будет четыре модели, отличающиеся тактовыми частотами, объёмом HBM2 и системой охлаждения. Последняя будет представлена в воздушном активном и пассивном вариантах, также будет выпускаться и вариант с жидкостным охлаждением.

Сервер NEC A412-8 сочетает в себе SX-Aurora и AMD Rome

Компания не собирается останавливаться на достигнутом и чип текущего поколения VE10 будет заменён на VE20 уже в середине или конце 2020 года. Он получит ещё более быструю память, больше векторных ядер (возможно 10 против 8 сегодняшних) и неизвестные пока новые функции. Следующее за ним поколение, VE30, должно появиться в 2022 году. Об этом поколении данных пока нет — известно лишь, что эти процессоры будут иметь новую архитектуру.

Японские инженеры из корпорации NEC продолжают идти собственным, уникальным путём уже на протяжении целого ряда лет. Речь идёт о развитии «векторных процессоров».

Компания признала выгоду от использования гибридных архитектур, но отказываться от платформы Aurora не собирается.

Как и было нами предсказано в 2018 году, NEC обратила внимание на процессоры AMD EPYC. Вполне закономерный шаг с учётом появления на рынке второго поколения этих процессоров, особенно с количеством ядер более 32. Новый сервер NEC A412-8 комбинирует в себе преимущества процессоров AMD и ускорителей SX-Aurora.

Система получилась компактной: при высоте 2U она, помимо центрального процессора AMD, несёт на борту и 8 ускорителей SX-Aurora. И если бурно развивающиеся ныне ускорители на базе GPU, ПЛИС или специализированных архитектур обычно достаточно узко специализированы, то в случае с SX-Aurora говорится о производительности порядка 2,15 ‒ 2,45 Тфлопс на любых сложных FP64-вычислениях.

Этому способствует наличие на упаковке каждого векторного процессора NEC некоторого объёма памяти HBM2 (24 или 48 Гбайт) c ПСП, достигающей 1,2 Тбайт/с. При потреблении порядка 225 ватт на чип, не считая ЦП, добиться такой плотности размещения обычным способом, скорее всего, не удалось бы, но новая платформа использует жидкостную систему охлаждения для всех своих элементов, кроме модулей памяти центрального процессора.

NEC SX-Aurora: 8 вычислительных ядер, 6 сборок HBM2

Ускорители SX-Aurora производятся в трёх вариантах: с классической системой охлаждения и с интегрированным водоблоком, обеспечивающим отвод тепла от кристалла и сопутствующих ему сборок HBM2.

NEC использует довольно консервативный техпроцесс ‒ 16 нм, что, вкупе с универсальностью процессора, объясняет довольно высокий уровень тепловыделения данных ускорителей; впрочем, существует версия SX-Aurora с полностью пассивным радиатором, полагающаяся только на систему охлаждения сервера, в котором она установлена.

Свою самобытность японская компания проявила и при выпуске нового компактного лезвийного сервера с четырьмя узлами. Если основная масса производителей не очень-то спешит использовать процессоры Intel Xeon 9200 (Cascade Lake AP), то NEC выбрала именно эти процессоры для данного проекта.

Каждое лезвие несёт в себе двухпроцессорную плату Intel S9200WK с двумя впаянными процессорами Xeon Platinum 9200. Существуют разные варианты, старший ‒ 56-ядерный монстр с максимальным тепловыделением 400 ватт и 12 каналами доступа к памяти DDR4. Шасси очень компактное, высотой всего 2U, поэтому вся система изначально спроектирована с использованием жидкостного охлаждения.

Каждый из вычислительных модулей имеет также две корзины для установки ускорителей PCIe x16, и, скорее всего, туда будут устанавливаться соответствующие версии ускорителей SX-Aurora. Комплекс из восьми Xeon Platinum 9282 и восьми векторных процессоров NEC может дать великолепное сочетание производительности, компактности и архитектурной гибкости. Впрочем, в прототипе, показанном на выставке, корзины расширения были пусты.

Также компания привезла и системы, уже показанные ею в 2018 году, в частности, сервер A311-8 высотой 4U с восемью установленными ускорителями SX-Aurora в версии с воздушным охлаждением. Он использует шасси SuperMicro с системной платой X11DPG-O.

Хотя эта конфигурация и поддерживает Xeon Scalable 2 поколения, она проигрывает возможному варианту с Xeon 9200 и по количеству ядер и по габаритам. Отметим, что существуют также и более компактные версии A300-4 и A300-2 с четырьмя и двумя векторными ускорителями, соответственно.

Позаботилась компания и о разработчиках программного обеспечения для своих платформ. Рабочая станция A100-1 пусть и имеет в своём составе всего 1 ускоритель SX-Aurora, но, теоретически, ничто не мешает установить и второй, благо, конструктив и модель используемой системной платы это позволяют. В базовой комплектации установлен всего один процессор Xeon Gold 6100, но ничто не мешает заменить его двумя Xeon Scalable второго поколения.

NEC SX-Aurora A500-64: 8-хост-серверов, 64 векторных процессора

Подход NEC интересен именно своей универсальностью в плане вычислений: разработанные компанией ускорители работают с популярным форматом FP64. Это позволяет, как утверждается, использовать для данной платформы накопленный десятилетиями массив научно-технического ПО на языках C, C++ и Фортран.

Суперкомпьютерная выставка ISC 2018 во Франкфурте-на-Майне запомнится в том числе специализированными векторными процессорами SX-Aurora Tsubasa японской компании NEC, способными ускорять выполнение ресурсоёмких задач на языках C, C++ и Фортран. Внешне устройства с 16-нм архитектурой NEC Aurora можно принять за обычные ускорители на основе графических процессоров, однако решения NEC не будут напрямую конкурировать с NVIDIA Tesla и AMD Radeon Instinct.

По сравнению с прошлогодними экспонатами SX-Aurora/Vector Engine 0.1, новые устройства радуют разнообразием систем охлаждения. Векторные процессоры объединены брендом Vector Engine 1.0 и могут играть первую скрипку как в однопроцессорных рабочих станциях, так и серверах и суперкомпьютерах.

Ускорители SX-Aurora Tsubasa состоят из восьмиядерного кристалла с 16 Мбайт разделяемой кеш-памяти, тактовой частотой от 1,4 до 1,6 ГГц и пиковой производительностью 2,15 или 2,45 Тфлопс (FP64), а также шести микросхем буферной памяти HBM2 общим объёмом 24 или 48 Гбайт. Пропускная способность подсистемы памяти достигает внушительных 1,2 Тбайт/с.

Для работы процессоров достаточно питания от слота PCI Express x16, а также от 8-контактного разъёма PCI-E Power. Таким образом, их энергопотребление не превышает 225 Вт.

Наличие центробежного вентилятора у двухслотового Vector Engine 1.0 предусмотрено только в младшей версии Type 10C с быстродействием 2,15 Тфлопс и 24 Гбайт памяти HBM2. Данное устройство подходит для рабочих станций или совсем небольших серверов. Отсутствие вентилятора — верный признак «серверности». Такие ускорители могут базироваться на различных кристаллах, включая модификации 10A и 10B с 48 Гбайт памяти.

Наиболее продвинутый вариант Vector Engine 1.0 предусматривает установку водоблока и, соответственно, жидкостное охлаждение. Фронтальная усилительная пластина-радиатор охлаждает элементы питания и вспомогательные микросхемы. Применение СЖО призвано снизить нагрев, уровень шума и энергопотребление.

Без чего векторные ускорители NEC SX-Aurora Tsubasa не могут обойтись, так это без центрального процессора — в этой роли выступают модели Intel Xeon Gold 6100 Series и Xeon Silver 4100 Series. Системы в сборе содержат от 1-й до 64-х карт Vector Engine 1.0 и потребляют в нагрузке от 0,6 до 30 кВт.