Selectel, ведущий провайдер облачной инфраструктуры и услуг дата-центров, объявил о том, что клиентам теперь доступны сервисы на базе новых графических процессоров (GPU) и ускорителей NVIDIA. Речь идёт о предоставлении как выделенных серверов, так и облачных инстансов.

Отмечается, что задействованные акселераторы позволят эффективнее решать такие задачи, как машинное обучение и искусственный интеллект (ИИ), транскодирование видео, обработка графики и рендеринг видео, организация виртуальных рабочих мест, научное моделирование и CUDA-вычисления.

Источник изображений: Selectel

В облаке появились конфигурации с видеокартами А5000, А2000, А30 и A2. Ускоритель A2000 — это энергоэффективный GPU для компактных рабочих станций: он подойдёт для ИИ, графики и рендеринга видео. Пропускная способность памяти достигает 288 Гбайт/с. В свою очередь, A5000 — универсальный GPU, который подходит для любых задач в рамках своей производительности. Пропускная способность памяти составляет до 768 Гбайт/с, поддерживается vGPU.

Модель A30 подходит для ИИ-инференса, мейнстрим-вычислений, обработки языка, разговорного искусственного интеллекта, рекомендательных систем. Поддерживает vGPU, до четырёх изолированных GPU-инстансов (Multi-Instance GPU), а пропускная способность памяти достигает 933 Гбайт/с. Модель A2 — GPU начального уровня, который подходит для простого инференса, видео и графики, периферийных вычислений (ИИ, обработка видео), мобильного облачного гейминга.

Среди преимуществ облачных серверов названы: оплата по факту потребления, совместимость с различными фреймворками (TensorFlow, PyTorch, Keras, MXNet, Caffe) и со всеми типами нейросетей (GAN, CNN, RNN, SSNN и пр.), простота масштабирования. Рассчитать стоимость облачного инстанса с нужным типом ускорителя можно на соответствующей странице.

В случае выделенных серверов теперь доступны сборки с ускорителями А2, A2000, A4000, A5000 и A100. Версия A4000 предлагает 16 Гбайт памяти GDDR6, 6144 ядра CUDA и 192 тензорных ядра. Акселератор A100 (40 Гбайт) обладает максимальной производительностью для ИИ, HPC и обработки данных. Модель подходит для глубокого обучения, научных исследований и аналитики данных.

Говорится, что при выборе ускорителей Selectel уделяла внимание количеству ядер CUDA, тензорных ядер, а также ядер для трассировки лучей. Кроме того, учитывались объём и пропускная способность памяти, поддержка виртуальных GPU VDI. Изучить и заказать выделенные серверы с GPU можно здесь.

У MareNostrum-5 непростая судьба — проект был заморожен прошлым летом из-за разногласий между участниками, причём произошло это тогда, когда машинный зал в Барселонском суперкомпьютерном центре был уже практически готов. Участники не смогли выбрать поставщика оборудования между IBM с Lenovo и Atos. Теперь же стало известно, что победила Atos, весьма вовремя представившая новую HPC-платформу BullSequana XH3000.

Правда, теперь MareNostrum-5 уже не претендует на звание самого быстрого суперкомпьютера Европы в FP64-вычислениях, поскольку его производительность составит 314 Пфлопс. Но вот в ИИ-нагрузках, как сообщила NVIDIA изданию HPCWire, в Евросоюзе ему равных не будет — ожидаемый уровень производительности в этом случае составит 18 Пфлопс. Основу систему составят Arm-процессоры Grace Superchip, которые будут дополнены ускорителями H100, интерконнектом InfiniBand NDR (Quantum-2), 200-Пбайт СХД и 400-Пбайт архивным хранилищем.

Изображение: BSC

Это будет вторая после ALPS крупная европейская система, построенная на Arm-чипах Grace. Стоимость MareNostrum-5 составит €151,41 млн. Половину этой суммы оплатит EuroHPC и половина же машинного времени достанется участникам консорциума. Остальные расходы поделят между собой Испания, Португалия и Турция. Новый суперкомпьютер будет использоваться в первую очередь для медицинских исследований, разработки лекарств, создания вакцин, изучения распространения вирусов, а также для задач ИИ и Big Data.

Изображение: BSC

Впрочем, более традиционные HPC-нагрузки в области климатологии, инженерных расчётов, материаловедения и т.д. на нём тоже будут выполняться. Машина будет обладать высокой энергоэффективностью. Питать её планируется исключительно от «зелёных» источников энергии, а выделяемое тепло будет утилизировано. В этом отношении она будет похожа на финский LUMI, самый быстрый европейский суперкомпьютер на сегодняшний день. Но скоро LUMI должен будет уступить первое место экзафлопсной системе JUPITER (Германия).

Помимо LUMI под патронажем EuroHPC сейчас находятся четыре суперкомпьютера: MeluXina (Люксембург), Karolina (Чехия), Discoverer (Болгария) и Vega (Словения). В скором времени будут введены в строй системы LEONARDO (Италия) и Deucalion (Португалия). Вместе с JUPITER были анонсированы ещё четыре суперкомпьютера: DAEDALUS (Греция), LEVENTE (Венгрия), CASPIr (Ирландия) и EHPCPL (Польша). Ну а MareNostrum-5 должен заработать в 2023 году.

В популярных ныне HPC-системах ведущую роль в обеспечении производительности зачастую играют ускорители, располагающие огромными массивами универсальных вычислительных ядер. Однако все их надо вовремя «кормить» данными, и здесь на первый план выходит пропускная способность интерконнекта. В своё время NVIDIA для DGX A100 выбрала AMD EPYC, единственные массовые на тот момент CPU с поддержкой PCI Express 4.0.

Однако Intel удалось, наконец, справиться с технологическим отставанием по этой части, так что процессоры Xeon поколения Sapphire Rapids получили не только новые расширения, но и поддержку PCI Express 5.0/CXL. И это, возможно, одна из основных причин, по которой корпорация NVIDIA на конференции BofA Securities 2022 объявила о том, что новая система DGX H100 будет использовать именно Sapphire Rapids, а не AMD EPYC Genoa, хотя дизайн системных плат прорабатывался и для этого процессора.

DGX H100. Источник: NVIDIA

Новинка должна увидеть свет в конце этого года, она получит два процессора Xeon Sapphire Rapids, 2 Тбайт системной памяти и 8 ускорителей NVIDIA H100 на базе архитектуры Hopper, объединённых четвёртым поколением интерконнекта NVLink. Общий объём пула HBM3-памяти ускорителей составит 640 Гбайт, чего достаточно для достаточно серьёзных моделей машинного обучения; производительность же в типичном для этого режиме FP8 составит 32 Пфлопс.

Для загрузки машина получит пару NVMe-накопителей объёмом 1,9 Тбайт каждый, встроенное хранилище данных будет состоять из 8 дисков NVMe U.2 объёмом по 3,84 Тбайт. Сетевая часть также достаточно любопытна: только для управления DGX H100 имеет порт 10GbE (50GbE опционально), основная же сетевая часть представлена 400G-адаптерами ConnectX-7 и DPU BlueField-3.

Источник: Intel

Глава корпорации, Дженсен Хуанг (Jensen Huang) также отметил, что NVIDIA продолжит поддержку процессоров с архитектурой x86, в том числе, и для новых суперкомпьютеров, несмотря на разработку собственной серии Arm-процессоров Grace (Hopper). Эти чипы также используют NVLink 4.0 с пропускной способностью 900 Гбайт/с и используются в платформе HGX.

Однако Intel Sapphire Rapids заслужил отдельной похвалы за «великолепную производительность в однопоточном режиме». В настоящее время, отметил Хуанг, новый процессор Intel проходит квалификационное тестирование гиперскейлерами по всему миру, а также тестируется в качестве основного CPU для будущих суперкомпьютеров NVIDIA.

Компания Hewlett Packard Enterprise (HPE) опубликовала сведения о новом французском суперкомпьютере Champollion, названном в честь знаменитого египтолога и лингвиста Жана-Франсуа Шампольона, открывшего миру с помощью Розеттского камня значение египетских иероглифов. Название выбрано не зря — новый кластер должен помочь в разработке новых, более совершенных и точных методов распознавания и обработки естественных языков. Но главная его изюминка не в этом.

С точки зрения аппаратной архитектуры Champollion на сегодняшний день выглядит довольно обычно, являя собой кластер из 20 узлов HPE Apollo 6500 Gen 10 Plus, включающий в себя 160 ускорителей NVIDIA A100, объединённых «умной» InfiniBand-фабрикой NVIDIA Quantum-2. Каждому узлу полагается довольно много памяти — 4 Тбайт RAM + 30 Тбайт NVMe SSD. Но программная составляющая уникальна — машина будет работать под управлением стека HPE Machine Learning Development Environment.

HPE Apollo 6500 Gen 10 Plus. Источник: HPE

Можно сказать, что MLDE — это метасистема, созданная для разработки платформ и моделей машинного обучения. Она базируется на открытых решениях компании Determined, приобретённой HPE в 2021 году, и сохраняет с ней обратную совместимость, что позволит начать обучение какой-либо модели буквально «на дому», а затем воспользоваться более серьёзными ресурсами.

Архитектура Machine Learning Development Environment. Источник: HPE

Такое стандартизированное «поточное производство» моделей машинного обучения, совместимое с популярным инструментарием, вроде TensorFlow и PyTorch, упростит и ускорит все проекты, связанные с данной областью вычислений. Помимо обработки языковых данных и моделей ИИ нового поколения кластер будет использоваться в науке и промышленности.

Размещается суперкомпьютер в ЦОД HPE Center of Excellence, который расположен в городе Гренобль, Франция. Вначале доступ к нему получат только избранные пользователи, но впоследствии HPE планирует предоставить более широкий доступ к ресурсам Champollion. Система является вкладом HPE в инициативу «AI for Humanity», провозглашенную президентом Франции Эммануэлем Макроном в 2018 году с целью развития индустрии и увеличения темпов экономического роста.

На ISC 2022 NVIDIA рассказала о развитии своей экосистемы HPC-продуктов, которые помимо ускорителей и традиционных сетевых решений теперь включают собственные Arm-чип серии Grace и DPU. В частности, компания совместно с HPE и Лос-Аламосской национальной лабораторией (LANL) анонсировала Arm-суперкомпьютер Venado.

Venado станет второй после анонсированной ещё в прошлом году швейцарской системой ALPS на базе Arm-чипов NVIDIA Grace и первой подобной в США. Причём это будет гибридная машина, сочетающая кластер из узлов, включающих только CPU, и кластер с ускорителями. Разработчики совместно создадут программный стек, позволяющий бесшовно переносить нагрузки между обоими типами узлов. Конкретные характеристики суперкомпьютера пока не раскрываются, но уже сейчас говорится о пиковой ИИ-производительности в 10 Эфлопс (вычисления смешанной точности).

Источник: NVIDIA

Суперкомпьютер Venado (как и ALPS) будет построен на платформе HPE Cray EX, которая становится всё более универсальной — сегодня было объявлено о сотрудничестве HPE с разработчиком европейских HPC-процессоров SiPearl, который только вчера объявил об аналогичном соглашении с NVIDIA. Но HPE теперь не единственный поставщик подобных систем. На ISC 2022 было объявлено о том, что HPC-системы на базе Grace будут также поставлять Atos, Dell Technologies, GIGABYTE, Inspur, Lenovo и Supermicro. Часть из них предложит собственные платформы, часть — решения на базе недавно обновлённой HGX-платформы для OEM-вендоров.

Узел ABOF (Фото: LANL)

Venado — не единственный совместный проект NVIDIA и LANL. Ранее разработчики рассказали о работе над вычислительным хранилищем ABOF (Accelerated Box of Flash), объединяющем NVMe SSD и DPU BlueField-2. На последних возложено обслуживания файловой системы ZFS, а также задачи по компрессии данных, поддержке их целостности и т.д. Но это не единственная функция, которую можно возложить на DPU, о чём NVIDIA говорила неоднократно. DPU позволяют не только ускорить ряд операций, но и задействовать облачный подход при использовании суперкомпьютеров.

Источник: NVIDIA

Именно этого добивается, например, в Техасском центре передовых вычислений (TACC, Texas Advanced Computing Center) для суперкомпьютера Lonestar6. Специалисты из Университета штата Огайо (Ohio State University), Университета Дарема (Durham University) и Мюнхенского технического университета занимаются ускорением работы MPI с помощью DPU, а Университетский колледж Лондона — над повышением эффективности планировщика задач. И это далеко не все проекты.

SiPearl, европейский разработчик высокопроизводительные и энергоэффективных процессоров для суперкомпьютеров, в том числе экзафлопсного класса, и NVIDIA объявили о сотрудничестве, в рамках которого предложат заказчикам совместные решения, включающие HPC-продукты и сетевые компоненты NVIDIA и CPU SiPearl (первым станет Rhea). Сотрудничество направленно на объединение портфолио аппаратных и программных решений обеих компаний, а также на совместную работу в области разработки продуктов и развития бизнеса.

Источник: NVIDIA

NVIDIA и SiPearl создадут прокси-платформу для переноса и анализа рабочих нагрузок, которая позволит наилучшим образом задействовать сильные стороны продуктов обеих компаний, например, HBM-память в процессорах SiPearl и массивно-параллельную архитектуру ускорителей NVIDIA. Кроме того, планируется совместная работа со сторонними европейскими исследовательскими институтами над открытыми инструментами для моделирования SoC и NoC. Компании намерены добиться полной совместимости на уровне «железа», а также совместно развивать программную экосистему для HPC-решений на базе платформы Arm.

Источник: SiPearl

Ранее аналогичное соглашение о сотрудничестве было заключено между SiPearl и Intel. И в том и в другом случае SiPearl, штат которой, к слову, недавно вырос до более чем ста сотрудников, говорит о возможности предоставить европейским заказчикам наиболее оптимальное решение для их задач. Несмотря на то, что Европа стремится стать независимой от США в области высокопроизводительных вычислений (HPC), на первом этапе этого, судя по всему, исключительно своими силами обойтись будет нельзя.

Ayar Labs — один из пионеров в области разработки и внедрения гибридных электронно-оптических технологий, на её счету создание реального фотонного трансивера TeraPHY. Также компания получила $130 млн инвестиций на развитие коммерческой фотоники.

В список главных инвесторов Ayar входит NVIDIA, и сейчас обе компании заявили о сотрудничестве, целью которого станет разработка систем фотонного интерконнекта. Они должны стать основой для ИИ и HPC-инфраструктуры будущего, как сочетающие в себе высокую пропускную способность, низкую латентность и сверхнизкий уровень энергопотребления. При этом переход подсистем I/O на фотонику позволит использовать более длинные кабели без потери производительности, а значит, упростит и удешевит компоновку ЦОД.

Источник: Ayar Labs

Как отметил ведущий архитектор ЦОД-отдела NVIDIA, Роб Обер (Rob Ober), за прошедшее десятилетие производительность, достигнутая решениями компании в области искусственного интеллекта, возросла в миллион раз, но следующий миллион потребует отказа от медной инфраструктуры, которая уже не сможет справиться с возрастающей сложностью и энергопотреблением таких систем.

Гибридный оптоэлектронный трансивер уже воплощён в кремнии. Источник: Ayar Labs

Предсказывается, что уже к 2023 году сложность моделей машинного обучения достигнет отметки 100 трлн связей, что в 600 раз больше рекордного показателя 2021 года, и эта цифра уже выходит за рамки возможностей современных технологий. Именно для преодоления этого барьера NVIDIA и заключила стратегический альянс с Ayar Labs — её разработки в области фотоники позволят поднять удельную пропускную способность I/O-подсистем в 1000 раз, но уровень энергопотребления при этом, напротив, сократится в 10 раз.

Конкретные сроки в анонсе, опубликованном Ayar Labs, не оговариваются, но промежуточные плоды нового союза, скорее всего, увидят свет в следующем году. Основания для такого оптимизма есть, так как рабочий прототип оптического трансивера на 1024 Тбит/с уже существует в кремнии, хотя и использует не слишком тонкий 45-нм техпроцесс.

На весенней конференции GTC 2022 NVIDIA поделилась подробностями о грядущих серверных Arm-процессорах Grace Superchip и гибридах Grace Hopper Superchip, а на Computex 2022 представила первые референсные платформы на базе этих чипов для OEM-производителей и объявила о расширении программы NVIDIA Certified.

Последнее, впрочем, не означает отказ от x86-систем, поскольку программа будет просто расширена. Да и портирование стороннего и собственного ПО займёт некоторое время. Первые несколько десятков моделей серверов от ASUS, Foxconn, GIGABYTE, QCT, Supermicro и Wiwynn появятся в первой половине 2023 года. Представлены они будут в трёх категориях, причём все, за исключением одной, базируются на «сдвоенных» процессорах Grace Superchip, насчитывающих до 144 ядер.

Источник: NVIDIA

Системы серии OVX, представленной ранее, всё так же будут предназначены для цифровых двойников и Omniverse — NVIDIA продолжает наставить на том, что любое современное производство или промышленное предприятие должно быть интеллектуальным. Arm-версия OVA получит неназванные ускорители NVIDIA и DPU Bluefield-3.

Новая платформа NVIDIA CGX очень похожа на OVX — она тоже получит DPU Bluefield-3 и до четырёх ускорителей NVIDIA A16. CGX создана специального для облачных гейминга и работы с графикой.

А вот новое поколение платформы NVIDIA HGX гораздо интереснее. Оно заметно отличается от предыдущих, которые в основном представляли собой различные комбинации базовых плат NVIDIA с четырьмя или восемью ускорителями, вокруг которых OEM-партнёры строили системы в меру своих умений и фантазий. Нынешняя инкарнация NVIDIA HGX всё же несколько более комплексная, поскольку сейчас предлагается два варианта узлов, специально спроектированных для высокоплотных систем и явно ориентированных на высокопроизводительные вычисления (HPC).

Источник: NVIDIA

Первый вариант — это 1U-лезвие (до 84 шт. в стандартной стойке), которое включает один процессор Grace Superchip, до 1 Тбайт LPDDR5x-памяти с пропускной способностью (ПСП) до 1 Тбайт/с и DPU BlueField-3. Иные варианты сетевого подключения оставлены на усмотрение конечного производителя. Заявленный уровень TDP составляет 500 Вт, так что на выбор доступны системы с воздушным и жидкостным охлаждением.

Второй вариант базируется на гибридных чипах Grace Hopper Superchip, объединяющих в себе посредством шины NVLink-C2C процессорную часть с 512 Гбайт LPDDR5x-памяти и ускоритель NVIDIA H100 c 80 Гбайт HBM3-памяти (ПСП до 3,5 Тбайт/с). Помимо DPU BlueField-3 опционально доступен и интерконнект NVLink 4.0, но и здесь вендору оставлена свобода выбора. Уровень TDP для данной платформы составляет 1 кВт, но вот обойтись одним только воздушным охлаждением (а такой вариант есть) при полном заполнении стойки всеми 42-мя 2U-лезвиями будет трудно.

Вместе с новыми референсными платформами CGX, HGX и OVX на базе собственных Arm-чипов Grace NVIDIA в рамках Computex 2022 представила и ещё одну модификацию PCIe-версии ускорителя A100 (80 Гбайт), на этот раз с предустановленным водоблоком для подключения к СЖО. Новинка станет доступна в III квартале этого года, а в начале следующего появится аналогичная модификация ускорителя NVIDIA H100.

Интересен тут не столько факт использования СЖО (для PCIe-варианта A100 водоблоки производит, к примеру, EK Water Blocks, и HGX-платформ с жидкостным охлаждением SXM-версии ускорителей не так уж мало), сколько неожиданно большой список партнёров, готовых предложить системы с новой модификацией A100: ASUS, ASRock Rack, Foxconn, GIGABYTE, H3C, Inspur, Inventec, Nettrix, QCT, Supermicro, Wiwynn и xFusion.

Источник: NVIDIA

В данном случае СЖО нужна в первую очередь не для существенного повышения производительности, как это обычно бывает в HPC-системах, а для повышения плотности размещения вычислительных мощностей и улучшения энергоэффективности. Новинка занимает всего один слот, что, по данным NVIDIA, позволяет сократить число используемых стоек на две трети при сохранении того же уровня производительности. Попутно можно почти на треть снизить затраты на электроэнергию.

Источник: NVIDIA

Правда, NVIDIA в своих заявлениях опирается не только на свои расчёты, но и на работы Equinix, одного из крупнейших в мире операторов ЦОД, который размещает у себя мощности NVIDIA LaunchPad и который в январе этого года создал выделенную площадку для изучения вопросов повышения энергоэффективности. В рамках данного проекта изучаются в том числе и СЖО.

По оценкам NVIDIA, использование СЖО в рамках всего ЦОД позволяет добиться PUE на уровне 1,15, тогда как для традиционного дата-центра с воздушным охлаждением этот показатель равен 1,6, то есть разница как раз составляет около трети. Аналогичный результат получился и у Equinix. По данным Uptime Institute за 2020 год, среднемировой уровень PUE составлял 1,59. Для кампусов Equinix усреднённое значение PUE равно 1,48, а для самых новых площадок — менее 1,2.

Gigabyte анонсировала 4U-сервер G492-PD0, предназначенный для облачных платформ, систем ИИ и инфраструктур высокопроизводительных вычислений (HPC). Допускается установка одного процессора Ampere Altra (Max), насчитывающего до 128 ядер. Есть 16 слотов для модулей оперативной памяти DDR4-3200 ёмкостью до 256 Гбайт каждый. А главное — поддержка до восьми 80-Гбайт ускорителей NVIDIA A100 в составе HGX-платы Delta.

Изображение: Gigabyte Technology

Предусмотрены шесть посадочных мест для SFF-накопителей NVMe/SATA. Кроме того, могут быть задействованы четыре модуля M.2 формата 2260/2280/22110. Для всех накопителей предусмотрена поддержка PCIe 4.0, равно как и для десяти PCIe-слотов для низкопрофильных карт расширения. В оснащение входят двухпортовый сетевой контроллер 1GbE и выделенный 1GbE-порт управления для BMC ASPEED AST2500.

Изображение: Gigabyte Technology

Габариты сервера составляют 448 × 175,2 × 900 мм. Применена система воздушного охлаждения, включающая одиннадцать 80-мм вентиляторов и десять — 40-мм. Питается сервер от четырёх (3+1) БП мощностью 3 кВт каждый. Говорится о совместимости с программной платформой Ubuntu 20.04.1 LTS (ядро 5.8 или новее) и соответствии стандартам Arm SystemReady и Arm ServerReady.