Компания Supermicro анонсировала серверы SuperServer SYS-220GQ-TNAR+ и SuperServer SYS-220GP-TNR на базе Intel Xeon Ice Lake-SP и ускорителей NVIDIA. Устройства предназначены для высокопроизводительных вычислений (НРС), обработки алгоритмов искусственного интеллекта (ИИ) и решения различных облачных задач.

Обе модели выполнены в формате 2U. Они поддерживают установку двух процессоров Intel Xeon Scalable третьего поколения в исполнении Socket P+ (LGA-4189). Могут применяться чипы с показателем TDP до 270 Вт. Первая относится к решениям на платформе NVIDIA HGX A100 (Redstone). Вторая же является более универсальной, поскольку рассчитана на PCIe-ускорители, в том числе начального и среднего уровня.

Здесь и ниже изображения Supermicro

Первая модель — SuperServer SYS-220GQ-TNAR+ — наделена 32 слотами для модулей оперативной памяти DDR4-3200. GPU-часть представлена блоком из четырёх акселераторов NVIDIA A100 (80 Гбайт) с NVLink. Во фронтальной части предусмотрены четыре посадочных места для 2,5" накопителей с функцией «горячей» замены.

Присутствуют два сетевых порта 10GbE. Кроме того, возможна установка 200GbE-адаптеров NVIDIA ConnectX-6 с поддержкой GPUDirect RDMA (в соотношении 1:1 DPU:GPU). За питание отвечают два блока мощностью 3000 Вт каждый.

Модификация SuperServer SYS-220GP-TNR располагает 16 слотами для модулей ОЗУ. Могут применяться PCIe-акселераторы NVIDIA A100, A40 и RTX A6000. В лицевой части находятся 10 отсеков для накопителей стандарта 2,5". В оснащение входят два блока питания на 2600 Вт каждый.

NVIDIA объявила о расширении сотрудничества с Lenovo в рамках раннего доступа к решениям на базе VMware Project Monterey. Как и в случае аналогичного сотрудничества с Dell, предлагается готовый кластер из серверов с DPU NVIDIA BlueField-2 — на соответствующей странице теперь упомянуты модели PowerEdge R750 и ThinkSystem SR650 V2. Кроме того, обещан доступ и к системам ThinkAgile VX.

По словам компаний, NVIDIA, Lenovo и VMware совместно развивают новую архитектуру для современных рабочих нагрузок, включая ИИ и машинное обучение, охватывающую классические ЦОД, облака и периферийные вычисления. Такая архитектура должна быть, с одной стороны, программно определяемой, а с другой — полагаться на различные возможности современных аппаратных решений для ускорения выполнения конкретных задач, в том числе служебных.

Поэтому всем сторонам и интересен Project Monterey, который предполагает перенос части функций vSphere на DPU и SmartNIC, избавляя тем самым CPU от лишней работы. NVIDIA активно использует возможности DPU в своих собственных решениях, а партнёрство с VMware позволит ей лучше закрепиться на уже существующих и новых для неё рынках. Впрочем, VMware в рамках данного проекта сотрудничает и с другими игроками — Pensando, одним из пионеров в области DPU, и Intel, которая недавно анонсировала IPU Mount Evans.

NVIDIA и VMware объединили усилия с целью помочь предприятиям увеличить масштабы разработки ИИ-решений. В ходе VMworld 2021 VMware объявила о предстоящем обновлении платформы виртуализации VMware vSphere с Tanzu, обеспечивающей самый быстрый способ для ИТ-специалистов запускать рабочие нагрузки Kubernetes в существующей инфраструктуре.

Теперь предприятия смогут легко разрабатывать ИИ-проекты, используя vSphere с Tanzu в сочетании с программным пакетом NVIDIA AI Enterprise. Вышедший в августе пакет NVIDIA AI Enterprise представляет собой комплексный облачный набор платформ и инструментов для ИИ и анализа данных, оптимизированных, сертифицированных и поддерживаемых NVIDIA. Он обеспечивает быстрое развёртывание, управление и масштабирование ИИ-приложений в современном гибридном облаке.

NVIDIA отдельно подчеркнула на примере недавних достижений Dell Technologies в тесте MLPerf, что новые ускорители прекрасно работают в виртуализированных средах и достигает от 94,4 % до 100% эквивалентной производительности в сравнении с решениями bare metal при использовании NVIDIA AI Enterprise и VMware vSphere. В тесте использовался сервер Dell EMC PowerEdge R7525 с тремя NVIDIA A100.

NVIDIA

Современные рабочие нагрузки ИИ могут потребовать специализированные инфраструктуру и ПО, что усложняет работу ИТ-групп, занятых поддержкой таких приложений в корпоративных центрах обработки данных и гибридных облаках. Объединяя ИТ-специалистов со специалистами по обработке данных и разработчиками приложений, NVIDIA AI Enterprise упрощает жизненный цикл разработки, помогая клиентам быстрее запускать ИИ-проекты.

NVIDIA AI Enterprise и VMware vSphere с Tanzu позволяют разработчикам запускать рабочие ИИ-нагрузки в контейнерах Kubernetes в своих средах VMware, используя инфраструктуру, легко управляемую ИТ-отделом. Облачная архитектура NVIDIA AI Enterprise позволяет ИТ-специалистам централизованно управлять всеми кластерами и приложениями в своей гибридной облачной инфраструктуре.

Программное обеспечение работает на сертифицированных NVIDIA системах от ведущих производителей серверов, обеспечивая интегрированный полный набор программного и аппаратного обеспечения, оптимизированного для ИИ. К ним относятся Atos, Dell Technologies (у компании есть совместное решение с NVIDIA и VMware), GIGABYTE, H3C, Hewlett Packard Enterprise, Inspur, Lenovo и Supermicro. А в рамках программы NVIDIA AI LaunchPad новые решения будут доступны по модели как-услуга и у на площадках Equinix.

На смену устаревшей серии GTX10 и дефицитной RTX30 пришли наследницы серии Quadro — GPU NVIDIA RTX A4000 и А5000 на базе текущей архитектуры Ampere, которые были анонсированы в апреле 2021 года. Инженеры HOSTKEY сравнили эффективность использования новых ускорителей в GPU-серверах на различных типах нагрузок.

Ampere использует 8-нм техпроцесс от Samsung и поддерживает высокоскоростную память HBM2 и GDDR6(X). GDDR6X является шестым поколением памяти DDR SDRAM и может достигать скорости до 21 Гбит/с. В А5000 и А4000 NVIDIA использует ядра RT 2-го поколения и тензорные ядра 3-го поколения, позволяющие обеспечить двукратный прирост производительности по сравнению со старыми ядрами Turing. Новинки используют стандарт PCIe 4.0, что позволяет убрать узкие места при обмене данными с GPU.

В Ampere используется новая версия CUDA 8+. На чипе теперь есть два потоковых мультипроцессора, что обеспечивает значительный рост производительности FP32-вычислений по сравнению с картами на базе Turing. Старшие GPU A5000 и выше поддерживают NVLink 3.0 для попарного объединения карт, что это приводит к кратному увеличению производительности.

Технические характеристики видеокарт NVIDIA RTX A4000 и RTX A5000, RTX 3090, Quadro RTX 4000

На новых картах куда больше памяти, это позволяет эффективно работать с нейросетями и изображениями. Другим существенным отличием RTX A4000 и RTX A5000 является аппаратное ускорение размытия движения, позволяющее значительно сократить время и затраты на при рендеринге.

В старших картах от RTX A5000 есть поддержка vGPU и NVIDIA RTX vWS, что позволяет обеспечить совместное использование вычислительных ресурсов и виртуальных GPU несколькими пользователями. В среднем новые видеокарты NVIDIA обгоняют по производительности старую линейку Quadro в 1,5–2 раза и потребляют меньше электричества.

Тестирование HOSTKEY

Инженеры компании HOSTKEY провели собственное тестирование профессиональных видеокарт NVIDIA RTX A5000 и A4000 и сравнили их с RTX 3090 и Quadro RTX 4000 — представителем предыдущего поколения профессиональных видеокарт компании NVIDIA. Для тестов использовалась система следующей конфигурации:

• Процессор OctaCore Intel Xeon E-2288G, 3,5 ГГц
• 32 Гбайт DDR4-3200 ECC DDR4 SDRAM 1600 МГц
• Samsung SSD 980 PRO 1Tбайт (1000 GB, PCI-E 4.0 x4)
• Серверная материнская плата ASUS P11C-I Series (1 PCI-E x16, 1 M.2, 2 DDR4 DIMM, 2x Gigabit LAN + IPMI)
• Microsoft Windows 10 Professional 64-бит.

Tест V-Ray GPU RT

Тест V-Ray GPU CUDA

Тесты V-Ray GPU CUDA и RTX позволяют измерить относительную производительность GPU при рендеринге. GPU RTX A4000 и RTX A5000 значительно превосходят по производительности Quadro RTX 4000 и GeForce GTX 1080 Ti (тест V-Ray GPU RTX на этой карте провести невозможно, т.к. она не поддерживает технологию RTX), но уступают RTX 3090, что объясняется высокой пропускной способностью памяти (936,2 Гбайт/с против 768 Гбайт/с у RTX A5000) и количеством потоковых процессоров (10496 против 8192 у RTX A5000).

«Собаки против кошек»

Для сравнения производительности GPU для нейросетей был использован набор данных «Собаки против кошек» — тест анализирует содержимое фотографии и различает изображена на фото кошка или собака. Все необходимые исходные данные находятся здесь. Также этот тест был выполнен на разных GPU в различных облачных сервисах. Получены следующие результаты:

Полный цикл обучения

Полный цикл обучения тесовой нейросети занял от 5 до 30 мин. Результат NVIDIA RTX A5000 и A4000 составил 07:30 и 9:10 минут соответственно. Быстрее единичных NVIDIA RTX A5000 и A4000 работал только GPU-сервер с восемью картами GeForce RTX 2080Ti и с энергопотреблением около 2 кВт·ч. Видеокарты Tesla V100 прошлого поколения доступны в сервисах Google Cloud Compute Engine, Microsoft Azure и Amazon Web Services и показали наилучший результат из протестированных там карт.

Сколько стоит обучить нейросеть в разных местах?

На графике представлена стоимость обучения модели с использованием различных сервисов для следующих конфигураций:

• AWS — AWS p3.2xlarge
• Google Cloud — GCP Compute Engine
• Microsoft Azure — Tesla V100
• HOSTKEY — RTX А4000, RTX A5000

Заключение

Новые профессиональные видеокарты NVIDIA RTX A5000 и A4000 являются оптимальным решением для использования в GPU-серверах и позволяют выполнять сложные вычисления, производя быструю обработку больших массивов данных. Переход на новую архитектуру Ampere позволил значительно увеличить производительность новых профессиональных видеокарт NVIDIA. Улучшенные тензорные ядра и ядра RT значительно улучшают качество и возможности трассировки лучей в реальном времени.

Объем памяти в 16 Гбайт у NVIDIA RTX A4000 и 24 Гбайт у RTX A5000 позволяет обрабатывать большие массивы данных, а мост NVLink для A5000 объединяет две карты в одну, что даёт доступ уже к 48 Гбайт высокопроизводительной памяти. Что важно, лицензия на драйверы NVIDIA для профессиональных GPU (в отличие от игровых видеокарт) никак не ограничивает их использование в центрах обработки данных.

HOSTKEY рекомендует использовать современные выделенные и виртуальные GPU-серверы для рендеринга, транскодинга видео, обучения нейросетей и обработки данных уже обученными сетями. Если есть стабильный большой объем данных для обработки, аренда выделенных GPU-серверов может на порядок повысить скорость их обработки за те же деньги или позволит существенно сократить затраты на формирование собственной инфраструктуры.

Пока что HOSTKEY предоставляет GPU-серверы на базе помесячной оплаты, но в ближайшее время все эти машины будут доступны и в режиме почасовой оплаты с полной автоматизацией их предоставления клиенту при заказе через API. Кроме того, новые серверы с профессиональными картами RTX A5000 и A4000 доступны теперь не только в Нидерландах, но и в Москве.

HOSTKEY — динамично развивающийся хостинг-провайдер, который более 10 лет оказывает услуги по размещению и аренде серверов, проектированию и внедрению частных облаков, лизингу и обслуживанию оборудования. HOSTKEY предоставляет серверы в аренду в дата-центрах категории TIER III в Европе, США и России, а также оказывает услуги проектирования, запуска и поддержки приватных облаков, поддержки серверов в любых дата-центрах в Нидерландах. Компания работает как с корпоративными клиентами, так и с частными лицами.

Selectel, российский провайдер облачных услуг и дата-центров, объявил о пополнении портфолио своих решений вычислительной системой NVIDIA DGX A100 производительностью 5 Пфлопс, оптимизированной для работы с ИИ — от анализа данных до тренировки и инференса. Решение подойдёт крупным компаниям в сферах AI, ML и обработки данных, исследовательским организациям, промышленным компаниям, а также организациям в сфере образования и науки. Прямо сейчас Selectel предлагает бесплатно протестировать новинку.

NVIDIA DGX A100 представляет собой стоечный сервер в форм-факторе 6U, оснащённый 8 ускорителями NVIDIA Tesla A100 с тензорными ядрами и общим объёмом памяти 320 Гбайт (по 40 Гбайт у каждого). Ёмкость NVMe SSD (PCIe 4.0) составляет 15 Тбайт. Объём оперативной памяти равен 1 Тбайт — всего шестнадцать слотов для модулей памяти DDR4-3200 объёмом 64 Гбайт. Этого достаточно для решения даже самых сложных задач в области ИИ.

В NVIDIA DGX A100 используются два 64-ядерных процессора AMD EPYC 7742 поколения Rome с возможностью одновременной обработки до 128 потоков инструкций и рабочей частотой 2,25 ГГц (максимальная — 3,4 ГГц). Система также включает 6 коммутаторов NVIDIA NVSwitch шестого поколения, 9 адаптеров Mellanox ConnectX-6 VPI HDR/200GbE.

В данной конфигурации система потребляет порядка 5 кВт, но эффективная воздушная система охлаждения позволяет удерживать температуры CPU и GPU в пределах +69 °C. В портфолио Selectel уже есть серверы с восемью PCIe-ускорителями NVIDIA A100, но DGX-система использует более мощные SXM4-версии A100 и быстрый интерконнект NVSwitch. Компания сравнила обе версии A100 в GeekBench 5 Compute и ai-benchmark.

Первый тест оценивает общие вычислительные возможности, а второй позволяет замерить скорость обучения и применения различных нейронных сетей на задачах распознавания и классификации. Если же вы хотите самостоятельно оценить возможности DGX A100 в ваших задачах, то Selectel предлагает бесплатно протестировать новинку. Заявку можно оставить на странице акции.

Сама специфика периферийных вычислений предъявляет к платформам этого класса особые требования: компактность, экономичность и повышенная защищённость от факторов среды. Новая платформа Lenovo ThinkEdge SE70 удовлетворяет всем современным требованиям и ориентирована на применение в системах машинного зрения нового поколения.

Само по себе машинное зрение (computer vision, CV) не является новой технологией, но лишь сравнительно недавно вычислительные технологии стали достаточно продвинутыми, чтобы развёртывать такие системы непосредственно на месте, без организации отдельного помещения с серверами. В настоящее время CV переживает настоящий бум; так, если верить опросам IDG, свыше 95% респондентов считают, что внедрение машинного зрения может повысить доходы, либо сэкономить время и ресурсы.

Новая система Lenovo ThinkEdge SE70 создана специально с прицелом на использование в CV-системах. В данном случае архитектура x86 не используется, хотя она и встречается в некоторых платформах для периферийных вычислений. Вместо этого сердцем ThinkEdge SE70 стал модуль NVIDIA Jetson Xavier NX, очень компактный, но при этом достаточно мощный.

Центральный процессор системы имеет шесть 64-бит ядер общего назначения с микроархитектурой Carmel (ARMv8.2), 384 графических ядра Volta и 48 тензорных ядер. В задачах распознавания образов, где широко используется формат INT8, его производительность оценивается в 21 Топс. Хотя процессор использует не самый новый 12-нм техпроцесс, конструкция ThinkEdge SE70, имеющая массивное оребрение корпуса, позволяет обойтись пассивным охлаждением, что для edge-платформы важно.

Для совсем уж суровых условий новинка не подойдёт, поскольку имеет лишь сертификат защиты IP51, но пыли или конденсата она не испугается и сможет работать в диапазоне температур от -20 до +60 °C. При этом поддерживается питание от любого источника постоянного тока с напряжением от 9 до 48 В. Стандартная сетевая подсистема представлена двумя портами 1GbE, а также последовательным портом и шинами CAN/DIO. Число сетевых портов можно нарастить до 8, причём с поддержкой PoE.

Lenovo ThinkEdge SE70 создавалась в содействии с Amazon Web Services, которая активно продвигает собственные наработки в области машинного зрения, в частности, программную платформу Panorama. Система будет поставляться с предустановленным SDK, позволяющим быстро превратить обычные IP-камеры в «умные». Начало поставок новой CV-платформы намечено на первую половину следующего года.

Аргоннская национальная лаборатория Министерства энергетики США анонсировала проект высокопроизводительного вычислительного комплекса Polaris. Созданием этого суперкомпьютера займутся специалисты Hewlett Packard Enterprise (HPE), а его ввод в эксплуатацию запланирован на начало следующего года.

В основу системы лягут 280 узлов HPE Apollo 6500 Gen10 Plus. Говорится об использовании 560 процессоров AMD EPYC второго и третьего поколений, а также 2240 ускорителей NVIDIA A100. Узлы будут объединены интерконнектом HPE Slingshot, а мониторинг и управление системой будет осуществляться HPE Performance Cluster Manager.

Пиковое быстродействие комплекса составит приблизительно 44 Пфлопс на FP64-операциях. Теоретическая производительность при работе с ИИ-задачами будет достигать 1,4 Эфлопс. Использовать суперкомпьютер планируется при решении ряда сложных задач. Среди них названы исследования в космической сфере, изучение биологии вирусов, проекты в области чистой энергии, производства и пр.

Аргоннская национальная лаборатория

Отмечается, что создание Polaris поможет подготовиться, потренировавшись в переносе и оптимизации ПО, к появлению вычислительной системы Aurora экзафлопсного уровня, выход которой неоднократно откладывался. Это совместный проект Аргоннской национальной лаборатории, компаний Intel и HPE. Данная система обеспечит в четыре раза более высокое быстродействие по сравнению с нынешними суперкомпьютерами лаборатории. Первой экзафлопсной системой в США станет суперкомпьютер Frontier на базе AMD EPYC и Instinct.

NVIDIA объявила о широкой доступности NVIDIA AI Enterprise, комплексного программного пакета фреймворков и инструментов искусственного интеллекта, включая PyTorch, TensorFlow, NVIDIA Inference Server и т. д., готового к работе в среде виртуализации VMware vSphere в виде виртуальных машин или контейнеров. С его помощью компании смогут виртуализировать рабочие задачи ИИ на сертифицированных системах NVIDIA.

Такие системы будут предлагать Atos, Dell Technologies, GIGABYTE, HPE, Inspur, Lenovo и Supermicro, заключившие соглашения с NVIDIA. В свою очередь, Dell Technologies сообщила, что Dell EMC VxRail стала первой гиперконвергентной платформой, которая получила сертификацию NVIDIA AI Enterprise. А Domino Data Lab проводит валидацию своей платформы Domino Enterprise MLOps для NVIDIA AI Enterprise, работающей на распространённых сертифицированных системах NVIDIA.

Манувир Дас (Manuvir Das), глава подразделения корпоративных вычислений в NVIDIA отметил, что теперь программное обеспечение NVIDIA, предоставляющее широкие возможности для работы с ИИ, стало широко доступно. Благодаря NVIDIA AI Enterprise компании по всему миру теперь могут разрабатывать широкий спектр приложений, используя наиболее распространённые в мире серверы для развёртывания и масштабирования приложений обработки данных, диалогового ИИ, компьютерного зрения, рекомендательных систем и т. д.

NVIDIA AI Enterprise позволяет легко и экономично выполнять задачи ИИ с помощью тех же инструментов, которые используются для управления крупномасштабными центрами обработки данных и гибридными облаками. Сертифицированные системы NVIDIA AI Enterprise комплектуются графическими процессорами NVIDIA, включая A100, A40, A30 и A10, а также T4. Клиентам предлагается широкий выбор конфигураций для обеспечения высокой производительности в задачах ИИ в vSphere, которая практически неотличима от возможностей bare metal.

Стоимость подписки начинается с $2000 за сокет CPU сроком на один год и включает поддержку Business Standard (пять дней в неделю, девять часов в день). Бессрочные лицензии стоят $3595 долларов США с условием приобретения дополнительной поддержки. Можно также перейти на поддержку Business Critical, чтобы получить круглосуточный доступ к службе поддержки NVIDIA AI.

VMware, Dell Technologies и NVIDIA объявили о раннем доступе к Project Monterey. Этот проект предназначен для развития архитектуры традиционных центров обработки данных и перевода их на программно определяемую архитектуру с аппаратным ускорением по модели гибридного облака.

В рамках Project Monterey предполагается перенос значительной части служебных нагрузок с CPU на DPU. Подобное решение крайне востребовано для ИИ-задач, а также других ресурсоёмких нагрузок, где нужен потоковый анализ трафика в реальном времени, с чем традиционные архитектуры ЦОД могут просто не справиться.

В качестве тестовой платформы предлагается готовый кластер из серверов Dell EMC PowerEdge R750 с DPU NVIDIA BlueField-2, работающих под управлением программной платформы VMware. А персональный эксперт поможет разобраться в новом решении и наглядно продемонстрировать его преимущества:

• Повышение производительности приложений и инфраструктурных сервисов.
• Улучшение безопасности приложений и их мониторинг.
• Ускорение работы межсетевого экрана.
• Повышение эффективности и снижение накладных расходов в ЦОД, на периферии и в облаке.

Компания NVIDIA и Королевский колледж Лондона обнародовали новые подробности об одном из первых проектов, запущенном на суперкомпьютере Cambridge-1, самой мощной системой такого класса в Великобритании. Система состоит из 80 модулей DGX A100 (80 Гбайт), объединённых интерконнектом InfiniBand HDR на базе DPU Bluefield-2. Постройка суперкомпьютера обошлась NVIDIA в $100 млн. В рейтинге TOP500 он занимает сейчас 41 место.

Сейчас суперкомпьютер используется для создания ИИ-моделей, способных генерировать синтетические изображения мозга на основе изображений, полученных с помощью МРТ. Это даёт возможность научить ИИ отличать здоровый мозг от больного, поскольку его тренируют на снимках пациентов разного возраста и с различными недугами. Как ожидается, в перспективе это позволит диагностировать возможные неврологические отклонения или заболевания мозга на ранней стадии.

Также новая методика с использованием ИИ может стать новаторским решением в понимании того, как формируется мозг, как травмы и болезни влияют на него, и как помочь ему восстановиться. Как отмечается, суперкомпьютер ускорил работы, сократив время обучение ИИ-моделей с месяцев до недель, а также дал возможность создавать более чёткие изображения.

В качестве программной составляющей используется свободный фреймворк MONAI на основе PyTorch, библиотека NVIDIA CUDA Deep Neural Network (cuDNN) для ускорения глубокого обучения нейросетей, а также NVIDIA Omniverse — открытая платформа для виртуального моделирования и визуализации в реальном времени.