VMware, Dell Technologies и NVIDIA объявили о раннем доступе к Project Monterey. Этот проект предназначен для развития архитектуры традиционных центров обработки данных и перевода их на программно определяемую архитектуру с аппаратным ускорением по модели гибридного облака.

В рамках Project Monterey предполагается перенос значительной части служебных нагрузок с CPU на DPU. Подобное решение крайне востребовано для ИИ-задач, а также других ресурсоёмких нагрузок, где нужен потоковый анализ трафика в реальном времени, с чем традиционные архитектуры ЦОД могут просто не справиться.

В качестве тестовой платформы предлагается готовый кластер из серверов Dell EMC PowerEdge R750 с DPU NVIDIA BlueField-2, работающих под управлением программной платформы VMware. А персональный эксперт поможет разобраться в новом решении и наглядно продемонстрировать его преимущества:

• Повышение производительности приложений и инфраструктурных сервисов.
• Улучшение безопасности приложений и их мониторинг.
• Ускорение работы межсетевого экрана.
• Повышение эффективности и снижение накладных расходов в ЦОД, на периферии и в облаке.

Компания NVIDIA и Королевский колледж Лондона обнародовали новые подробности об одном из первых проектов, запущенном на суперкомпьютере Cambridge-1, самой мощной системой такого класса в Великобритании. Система состоит из 80 модулей DGX A100 (80 Гбайт), объединённых интерконнектом InfiniBand HDR на базе DPU Bluefield-2. Постройка суперкомпьютера обошлась NVIDIA в $100 млн. В рейтинге TOP500 он занимает сейчас 41 место.

Сейчас суперкомпьютер используется для создания ИИ-моделей, способных генерировать синтетические изображения мозга на основе изображений, полученных с помощью МРТ. Это даёт возможность научить ИИ отличать здоровый мозг от больного, поскольку его тренируют на снимках пациентов разного возраста и с различными недугами. Как ожидается, в перспективе это позволит диагностировать возможные неврологические отклонения или заболевания мозга на ранней стадии.

Также новая методика с использованием ИИ может стать новаторским решением в понимании того, как формируется мозг, как травмы и болезни влияют на него, и как помочь ему восстановиться. Как отмечается, суперкомпьютер ускорил работы, сократив время обучение ИИ-моделей с месяцев до недель, а также дал возможность создавать более чёткие изображения.

В качестве программной составляющей используется свободный фреймворк MONAI на основе PyTorch, библиотека NVIDIA CUDA Deep Neural Network (cuDNN) для ускорения глубокого обучения нейросетей, а также NVIDIA Omniverse — открытая платформа для виртуального моделирования и визуализации в реальном времени.

Selectel, ведущий российский провайдер услуг облачных инфраструктурных сервисов и дата-центров, получил статус Cloud Service Provide партнёрской программы NVIDIA (NVIDIA Partner Network). Благодаря этому Selectel теперь имеет возможность предоставлять клиентам услуги по аренде лицензий NVIDIA, позволяющие заказчикам выделенных серверов Selectel, а также клиентам «Облака на базе VMware» обеспечить организацию виртуальных рабочих мест и оптимизации потребления ресурсов графических процессоров.

Клиентам Selectel доступны любые типы лицензий NVIDIA сроком от одного месяца с оплатой за фактическое использование решений. Ресурсы одного GPU можно будет использовать для нескольких виртуальных машин (shared), что позволит увеличить эффективность работы распределённых команд и оптимизировать расходы. Для ресурсоёмких задач, можно будет использовать сразу несколько GPU для одной виртуальной машине (aggregation), что ускорит их выполнение.

Компания предлагает клиентам серверы с графическими картами для 3D-моделирования, рендеринга, машинного обучения и сложной аналитики в аренду от 1 дня. Клиент может заказать аренду готового сервера или указать конфигурацию с необходимыми параметрами, которая будет готова в течение 1–5 дней.

В услугу аренды сервера входит:

• бесплатный трафик: на скорости 100 Мбит/с — безлимитно, на скорости 1 Гбит/c — 30 Тбайт для серверов Chipcore или 5 Тбайт для других серий;
• 1 общий публичный IPv4-адрес;
• автоустановка ОС;
• управление через API;
• бесплатная замена комплектующих в течение 3-х часов в случае выхода оборудования из строя;
• бесплатный DNS-хостинг;
• 3 бесплатные метрики для настройки автоматического мониторинга.

«В прошлом году с переходом в онлайн увеличился спрос со стороны бизнеса на серверы и облачные решения. Даже у небольших компаний ощутимо выросла потребность в надежной инфраструктуре для реализации своих задач и поддержки работы распределенных команд, — рассказал Константин Ефимов, руководитель отдела закупки оборудования, Selectel. — Комбинация преимуществ продуктовых решений Selectel с технологиями виртуализации NVIDIA позволит нашим клиентам быстрее и эффективнее справляться со сложными задачами, связанными с 3D-моделированием, рендерингом, глубокой аналитикой и машинным обучением».

«Мы рады приветствовать Selectel, крупнейшего игрока на рынке облачных инфраструктурных сервисов и услуг дата-центров, в качестве официального облачного провайдера NVIDIA, — отметила Ирина Лобачева, менеджер по работе с партнерами в NVIDIA. — В новом статусе Selectel сможет обеспечить заказчикам еще больше возможностей и гибкости при работе с ресурсоемкими задачами в облаке. Одним из первых заказчиков Selectel, который уже оценил преимущества комплексного решения, стал “ПИК-Проект”, проектное бюро ведущего девелопера России. Для них это стало эффективным инструментом по снижению расходов и повышению удобства при работе с облаком».

Тестирование решений NVIDIA проводится в виртуальной лаборатории NVIDIA, оставить заявку можно на сайте Selectel.

Представлен компактный компьютер промышленного класса Vecow EAC-2000: эта встраиваемая система ориентирована на решение задач, связанных с машинным зрением, искусственным интеллектом, видеонаблюдением и пр. Кроме того, устройство может применяться в составе платформа для Интернета вещей и умных производств.

В основе новинки — модуль NVIDIA Jetson Xavier NX. Его конфигурация включает шестиядерный процессор NVIDIA Carmel, а также GPU на архитектуре Volta с 384 ядрами CUDA и 48 тензорными ядрами, а также двумя NVDLA-акселераторами. Объём оперативной памяти LPDDR4x DRAM составляет 8 Гбайт, ёмкость флеш-модуля eMMC — 16 Гбайт.

Здесь и ниже изображения Vecow

Устройство оснащено четырьмя 1GbE-портами RJ-45, два из них поддерживают технологию PoE+. Система может быть оборудована твердотельным модулем M.2 2280. В перечне опций значатся модули с поддержкой различных технологий беспроводной связи — 5G, 4G, Wi-Fi и Bluetooth. На корпус выведены соответствующие коннекторы для внешних антенн.

Габариты компьютера составляют 150,0 × 106,2 × 62,0 мм, масса — 1,3 кг. Доступны четыре порта USB 3.1 Type-A, два последовательных порта, два разъёма Micro-USB и интерфейс HDMI. В модификации EAC-2100 также есть один DB9-порт CAN Bus 2.0 A/B и четыре порта Fakra Z для GMSL-камер. Диапазон рабочих температур — от -25 до +70 °C. В качестве программной платформы применяется Ubuntu 18.04.

Современные диалоговые комплексы часто строятся на глубоком машинном обучении. Обучение такого рода систем требует существенных вычислительных ресурсов, а главное — эффективного программного обеспечения. Восьмое поколение TensorRT должно ещё больше ускорить и облегчить процесс разработки. Компания активно продвигает свои решения в мире инференс-систем и за последние несколько месяцев объявила о существенном увеличении контрактов на построение «умных» рекомендательных систем.

Количество голосовых помощников год от года увеличивается ударными темпами, но от них также требуется и качество — вряд ли кому-то понравится бот или сервис рекомендаций, не способный справляться со своими обязанностями. Разработки NVIDIA, от компактных плат Jetson до сверхмощных ускорителей A100, позволяют создавать действительно мощные инференс-системы для такого рода задач, но без сопутствующих средств разработки они бесполезны.

Уже предыдущее, седьмое поколение инференс-платформы TensorRT, позволило достичь десятикратного ускорения в диалоговых приложениях по сравнению с их запуском на классических процессорах. В новой, анонсированной только что восьмой версии, NVIDIA продолжила дальнейшую оптимизацию TensorRT.

NVIDIA TensorRT подразумевает высокую степень интеграции

Изменения в новом пакете присутствуют как количественные — производительность выросла вдвое в сравнении с TensorRT 7, — так и качественные — появилась поддержка особенностей архитектуры Ampere и новой технологии Quantization Aware Training (QAT). Помимо чистой производительности также снизилась латентность, теперь минимальное её значение составляет всего 1,2 мс.

Новая версия TensorRT позволит сделать машинный интеллект ещё умнее

Из качественных нововведений первым пунктом следует отметить оптимизацию для работы в режиме Sparsity, в котором редуцируются незначащие параметры, практически не влияющие на результат. TensorRT 8 позволяет не затрачивать существенные ресурсы в таких случаях, экономя как вычислительные такты, так и сохраняя память для более важных данных. Технология QAT же позволяет существенно поднять точность вычислений в режиме INT8 на ускорителях NVIDIA с архитектурой Ampere.

Современные научные исследования немыслимы без масштабных вычислений и компании-разработчики аппаратного обеспечения это хорошо понимают, финансируя программы, нацеленные на помощь науке и образованию. Об инициативе AMD AEIR мы уже рассказывали в одной из предыдущих заметок, а сейчас в чём-то похожую программу запускает NVIDIA.

Исторически сложилось так, что AMD на рынке GPGPU находится в положении догоняющего — сказывается наследие ещё ATI Technologies. Хотя в последнее время ситуация и исправляется, но ускорители Instinct всё ещё не столь популярны, как продукты NVIDIA. Как уже сообщалось ранее, с целью исправить эту ситуацию «красные» запустили проект AEIR, позволяющий учёным и исследователям получить удалённый доступ к новейшему ПО и аппаратным платформам, равно как и к технической и информационной поддержке.

NVIDIA RTX A6000: архитектура Ampere, под условия Hardware Grant Programme подходит

А буквально на днях «зелёные» объявили о старте проекта Hardware Grant Programme. Эта программа позволит академическим кругам получить доступ к современному «железу» — ускорители RTX для рабочих станций с архитектурой Ampere, комплекты разработчика Jetson и высокопроизводительные сетевые сопроцессоры BlueField — и программному обеспечению, разработанному NVIDIA. Также в рамках Hardware Grant Programme некоторые проекты могут получить доступ к сетевой вычислительной инфраструктуре на базе решений NVIDIA.

Поиграть в свободное от исследований время участникам NVIDIA Hardware Grant Programme не удастся

Однако, как отмечает глава новой программы, Ребекка Невин (Rebecca Nevin), в этот список не входят игровые и полупрофессиональные карты серии RTX 3000. Соискатели программы должны представлять известный университет или НИИ и «продемонстрировать понимание того, как технологии NVIDIA могут использоваться для ускорения исследований». Претендовать на бесплатные решения могут и образовательные организации, правда, в обмен на обещание использовать SDK NVIDIA и «предоставлять учащимся возможность отточить свои навыки».

NVIDIA Quadro GV100: «старый, но небесполезный»

Отметим, что для ряда научных вычислений, требующих высокой точности, указанные ускорители подходят не лучшим образом, поскольку даже в серии Quadro производительность в режиме FP64 составляет лишь 1/32 от производительности FP32, а далеко не самый новый ускоритель Quadro GV100 на базе архитектуры Volta может предложить учёным около 8 Тфлопс против 1,25 Тфлопс у новейшего RTX A6000.

Подать заявление на участие в NVIDIA Hardware Grant Programme можно до 23 июля, подробности содержатся на веб-странице проекта. Победители будут оглашены 27 августа, раздача следующей партии запланирована на январь следующего года.

Palo Alto Networks совместно с NVIDIA разработали первый, по словам компаний, виртуальный межсетевой экран нового поколения (NGFW), который активно использует возможности BlueField — сопроцессора для обработки данных (DPU). Он ускоряет фильтрацию пакетов и пересылку данных, снимая нагрузку с центрального процессора.

Это позволяет повысить скорость обработки до 5 раз, а также задействовать интеллектуальную фильтрацию и другие функции работы с трафиком. В целом, такое программно-аппаратное решение позволит существенно увеличить безопасность центров обработки данных и корпоративных сетей. Как отмечается, система поддерживает пропускную способность до 100 Гбит/с.

Разработчики утверждают, что подобная система — первая на рынке. Она способна обнаруживать новые угрозы в сети, предотвращать кражу данных, отслеживать вредоносное ПО и так далее. При этом отмечается, что в обычных случаях до 80 % сетевого трафика в ЦОД проверяется брандмауэрами в принципе. Речь идёт о мультимедийных данных (потоковые видео, музыка и прочее), зашифрованных сессиях и так далее. Их проверка зачастую просто перегрузит CPU брандмауэров, потому они обычно избегают дополнительной инспекции.

Чтобы решить эту проблему, решение NVIDIA и Palo Alto Networks задействует службу Intelligent Traffic Offload (ITO), которая проверяет сетевой трафик, чтобы определить, выиграет ли каждый сеанс от проверки безопасности. Иначе говоря, ITO анализирует потенциальную нагрузку на DPU, чтобы понять, нужно ли проверять пакеты или нет. Это позволяет перенаправлять пакеты через межсетевой экран или напрямую потребителям.

Великобритания в связи с Brexit'ом покинула консорциум EuroHPC и будет развивать сферу высокопроизводительных вычислений самостоятельно, в стране есть целый ряд крупных проектов. А одним из важнейших стал суперкомпьютер Cambridge-1 от NVIDIA, который был построен в рекордные сроки и сегодня официально введён в строй. Как и было обещано, NVIDIA вложила в его создание $100 млн.

В основе Cambridge-1 лежит платформа NVIDIA DGX SuperPOD for Enterprise. Это модульная кластерная система, которая отличается простотой развёртывания, на что и делает упор NVIDIA: от заказчика практически не требуется подготовка вспомогательной инфраструктуры, а срок поставки и установки составляет от нескольких недель. После монтажа система сразу готова к вводу в строй и использованию.

Производительность нового кластера достигает 9,68 Пфлопс в классических FP64-вычислениях, на упрощённых форматах данных, используемых для машинного обучения, она может достигать и 400 Пфлопс. На данный момент Cambridge-1 занимает 41 строчку июньского списка TOP500, 12 место в рейтинге европейских суперкомпьютеров, а в Великобритании это просто самая мощная система. Любопытно, что питается Cambridge-1 исключительно от «зелёных» источников энергии.

Система состоит из 80 модулей DGX A100 (80 Гбайт), имеет NVMe-пул ёмкостью 2 Пбайт, а совокупная пропускная способность интерконнекта InfiniBand HDR достигает 20 Тбайт/с. В качестве сетевых сопроцессоров применены NVIDIA BlueField-2, но в следующем году ожидается замена на более совершенные BlueField-3. DPU позволят упростить развёртывание рабочих нагрузок и управление ими.

Основной задачей для Cambridge-1 станут медицинские и биологические исследования. Глава NVIDIA Дженсен Хуанг (Jensen Huang) заявил, что это «первый серьёзный вклад NVIDIA в грядущую революцию в цифровой биологии». Имя своё новый суперкомпьютер получил неспроста — именно в Кембриджском университете, в Кавендишской лаборатории работали всемирно известные Уотсон и Крик, открывшие структуру ДНК.

Использовать ресурсы системы смогут как академические исследователи, так и коммерческие структуры: к примеру, можно вспомнить сотрудничество NVIDIA с корпорацией AstraZeneca. В рамках нового проекта технологии машинного обучения будут задействованы в «цифровой патологии» для автоматической аннотации многих тысяч снимков срезов тканей, которая должна помочь в поиске новых лекарств.

Ресурсами Cambridge-1 уже успели воспользоваться и другие организации: GSK, Благотворительный фонд Гая и Сент-Томаса, Королевский колледж Лондона, а также компания Oxford Nanopore. Одной из задач стал синтез искусственных, но полностью отвечающих реалиям биологии и нейрофизиологии, изображений мозга, что достигается с помощью машинного обучения на основе десятков тысяч реальных томограмм, полученных от пациентов всех возрастов с различными диагнозами.

Это моделирование поможет лучше понять механику развития нейрозаболеваний, таких как множественный склероз, болезнь Альцгеймера, а также онкологических заболеваний мозга, а значит, сделает прогнозы более точными и быстрыми. Что касается компании Oxford Nanopore, то она занимается методами улучшения и ускорения генетического анализа — благодаря Cambridge-1 секвенирование вместо дней будет занимать часы.

Компания DataDirect Networks (DDN), специализирующаяся в области систем машинного интеллекта и крупных облачных комплексов, представила свои новые разработки. В первую очередь, речь идёт об обновлённой версии ПО EXAScaler, но также анонсированы и новые аппаратные комплексы на базе фирменных систем A³I и решений NVIDIA.

С NVIDIA DDN сотрудничает давно и ещё весной этого года были представлены сертифицированные масштабируемые ИИ-комплексы, сочетающие фирменные наработки компании в области хранения данных и ускорители NVIDIA A100. Эти системы получили название Any-Scale AI (A³I). В этот раз компания объединила СХД A³I с решениями NVIDIA DGX SuperPOD, а также расширила серию фирменных флеш-хранилищ Tintri IntelliFlash.

Системы хранения данных DDN базируются на флеш-массивах EXAScaler, работающих под управлением параллельной файловой системы Lustre. В настоящее время в серию входят 2U-модули ES200NVX и ES400NVX, рассчитанные на установку 24 накопителей NVMe, 4U-модуль SFA7990X, могущий вместить до 90 полноразмерных дисковых устройств формата 3,5″, а также высокоскоростной гибридный 4U-модуль SFA18KX. Последний сочетает в себе SAS и NVMe SSD и может обеспечить производительность 3,2 млн IOPS.

Обновилась и программная часть. Новая, шестая версия фирменного ПО EXA6 получила поддержку пакета технологий NVIDIA Magnum IO GPU DirectStorage, новый управляющий фреймворк EXAScaler Management Framework с API для конфигурации и менеджмента, поддержку апгрейдов в режиме онлайн и автоматический тиринг.

Отдельного упоминания заслуживает функция Hot Nodes. Она автоматически кеширует на узлах c ускорителями NVIDIA и NVMe-накопителями, что позволяет сократить «путешествия» данных по сети, а значит, и снизить задержки ввода-вывода. Как считает DDN, именно Hot Nodes повышает эффективность работы моделей машинного обучения, поскольку те часто требуют повторного обращения к массиву данных, а за счёт кеширования Hot Nodes такие обращения можно провести очень быстро.

Новый аппаратный комплекс DDN включает в себя 20 модулей NVIDIA DGX A100 в составе SuperPOD, систему хранения данных, полностью построенную на базе флеш-памяти, а также сетевую инфраструктуру на базе новейших решений NVIDIA/Mellanox InfiniBand. Новинка, по сути, являет собой полностью законченное конвергентное предложение с готовой инфраструктурой. Оно уже доступно сертифицированным партнёрам DDN и NVIDIA.

Также обновлено фирменное программное обеспечение DDN Insight, предназначенное для конфигурации и мониторинга систем, предлагаемых компанией. Четвёртая версия способна собирать данные на уровне индивидуальных задач, IO-метрики, осуществлять анализ рабочих нагрузок и загрузки ускорителей. Обновление ПО EXAScaler 6 и Insight 4.0 планируется на третий квартал текущего года.

Компания Inspur анонсировала высокопроизводительный сервер NF5488LA5, предназначенный для решения задач, связанных с искусственным интеллектом и глубоким машинным обучением. Особенность устройства заключается в использовании эффективной системы жидкостного охлаждения.

Данная 4U-система построена на базе решения NVIDIA HGX, состоящей из двух процессоров AMD EYPC 7003 и восьми ускорителей NVIDIA A100, объединённых NVSwitch. Система жидкостного охлаждения охватывает все ключевые компоненты, включая коммутатор NVSwitch, центральные процессоры и акселераторы NVIDIA A100. Устройство может быть подключено к мобильному блоку распределения теплоносителя (CDU).

Модель NF5488A5 / Inspur

Благодаря мобильному CDU-блоку RACKCDU-F008 заказчики смогут устанавливать серверы непосредственно в шкафах общего назначения с воздушным охлаждением. При этом не придётся модернизировать всю систему охлаждения в серверной комнате. Отмечается также, что благодаря жидкостному охлаждению сервер может использовать ускорители с максимальным значением TDP 500 Вт.