NVIDIA и NetApp объявили о своей совместной работе над упрощением развертывания ИИ. Подобное партнерство взаимовыгодно, ведь готовые решения для бизнеса лучше продаются, что положительно сказывается на выручке и прибыли обеих компаний.

Искусственный интеллект (ИИ) считается перспективной технологией для многих компаний, однако его внедрение до сих пор достаточно сложное и трудоемкое, а высокая стоимость оборудования накладывает дополнительные ограничения на широкое распространение ИИ в малом и среднем бизнесе.

Платформы ИИ представляют собой многоуровневый стек оборудования и программного обеспечения, для внедрения которых нужна высокая квалификация персонала и значительные затраты на его обучение. Однако внедрением обычно дело не заканчивается, и компании продолжают нести затраты на развитие и поддержку ИИ сервисов.

NetApp ONTAP AI позволяет облегчить внедрение ИИ, предоставляя готовое решение из протестированного оборудования и ПО, которое построено на базе All-Flash СХД NetApp, серверов NVIDIA DGX A100 и сетевого оборудования NVIDIA (Mellanox). Решение предлагается в трех вариантах:

• Small: 2 узла NVIDIA DGX A100, СХД NetApp AFF A400 емкостью от 65 до 131 Тбайт;
• Medium: 4 ущла NVIDIA DGX A100, СХД NetApp AFF A700 емкостью от 131 до 263 Тбайт;
• Large: 8 узла NVIDIA DGX A100, СХД NetApp AFF A800 емкостью от 263 до 526 Тбайт

Готовое решение NetApp ONTAP AI предлагает не только быстрый запуск «под ключ», но и единую сервисную поддержку на все оборудование, что удобно и избавляет клиента от необходимости заключать контракт с каждым поставщиком по отдельности.

Ранее мы уже писали об экспериментальнои проекте ZLUDA, развивающем открытую реализацию CUDA для GPU Intel, которая позволила бы нативно исполнять CUDA-приложения на ускорителях Intel без каких-либо модификаций. При этом её разработка ведётся независимо и от Intel, и от NVIDIA.

Новинка построена на базе интерфейса Intel oneAPI Level Zero, и может работать на картах Intel UHD/Xe с неплохим уровнем производительности. Однако у первой версии был ряд ограничений. Вчера же вышла вторая версия, которая получила ряд улучшений. Кроме того, автор проекта объявил о переходе на модель непрерывного выпуска релизов.

Основной упор в новой версии сделан на улучшение поддержки Geekbench и работы в Windows-окружении. Собственно говоря, автор прямо говорит, что оптимизация под Geekbench пока является основной целью, а другие CUDA-приложения могут не работать. Кроме того, такое ПО, запущенное с помощью ZLUDA будет работать медленнее, чем на картах NVIDIA, в силу разности архитектур GPU и необходимости эмуляции некоторых возможностей. Подробности приведены на странице проекта.

Компания GIGABYTE Technology представила сервер G262-ZR0, предназначенный для решения задач в области ИИ и аналитики данных, а также для построения систем высокопроизводительных вычислений. Новинка использует платформу NVIDIA HGX A100 4-GPU, объединяющую графические ускорители NVIDIA A100, которые связаны высокоскоростным интерфейсом NVLink.

Общая вычислительная нагрузка возложена на два процессора AMD EPYC 7002 (плата MZ62-HD5), каждый из которых может содержать до 64 ядер. Для модулей оперативной памяти доступны 16 слотов: в системе можно задействовать до 4 Тбайт ОЗУ типа DDR4-3200. Предусмотрена возможность установки четырёх 2,5-дюймовых накопителей U.2 NVMe или SATA, а также двух твердотельных модулей M.2 посредством райзер-карты.

Ещё один слот M.2 есть на материнской плате. Также есть один мезонин OCP 3.0 PCI 4.0 x16 и два слота PCI 4.0 x16 во фронтальной части. Все они берует линии непосредственно у процессоров. Ещё четыре слота PCI 4.0 x16 в задней части подключены посредством коммутаторов Broadcom PEX88096. Все слоты рассчитаны на низкопрофильные карты расширения.

Присутствуют два сетевых порта 1GbE LAN на базе контроллера Intel I350-AM2, а также выделенный сетевой порт управления для BMC Aspeed AST2500. Питание обеспечивают два блока с сертификацией 80 PLUS Platinum мощностью 3000 Вт каждый.

На фронтальную панель, помимо гнёзд для сетевых кабелей, выведены два разъёма USB 3.0, а также интерфейс mini-DP. Сервер выполнен в формате 2‎U с габаритами 448 × 86,4 × 760 мм. Подробные характеристики новинки доступны здесь.

Компания Intel выпустила новую версию библиотеки oneDNN (ранее известна как MKL-DNN) с открытым исходным кодом. Она используется для глубокого обучения нейросетей. В новой версии 2.1 теперь есть поддержка ускорителей на базе GPU от NVIDIA, а также ряд улучшений для работы на будущих процессорах Intel.

Отмечается, что новая библиотека оптимизирована для работы с графикой Intel Xe. Улучшилась работа с процессорами Intel Xeon с поддержкой матричных расширений AMX (их получат чипы Sapphire Rapids). Также поддерживаются различные оптимизации AVX-512 и так далее.

Отдельно отметим начальную поддержку будущих процессоров Alder Lake с AVX2 и DL Boost. Есть даже некоторые оптимизации INT8 для процессоров с SSE4.1 и ряд других низкоуровневых улучшений. Помимо этого, есть улучшения для архитектуры AArch64. А сама библиотека в целом стала работать быстрее.

Что касается поддержки GPU NVIDIA, то она пока находится в начальной стадии и полагается на компилятор Intel DPC++, cuDNN и cuBLAS. Тем не менее, это важный шаг для платформы oneAPI, которая обещает стать универсальным средством разработки для различных аппаратных архитектур. Ссылки для скачивания и все подробности о выпуске oneDNN 2.1 можно найти на GitHub.

Подразделение Lenovo Data Center Group (DCG), специализирующееся на системах для центров обработки данных, рассказало о проекте нового комплекса высокопроизводительных вычислений стоимость €20 млн, который будет создан в Нидерландах.

Речь идёт о SURF — суперкомпьютерной инфраструктуре нидерландской ассоциации образовательных и исследовательских учреждений по развитию информационно-коммуникационных технологий. Будущий суперкомпьютер станет самым мощным в стране. В основу платформы лягут серверы Lenovo ThinkSystem на базе процессоров AMD EPYC Rome и Milan.

Изображения surf.nl

Говорится об использовании платформы NVIDIA HGX A100 (4-GPU) для работы с искусственным интеллектом и системами машинного обучения. Пиковая производительность составит 13 петафлопс. Комплекс предусматривает использование жидкостного охлаждения на основе технологии Lenovo Neptune. Её применение позволит значительно снизить потребление электроэнергии при пиковых значениях производительности системы.

Отмечается также, что смарт-коммутаторы NVIDIA Mellanox HDR InfiniBand (200 Гбит/с), которые поддерживают вычисления внутри сети (in-network), обеспечат максимально низкие задержки и высокую пропускную способность сети.

NVIDIA обвинили в мошенничестве из-за теста производительности для систем Big Data. В прошлом году на конференции GTC представители компании заявили, что её система DGX A100 был в 19,5 раз быстрее ближайшего конкурента в тесте TPCx-BB, разработанном Transaction Processing Performance Council (TPC). Однако на этой неделе представители TPC обвинили компанию в нарушении условий использования своего теста и в обходе его ограничений, что позволила искусственно завысить результаты, сообщает The Register.

В NVIDIA утверждали, что её система завершила тест TPCx-BB за 14,5 минут вместо 4,7 часов. Для тестирования использовалась сборка на базе 128 графических ускорителей A100 (16 × DGX A100). При этом NVIDIA не опубликовала свои результаты, а лишь заявила о факте сравнения их с официальными результатами TPC. Это, как отметили в TPC, является нарушением правил тестирования, поэтому приведённые NVIDIA сравнения следует считать недействительными.

Тест TPCx-BB измеряет производительность систем Big Data на базе платформы Hadoop, которая поддерживает GPU-ускорение. Он включает в себя выполнение SQL-запросов к структурированным данным и использует алгоритмы машинного обучения для неструктурированных данных, чтобы имитировать задачи аналитики больших данных в сфере розничной торговли.

26 января компания NVIDIA запустила программу сертифицирования систем, участвующие в которой поставщики смогут предлагать сертифицированные NVIDIA серверы с графическими процессорами A100. Также доступны отдельные контракты на поддержку сертифицированных систем напрямую от NVIDIA.

NVIDIA заявила, что предварительно протестированные системы и контрактная поддержка должны повысить уверенность и упростить развёртывание для тех, кто решил заняться ИИ. Системы, сертифицированные NVIDIA, смогут запускать контейнеры NVIDIA NGC с рабочими инструментами ИИ.

«Сегодня у нас есть 13 или 14 систем как минимум пяти OEM-производителей, сертифицированных NVIDIA. Мы рассчитываем сертифицировать до 70 систем от почти десятка OEM-производителей, которые уже участвуют в этой программе», — сообщил в блоге Адель Эль-Халлак (Adel El-Hallak), директор по управлению продуктами NGC. Он упомянул в блоге первые сертифицированные системы:

• Стоечные серверы Dell EMC PowerEdge R7525 и R740
• Системы GIGABYTE R281-G30, R282-Z96, G242-Z11, G482-Z54, G492-Z51
• Система HPE Apollo 6500 Gen10 и сервер HPE ProLiant DL380 Gen10
• Inspur NF5488A5
• Supermicro A+ серверы AS -4124GS-TNR и AS -2124GQ-NART

Ожидается, что крупные, технически продвинутые заказчики, такие как гиперскейлеры и крупные предприятия, не станут покупателями систем, сертифицированных NVIDIA, но ими могут заинтересоваться менее крупные компании и новички в области ИИ.

«Существует определённый призыв к конечным пользователям быть уверенными в том, что аппаратное и программное обеспечение оптимизированы и что этот пакет официально „сертифицирован“. Это избавляет их от необходимости самостоятельно оптимизировать систему или исследовать различные предложения на рынке для достижения оптимальной производительности на основе трудноинтерпретируемых критериев», — Питер Руттен (Peter Rutten), директор по исследованиям группы инфраструктурных систем, платформ и технологий IDC.

NVIDIA не представила подробный список тестов для проведения сертификации, но Эль-Халлак дал следующее описание:

«Все начинается с разных нагрузок. Мы тестируем обучение и инференс ИИ, алгоритмы машинного обучения, инференс ИИ на периферии, например, потоковую передачу видео, потоковую передачу голоса и рабочие нагрузки HPC. По сути, мы устанавливаем базовый уровень, порог, если хотите, внутри компании. Мы предоставляем нашим OEM-партнерам советы по обучению, которые затем запускают рабочие нагрузки. Поэтому мы делаем такие вещи, как тестирование с разными размерами пакетов, с разными условиями и тестирование на одном или нескольких графических процессорах».

«Мы [также] тестируем множество различных вариантов использования. Мы рассмотрим варианты использования компьютерного зрения. Смотрим на модели машинного перевода. Мы тестируем линейную скорость, когда два узла соединены вместе, чтобы обеспечить оптимальную сеть и полосу пропускания. С точки зрения масштабируемости, мы тестируем экземпляр MIG, то есть часть графического процессора, один графический процессор, несколько графических процессоров [и] несколько узлов. Мы также тестируем GPUDirect RDMA, чтобы убедиться, что существует прямой путь для обмена данными между графическим процессором и устройствами сторонних производителей. Наконец, для обеспечения безопасности мы проверяем шифрование данных с помощью встроенных средств безопасности, таких как TLS и IPsec. Мы также изучаем TPM, чтобы обеспечить аппаратную безопасность устройства», — добавил Эль-Халлак.

Доказанная способность запускать NGC является ключевым элементом. NGC — это хаб NVIDIA для программного обеспечения с ускорением на GPU, контейнерных приложений, структур искусственного интеллекта, SDK для конкретных предметных областей, предварительно обученных моделей и других ресурсов.

NVIDIA заявила, что OEM-производители или другие партнёры не платят за участие в программе сертификации NVIDIA. Стоимость поддержки программного обеспечения сертифицированных NVIDIA систем для клиентов зависит от системы и от её конфигурации. Например, NVIDIA сообщила, что стоимость поддержки «объёмных» серверов с двумя графическими процессорами A100 составляет около «$4299 на систему с трёхлетним сроком поддержки, который клиенты могут продлить».

Компания GIGABYTE анонсировала стоечный сервер R282-Z96 на аппаратной платформе AMD: новинка может применяться для решения различных задач, связанных с высокопроизводительными вычислениями, а также хранением и обработкой данных. Сервер получил статус NVIDIA Certified, что свидетельствует о готовности системы к ИИ-нагрузкам.

Устройство выполнено в форм-факторе 2U с размерами 438 × 87 × 730 мм. Допускается установка двух процессоров EPYC 7002, каждый из которых может содержать до 64 вычислительных ядер при показателе TDP до 225 Вт.

Для модулей оперативной памяти DDR4-3200/2933 есть 32 слота: в системе можно задействовать до 4 Тбайт ОЗУ. За сетевые подключения отвечают два порта 1GbE LAN; кроме того, предусмотрен выделенный гигабитный порт управления.

Сервер допускает установку до 12 накопителей типоразмера 3,5/2,5 дюйма. Доступны четыре слота PCIe 4.0 x16 для полноразмерных карт расширения, по одному слоту OCP 3.0 Mezzanine (PCIe 4.0 x16) и OCP 2.0 Mezzanine (PCIe 3.0 x8), коннектор М.2 для быстрого твердотельного модуля стандарта 2242/2260/2280/22110 с интерфейсом PCIe 4.0 x16.

На фронтальную панель выведены два порта USB 3.0. Сзади находятся ещё два разъёма USB 3.0, гнёзда для сетевых кабелей, аналоговый коннектор D-Sub для вывода изображения. Питание обеспечивают два блока мощностью 2000 Вт с сертификацией 80 PLUS Platinum.

Мы уже писали про VAST Data и ее сверхбыстрое хранилище данных LightSpeed. А на днях VAST Data совместно с NVIDIA представила эталонную архитектуру на базе собственной универсальной платформы хранения и NVIDIA DGX A100. Новая архитектура предназначена для высокопроизводительных вычислений, искусственного интеллекта и анализа больших данных, которые предъявляют повышенные требования к хранилищу данных.

Обычно при построении архитектуры для высокопроизводительных вычислений предприятиям приходилось выбирать: высокопроизводительные графические ускорители или высокопроизводительное хранилище данных на основе традиционных ЦП, что снижало эффективность вычислений и являлось сдерживающим фактором для построения масштабных систем.

Построенная на недавно выпущенной платформе LightSpeed VAST Data и универсальной системе NVIDIA DGX A100 архитектура использует уникальные возможности VAST, такие как NFS-over-RDMA, NFS Multipath, поддержку NVIDIA GPUDirect Storage и конвергентные сетевые подключения. Все это дает VAST Data высокую производительность: более 140 Гбайт/с для интенсивных рабочих нагрузок.

Система включает All-Flash СХД VAST Data LightSpeed, четыре NVIDIA DGX A100 и коммутаторы Mellanox Quantum Infiniband и Spectrum Ethernet. Новая эталонная архитектура от VAST Data поможет предприятиям быстрее внедрить аналитику больших данных на основе ИИ, используя готовое решение, без долгого подбора оборудования и настройки под высокопроизводительные вычисления.

2020 год запомнится многим не только пандемией COVID-19, но и ростом роли искусственного интеллекта (ИИ), который стал повсеместно использоваться в фармацевтической и нефтегазовой отрасли, в научно-исследовательских лабораториях, банковской сфере и многих других отраслях, где требуется глубокий анализ данных. Облачные сервисы – второй по популярности тренд 2020 года. Многие предприятия перенесли свои рабочие нагрузки в облака, а разработчики уже давно используют облачные сервисы, например, Amazon Web Services (AWS) для проектирования систем ИИ.

Одним из основных поставщиков решений для ИИ является NVIDIA, графические ускорители (GPU) которой используются в большинстве задач по анализу и обработке данных. NVIDIA предлагает инструменты для разработки приложений и готовые решения, которые упрощают процесс интеграции ИИ в такие отрасли, как распознавание речи, робототехника, построение теоретических моделей и многие другие.

NVIDIA и AWS объявили о партнерстве, предложив инструменты NVIDIA в магазине приложений AWS. Портфолио включает 21 бесплатный инструмент для помощи в создании ИИ-приложений с использованием GPU. Подобные инструменты особенно востребованы в здравоохранении, финансах, розничной торговле, построении систем умных городов и других применениях, где используется ИИ.

NVIDIA предлагает ПО с ускорением на GPU в своем каталоге NVIDIA GPU-optimize cloud (NGC) с 2017 года и некоторые отдельные инструменты были доступны в магазине приложений AWS, однако это первый случай, когда в AWS будут размещены все инструменты NVIDIA. Но как это реализовано?

NGC включает контейнеры с ПО, которое изначально оптимизировано для работы в облачных инстансах с GPU, такими как Amazon EC2 P4d на базе новейшего процессора NVIDIA A100. Разработчики получают все необходимое в одном готовом контейнере, поэтому они могут легко перемещать рабочие GPU-нагрузки между платформами.

NVIDIA утверждает, что 250 тыс. пользователей уже загрузили более 1 млн контейнеров, предварительно обученных моделей, фреймворков приложений, диаграмм Helm и других ресурсов машинного обучения из каталога NGC. В список самых популярных среди разработчиков ПО для ИИ вошли следующие инструменты:

• NVIDIA AI: набор фреймворков и инструментов, таких как MXNet и TensorFlow;
• NVIDIA Clara Imaging: оптимизированная для предметной обработки изображений платформа, с возможностью глубокого обучения и логических выводов в медицинской отрасли;
• NVIDIA DeepStream SDK: мультиплатформенное ПО аналитики для развертывания на периферии и в любом облаке;
• NVIDIA HPC SDK: набор библиотек и программных инструментов для высокопроизводительных вычислений;
• NVIDIA Isaak Sim ML Training: набор инструментов для машинного обучения в сфере робототехники, с применением нейронных сетей для обнаружения и распознавания объектов;
• NVIDIA Merlin: открытая бета-платформа для создания крупномасштабных платформ машинного обучения, для выдачи рекомендаций;
• NVIDIA NeMo: набор инструментов Python с открытым исходным кодом для построения ИИ-моделей разговорного языка;
• RAPIDS: набор открытых библиотек и программного обеспечения для анализа данных.

Благодаря партнерству с AWS NVIDIA хочет ускорить процесс внедрения и распространения своих инструментов ИИ для более широкого круга клиентов. Разработчики получат простое в развертывании ПО, снижение сложности проектируемых систем и единый магазин приложений со всеми необходимыми инструментами.