Компания NVIDIA сообщила о том, что суперчип NVIDIA GH200 Grace Hopper и ускоритель H100 лидируют во всех тестах производительности ЦОД в бенчмарке MLPerf Inference v3.1 для генеративного ИИ, который включает инференс-задачи в области компьютерного зрения, распознавания речи, обработки медицинских изображений, а также работу с большими языковыми моделями (LLM).

Ранее NVIDIA уже объявляла о рекордах H100 в новом бенчмарке MLPerf. Теперь говорится, что суперчип GH200 Grace Hopper впервые прошёл все тесты MLPerf. Вместе с тем системы, оснащенные восемью ускорителями H100, обеспечили самую высокую пропускную способность в каждом тесте MLPerf Inference. Решения NVIDIA прошли обновленное тестирование в области рекомендательных систем (DLRM-DCNv2), а также выполнили первый эталонный тест GPT-J — LLM с 6 млрд параметров.

Примечательно, что GH200 оказался до 17 % быстрее H100, хотя чип самого ускорителя в обоих продуктах один и тот же. NVIDIA объясняет это несколько факторами. Во-первых, у GH200 больше набортной памяти — 96 Гбайт против 80 Гбайт. Во-вторых, ПСП составляет 4 Тбайт/с, а сам чип является гибридным, так что для передачи данных между LPDDR5x и HBM3 не используется PCIe. В-третьих, GH200 при низкой нагрузке на CPU умеет отдавать часть энергии ускорителю, оставаясь в заданных рамках энергопотребления. Правда, в тестах GH200 работал на полную мощность, т.е. с TDP на уровне 1 кВт (UPD: NVIDIA уточнила, что реально потребление GH200 под полной нагрузкой составляет 750–800 Вт).

Источник изображений: NVIDIA

Отдельно внимание уделено оптимизации ПО — на днях NVIDIA анонсировала открый программный инструмент TensorRT-LLM, предназначенный для ускорения исполнения LLM на продуках NVIDIA. Этот софт даёт возможность вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). NVIDIA отмечает, что улучшение ПО позволяет клиентам с течением времени повышать производительность ИИ-систем без дополнительных затрат.

Также отмечается, что модули NVIDIA Jetson Orin благодаря новому ПО показали прирост производительности до 84 % на задачах обнаружения объектов по сравнению с предыдущим раундом тестирования MLPerf. Ускорение произошло благодаря задействованию Programmable Vision Accelerator (PVA), отдельного движка для обработки изображений и алгоритмов компьютерного зрения работающего независимо от CPU и GPU.

Сообщается также, что ускоритель NVIDIA L4 в последних тестах MLPerf выполнил весь спектр рабочих нагрузок, показав отличную производительность. Так, в составе адаптера с энергопотреблением 72 Вт этот ускоритель демонстрирует в шесть раз более высокое быстродействие, нежели CPU, у которых показатель TDP почти в пять раз больше. Кроме того, NVIDIA применила новую технологию сжатия модели, что позволило продемонстрировать повышение производительности в 4,4 раза при использовании BERT LLM на ускорителе L4. Ожидается, что этот метод найдёт применение во всех рабочих нагрузках ИИ.

В число партнёров при проведении тестирования MLPerf вошли поставщики облачных услуг Microsoft Azure и Oracle Cloud Infrastructure, а также ASUS, Connect Tech, Dell Technologies, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Lenovo, QCT и Supermicro. В целом, MLPerf поддерживается более чем 70 компаниями и организациями, включая Alibaba, Arm, Cisco, Google, Гарвардский университет, Intel, Meta✴, Microsoft и Университет Торонто.

Компания AAEON, принадлежащая ASUS, представила индустриальный мини-компьютер Boxer-8621AI для задач ИИ и машинного обучения. Новинка, выполненная на аппаратной платформе NVIDIA Jetson Orin Nano, уже доступна для предварительного заказа.

Устройство заключено в корпус с размерами 105 × 90 × 52 мм. Задействованный модуль Jetson Orin Nano содержит шесть вычислительных ядер Arm Cortex-A78AE ARMv8.2, а также GPU Ampere с 512 ядрами CUDA и 16 тензорными ядрами. Объём оперативной памяти LPDDR5 составляет 4 Гбайт.

Источник изображения: AAEON

Мини-компьютер оснащён пассивным охлаждением, а диапазон рабочих температур простирается от -15 до +60 °C. Есть разъём M.2 3042/3052 B-Key для модема 4G/5G (имеется слот для SIM-карты), коннектор M.2 2242 B-Key и M-Key для SSD, а также разъём M.2 2230 E-Key для комбинированного адаптера Wi-Fi/Bluetooth. Предусмотрен контроллер 1GbE с гнездом RJ-45 для сетевого кабеля.

Модель Boxer-8621AI располагает двумя портами USB 3.2 Gen2 Type-A и двумя разъёмами USB 2.0 Type-A, последовательными портами RS-232/422/485, коннектором Micro-USB, интерфейсом HDMI 1.4 и гнёздами для подключения антенны Wi-Fi. Питание подаётся через DC-разъём (12–24 В). Говорится о совместимости с Linux. При необходимости компьютер может монтироваться на стену.

ASUS IoT, подразделение ASUS по выпуску умных устройств для Интернета вещей, объявило о выходе компактного безвентиляторного компьютера PE1100N, предназначенного для решения ИИ-задач на периферии. В основу новинки положена аппаратная платформа NVIDIA.

Представлены версии с модулем Jetson Orin Nano и Jetson Orin NX. Задействован GPU с 512- или с 1024-ядерным ускорителем NVIDIA Ampere. Объём оперативной памяти LPDDR5 может составлять 4, 8 или 16 Гбайт.

Устройство заключено в корпус с габаритами 152 × 114 × 72 мм. Ребристая внешняя поверхность выполняет функции радиатора для отвода тепла. Диапазон рабочих температур простирается от -20 до +60 °C.

Источник изображения: ASUS IoT

Компьютер располагает коннектором M.2 2242/2260/2280 для SSD с интерфейсом PCIe, слотом M.2 E key 2230 для адаптера Wi-Fi/Bluetooth (PCIe, USB 2.0, I2C и PCM) и коннектором M.2 B key 3042/3052 для модуля 4G/5G (PCIe, USB 2.0/3.0). Есть два разъёма для карт nano-SIM. В оснащение включён двухпортовый сетевой контроллер 1GbE, а опционально можно добавить приёмник GPS.

Новинка снабжена тремя портами USB 3.2 Gen1 Type-A, интерфейсом HDMI 1.4a или HDMI 2.0b, двумя гнёздами RJ-45 для сетевых кабелей, двумя последовательными портами, гнёздами для подключения антенн, портом Micro-USB и пр. Вес составляет 1,4 кг. Допускается монтаж на стену. В качестве программной платформы применяется Ubuntu.

Модули Jetson AGX Orin для создания компактных ИИ-платформ были анонсированы ещё осенью прошлого года, и их характеристики были подробно нами разобраны в соответствующей заметке. Теперь компания NVIDIA завершила их адаптацию к промышленным условиям, представив обновлённые модели с приставкой Industrial в названии, которые могут стать основой, к примеру, промышленных роботов и тому подобных устройств.

Новинки всё так же включают модуль Jetson AGX Orin 64GB, оснащённый 12-ядерным SoC на базе архитектуры Arm Cortex-A78AE (v8.2) и 2048 ядер CUDA с архитектурой Ampere. Тактовые частоты составляют 2 и 1,2 ГГц соответственно: частота CPU была специально немного снижена для обеспечения надёжной работы в тяжёлых температурных режимах.

Объём оперативной памяти вырос с изначальных 32 до 64 Гбайт (сейчас доступна также 64GB-версия Orin), но что более важно — в новых моделях используется ECC-память, что важно для промышленных систем, в том числе, работающих в режиме реального времени, где цена ошибки может быть очень высокой.

Источник здесь и далее: NVIDIA

Предприняты и некоторые другие меры: в частности, процессор имеет усиленное крепление к плате, а пространство под важными элементами заливается специальным компаундом. Всё это позволяет AGX Orin Industrial работать без перебоев при температурах окружающей среды от -40 до +85 °C, влажности до 85%, а также ударных нагрузках 50G в течение 11 мс. Кроме того, жизненный цикл Industrial составляет 10 лет, а не 7 как у обычного AGX Orin.

Сравнительные характеристики модулей Orin и Orin Industrial

В ИИ-задачах новинка развивает до 248 Топс (INT8) при потреблении 75 Вт, что больше, нежели у обычной версии. В продажу модули NVIDIA Jetson AGX Orin Industrial поступят в июле и будут дороже своих «неиндустриальных» собратьев, но сохранят с ними полную логическую, электрическую и программную совместимость.

Компания Axiomtek анонсировала систему AIE110-XNX для разработчиков, проектирующих различные ИИ-устройства для периферийных вычислений. В основу изделия положена аппаратная платформа NVIDIA, а в качестве ОС может применяться Ubuntu 18.04 и более поздние версии.

Задействован модуль Jetson Xavier NX, который содержит шестиядерный процессор NVIDIA Carmel, а также GPU на архитектуре Volta с 384 ядрами CUDA и 48 тензорными ядрами. Имеются два акселератора NVDLA. Заявленная производительность на ИИ-операциях достигает 21 TOPS. Новинка несёт на борту 8 Гбайт оперативной памяти LPDDR4x и флеш-модуль eMMC вместимостью 16 Гбайт.

Источник изображения: Axiomtek

Дополнительно можно установить SSD формата M.2 2280 с интерфейсом PCIe x4 (NVMe) и карту microSD. Есть разъём mPCIe и слот для SIM-карты: это позволяет добавлять опциональные модули Wi-Fi/Bluetooth/GPS и 4G. Присутствуют два сетевых порта 1GbE, один из которых имеет поддержку PoE (Intel i210-IT; до 15 Вт).

В набор разъёмов входят два гнезда RJ-45 для сетевых кабелей, по одному порту USB 3.2 Gen2, USB 2.0 и Micro-USB, интерфейс HDMI 2.0 с поддержкой видео 4Kp60 и гнездо для подачи питания (12 В). Габариты составляют 165 × 117 × 37,7 мм, вес — 300 г. Применена система активного охлаждения с радиатором и вентилятором. Диапазон рабочих температур — от -10 до +60 °C.

Компания Seeed Studio, по сообщению CNX-Software, представила компьютеры небольшого форм-фактора reComputer Industrial, предназначенные для решения различных задач в сфере ИИ, в том числе на периферии. В основу новинок положены модули NVIDIA Jetson.

Дебютировали четыре версии: reComputer Industrial J2011 на базе Jetson Xavier NX (8 Гбайт) и reComputer Industrial J3011 с Jetson Orin Nano NX (8 Гбайт), а также reComputer Industrial J4011 и reComputer Industrial J4012 на основе Jetson Orin NX с 8 и 16 Гбайт памяти соответственно.

Источник изображения: CNX-Software

Все устройства заключены в алюминиевый корпус с габаритами 159 × 155 × 57 мм; применена система пассивного охлаждения. Диапазон рабочих температур простирается от -20 до +60 °C. Питание подаётся через DC-разъём (12–24 В).

Допускается установка SSD формата M.2 2280 с интерфейсом PCIe 4.0 (NVMe), опциональных модулей Wi-Fi/Bluetooth, 4G/5G (M.2 Key-B, плюс слот для карты Nano SIM) и LoRaWAN (mini PCIe). Есть два сетевых контроллера 1GbE, один из которых имеет поддержку PoE (до 15 Вт). В набор разъёмов входят порты USB 3.2 Gen1 (×3), USB 2.0 Type-C (×2), интерфейс HDMI 2.0, два гнезда RJ-45, последовательный порт, интерфейс MIPI CSI (×2) и пр.

Компьютеры поставляются с платформой Ubuntu 20.04. Цена варьируется от $900 до $1200 в зависимости от модификации.

Компания NVIDIA анонсировала комплект для разработчиков Jetson Orin Nano Developer Kit. Решение предназначено для создания интеллектуальных роботов, дронов, систем видеонаблюдения и других устройств с ИИ-функциями. Утверждается, что по сравнению с оригинальной платформой Jetson Nano Developer Kit достигается 80-кратный прирост общего быстродействия и 50-кратное увеличение производительности в расчёте на 1 Вт затрачиваемой энергии.

Новинка имеет размеры 100 × 79 × 21 мм. В состав CPU входят шесть вычислительных ядер Arm Cortex-A78AE v8.2 с тактовой частотой до 1,5 ГГц. Имеется 1024-ядерный графический блок с архитектурой Ampere (32 тензорных ядра). Заявленное быстродействие на ИИ-операциях достигает 40 Топс.

Источник изображения: NVIDIA

В оснащение включены 8 Гбайт памяти LPDDR5, слот для карты microSD, разъёмы M.2 Key M (PCIe 3.0 x4), M.2 Key M (PCIe 3.0 x2) и M.2 Key E (PCIe x1, USB 2.0, UART, I2S, I2C). Есть 40-контактная колодка с поддержкой UART, SPI, I2S, I2C, GPIO. Кроме того, упомянуты два интерфейса камеры MIPI CSI-2.

Решение способно справляться с кодированием видео в формате 1080p30, а также с декодированием материалов 4K60 (H.265) или 11 потоков 1080p30 (H.265). Предусмотрены 1GbE-контроллер, четыре порта USB 3.2 Gen2, разъём USB Type-C, коннектор DisplayPort 1.2 (+MST). Энергопотребление варьируется от 7 до 15 Вт. Применена система активного охлаждения с радиатором и вентилятором. Стоит комплект Jetson Orin Nano Developer Kit около $500.

Компания NVIDIA полна решимости занять лидирующие позиции на рынке робототехники: помимо новой платформы IGX, предназначенной для «умной» промышленности и медицины, на конференции GTC 2022 она представила и другие новинки в этой сфере. В частности, анонсированы новые модули в серии Jetson.

Если в основу IGX лёг старший вариант, Jetson AGX Orin (Arm Cortex-A78AE + 1792 ядра Ampere + 56 тензорных ядер), то для более простых сценариев, требующих пониженного энергопотребления, он подходит не лучшим образом. Но именно для таких случаев предназначено пополнение серии — Jetson Orin Nano.

NVIDIA Jetson Orin Nano 8GB (слева) и 4GB. Здесь и далее источник изображений: NVIDIA

Архитектурно Orin Nano похож на старшего собрата, но вычислительных ресурсов у него поменьше: 6 ядер Arm Cortex-A78AE и кластер GPC Ampere, состоящий из 1024 ядер CUDA и 32 тензорных ядер. Имеется отдельный процессор управления питанием, широко развиты подсистемы различных шин, от SPI, CAN и I2C до USB 3.2 Gen2, Ethernet и PCIe 3.0.

Архитектура процессора Orin Nano

Доступны новые модули будут в самом начале следующего года по цене от $199, причём изначально компания планирует выпустить два варианта, с 4 и 8 Гбайт оперативной памяти LPDDR5. Старший вариант будет сконфигурирован в рамках теплопакета 7–15 Вт, его пиковая производительность в INT8 составит 40 Топс. Младший вариант с усечённой вдвое конфигурацией GPU будет ограничен 5–10 Вт и 20 Топс.

Характеристики семейства Jetson Orin Nano

Модули Orin Nano совместимы по контактам с Orin NX и имеют тот же форм-фактор, 70 × 45 мм SODIMM, но за счёт использования более продвинутой архитектуры в задачах инференса новинки могут опережать предшественников в 80 раз. Благодаря обновлению фирменного SDK начать разработку приложений под Orin Nano заказчики смогут уже сейчас, пусть и в режиме эмуляции.

Компания NVIDIA сообщила о доступности высокопроизводительного модуля Jetson AGX Orin, предназначенного для создания ИИ-решений нового поколения для робототехники, автономного транспорта и встраиваемых устройств. В настоящее время можно приобрести версию изделия с 32 Гбайт памяти LPDDR5, а в ноябре появится вариант с 64 Гбайт ОЗУ.

Модуль Jetson AGX Orin 32 Гбайт использует архитектуру NVIDIA Ampere с 1792 ядрами CUDA (939 МГц) и 56 тензорными ядрами. Задействован 8-ядерный процессор Arm Cortex-A78AE с максимальной тактовой частотой 2,2 ГГц. Решение обеспечивает производительность до 200 Топс (в операциях INT8). Габариты составляют 100 × 87 мм, энергопотребление — от 15 до 40 Вт. Стоит модуль $899.

Источник изображений: NVIDIA

В оснащение входят два ускорителя глубокого обучения NVDLA v2.0, а также ускоритель компьютерного зрения PVA v2.0. Вместимость встроенного флеш-накопителя eMMC 5.1 составляет 64 Гбайт. Доступны сетевые порты 1GbE и 10GbE. Упомянута поддержка до шести камер, трёх разъёмов USB 3.2, интерфейсов PCIe 4.0, 4×UART, 3×SPI, 4×I2S, 8×I2C, 2×CAN, PWM, DMIC & DSPK, GPIO.

В свою очередь, 64-Гбайт версия Jetson AGX Orin выполнена на архитектуре Ampere с 2048 ядрами CUDA (1,3 ГГц) и 64 тензорными ядрами. Применён 12-ядерный процессор Arm Cortex-A78AE (2,2 ГГц). Энергопотребление — от 15 до 60 Вт Максимальная производительность — 275 TOPS. Данное решение обойдётся в $1599. Отмечается, что коммерческие продукты на базе новинок подготовили почти три десятка партнёров NVIDIA.

Компания Axiomtek анонсировала компактное устройство AIE100-T2NX, предназначенное для поддержания работы ИИ-приложений на периферии. В основу решения положена аппаратная платформа NVIDIA Jetson с возможностью использования комплекта для разработчиков NVIDIA JetPack SDK. В продажу новинка поступит в ближайшее время, но цена пока не раскрывается.

Задействован вычислительный модуль Jetson TX2 NX. Он содержит два ядра NVIDIA Denver 2 и четыре ядра Arm Cortex-A57 MPCore с тактовой частотой до 2,0 ГГц. Кроме того, присутствует ускоритель с архитектурой NVIDIA Pascal, насчитывающий 256 ядер CUDA. Конфигурация модуля включает 4 Гбайт оперативной памяти LPDDR4 и флеш-накопитель eMMC вместимостью 16 Гбайт. Edge-система Axiomtek AIE100-T2NX выполнена в корпусе с габаритами 148,6 × 129,8 × 34,6 мм, а вес равен 1 кг.

Источник изображений: Axiomtek

Диапазон рабочих температур простирается от -30 до +60 °C. При этом устройство довольствуется пассивной системой охлаждения. Новинка располагает сетевыми адаптерами 1GbE (Jetson TX2 NX) и 1GbE PoE (Intel i210-IT; подача до 15 Вт энергии), слотом для твердотельного модуля M.2 2280 PCIe x4 NVMe, разъёмом для карты microSD, слотом Mini PCI Express и разъёмом для SIM-карты. Есть интерфейс HDMI 2.0, по одному порту USB 3.1 Gen1, USB 2.0 и Micro-USB. Заявлена совместимость с Ubuntu Linux 18.04.