Хотя сенсоры многочисленных орбитальных спутников собирают немало информации, у космических аппаратов не хватает вычислительных способностей, чтобы обрабатывать данные на месте. TechCrunch сообщает, что стартап Aethero намерен стать «Intel или NVIDIA в космической индустрии» — компания разрабатывает защищённые от радиации компьютеры для периферийных вычислений на спутниках.

Несколько лет назад основатели Aethero создали стартап Stratodyne, занимавшийся строительством стратостатов для дистанционного зондирования (ДЗЗ). Позже компания закрылась, а создатели вернулись к изучению встраиваемых систем для агрессивных сред.

Как заявляет Aethero, современные компьютеры для космоса используют устаревшие FPGA и не способны выполнять сложные вычисления вроде тренировки на орбите ИИ-моделей или обслуживания систем компьютерного зрения. Aethero, привлёкшая $1,7 млн, намерена только в этому году трижды отправить свои разработки в космос. Одна из миссий будет выполнена SpaceX уже в июне. Целью является демонстрация работоспособности прототипов вроде возможности обновления набортных моделей компьютерного зрения или тренировки таких моделей непосредственно в космосе на собранных здесь же данных.

Источник изображений: Aethero

Космический компьютер первого поколения ECM-NxN использует чип NVIDIA Jetson Orin Nano. В компании утверждают, что сегодня это лучший периферийный ИИ-ускоритель на рынке, а надёжное оборудование собственной разработки позволит сохранить его работоспособность на низкой околоземной орбите в течение 7–10 лет. При этом платформа уместится даже в небольшом аппарате вроде кубсата и обеспечивает производительность в 20 раз выше в сравнении с уже существующими решениями.

Впоследствии Aethero намерена выпустить более крупный модуль ECM-NxA на базе NVIDIA AGX, а потом перейти к разработке собственного RISC-V чипа для модуля ECM-0x1. Утверждается, что тот будет потреблять меньше энергии и будет производительнее, чем продукты техногигантов. Выпуск планируется совместно с Intel приблизительно в 2026 году, хотя обстоятельства могут измениться.

В Aethero отмечает, что подобные решения могут быть интересны операторам ДЗЗ, орбитальным сервисам и будущим частным космическим станциям. Например, только МКС генерирует терабайты данных ежедневно, напоминает компания. Правда, на МКС работает уже второе поколение космического суперкомпьютера HPE Spaceborne-2, разработчики которого отмечали проблемы с SSD и кешами процессоров из-за радиации. На МКС была протестирована и edge-платформа AWS Snowcone. Более того, ИИ-софт AWS для анализа снимков уже успел поработать на низкоорбитальном спутнике.

Lattice Semiconductor представила на конференции для разработчиков Lattice Developers Conference новую эталонную платформу для ускорения разработки периферийных ИИ-решений использованием платформ NVIDIA Jetson Orin и IGX Orin. Сотрудничество Lattice с NVIDIA нацелено на повышение эффективности подключения сенсоров к приложениям для ИИ-обработки, что позволит расширить возможности сообщества разработчиков открытых платформ.

Согласно пресс-релизу, эталонная open source плата, основанная на энергоэффективных FPGA Lattice и аппаратной платформе NVIDIA Orin, предназначена для удовлетворения потребностей разработчиков в подключении к разнообразным датчикам и интерфейсам, при разработке масштабируемых высокопроизводительных периферийных ИИ-приложений с низким уровнем задержкидля нужд здравоохранения, робототехники, встраиваемых систем визуализации и т.д. Эталонная плата пока доступна лишь избранным клиентам, но Lattice планирует расширить доступ к решению и примерам приложений в I половине 2024 года.

Источник изображения: Lattice Semiconductor

«Мы рады сотрудничеству с NVIDIA, которое позволит расширить возможности наших эталонных решений, предлагая больше инноваций нашим клиентам и экосистеме, чтобы помочь упростить и ускорить внедрение периферийных приложений ИИ», — заявил директор по стратегии и маркетингу Lattice Semiconductor. В свою очередь директор по управлению встраиваемыми ИИ-продуктами NVIDIA отметил, что сотрудничество с Lattice позволит ускорить инновации в области обработки показаний датчиков и упростить развёртывание приложений ИИ «от периферии до облака».

Компания NVIDIA сообщила о том, что суперчип NVIDIA GH200 Grace Hopper и ускоритель H100 лидируют во всех тестах производительности ЦОД в бенчмарке MLPerf Inference v3.1 для генеративного ИИ, который включает инференс-задачи в области компьютерного зрения, распознавания речи, обработки медицинских изображений, а также работу с большими языковыми моделями (LLM).

Ранее NVIDIA уже объявляла о рекордах H100 в новом бенчмарке MLPerf. Теперь говорится, что суперчип GH200 Grace Hopper впервые прошёл все тесты MLPerf. Вместе с тем системы, оснащенные восемью ускорителями H100, обеспечили самую высокую пропускную способность в каждом тесте MLPerf Inference. Решения NVIDIA прошли обновленное тестирование в области рекомендательных систем (DLRM-DCNv2), а также выполнили первый эталонный тест GPT-J — LLM с 6 млрд параметров.

Примечательно, что GH200 оказался до 17 % быстрее H100, хотя чип самого ускорителя в обоих продуктах один и тот же. NVIDIA объясняет это несколько факторами. Во-первых, у GH200 больше набортной памяти — 96 Гбайт против 80 Гбайт. Во-вторых, ПСП составляет 4 Тбайт/с, а сам чип является гибридным, так что для передачи данных между LPDDR5x и HBM3 не используется PCIe. В-третьих, GH200 при низкой нагрузке на CPU умеет отдавать часть энергии ускорителю, оставаясь в заданных рамках энергопотребления. Правда, в тестах GH200 работал на полную мощность, т.е. с TDP на уровне 1 кВт (UPD: NVIDIA уточнила, что реально потребление GH200 под полной нагрузкой составляет 750–800 Вт).

Источник изображений: NVIDIA

Отдельно внимание уделено оптимизации ПО — на днях NVIDIA анонсировала открый программный инструмент TensorRT-LLM, предназначенный для ускорения исполнения LLM на продуках NVIDIA. Этот софт даёт возможность вдвое увеличить производительность ускорителя H100 в тесте GPT-J 6B (входит в состав MLPerf Inference v3.1). NVIDIA отмечает, что улучшение ПО позволяет клиентам с течением времени повышать производительность ИИ-систем без дополнительных затрат.

Также отмечается, что модули NVIDIA Jetson Orin благодаря новому ПО показали прирост производительности до 84 % на задачах обнаружения объектов по сравнению с предыдущим раундом тестирования MLPerf. Ускорение произошло благодаря задействованию Programmable Vision Accelerator (PVA), отдельного движка для обработки изображений и алгоритмов компьютерного зрения работающего независимо от CPU и GPU.

Сообщается также, что ускоритель NVIDIA L4 в последних тестах MLPerf выполнил весь спектр рабочих нагрузок, показав отличную производительность. Так, в составе адаптера с энергопотреблением 72 Вт этот ускоритель демонстрирует в шесть раз более высокое быстродействие, нежели CPU, у которых показатель TDP почти в пять раз больше. Кроме того, NVIDIA применила новую технологию сжатия модели, что позволило продемонстрировать повышение производительности в 4,4 раза при использовании BERT LLM на ускорителе L4. Ожидается, что этот метод найдёт применение во всех рабочих нагрузках ИИ.

В число партнёров при проведении тестирования MLPerf вошли поставщики облачных услуг Microsoft Azure и Oracle Cloud Infrastructure, а также ASUS, Connect Tech, Dell Technologies, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Lenovo, QCT и Supermicro. В целом, MLPerf поддерживается более чем 70 компаниями и организациями, включая Alibaba, Arm, Cisco, Google, Гарвардский университет, Intel, Meta✴, Microsoft и Университет Торонто.

Компания AAEON, принадлежащая ASUS, представила индустриальный мини-компьютер Boxer-8621AI для задач ИИ и машинного обучения. Новинка, выполненная на аппаратной платформе NVIDIA Jetson Orin Nano, уже доступна для предварительного заказа.

Устройство заключено в корпус с размерами 105 × 90 × 52 мм. Задействованный модуль Jetson Orin Nano содержит шесть вычислительных ядер Arm Cortex-A78AE ARMv8.2, а также GPU Ampere с 512 ядрами CUDA и 16 тензорными ядрами. Объём оперативной памяти LPDDR5 составляет 4 Гбайт.

Источник изображения: AAEON

Мини-компьютер оснащён пассивным охлаждением, а диапазон рабочих температур простирается от -15 до +60 °C. Есть разъём M.2 3042/3052 B-Key для модема 4G/5G (имеется слот для SIM-карты), коннектор M.2 2242 B-Key и M-Key для SSD, а также разъём M.2 2230 E-Key для комбинированного адаптера Wi-Fi/Bluetooth. Предусмотрен контроллер 1GbE с гнездом RJ-45 для сетевого кабеля.

Модель Boxer-8621AI располагает двумя портами USB 3.2 Gen2 Type-A и двумя разъёмами USB 2.0 Type-A, последовательными портами RS-232/422/485, коннектором Micro-USB, интерфейсом HDMI 1.4 и гнёздами для подключения антенны Wi-Fi. Питание подаётся через DC-разъём (12–24 В). Говорится о совместимости с Linux. При необходимости компьютер может монтироваться на стену.

ASUS IoT, подразделение ASUS по выпуску умных устройств для Интернета вещей, объявило о выходе компактного безвентиляторного компьютера PE1100N, предназначенного для решения ИИ-задач на периферии. В основу новинки положена аппаратная платформа NVIDIA.

Представлены версии с модулем Jetson Orin Nano и Jetson Orin NX. Задействован GPU с 512- или с 1024-ядерным ускорителем NVIDIA Ampere. Объём оперативной памяти LPDDR5 может составлять 4, 8 или 16 Гбайт.

Устройство заключено в корпус с габаритами 152 × 114 × 72 мм. Ребристая внешняя поверхность выполняет функции радиатора для отвода тепла. Диапазон рабочих температур простирается от -20 до +60 °C.

Источник изображения: ASUS IoT

Компьютер располагает коннектором M.2 2242/2260/2280 для SSD с интерфейсом PCIe, слотом M.2 E key 2230 для адаптера Wi-Fi/Bluetooth (PCIe, USB 2.0, I2C и PCM) и коннектором M.2 B key 3042/3052 для модуля 4G/5G (PCIe, USB 2.0/3.0). Есть два разъёма для карт nano-SIM. В оснащение включён двухпортовый сетевой контроллер 1GbE, а опционально можно добавить приёмник GPS.

Новинка снабжена тремя портами USB 3.2 Gen1 Type-A, интерфейсом HDMI 1.4a или HDMI 2.0b, двумя гнёздами RJ-45 для сетевых кабелей, двумя последовательными портами, гнёздами для подключения антенн, портом Micro-USB и пр. Вес составляет 1,4 кг. Допускается монтаж на стену. В качестве программной платформы применяется Ubuntu.

Модули Jetson AGX Orin для создания компактных ИИ-платформ были анонсированы ещё осенью прошлого года, и их характеристики были подробно нами разобраны в соответствующей заметке. Теперь компания NVIDIA завершила их адаптацию к промышленным условиям, представив обновлённые модели с приставкой Industrial в названии, которые могут стать основой, к примеру, промышленных роботов и тому подобных устройств.

Новинки всё так же включают модуль Jetson AGX Orin 64GB, оснащённый 12-ядерным SoC на базе архитектуры Arm Cortex-A78AE (v8.2) и 2048 ядер CUDA с архитектурой Ampere. Тактовые частоты составляют 2 и 1,2 ГГц соответственно: частота CPU была специально немного снижена для обеспечения надёжной работы в тяжёлых температурных режимах.

Объём оперативной памяти вырос с изначальных 32 до 64 Гбайт (сейчас доступна также 64GB-версия Orin), но что более важно — в новых моделях используется ECC-память, что важно для промышленных систем, в том числе, работающих в режиме реального времени, где цена ошибки может быть очень высокой.

Источник здесь и далее: NVIDIA

Предприняты и некоторые другие меры: в частности, процессор имеет усиленное крепление к плате, а пространство под важными элементами заливается специальным компаундом. Всё это позволяет AGX Orin Industrial работать без перебоев при температурах окружающей среды от -40 до +85 °C, влажности до 85%, а также ударных нагрузках 50G в течение 11 мс. Кроме того, жизненный цикл Industrial составляет 10 лет, а не 7 как у обычного AGX Orin.

Сравнительные характеристики модулей Orin и Orin Industrial

В ИИ-задачах новинка развивает до 248 Топс (INT8) при потреблении 75 Вт, что больше, нежели у обычной версии. В продажу модули NVIDIA Jetson AGX Orin Industrial поступят в июле и будут дороже своих «неиндустриальных» собратьев, но сохранят с ними полную логическую, электрическую и программную совместимость.

Компания Axiomtek анонсировала систему AIE110-XNX для разработчиков, проектирующих различные ИИ-устройства для периферийных вычислений. В основу изделия положена аппаратная платформа NVIDIA, а в качестве ОС может применяться Ubuntu 18.04 и более поздние версии.

Задействован модуль Jetson Xavier NX, который содержит шестиядерный процессор NVIDIA Carmel, а также GPU на архитектуре Volta с 384 ядрами CUDA и 48 тензорными ядрами. Имеются два акселератора NVDLA. Заявленная производительность на ИИ-операциях достигает 21 TOPS. Новинка несёт на борту 8 Гбайт оперативной памяти LPDDR4x и флеш-модуль eMMC вместимостью 16 Гбайт.

Источник изображения: Axiomtek

Дополнительно можно установить SSD формата M.2 2280 с интерфейсом PCIe x4 (NVMe) и карту microSD. Есть разъём mPCIe и слот для SIM-карты: это позволяет добавлять опциональные модули Wi-Fi/Bluetooth/GPS и 4G. Присутствуют два сетевых порта 1GbE, один из которых имеет поддержку PoE (Intel i210-IT; до 15 Вт).

В набор разъёмов входят два гнезда RJ-45 для сетевых кабелей, по одному порту USB 3.2 Gen2, USB 2.0 и Micro-USB, интерфейс HDMI 2.0 с поддержкой видео 4Kp60 и гнездо для подачи питания (12 В). Габариты составляют 165 × 117 × 37,7 мм, вес — 300 г. Применена система активного охлаждения с радиатором и вентилятором. Диапазон рабочих температур — от -10 до +60 °C.

Компания Seeed Studio, по сообщению CNX-Software, представила компьютеры небольшого форм-фактора reComputer Industrial, предназначенные для решения различных задач в сфере ИИ, в том числе на периферии. В основу новинок положены модули NVIDIA Jetson.

Дебютировали четыре версии: reComputer Industrial J2011 на базе Jetson Xavier NX (8 Гбайт) и reComputer Industrial J3011 с Jetson Orin Nano NX (8 Гбайт), а также reComputer Industrial J4011 и reComputer Industrial J4012 на основе Jetson Orin NX с 8 и 16 Гбайт памяти соответственно.

Источник изображения: CNX-Software

Все устройства заключены в алюминиевый корпус с габаритами 159 × 155 × 57 мм; применена система пассивного охлаждения. Диапазон рабочих температур простирается от -20 до +60 °C. Питание подаётся через DC-разъём (12–24 В).

Допускается установка SSD формата M.2 2280 с интерфейсом PCIe 4.0 (NVMe), опциональных модулей Wi-Fi/Bluetooth, 4G/5G (M.2 Key-B, плюс слот для карты Nano SIM) и LoRaWAN (mini PCIe). Есть два сетевых контроллера 1GbE, один из которых имеет поддержку PoE (до 15 Вт). В набор разъёмов входят порты USB 3.2 Gen1 (×3), USB 2.0 Type-C (×2), интерфейс HDMI 2.0, два гнезда RJ-45, последовательный порт, интерфейс MIPI CSI (×2) и пр.

Компьютеры поставляются с платформой Ubuntu 20.04. Цена варьируется от $900 до $1200 в зависимости от модификации.

Компания NVIDIA анонсировала комплект для разработчиков Jetson Orin Nano Developer Kit. Решение предназначено для создания интеллектуальных роботов, дронов, систем видеонаблюдения и других устройств с ИИ-функциями. Утверждается, что по сравнению с оригинальной платформой Jetson Nano Developer Kit достигается 80-кратный прирост общего быстродействия и 50-кратное увеличение производительности в расчёте на 1 Вт затрачиваемой энергии.

Новинка имеет размеры 100 × 79 × 21 мм. В состав CPU входят шесть вычислительных ядер Arm Cortex-A78AE v8.2 с тактовой частотой до 1,5 ГГц. Имеется 1024-ядерный графический блок с архитектурой Ampere (32 тензорных ядра). Заявленное быстродействие на ИИ-операциях достигает 40 Топс.

Источник изображения: NVIDIA

В оснащение включены 8 Гбайт памяти LPDDR5, слот для карты microSD, разъёмы M.2 Key M (PCIe 3.0 x4), M.2 Key M (PCIe 3.0 x2) и M.2 Key E (PCIe x1, USB 2.0, UART, I2S, I2C). Есть 40-контактная колодка с поддержкой UART, SPI, I2S, I2C, GPIO. Кроме того, упомянуты два интерфейса камеры MIPI CSI-2.

Решение способно справляться с кодированием видео в формате 1080p30, а также с декодированием материалов 4K60 (H.265) или 11 потоков 1080p30 (H.265). Предусмотрены 1GbE-контроллер, четыре порта USB 3.2 Gen2, разъём USB Type-C, коннектор DisplayPort 1.2 (+MST). Энергопотребление варьируется от 7 до 15 Вт. Применена система активного охлаждения с радиатором и вентилятором. Стоит комплект Jetson Orin Nano Developer Kit около $500.

Компания NVIDIA полна решимости занять лидирующие позиции на рынке робототехники: помимо новой платформы IGX, предназначенной для «умной» промышленности и медицины, на конференции GTC 2022 она представила и другие новинки в этой сфере. В частности, анонсированы новые модули в серии Jetson.

Если в основу IGX лёг старший вариант, Jetson AGX Orin (Arm Cortex-A78AE + 1792 ядра Ampere + 56 тензорных ядер), то для более простых сценариев, требующих пониженного энергопотребления, он подходит не лучшим образом. Но именно для таких случаев предназначено пополнение серии — Jetson Orin Nano.

NVIDIA Jetson Orin Nano 8GB (слева) и 4GB. Здесь и далее источник изображений: NVIDIA

Архитектурно Orin Nano похож на старшего собрата, но вычислительных ресурсов у него поменьше: 6 ядер Arm Cortex-A78AE и кластер GPC Ampere, состоящий из 1024 ядер CUDA и 32 тензорных ядер. Имеется отдельный процессор управления питанием, широко развиты подсистемы различных шин, от SPI, CAN и I2C до USB 3.2 Gen2, Ethernet и PCIe 3.0.

Архитектура процессора Orin Nano

Доступны новые модули будут в самом начале следующего года по цене от $199, причём изначально компания планирует выпустить два варианта, с 4 и 8 Гбайт оперативной памяти LPDDR5. Старший вариант будет сконфигурирован в рамках теплопакета 7–15 Вт, его пиковая производительность в INT8 составит 40 Топс. Младший вариант с усечённой вдвое конфигурацией GPU будет ограничен 5–10 Вт и 20 Топс.

Характеристики семейства Jetson Orin Nano

Модули Orin Nano совместимы по контактам с Orin NX и имеют тот же форм-фактор, 70 × 45 мм SODIMM, но за счёт использования более продвинутой архитектуры в задачах инференса новинки могут опережать предшественников в 80 раз. Благодаря обновлению фирменного SDK начать разработку приложений под Orin Nano заказчики смогут уже сейчас, пусть и в режиме эмуляции.