Компания Intel уже не первый год развивает направление нейроморфных процессоров — чипов, имитирующих поведение нейронов головного мозга. Уже во втором поколении, Loihi II, процессор получил 128 «ядер», эквивалентных 1 млн «цифровых нейронов», однако долгое время этот чип оставался доступен лишь избранным разработчикам Intel Neuromorphic Research Community через облако.

Но ситуация меняется, пусть и спустя пять лет после анонса первого нейроморфного чипа: компания объявила о выпуске платы Kapoho Point, оснащённой сразу восемью процессорами Loihi II. Напомним, что они производятся с использованием техпроцесса Intel 4 и состоят из 2,3 млрд транзисторов, образующих асинхронную mesh-сеть из 128 нейроморфных ядер, модель работы которых задаётся на уровне микрокода.

Источник изображений: Intel Labs

Площадь кристалла нейроморфоного процессора Intel второго поколения составляет всего 31 мм². Судя по всему, активного охлаждения Loihi II не требует: даже в первой реализации в виде PCIe-платы Oheo Gulch кулером оснащалась только управляющая ПЛИС, но не сам нейроморфный чип. В своём интервью ресурсу AnandTech Майк Дэвис (Mike Davies), глава проекта, отметил, что в реальных сценариях, выполняемых в человеческом масштабе времени, речь идёт о цифре порядка 100 милливатт, хотя в более быстром масштабе чип, естественно, может потреблять и больше.

Архитектура и особенности строения Loihi II. По нажатию открывается полноразмерная версия

Новый модуль, по словам компании, способен эмулировать до 1 млрд синапсов, а в задачах оптимизации с большим количеством переменных (до 8 миллионов, эквивалентно количеству «нейронов»), где нейроморфная архитектура Intel очень сильна, он может опережать традиционные процессоры в 1000 раз. Каждое ядро имеет свой небольшой пул быстрой памяти объёмом 192 Кбайт. Шесть выделенных ядер отвечают за управление нейросетью Loihi II; также в составе чипа имеются аппаратные ускорители кодирования-декодирования данных.

Новинка изначально создана модульной: благодаря интерфейсному разъёму несколько плат Kapoho Point можно устанавливать одна над другой. Поддерживаются «бутерброды» толщиной до 8 плат, в деле опробован, однако, вдвое более тонкий вариант, но даже четыре Kapoho Point дают 32 миллиона нейронов в совокупности. Для коммуникации с внешним миром используется интерфейс Ethernet: в чипе реализована поддержка скоростей от 1 (1000BASE-KX) до 10 Гбит/с (10GBase-KR). Размеры каждой платы невелики, всего 4×4 дюйма (102×102 мм).

Платы Kapoho Point позволяют легко расширять нейросеть на базе Loihi II

В отличие от первого поколения Loihi, доступ к которому можно было получить лишь виртуально, через облако, системы на базе Kapoho Point уже доставлены избранным клиентам Intel, и речь идёт о реальном «железе». В число первых клиентов входит Исследовательская лаборатория ВВС США (Air Force Research Laboratory, AFRL), для задач которой такие достоинства Loihi II, как компактность и экономичность являются решающими.

Возможности SDK Lava

Одновременно с анонсом Kapoho Point компания Intel обновила и фреймворк Lava. В отлчиие от SDK первого поколения Nx новая открытая программная платформа разработки сделана аппаратно-независимой, что позволит разрабатывать нейро-приложения не только на платформе, оснащённой чипами Loihi II.

Наиболее мощным на сегодня решением NVIDIA является ускоритель H100. Их серийный выпуск начался не столь давно, 20 сентября. Однако, как выяснилось, ранее опубликованные спецификации новинки оказались не вполне точными, поэтому компания исправила ошибку на своём сайте.

Теперь производительность SXM-версии H100 в вычислениях FP64 составляет не 30, а 34 Тфлопс, а показатель в режиме FP32 вырос с 60 до 67 Тфлопс. Аналогично подросли и показатели H100 в исполнении PCI Express. Однако это не исправление опечаток: графический чип GH100 с 16 896 ядрами CUDA в обоих случаях будет работать на более высокой тактовой частоте, нежели предполагалось ранее.

Источник изображения: NVIDIA

Предварительно речь шла о 1775 МГц для SXM-версии, что в любом случае весьма много для чипа с 80 млрд транзисторов, но техпроцесс TSMC N4, похоже, способен на большее — как минимум, на 1982 МГц, считают зарубежный ресурс VideoCardz.com.

Старые (слева) и новые характеристики H100. По нажатию картинка откроется в полном размере. Источник: VideoCardz.com

Интересно отметить, что цифры в графах, посвящённых режимам машинного обучения (FP16/8, bfloat16 и INT8) также скорректированы, но в меньшую сторону. По всей видимости, ранее приведённые красивые круглые числа заменены реальными, соответствующими фактическим возможностям тензорных ядер GH100, работающих на определённой частоте.

Также в новых данных указано, что теплопакет новых ускорителей может быть конфигурируемым, хотя предельные цифры остались прежними: 700 Вт для SXM-версии и 350 Вт для версии с разъёмом PCI Express. Первые поставки H100 в составе новых систем DGX начнутся в первом квартале следующего года.

На мероприятии Innovation 2022 компания Intel продемонстрировала графический ускоритель Arc A770, предназначенный для рынка настольных платформ — игровых ПК и рабочих станций. Кроме того, новинку получится использовать и в серверах, но с рядом ограничений.

Напомним, что A770 — это видеокарта среднего уровня на базе графического процессора ACM-G10 с 32 ядрами Xe (4096 блоков FP32, 32 блока трассировки лучей и 512 блоков матричных вычислений XMX). GPU способен работать на частоте 2,1 ГГц, он будет дополнен 8 или 16 Гбайт памяти GDDR6, в последнем случае используется 256-битная шина с ПСП около 560 Гбайт/с. Стоимость эталонной Intel Arc A770 Limited Edition составит $329.

Источник изображений: Serve The Home

Эталонный дизайн компактен по нынешним меркам: карта занимает всего два слота в высоту и охлаждается парой сравнительно небольших вентиляторов. Питание организовано по схеме 6+8 pin. Одна маленькая деталь свидетельствует о том, что Arc A770 будет устанавливаться не только в игровые ПК, но и в рабочие станции — это отверстия для крепления фиксатора в задней части карты.

Пластина фиксатора входит в специальную стойку с прорезями в передней части корпуса и не даёт длинным платам провисать и перегружать механически слот PCI Express. В игровых ПК это решение не применяется, но часто встречается в серверах и рабочих станциях.

Хорошо видны отверстия для крепления поддерживающего плату фиксатора

Intel отметила, что не планирует ограничить сферу применения Arc A770 игровыми ПК или рабочими станциями. Ускорители можно будет использовать и в серверах, однако здесь обнаружился нюанс: в выступлении было отмечено, что новые ускорители не получат полноценной поддержки SR-IOV.

Напомним, что SR-IOV — неотъемлемая часть любого адаптера, который должен будет работать в средах с виртуализацией, поскольку именно эта технология обеспечивает быстрый доступ виртуальных машин к аппаратным ресурсам устройства. Таким образом, применение ускорителей Intel Arc в серверах, похоже, будет ограниченным.

Сайт s-ss опубликовал снимок экрана, на котором среди видеокарт NVIDIA GeForce RTX 3090 Ti и NVIDIA A100 80 Гбайт, также отметился неанонсированный ускоритель NVIDIA H100 120 Гбайт с интерфейсом PCIe. На данный момент NVIDIA представила лишь версии H100 с 80 Гбайт памяти, выполненные как в формате карт PCIe, так и модулей SXM.

Подсистема памяти на 120 Гбайт включает пять стеков HBM3, каждый из которых имеет ёмкость 24 Гбайт. Вместе с увеличенным объёмом выросла и пропускная способность памяти HBM2e, до 3 Тбайт/с. Также сообщается, что H100 120 GB PCIe имеет те же характеристики GPU, что и вариант в SXM-формате, что означает присутствие в ускорителе 16 896 ядер CUDA и 528 тензорных ядер. Заметим, что актуальная 80-Гбайт версия H100 PCIe имеет слегка урезанный GPU с меньшим числом ядер.

Что примечательно, вместе с новым ускорителем в диспетчере устройств указан технический образец ускорителя NVIDIA GeForce RTX ADLCE Engineering Sample. Кроме того в Сети появилось фото ускорителя H100 SXM, также с пятью стеками памяти HBM3 и одним ненастоящим стеком для придания большей стабильности системе охлаждения.

На конференции GTC 2022 NVIDIA анонсировала второе поколение систем для симуляции и запуска «цифровых двойников» OVX. Это вовсе не развлечение: использование точных моделей реальных физических объектов, пространств и устройств потенциально весьма выгодно, поскольку симуляция городского квартала для обучения автопилотов или фабрики для оценки взаимодействия роботов с живыми работниками априори будет стоить намного меньше, нежели проведение натурных испытаний.

Зачастую такие симуляции используют тензорные и матричные вычисления, поэтому основой новой платформы OVX стали новые ускорители NVIDIA L40 с архитектурой Ada Lovelace, располагающие ядрами трассировки лучей третьего поколения и тензорными ядрами четвёртого поколения. Они поддерживают как классический трассировку лучей (ray tracing), так и трассировку путей (path tracing), что важно для корректной симуляции поведения различных материалов.

NVIDIA L40. Здесь и далее источник изображений: NVIDIA

Физически L40 представляют собой двухслотовую FHFL-плату расширения PCIe с пассивным охлаждением — теплопакет новинки ограничен рамками 300 Вт. Объём оперативной памяти GDDR6 составляет 48 Гбайт, вдвое больше, нежели у игровых GeForce RTX 4090, и, в отличие от последних, поддерживается совместная работа двух карт в режиме NVLink, что может оказаться полезным в симуляциях с большим объёмом данных. Для вывода изображения служат четыре порта DP 1.4a.

NVIDIA OVX Server

Каждый сервер NVIDIA OVX будет содержать 8 ускорителей L40 и три сетевых адаптера ConnectX-7 с портами класса 200GbE и поддержкой шифрования сетевого трафика на лету. От 4 до 16 таких серверов составят OVX POD, а 32 или более —кластер SuperPOD.

Такие кластеры станут домом для новой облачной платформы NVIDIA Omniverse Cloud, услуги которой компания планирует предоставлять робототехникам, создателям автономных транспортных средств, «умной инфраструктуры» и вообще всем, кому нужна точная симуляция сложных объектов и систем с качественной визуализацией результатов.

Компания NVIDIA сообщила о начале серийного выпуска 4-нм ускорителей H100 (Hopper). Партнёры начнут предлагать решения на базе данной архитектуры в следующем месяце. NVIDIA H100 использует мультичиповую 2.5D-компоновку CoWoS и содержит около 80 млрд транзисторов.

Сочетание NVlink четвёртого поколения, обеспечивающее соединение между графическими процессорами со скоростью 900 Гбайт/с, системы NVSwitch, ускоряющей коллективную связь ускорителей между узлами, PCIe 5.0 и ПО NVIDIA Magnum IO обеспечивает эффективную масштабируемость как для небольших предприятий, так и для крупных унифицированных кластеров.

Источник изображения: NVIDIA

По словам NVIDIA, новые ускорители по сравнению с ускорителями прошлого поколения в 3,5 раза энергоэффективнее и позволяют втрое снизить совокупную стоимость владения, попутно позволяя впятеро снизить количество серверных узлов для получения того же уровня ИИ-производительности. Более подробно ознакомиться с архитектурными особенностями новинок можно здесь.

Источник изображения: NVIDIA

Инстансы на базе H100 намерены развернуть многие облачные платформы. Это Amazon Web Services, Google Cloud, Microsoft Azure и Oracle Cloud. А для тех, кому не терпится ознакомиться с новинками уже прямо сейчас, доступ к ним можно получить уже сейчас в рамках NVIDIA Launchpad. Ускорители будут применяться и в суперкомпьютерах следующего поколения.

Серверы с этими решениями будут предлагать Atos, Cisco, Dell Technologies, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Lenovo и Supermicro. До конца на рынке появится более 50 моделей серверов с новыми ускорителями, а в следующем году будут представлены ещё несколько десятков решений. Кроме того, вместе с серверами будет давать и пятилетняя подписка на NVIDIA AI Enterprise. А сама NVIDIA уже принимает заказы на системы DGX.

Стартап SambaNova, решивший бросить вызов NVIDIA, представил второе поколение систем машинного обучения — DataScale SN30. В основе лежит собственная разработка компании, ускоритель Cardinal SN30, для обозначения которого SambaNova использует термин Reconfigurable Data Flow Unit (RDU). На новинку уже обратили внимание такие организации, как Аргоннская национальная лаборатория (ANL) и Ливерморская национальная лаборатория им. Э. Лоуренса (LLNL).

Cardinal SN30 состоит из 86 млрд транзисторов и производится с использованием 7-нм техпроцесса TSMC. Главной его особенностью является возможность реконфигурации: создатели уподобляют этот процессор сложным FPGA. Последним он уступает в степени гибкости, поскольку не может менять конфигурацию на уровне отдельных логических вентилей, зато выигрывает в скорости перепрограммирования и уровне энергопотребления. За это отвечает фирменный программный стек.

Источник: HPCwire

Большой упор SambaNova сделала на объёме локальной памяти, поскольку современные модели машинного обучения имеют тенденцию к гигантомании. Только SRAM-кеша у Cardinal SN30 640 Мбайт, а объём DRAM составляет 1 Тбайт. По своим параметрам SN30 вдвое превосходит чип первого поколения, SN10, но имеет такую же тайловую архитектуру с программным управлением.

Здесь и далее источник изображений: SambaNova

Каждый тайл содержит блоки PCU, отвечающие за вычисления, блоки PMU, содержащие SRAM и обслуживающую логику, а также mesh-интерконнект, обслуживаемый блоками коммутаторов. Такой подход к построению процессора весьма напоминает Tesla D1, у которых вычислительные блоки похожим образом чередуются с блоками быстрой SRAM-памяти. Отдельно ускорители компания не поставляет, минимальная конфигурация готовой 42U-системы DataScale включает в себя 8 чипов SN30.

Комплектация может включать в себя от одного до трёх узлов SN30. Воспользоваться возможностями DataScale можно и в виде услуги, поскольку новинка легко интегрируется в облачные среды и полностью поддерживает платформу Kubernetes. Полный список провайдеров ещё уточняется, на сегодняшний момент партнерами SambaNova являются Aicadium, Cirrascale и ORock.

Высокая производительность в режиме bfloat16 является главным достоинством новинки — по словам вице-президента SambaNova, каждый чип развивает 688 Тфлопс. Это более чем вдвое выше показателя A100, составляющего 312 Тфлопс. По словам компании, DataScale SN30 вшестеро производительнее NVIDIA DGX A100 (40 Гбайт) и эффективнее всего проявляет себя при обучении сверхбольших моделей вроде GPT-3 с её 13 млрд параметров. Однако нельзя не отметить, что, во-первых, сравнение идёт со старым продуктом NVIDIA, которая вот-вот представит DGX H100, а во-вторых, SambaNova не упоминает в явном виде энергопотребление одного узла SN30.

Компания Flex Logix анонсировала плату InferX Hawk для создания встраиваемых ИИ-устройств и систем периферийных вычислений. Новинка выполнена в формате Mini-ITX с размерами 170 × 170 мм. Особенностью решения является наличие двух инференс-акселераторов InferX X1 и возможность работы при температуре от 0 до +50 °C.

Плата несёт на борту процессор AMD Ryzen Embedded R2314 с четырьмя ядрами, работающими на частоте 2,1 ГГц (до 3,5 ГГц в турбо-режиме). В состав чипа входит графический блок Radeon Vega. Объём оперативной памяти DDR4 может достигать 32 Гбайт (два слота SO-DIMM). Интерфейсный блок содержит гнёзда RJ45 для сетевых кабелей, два разъёма DisplayPort, два последовательных порта, по два порта USB 3.1 и USB 2.0, разъём USB 3.2 Type-C и стандартные аудиогнёзда.

Источник изображений: Flex Logix

InferX Hawk допускает подключение накопителя с интерфейсом SATA 3.0 и твердотельного модуля M.2 NVMe или SATA. В оснащение входит двухпортовый сетевой контроллер 1GbE. Заявленное энергопотребление в зависимости от нагрузки и конфигурации варьируется от 25 до 40 Вт. Дополнительно может быть установлен модуль M.2 E-Key с поддержкой Wi-Fi/LTE. Акселераторы InferX X1 используют реконфигурируемые тензорные ядра nnMAX, оптимизированные под периферийные ИИ-вычисления. Утверждается, что по ряду характеристик эти изделия превосходят NVIDIA Jetson Xavier NX и Tesla T4.

Бенчмарк MLPerf, а вернее, его набор тестов Training, в основном является вотчиной NVIDIA с небольшими вкраплениями результатов ускорителей иных архитектур вроде Google TPU. Но MLPperf Inference более демократичен. В частности, в последнем раунде v2.1 отметилось сразу несколько новых систем и архитектур.

Опубликованы новые результаты были в двух категориях, Open и Closed, и в обоих случаях в списках замечены новинки. В частности, в «открытой» категории появились результаты процессора Alibaba Yitian 710, довольно высокие и без дополнительных ускорителей, что, впрочем, неудивительно — этот чип с архитектурой Armv9 располагает 128 ядрами с частотой до 3,2 ГГц и имеет поддержку всех современных форматов данных.

Alibaba Yitian 710. Источник: Alibaba Cloud

В этой же категории дебютировали PCIe-ускорители Moffett AI S4, S10 и S30. В основе этих решений лежит архитектура Moffett Antoum, специально спроектированная для работы с «разреженными» (sparsity) моделями. S4, младшая модель серии, располагает 20 Гбайт памяти LPDDR4x, потребляет 70 Вт, но при этом развивает 943 Топс на вычислениях INT8 и 471 Тфлопс в режиме BF16 при коэффициенте sparsity, равном 32x. Старшие варианты, судя по всему, несут на борту по 2 и 3 процессора Moffett AI Antoum.

Архитектура Moffett S4. Источник: Kisaco Research

Это выливается в очень неплохие результаты в ResNet50 даже для S4. Более мощные ускорители S10 и S30 демонстрируют пропорциональный прирост производительности, составляющий 2х и 3х соответственно. Впрочем, в графе точность (accuracy) в результатах есть некоторый разброс. Интересно, что Antoum содержит в своём составе аппаратные декодеры видео (64 потока 1080p@30) и JPEG-изображений (2320 к/c с разрешением 1920x1080), так что процессор действительно хорошо подходит для инференс-систем, где требуется быстрая обработка входящих изображений или видео.

Moffett S4. Источник: Kisaco Research

Из прочих архитектур отметились ускорители Qualcomm Cloud AI 100, но не всех категориях бенчмарка. А вот в категории Closed куда «многолюднее», хотя основную массу населения и составляют решения NVIDIA. Но, во-первых, компания продемонстрировала результаты H100, что выглядит весьма интересно в сравнении ускорителями A100 в различных вариациях, а также с менее мощными ускорителями A30 и A2.

Ускорители Sapeon. Источник: Korea IT News

Во-вторых, в этой же категории появилась новинка — ускоритель Sapeon X220 от южнокорейской SK Telecom. Одно из его назначений — качественный апскейл видеоконтента с низким разрешением, например, из FullHD в 4K. Для ResNet-50 заявлена производительность 6700 к/с. Главное преимущество X220 перед современными GPU — энергоэффективность, и по этому параметру он в 3,5 раза опережает ускорители сопоставимого класса.

Источник: SK Telecom

Наконец, в Inference v2.1 можно увидеть результаты загадочного китайского соперника NVIDIA A100 — ускорителя серии BR100 от Biren Technology, о котором мы не столь давно рассказывали . Он действительно показал результаты, сопоставимые с NVIDIA A100. При этом речь идёт о PCIe-версии BR100, ограниченной теплопакетом 300 Вт, в то время как в варианте OAM c TDP 550 Вт результаты такого модуля могут оказаться выше даже в сравнении с A100 в исполнении SXM.

Источник: Biren Technology

Также следует отметить и результат двухпроцессорной системы на базе Intel Sapphire Rapids. Хотя речь и идёт о процессоре общего назначения, поддержка инференс-нагрузок позволила Sapphire Rapids бороться на равных или даже опережать NVIDIA A2. Таким образом, наблюдать за MLPerf явно стало интереснее. Пока этого нельзя сказать про раздел Training, но в разделе Inference уже имеется достаточно результатов для представляющих интерес сравнений и выводов.

Стало известно, что на прошлой неделе США ввели запрет на поставку компаниями NVIDIA и AMD ускорителей определённых модификаций в Россию и Китай, включая Гонконг. Речь идёт об устройствах серии NVIDIA A100 и H100, а также AMD Instinct MI250.

В заявлении NVIDIA, направленном 26 августа в Комиссию по ценным бумагам и биржам США (SEC), указано, что «правительство США ввело новое лицензионное требование, вступающее в силу немедленно, для любого будущего экспорта в Китай (включая Гонконг) и Россию интегральной схемы A100 и готовящейся к выпуску H100». В прогнозе на следующий квартал NVIDIA оценивала объём продаж в Китае на уровне $400 млн.

Изображение: NVIDIA

Под действие нового лицензионного требования подпадают серверы и рабочие станции DGX/HGX или любые другие системы, включающие чипы A100/A100X или H100, а также любые будущие чипы NVIDIA, обеспечивающую пиковую производительность или обмен данными между чипами, которые примерно эквивалентны A100, а также любой системе, включающей эти чипы. Как указала компания, введение нового лицензионного требования связано с риском использования указанных продуктов в военных целях в Китае и России.

Изображение: NVIDIA

Следует отметить, что все топовые современные российские суперкомпьютеры используют ускорители NVIDIA, включая MTS GROM, SberCloud Christofari (Кристофари) и Christofari Neo (Кристофари Нео), а также системы Яндекса: Ляпунов (Lyapunov), Галушкин (Galushkin) и Червоненкис (Chervonenkis). Ускорители A100 используются указанными компаниями как собственных нужд, так и предоставляются клиентам по облачной модели. Кроме того, A100 также доступны, например, клиентам Selectel.

Фото: Selectel

Последняя отметила, что у неё есть «в резерве запас карт А100, которых хватит, чтобы закрыть потребности сроком приблизительно до года даже при возрастающем спросе на аренду GPU — по сравнению с прошлым годом объём запросов увеличился и может возрасти к концу 2022». На текущий момент у компании есть более сотни A100 на собственном складе. Также Selectel ищет альтернативные решения для обеспечения потребностей клиентов в области ИИ, машинного обучения, VDI и др.

Фото: Selectel

Директор по продуктам #Cloud MTS, дал следующий комментарий: «Мы в МТС проводим тестирование различных плат — ускорителей вычислений от альтернативных вендоров. Наши специалисты знают, как внести изменения в программный стек, чтобы была возможность использовать эти платы в AI/ML-задачах. Одно из достоинств данных ускорителей – более низкая цена. На сегодняшний день их можно применять в инференсе сетей. Технологии постоянно развиваются, думаю, что в будущем они подойдут и для обучения сложных нейросетей». Yandex Cloud не комментирует тему поставок оборудования, а SberCloud на запрос комментариев не ответил.

AMD не отправляла в SEC извещение о новом лицензионном требовании, однако, как сообщает Reuters, представитель компании рассказал о получении распоряжения прекратить поставки ускорителя MI250 в Китай. AMD отметила, что новое требование не окажет значительного влияния на её бизнес. Также сообщается, что AMD уведомила в среду свои китайские подразделения об изменениях в политике лицензирования. В Россию AMD и NVIDIA прекратили поставки оборудования ещё весной этого года.