Компания Delta Computers объявила о выпуске первой отечественной аппаратной OCP-платформы для ИИ-ускорителей — решения под названием Delta Sprut. Это специализированный модуль расширения (JBOG), допускающий подключение дополнительных PCIe-устройств к вычислительным узлам.

Модуль Delta Sprut, выполненный в форм-факторе 2OU поддерживает интерфейс PCIe 4.0. Имеются четыре разъёма PCIe 4.0 x16 с возможностью установки четырёх карт HHHL или двух изделий FHFL мощностью до 350 Вт. Говорится о совместимости с вычислительными узлами Delta Tioga Pass и Delta Bright Lake. Допускается подключение к двум хостам.

Источник изображений: Delta Computers

Модуль Delta Sprut позволяет в режиме каскадирования подключать к одному вычислительному блоку до восьми GPU двойной или до 16 GPU стандартной высоты, что, как утверждается, устанавливает рекорд плотности в 160 GPU в одном OCP-шасси. В частности, могут быть задействованы ускорители NVIDIA А100 и NVIDIA H100, а также AMD Instinct. Для устройств NVIDIA поддерживается попарное объединение мостами NVLink.

Среди ключевых областей применения Delta Sprut названы системы ИИ и машинного обучения, платформы класса ChatGPT, HPC и 3D VDI. Имеется возможность расширения подсистемы хранения на базе Delta Argut — до 120 U.2-накопителей NVMe SSD. Модульная конструкция упрощает доступ ко всем его компонентам: для обслуживания не требуются инструменты. Ожидается, что в январе 2024 года Delta Sprut войдёт в реестр Минпромторга РФ.

Компания HOSTKEY, оказывающая услуги по размещению, аренде и обслуживанию серверного оборудования, объявила о запуске новой хост-площадки, на этот раз не совсем обычной. Речь идёт о дата-центре Verne Global уровня Tier III в Исландии, полностью запитанному от возобновляемых источников энергии.

Благодаря тому, что исландский ЦОД питается исключительно от ГЭС и геотермальных станций с низкой стоимостью электроэнергии, а относительно низкая «забортная» температура упрощает и удешевляет охлаждение, его можно назвать действительно «зелёным». Сочетание этих качеств позволяет без лишних затрат размещать в ЦОД мощные серверы, в том числе с ускорителями для ИИ и HPC-задач. Собственно говоря, именно это теперь и предлагает HOSTKEY, причём, как и прежде, она готова принимать оплату в рублях.

Речь идёт о серверах — как выделенных (VDS), так и виртуальных (VPS) — с графическими ускорителями. В настоящее время сообщается только о решениях NVIDIA, но спектр доступных GPU достаточно широк — в него входят как игровые видеокарты GeForce RTX 3080/3090/4090, так и профессиональные RTX A4000/A5000/A6000. Некоторые конфигурации включают до четырёх GPU, в том числе с NVLink-подключением.

Источник: Verne Global

Объём оперативной памяти стартует с отметки 32 Гбайт (VPS) и может достигать 384 Гбайт (выделенный сервер), количество выделенных ядер в VPS-варианте — от 8. Все системы оснащены SSD, а в старших конфигурациях предлагаются NVMe-накопители. В зависимости от конфигурации в системе могут быть использованы процессоры Intel Core i9, AMD Ryzen или AMD EPYC. Доступны индивидуальные конфигурации, а выделенные серверы оснащены IPMI.

Источник: Verne Global

Кроме того, есть и традиционные VPS без ускорителей: 1–32 ядра (Intel Xeon E5-26xx или Cascade Lake-SP Refresh 6226R), 1–32 Гбайт RAM, 15–480 Гбайт SSD (в том числе NVMe). Время развёртывания для VPS, по словам HOSTKEY, начинается от 15 минут, а для выделенных вариантов со сложной конфигурации оно не превышает 4 часов. GPU-серверам по умолчанию полагается подключение 1 Гбит/с и 50 Тбайт трафика ежемесячно, а обычным VPS — такое же подключение, но только 3 Тбайт трафика. Как и во всех других регионах, в Исландии доступен маркетплейс, который позволяет быстро развернуть различное ПО.

ЦОД Verne Global оснащён системой резервного питания по схеме N+1, предусмотрено двойное резервирование (2N) от источника питания до стойки. Также Verne Global говорит, что на площадке развёрнуты высокочувствительная система HSSD/VESDA с газовым тушением, система круглосуточного наблюдения и обнаружения вторжения, а также предусмотрен зональный контроль доступа. Кампус подключён к кабельным системам DANICE, FARICE-1, Greenland Connect, Hibernia Express, Iceland Connect и Sea-Me-We 5. Заявлена защита от DDoS-атак.

Корпорация NVIDIA обновила серию укорителей L40, представленных осенью прошлого года в рамках платформы OVX. Новинка под названием NVIDIA L40S позиционируется как универсальный ускоритель в форм-факторе двухслотовой FHFL-карты расширения с интерфейсом PCIe 4.0 x16, пригодный для решения практически любых задач.

Во многом L40S повторяет L40 — она также базируется на архитектуре Ada Lovelace, оснащена графическим процессором AD102, дополненным 48 Гбайт памяти GDDR6 ECC (384 бит, 864 Гбайт/с). В составе ускорителя работают 18176 ядер CUDA, 142 RT-ядра третьего поколения и 568 тензорных ядер четвёртого поколения. То есть в этом отличий от L40 нет. Но значение TDP у новинки выше на 50 Вт и составляет 350 Вт, она все ещё имеет пассивное охлаждение.

Источник изображений здесь и далее: NVIDIA

При этом L40S умудряется быть практически вдвое быстрее L40 во всех форматах вычислений с использованием тензорных ядер, а вот без Tensor Core её FP32-производительность выросла минимально — с 90,5 до 91,6 Тфлопс. Поддержкой NVLink-мостика новинка так и не обзавелась. L40S оснащён четырьмя портами DP 1.4a с поддержкой NVIDIA Mosaic и Quadro Sync. Также доступны профили vGPU для vDWS, GRID vApps/vPC, vCS. Имеется поддержка Secure Boot с Root of Trust и соответствие стандарту NEBS Level 3.

Таким образом, новинка подходит не только в качестве ускорителя для обучения ИИ-моделей или инференс-систем, но и в качестве основы для систем рендеринга 3D-графики, визуализации или создания и запуска приложений для мета-вселенных. NVIDIA отмечает, что в ИИ-задачах L40S опережает A100 в 1,2–1,7 раза, а наличие трёх движков NVENC/NVDEC с поддержкой AV1 позволяет использовать новый ускоритель в качестве эффективной платформы транскодирования видео.

На конференции GTC 2022 NVIDIA анонсировала второе поколение систем для симуляции и запуска «цифровых двойников» OVX. Это вовсе не развлечение: использование точных моделей реальных физических объектов, пространств и устройств потенциально весьма выгодно, поскольку симуляция городского квартала для обучения автопилотов или фабрики для оценки взаимодействия роботов с живыми работниками априори будет стоить намного меньше, нежели проведение натурных испытаний.

Зачастую такие симуляции используют тензорные и матричные вычисления, поэтому основой новой платформы OVX стали новые ускорители NVIDIA L40 с архитектурой Ada Lovelace, располагающие ядрами трассировки лучей третьего поколения и тензорными ядрами четвёртого поколения. Они поддерживают как классический трассировку лучей (ray tracing), так и трассировку путей (path tracing), что важно для корректной симуляции поведения различных материалов.

NVIDIA L40. Здесь и далее источник изображений: NVIDIA

Физически L40 представляют собой двухслотовую FHFL-плату расширения PCIe с пассивным охлаждением — теплопакет новинки ограничен рамками 300 Вт. Объём оперативной памяти GDDR6 составляет 48 Гбайт, вдвое больше, нежели у игровых GeForce RTX 4090, и, в отличие от последних, поддерживается совместная работа двух карт в режиме NVLink, что может оказаться полезным в симуляциях с большим объёмом данных. Для вывода изображения служат четыре порта DP 1.4a.

NVIDIA OVX Server

Каждый сервер NVIDIA OVX будет содержать 8 ускорителей L40 и три сетевых адаптера ConnectX-7 с портами класса 200GbE и поддержкой шифрования сетевого трафика на лету. От 4 до 16 таких серверов составят OVX POD, а 32 или более —кластер SuperPOD.

Такие кластеры станут домом для новой облачной платформы NVIDIA Omniverse Cloud, услуги которой компания планирует предоставлять робототехникам, создателям автономных транспортных средств, «умной инфраструктуры» и вообще всем, кому нужна точная симуляция сложных объектов и систем с качественной визуализацией результатов.

Ранее мы уже писали об экспериментальнои проекте ZLUDA, развивающем открытую реализацию CUDA для GPU Intel, которая позволила бы нативно исполнять CUDA-приложения на ускорителях Intel без каких-либо модификаций. При этом её разработка ведётся независимо и от Intel, и от NVIDIA.

Новинка построена на базе интерфейса Intel oneAPI Level Zero, и может работать на картах Intel UHD/Xe с неплохим уровнем производительности. Однако у первой версии был ряд ограничений. Вчера же вышла вторая версия, которая получила ряд улучшений. Кроме того, автор проекта объявил о переходе на модель непрерывного выпуска релизов.

Основной упор в новой версии сделан на улучшение поддержки Geekbench и работы в Windows-окружении. Собственно говоря, автор прямо говорит, что оптимизация под Geekbench пока является основной целью, а другие CUDA-приложения могут не работать. Кроме того, такое ПО, запущенное с помощью ZLUDA будет работать медленнее, чем на картах NVIDIA, в силу разности архитектур GPU и необходимости эмуляции некоторых возможностей. Подробности приведены на странице проекта.

На конференции GTC 2020 компания NVIDIA анонсировала два новых ускорителя: RTX A6000 и A40. Оба являются практически идентичными копиями, но отличаются исполнением — A40 представляет собой привычную полноразмерную двухслотовую карту для серверов с пассивным охлаждением и энергопотреблением 300 Вт.

A40 базируется на 8-нм чипе GA102 (10752 CUDA-ядра, 336 Tensor-ядер и 84 RT-ядра), дополненным 48 Гбайт памяти GDDR6 ECC и 384-бит шиной. Наличие NVLink3 позволяет объединить две карты, получив 96 Гбайт общей RAM. Для подключения к хостовой системе используется PCIe 4.0 x16. Увы, частот памяти и ядра, а также уровень производительности компания пока не приводит.

Новинка ориентирована на 3D/CAM и другие системы моделирования и визуализации в виртуализированных окружениях — как и у старшего собрата в A40 есть поддержка до 7 vGPU с объёмом памяти от 1 до 48 Гбайт. А вот поддержки MIG, судя по всему, пока нет. Тем не менее, прочие функциональные блоки никуда не делись, так что карту можно использовать для вычислений и машинного обучения. Также есть один блок кодирования и два блока декодирования видео, которые поддерживают в том числе и AV1.

Из любопытных особенностей отметим, что для питания используется CPU-коннектор ESP (4+4), а не восьмиконтактный PCIe. Кроме того, карта имеет три видеовыхода DisplayPort 1.4, которые по умолчанию отключены — в сервере они всё равно не нужны. Их можно принудительно включить, но тогда будет недоступна функция vGPU. Также в A40 имеется отдельный крипточип CEC 1712 для Secure Boot и прочих функций безопасности, а сама она соответствует NEBS Level 3, что даёт возможность сертифицировать устройства с ней для использования в промышленных (и прочих неблагоприятных) условиях.

Поставки новинки начнутся в первом квартале следующего года. Впрочем, как и прежде, она будет ориентирована на OEM-поставщиков оборудования, поэтому увидим мы её скорее в составе готовых продуктов и облаках, а не на полках магазинов.