В связи с санкционными ограничениями некоторые разновидности сложных микроэлектронных чипов запрещено экспортировать в Китайскую Народную Республику. Однако производители находят выход. В частности, компания NVIDIA анонсировала экспортный вариант ускорителя H100, не нарушающий никаких санкций. Модельный номер у такого варианта изменён на H800.

Введённые правительством США в 2022 году санкции сделали «невыездными» два наиболее продвинутых продукта NVIDIA: A100 и H100. Такие процессоры сегодня являются основой наиболее динамично развивающейся вычислительной отрасли — нейросетевой. Именно на кластерах из таких ускорителей «натаскивают» мощные нейросети вроде ChatGPT и подобных.

Ускоритель Hopper H100 в SXM-исполнении. Источник изображений здесь и далее: NVIDIA

Ещё осенью прошлого года NVIDIA анонсировала A800 — экспортный вариант A100, не попадающий под ограничения за счёт некоторого снижения пропускной способности NVLink, с 600 до 400 Гбайт/с. Сейчас пришло время архитектуры Hopper, которая запущена в массовое производство. По аналогии с флагманом Ampere модернизированный чип получил модельный номер H800. Ограничения в нём реализованы схожим образом: как известно, NVLink в H100 имеет производительность 900 Гбайт/с в базовом SXM-варианте.

H100 также существует в PCIe-варианте

Версия H800 использует примерно половину этого потенциала, что, впрочем, не делает её в Китае менее популярной: новинка уже используется китайскими облачными гигантами, такими, как Alibaba, Baidu и Tencent. Есть ли у H800 другие отличия от H100, не говорится — NVIDIA пока отказывается предоставлять такую информацию. Достоверно известно лишь то, что они полностью соответствуют всем санкционным ограничениям. Интересно, появится ли в будущем вариант H800 NVL на базе NVIDIA H100 NVL.

Компания Supermicro анонсировала полный спектр серверов, оборудованных ускорителями NVIDIA H100 и L4. Системы предназначены для задач HPC, генеративного ИИ, глубокого обучения и других ресурсоёмких приложений, таких как умные чат-боты и визуальный поиск.

Отмечается, что в ассортименте Supermicro присутствуют серверы в форм-факторах 8U, 6U, 5U, 4U, 2U и 1U, а также рабочие станции и системы SuperBlade, которые поддерживают весь модельный ряд новых ускорителей NVIDIA. Для ряда моделей доступно жидкостное охлаждение.

Источник изображений: Supermicro

В частности, Supermicro представила мощную систему SuperServer SYS-821GE-TNHR формата 8U. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт и 32 модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. Сервер может быть оборудован восемью ускорителями NVIDIA H100 SXM5.

Во фронтальной части предусмотрены отсеки для 16 NVMe-накопителей SFF и для восьми изделий SFF SATA. Кроме того, есть два внутренних коннектора M.2 NVMe. Сервер располагает четырьмя блоками питания мощностью 3000 Вт каждый. Может быть развёрнуто воздушное или жидкостное охлаждение. В качестве опции предлагается установка двух сетевых контроллеров 10GbE (Intel X710-AT2).

Supermicro также выпустила шасии в серии X13 SuperBlade. В версии 8U оно вмещает 20 ускорителей NVIDIA H100 PCIe или 40 ускорителей NVIDIA L40. В варианте 6U можно использовать до 10 ускорителей NVIDIA H100 PCIe или до 20 ускорителей NVIDIA L4. Кроме того, Supermicro выпустила систему ИИ-разработки с жидкостным охлаждением (в виде башни или стойки), содержащую два CPU и четыре NVIDIA A100: это решение подходит для офисных и домашних сред.

Частная компания Vultr, предоставляющая услуги облачных вычислений, сообщила о том, что клиентам теперь доступны ускорители NVIDIA H100 для обработки ресурсоёмких приложений, связанных с генеративным ИИ, глубоким обучением, рендерингом видео, HPC-задачами и т. п.

Воспользоваться мощностями платформы NVIDIA HGX H100 заказчики смогут в рамках сервиса IaaS. Данная облачная платформа Vultr также включает другие ускорители NVIDIA, в том числе A100, A40 и A16. Таким образом, как отмечается, корпоративные пользователи могут выбрать наиболее подходящий для себя вариант в зависимости от потребностей.

Кроме того, Vultr объявила о трёхстороннем стратегическом альянсе с платформами обработки данных и машинного обучения Anaconda Inc. и Domino Data Lab. Эта инициатива призвана помочь специалистам по анализу данных и инженерам в области машинного обучения в упрощении и ускорении реализации проектов. Говорится, что в течение всего 60 секунд клиенты смогут развернуть полноценную и безопасную среду Anaconda на платформе Domino MLOps, работающую на инфраструктуре Vultr. Это позволит заказчикам сосредоточиться на инновациях, а не на решении рабочих вопросов.

Источник изображения: Vultr

Ускорители NVIDIA также могут быть интегрированы с широким спектром виртуализированных облачных ресурсов Vultr, серверами bare metal, управляемыми базами данных, блочными и объектными хранилищами и пр. Этот комплексный набор продуктов и услуг способен удовлетворить потребности предприятий любого размера с критически важными проектами в области ИИ и машинного обучения.

Компании Mitsui и NVIDIA в ходе весенний конференции GTC 2023 анонсировали проект Tokyo-1. Это, как утверждается, первый в мире суперкомпьютер с генеративным ИИ, спроектированный специально для фармацевтической отрасли. Мощности новой системы будут предоставляться японским заказчикам, включая фармацевтические организации и стартапы. HPC-комплекс поможет ускорить разработку передовых лекарственных препаратов благодаря использованию ИИ. Клиенты также смогут запускать на базе Tokyo-1 большие ИИ-модели с помощью ПО и сервисов NVIDIA BioNeMo.

На начальном этапе суперкомпьютер объединит 16 узлов NVIDIA DGX H100, каждый из которых получит восемь ускорителей NVIDIA H100. За работу системы будет отвечать фирма Xeureka, дочерняя структура Mitsui, специализирующаяся на разработке лекарств с помощью ИИ. С течением времени в состав комплекса будут включены дополнительные вычислительные узлы, что позволит поднять его производительность. Ввод суперкомпьютера в эксплуатацию намечен на конец 2023 года.

Источник изображения: NVIDIA

Модели ИИ, работающие на базе Tokyo-1, помогут в создании новых молекулярных структур для лекарственных препаратов. Инициатива также будет включать семинары и обучающие курсы по применению ускоренных вычислений в фармацевтической области. Клиенты смогут получить доступ к выделенному серверу на платформе Tokyo-1, а также воспользоваться технической поддержкой со стороны Xeureka и NVIDIA. Заказчики смогут приобрести программные решения Xeureka для молекулярной динамики, квантовой химии и иных расчётов.

Отмечается, что, используя NVIDIA BioNeMo, исследователи смогут масштабировать ИИ-модели до миллионов и миллиардов параметров в различных приложениях, включая предсказание структуры белка. Крупные японские фармацевтические компании, включая Astellas Pharma, Daiichi-Sankyo и Ono Pharmaceutical, уже заявили о намерении использовать Tokyo-1 при реализации своих проектов.

NVIDIA запустила сервис ИИ-супервычислений DGX Cloud, предоставляющий предприятиям доступ к инфраструктуре и программному обеспечению, необходимым для обучения передовых моделей для генеративного ИИ и других приложений.

DGX Cloud предлагает выделенные ИИ-кластеры NVIDIA DGX в сочетании с фирменным набором ПО NVIDIA. С его помощью предприятие сможет получить доступ к облачному ИИ-суперкомпьютеру, используя веб-браузер и без надобности в приобретении, развёртывании и управлении собственной HPC-инфраструктурой. Правда, удовольствие это всё равно не из дешёвых — стоимость инстансов DGX Cloud начинается от $36 999/мес., причём деньги получает в первую очередь сама NVIDIA. Для сравнения — полностью укомплектованная система DGX A100 в Microsoft Azure обойдётся примерно в $20 тыс.

Источник изображения: NVIDIA

Облачные кластеры DGX предлагаются предприятиям на условиях ежемесячной аренды, что гарантирует им возможность быстро масштабировать разработку больших рабочих нагрузок. «DGX Cloud предоставляет клиентам мгновенный доступ к супервычислениям NVIDIA AI в облаках глобального масштаба», — сообщил Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Развёртыванием инфраструктуры DGX Cloud компания NVIDIA будет заниматься в сотрудничестве с ведущими поставщиками облачных услуг. Первым среди них стала платформа Oracle Cloud Infrastructure (OCI), предлагающая суперкластер (SuperCluster) с объединёнными RDMA-сетью (в том числе на базе BlueField-3 и Connect-X7) системами DGX (bare metal), которые дополняет высокопроизводительное локальное и блочное хранилище. Cуперкластер может включать до 32 768 ускорителей, но этот рекорд был поставлен с использованием DGX A100, а вот предложение DGX H100 пока что ограничено. В следующем квартале похожее решение появится в Microsoft Azure, а потом в Google Cloud и у других провайдеров.

Источник изображения: NVIDIA

Первыми пользователями DGX Cloud стали Amgen, одна из ведущих мировых биотехнологических компаний, лидер рынка страховых технологий CCC Intelligent Solutions (CCC) и провайдер цифровых бизнес-платформ ServiceNow. «Мощные вычислительные и многоузловые возможности DGX Cloud позволили нам в 3 раза ускорить обучение белковых LLM с помощью BioNeMo и до 100 раз ускорить анализ после обучения с помощью NVIDIA RAPIDS по сравнению с альтернативными платформами», — сообщил представитель Amgen.

Для управления нагрузками в DGX Cloud предлагается NVIDIA Base Command. Также DGX Cloud включает в себя набор инструментов NVIDIA AI Enterprise для создания и запуска моделей, который предоставляет комплексные фреймворки и предварительно обученные модели для ускорения обработки данных и оптимизации разработки и развёртывания ИИ. DGX Cloud предоставляет поддержку экспертов NVIDIA на всех этапах разработки ИИ. Клиенты смогут напрямую работать со специалистами NVIDIA, чтобы оптимизировать свои модели и быстро решать задачи разработки с учётом сценариев отраслевого использования.

На весенней конференции GTC 2023 компания NVIDIA представила два новых ИИ-ускорителя, ориентированных на инференес: неприличной большой H100 NVL, фактически являющийся парой обновлённых ускорителей H100 в формате PCIe-карты, и крошечный L4, идущий на смену T4.

Изображения: NVIDIA

NVIDIA H100 NVL действительно выглядит как пара H100, соединённых мостиками NVLink. Более того, с точки зрения ОС они выглядят как пара независимых ускорителей, однако ПО воспринимает их как единое целое, а обмен данными между двумя картам идёт в первую очередь по мостикам NVLink (600 Гбайт/с). Новинка создана в первую очередь для исполнения больших языковых ИИ-моделей, в том числе семейства GPT, а не для их обучения.

NVIDIA H100 NVL

Однако аппаратно это всё же не просто пара обычных H100 PCIe. По уровню заявленной производительности NVL-вариант вдвое быстрее одиночного ускорителя H100 SXM, а не PCIe — 3958 и 7916 Тфлопс в разреженных (в обычных показатели вдвое меньше) FP16- и FP8-вычислениях на тензорных ядрах соответственно, что в 2,6 раз больше, чем у H100 PCIe. Кроме того, NVL-вариант получил сразу 188 Гбайт HBM3-памяти с суммарной пропускной способностью 7,8 Тбайт/с.

NVIDIA утверждает, что форм-фактор H100 NVL позволит задействовать новинку большему числу пользователей, хотя четыре слота и TDP до 800 Вт подойдут далеко не каждой платформе. NVIDIA H100 NVL станет доступна во второй половине текущего года. А вот ещё одну новинку, NVIDIA L4 на базе Ada, в ближайшее время можно будет опробовать в облаке Google Cloud Platform, которое первым получило этот ускоритель. Кроме того, он же будет доступен в рамках платформы NVIDIA Launchpad, да и ключевые OEM-производители тоже взяли его на вооружение.

NVIDIA L4

Сама NVIDIA называет L4 поистине универсальным серверным ускорителем начального уровня. Он вчетверо производительнее NVIDIA T4 с точки зрения графики и в 2,7 раз — с точки зрения инференса. Маркетинговые упражнения компании при сравнении L4 с CPU оставим в стороне, но отметим, что новинка получила новые аппаратные ускорители (де-)кодирования видео и возможность обработки 130 AV1-потоков 720p30 для мобильных устройств. С L4 возможны различные сценарии обработки видео, включая замену фона, AR/VR, транскрипцию аудио и т.д. При этом ускорителю не требуется дополнительное питание, а сам он выполнен в виде HHHL-карты.

Компания NVIDIA в партнёрстве с Quantum Machines анонсировала DGX Quantum — первую систему, объединяющую GPU и квантовые вычисления. Решение использует новую открытую программную платформу CUDA Quantum. Утверждается, что система предоставляет революционно архитектуру для исследователей, работающими с гибридными вычислениями с низкой задержкой.

NVIDIA DGX Quantum объединяет средства ускоренных вычислений на базе Grace Hopper (Arm-процессор + ускоритель H100), модели программирования с открытым исходным кодом CUDA Quantum и передовую квантовую управляющую платформу Quantum Machines OPX+. Такая комбинация позволяет создавать ресурсоёмкие приложения, сочетающие квантовые вычисления с современными классическими вычислениями. При этом в числе прочего обеспечивается работа гибридных алгоритмов и коррекция ошибок.

Источник изображения: NVIDIA

Представленное решение предполагает соединение Grace Hopper и Quantum Machines OPX+ посредством интерфейса PCIe. Это обеспечивает задержку менее микросекунды между ускорителем и блоками квантовой обработки (QPU). Отмечается, что OPX+ — это универсальная система квантового управления. Таким образом, можно максимизировать производительность QPU и предоставить разработчикам новые возможности при использовании квантовых алгоритмов. Системы Grace Hopper и OPX+ можно масштабировать в соответствии с потребностями — от QPU с несколькими кубитами до суперкомпьютера с квантовым ускорением.

Источник изображения: NVIDIA

О намерении интегрировать CUDA Quantum в свои платформы уже заявили компании по производству квантового оборудования Anyon Systems, Atom Computing, IonQ, ORCA Computing, Oxford Quantum Circuits и QuEra, разработчики ПО Agnostiq и QMware, а также некоторые суперкомпьютерные центры.

Корпорация Microsoft сообщила о том, что на базе облачной платформы Azure станут доступны высокопроизводительные масштабируемые инстансы ND H100 v5 для нагрузок, связанных со сложными ИИ-моделями, в частности, с генеративными приложениями на основе нейросетей. ND H100 v5 могут использоваться при реализации таких проектов, как чат-бот ChatGPT на базе нейросети. Этот бот использует языковую модель OpenAI GPT-3, насчитывающую 175 млрд параметров.

Фото: Microsoft

Система предусматривает использование ускорителей NVIDIA H100. Восемь таких GPU объединены посредством NVSwitch и NVLink 4.0. Возможно масштабирование до тысяч ускорителей при помощи сети на базе NVIDIA Quantum-2 InfiniBand, которая обеспечивает пропускную способность до 400 Гбит/с в расчёте на GPU (до 3,2 Тбит/с на виртуальную машину). В составе ND H100 v5 применяются процессоры Intel Xeon Sapphire Rapids, обеспечивающие интерфейс PCIe 5.0 и 16 каналов DDR5-4800. Ранее NVIDIA планировала массово разворачивать в облаках специализированные HPC/ИИ-системы на базе H100.

Компания Lenovo анонсировала большое количество серверов на новейшей аппаратной платформе AMD EPYC Genoa. В семейство ThinkSystem, в частности, вошли модели SR645 V3, SR665 V3, SR675 V3, SD665 V3 и SD665-N V3, рассчитанные на решение различных задач. Все новинки предусматривают возможность гибкого изменения компоновки и будут доступны в рамках платформы Lenovo TruScale.

Модель ThinkSystem SR645 V3 формата 1U подходит для виртуализации, анализа данных и HPC-нагрузок. Эта двухсокетная система поддерживает до 6 Тбайт оперативной памяти DDR5-4800 в виде 24 модулей и до трёх ускорителей PCIe (2 × PCIe 5.0 и 1 × PCIe 4.0). Доступен слот OCP 3.0. Фронтальная секция может иметь различное исполнение: 10 × SFF (SAS/SATA/NVMe) / 4 × LFF (SAS/SATA) / 16 × E1.S EDSFF NVMe. Есть два тыльных отсека SFF.

Источник изображений: Lenovo

Сервер ThinkSystem SR665 V3 стандарта 2U рассчитан на задачи ИИ, программно-определяемые среды и виртуализацию. Он также поддерживает два чипа EPYC Genoa и 24 модуля ОЗУ. Конфигурация может включать до 20 посадочных мест для накопителей LFF (SAS/SATA/NVMe) или до 40 мест для накопителей SFF (SAS/SATA/NVMe). Есть 10 слотов PCIe (9 × PCIe 5.0) и слот OCP 3.0.

Система ThinkSystem SR675 V3 рассчитана на ИИ-нагрузки и HPC. Платформа поддерживает два процессора и до 3 Тбайт памяти DDR5-4800 в виде 24 модулей. Могут быть установлены до восьми накопителей SFF SAS/SATA/NVMe с горячей заменой и до четырёх ускорителей PCIe 5.0 x16 двойной ширины. В конфигурации высокой плотности поддерживаются шесть накопителей EDSFF E.1S и восемь карт PCIe 5.0 x16 двойной ширины. Возможна работа с ускорителями NVIDIA HGX H100.

ThinkSystem SD665 V3 — двухузловой сервер для задач HPC, крупномасштабных облачных вычислений, тяжелых симуляций и моделирования. Задействована технология прямого жидкостного охлаждения Lenovo Neptune Direct Water Cooling (DWC). Устройство имеет формат 1U. В расчёте на узел возможно использование: двух чипов EPYC Genoa, до 24 модулей DDR5-4800, двух низкопрофильных карт PCIe 5.0 x16, четырёх накопителей SFF. Есть два интерфейса 25GbE SFP28 LOM и один 1GbE.

Сервер ThinkSystem SD665-N V3 формата 1U также использует СЖО Lenovo Neptune DWC. Он поддерживает два чипа EPYC Genoa, до 24 модулей DDR5-4800, два накопителя SFF NVMe и один загрузочный модуль M.2 NVMe (тоже с жидкостным охлаждением). Могут быть установлены четыре ускорителя NVIDIA H100, связанные между собой посредством NVLink.

Источник изображения: AMD

Кроме того, Lenovo представила серверы ThinkAgile VX645 V3 и ThinkAgile VX665 V3 для гиперконвергентных инфраструктур. Оба поддерживают два чипа EPYC Genoa и до 6 Тбайт памяти DDR5-4800 (24 модуля). Подсистема хранения может иметь структуру All-Flash или гибридную конфигурацию на основе разного количества накопителей SFF и LFF. Младшая версия поддерживает до трёх ускорителей PCIe 5.0 одинарной ширины, старшая — до трёх карт двойной ширины или до восьми ускорителей одинарной ширины.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) анонсировала систему Grand Teton — аппаратную ИИ-платформу второго поколения, оптимизированную для интенсивной работы с памятью и вычислений. В основу решения положены ускорители NVIDIA H100, которые были представлены в марте 2022 года.

Система Grand Teton превосходит платформу Meta✴ предыдущего поколения (Zion EX) в плане объёма памяти, вычислительных ресурсов и ёмкости сети. Так, пропускная способность шины между CPU и ускорителями выросла вчетверо, а пропускная способность сети — вдвое. Кроме того, шасси теперь может обеспечить вдвое более мощные с точки зрения энергопотребления компоненты.

В то время как архитектура Zion EX предусматривает применения ряда связанных подсистем (узел CPU, модуль ускорителей и коммутаторная система), Grand Teton объединяет все компоненты на базе единого шасси в высокоинтегрированную систему. Такая конструкция позволяет улучшить производительность, повысить надёжность, ускорить развёртывание и упростить масштабирование.

Источник изображения: Meta✴

Отметим, что свою нынешнюю самую мощную ИИ-систему — суперкомпьютер RSC (Research SuperCluster), включающий порядка 16 тыс. ускорителей — Meta✴ не стала строить самостоятельно, как это было прежде, а заказала у NVIDIA узлы DGX A100, дополнив их многоуровневым All-Flash хранилищем от Pure Storage.