Компании Mitsui и NVIDIA в ходе весенний конференции GTC 2023 анонсировали проект Tokyo-1. Это, как утверждается, первый в мире суперкомпьютер с генеративным ИИ, спроектированный специально для фармацевтической отрасли. Мощности новой системы будут предоставляться японским заказчикам, включая фармацевтические организации и стартапы. HPC-комплекс поможет ускорить разработку передовых лекарственных препаратов благодаря использованию ИИ. Клиенты также смогут запускать на базе Tokyo-1 большие ИИ-модели с помощью ПО и сервисов NVIDIA BioNeMo.

На начальном этапе суперкомпьютер объединит 16 узлов NVIDIA DGX H100, каждый из которых получит восемь ускорителей NVIDIA H100. За работу системы будет отвечать фирма Xeureka, дочерняя структура Mitsui, специализирующаяся на разработке лекарств с помощью ИИ. С течением времени в состав комплекса будут включены дополнительные вычислительные узлы, что позволит поднять его производительность. Ввод суперкомпьютера в эксплуатацию намечен на конец 2023 года.

Источник изображения: NVIDIA

Модели ИИ, работающие на базе Tokyo-1, помогут в создании новых молекулярных структур для лекарственных препаратов. Инициатива также будет включать семинары и обучающие курсы по применению ускоренных вычислений в фармацевтической области. Клиенты смогут получить доступ к выделенному серверу на платформе Tokyo-1, а также воспользоваться технической поддержкой со стороны Xeureka и NVIDIA. Заказчики смогут приобрести программные решения Xeureka для молекулярной динамики, квантовой химии и иных расчётов.

Отмечается, что, используя NVIDIA BioNeMo, исследователи смогут масштабировать ИИ-модели до миллионов и миллиардов параметров в различных приложениях, включая предсказание структуры белка. Крупные японские фармацевтические компании, включая Astellas Pharma, Daiichi-Sankyo и Ono Pharmaceutical, уже заявили о намерении использовать Tokyo-1 при реализации своих проектов.

NVIDIA запустила сервис ИИ-супервычислений DGX Cloud, предоставляющий предприятиям доступ к инфраструктуре и программному обеспечению, необходимым для обучения передовых моделей для генеративного ИИ и других приложений.

DGX Cloud предлагает выделенные ИИ-кластеры NVIDIA DGX в сочетании с фирменным набором ПО NVIDIA. С его помощью предприятие сможет получить доступ к облачному ИИ-суперкомпьютеру, используя веб-браузер и без надобности в приобретении, развёртывании и управлении собственной HPC-инфраструктурой. Правда, удовольствие это всё равно не из дешёвых — стоимость инстансов DGX Cloud начинается от $36 999/мес., причём деньги получает в первую очередь сама NVIDIA. Для сравнения — полностью укомплектованная система DGX A100 в Microsoft Azure обойдётся примерно в $20 тыс.

Источник изображения: NVIDIA

Облачные кластеры DGX предлагаются предприятиям на условиях ежемесячной аренды, что гарантирует им возможность быстро масштабировать разработку больших рабочих нагрузок. «DGX Cloud предоставляет клиентам мгновенный доступ к супервычислениям NVIDIA AI в облаках глобального масштаба», — сообщил Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Развёртыванием инфраструктуры DGX Cloud компания NVIDIA будет заниматься в сотрудничестве с ведущими поставщиками облачных услуг. Первым среди них стала платформа Oracle Cloud Infrastructure (OCI), предлагающая суперкластер (SuperCluster) с объединёнными RDMA-сетью (в том числе на базе BlueField-3 и Connect-X7) системами DGX (bare metal), которые дополняет высокопроизводительное локальное и блочное хранилище. Cуперкластер может включать до 32 768 ускорителей, но этот рекорд был поставлен с использованием DGX A100, а вот предложение DGX H100 пока что ограничено. В следующем квартале похожее решение появится в Microsoft Azure, а потом в Google Cloud и у других провайдеров.

Источник изображения: NVIDIA

Первыми пользователями DGX Cloud стали Amgen, одна из ведущих мировых биотехнологических компаний, лидер рынка страховых технологий CCC Intelligent Solutions (CCC) и провайдер цифровых бизнес-платформ ServiceNow. «Мощные вычислительные и многоузловые возможности DGX Cloud позволили нам в 3 раза ускорить обучение белковых LLM с помощью BioNeMo и до 100 раз ускорить анализ после обучения с помощью NVIDIA RAPIDS по сравнению с альтернативными платформами», — сообщил представитель Amgen.

Для управления нагрузками в DGX Cloud предлагается NVIDIA Base Command. Также DGX Cloud включает в себя набор инструментов NVIDIA AI Enterprise для создания и запуска моделей, который предоставляет комплексные фреймворки и предварительно обученные модели для ускорения обработки данных и оптимизации разработки и развёртывания ИИ. DGX Cloud предоставляет поддержку экспертов NVIDIA на всех этапах разработки ИИ. Клиенты смогут напрямую работать со специалистами NVIDIA, чтобы оптимизировать свои модели и быстро решать задачи разработки с учётом сценариев отраслевого использования.

На весенней конференции GTC 2023 компания NVIDIA представила два новых ИИ-ускорителя, ориентированных на инференес: неприличной большой H100 NVL, фактически являющийся парой обновлённых ускорителей H100 в формате PCIe-карты, и крошечный L4, идущий на смену T4.

Изображения: NVIDIA

NVIDIA H100 NVL действительно выглядит как пара H100, соединённых мостиками NVLink. Более того, с точки зрения ОС они выглядят как пара независимых ускорителей, однако ПО воспринимает их как единое целое, а обмен данными между двумя картам идёт в первую очередь по мостикам NVLink (600 Гбайт/с). Новинка создана в первую очередь для исполнения больших языковых ИИ-моделей, в том числе семейства GPT, а не для их обучения.

NVIDIA H100 NVL

Однако аппаратно это всё же не просто пара обычных H100 PCIe. По уровню заявленной производительности NVL-вариант вдвое быстрее одиночного ускорителя H100 SXM, а не PCIe — 3958 и 7916 Тфлопс в разреженных (в обычных показатели вдвое меньше) FP16- и FP8-вычислениях на тензорных ядрах соответственно, что в 2,6 раз больше, чем у H100 PCIe. Кроме того, NVL-вариант получил сразу 188 Гбайт HBM3-памяти с суммарной пропускной способностью 7,8 Тбайт/с.

NVIDIA утверждает, что форм-фактор H100 NVL позволит задействовать новинку большему числу пользователей, хотя четыре слота и TDP до 800 Вт подойдут далеко не каждой платформе. NVIDIA H100 NVL станет доступна во второй половине текущего года. А вот ещё одну новинку, NVIDIA L4 на базе Ada, в ближайшее время можно будет опробовать в облаке Google Cloud Platform, которое первым получило этот ускоритель. Кроме того, он же будет доступен в рамках платформы NVIDIA Launchpad, да и ключевые OEM-производители тоже взяли его на вооружение.

NVIDIA L4

Сама NVIDIA называет L4 поистине универсальным серверным ускорителем начального уровня. Он вчетверо производительнее NVIDIA T4 с точки зрения графики и в 2,7 раз — с точки зрения инференса. Маркетинговые упражнения компании при сравнении L4 с CPU оставим в стороне, но отметим, что новинка получила новые аппаратные ускорители (де-)кодирования видео и возможность обработки 130 AV1-потоков 720p30 для мобильных устройств. С L4 возможны различные сценарии обработки видео, включая замену фона, AR/VR, транскрипцию аудио и т.д. При этом ускорителю не требуется дополнительное питание, а сам он выполнен в виде HHHL-карты.

Компания NVIDIA в партнёрстве с Quantum Machines анонсировала DGX Quantum — первую систему, объединяющую GPU и квантовые вычисления. Решение использует новую открытую программную платформу CUDA Quantum. Утверждается, что система предоставляет революционно архитектуру для исследователей, работающими с гибридными вычислениями с низкой задержкой.

NVIDIA DGX Quantum объединяет средства ускоренных вычислений на базе Grace Hopper (Arm-процессор + ускоритель H100), модели программирования с открытым исходным кодом CUDA Quantum и передовую квантовую управляющую платформу Quantum Machines OPX+. Такая комбинация позволяет создавать ресурсоёмкие приложения, сочетающие квантовые вычисления с современными классическими вычислениями. При этом в числе прочего обеспечивается работа гибридных алгоритмов и коррекция ошибок.

Источник изображения: NVIDIA

Представленное решение предполагает соединение Grace Hopper и Quantum Machines OPX+ посредством интерфейса PCIe. Это обеспечивает задержку менее микросекунды между ускорителем и блоками квантовой обработки (QPU). Отмечается, что OPX+ — это универсальная система квантового управления. Таким образом, можно максимизировать производительность QPU и предоставить разработчикам новые возможности при использовании квантовых алгоритмов. Системы Grace Hopper и OPX+ можно масштабировать в соответствии с потребностями — от QPU с несколькими кубитами до суперкомпьютера с квантовым ускорением.

Источник изображения: NVIDIA

О намерении интегрировать CUDA Quantum в свои платформы уже заявили компании по производству квантового оборудования Anyon Systems, Atom Computing, IonQ, ORCA Computing, Oxford Quantum Circuits и QuEra, разработчики ПО Agnostiq и QMware, а также некоторые суперкомпьютерные центры.

Корпорация Microsoft сообщила о том, что на базе облачной платформы Azure станут доступны высокопроизводительные масштабируемые инстансы ND H100 v5 для нагрузок, связанных со сложными ИИ-моделями, в частности, с генеративными приложениями на основе нейросетей. ND H100 v5 могут использоваться при реализации таких проектов, как чат-бот ChatGPT на базе нейросети. Этот бот использует языковую модель OpenAI GPT-3, насчитывающую 175 млрд параметров.

Фото: Microsoft

Система предусматривает использование ускорителей NVIDIA H100. Восемь таких GPU объединены посредством NVSwitch и NVLink 4.0. Возможно масштабирование до тысяч ускорителей при помощи сети на базе NVIDIA Quantum-2 InfiniBand, которая обеспечивает пропускную способность до 400 Гбит/с в расчёте на GPU (до 3,2 Тбит/с на виртуальную машину). В составе ND H100 v5 применяются процессоры Intel Xeon Sapphire Rapids, обеспечивающие интерфейс PCIe 5.0 и 16 каналов DDR5-4800. Ранее NVIDIA планировала массово разворачивать в облаках специализированные HPC/ИИ-системы на базе H100.

Компания Lenovo анонсировала большое количество серверов на новейшей аппаратной платформе AMD EPYC Genoa. В семейство ThinkSystem, в частности, вошли модели SR645 V3, SR665 V3, SR675 V3, SD665 V3 и SD665-N V3, рассчитанные на решение различных задач. Все новинки предусматривают возможность гибкого изменения компоновки и будут доступны в рамках платформы Lenovo TruScale.

Модель ThinkSystem SR645 V3 формата 1U подходит для виртуализации, анализа данных и HPC-нагрузок. Эта двухсокетная система поддерживает до 6 Тбайт оперативной памяти DDR5-4800 в виде 24 модулей и до трёх ускорителей PCIe (2 × PCIe 5.0 и 1 × PCIe 4.0). Доступен слот OCP 3.0. Фронтальная секция может иметь различное исполнение: 10 × SFF (SAS/SATA/NVMe) / 4 × LFF (SAS/SATA) / 16 × E1.S EDSFF NVMe. Есть два тыльных отсека SFF.

Источник изображений: Lenovo

Сервер ThinkSystem SR665 V3 стандарта 2U рассчитан на задачи ИИ, программно-определяемые среды и виртуализацию. Он также поддерживает два чипа EPYC Genoa и 24 модуля ОЗУ. Конфигурация может включать до 20 посадочных мест для накопителей LFF (SAS/SATA/NVMe) или до 40 мест для накопителей SFF (SAS/SATA/NVMe). Есть 10 слотов PCIe (9 × PCIe 5.0) и слот OCP 3.0.

Система ThinkSystem SR675 V3 рассчитана на ИИ-нагрузки и HPC. Платформа поддерживает два процессора и до 3 Тбайт памяти DDR5-4800 в виде 24 модулей. Могут быть установлены до восьми накопителей SFF SAS/SATA/NVMe с горячей заменой и до четырёх ускорителей PCIe 5.0 x16 двойной ширины. В конфигурации высокой плотности поддерживаются шесть накопителей EDSFF E.1S и восемь карт PCIe 5.0 x16 двойной ширины. Возможна работа с ускорителями NVIDIA HGX H100.

ThinkSystem SD665 V3 — двухузловой сервер для задач HPC, крупномасштабных облачных вычислений, тяжелых симуляций и моделирования. Задействована технология прямого жидкостного охлаждения Lenovo Neptune Direct Water Cooling (DWC). Устройство имеет формат 1U. В расчёте на узел возможно использование: двух чипов EPYC Genoa, до 24 модулей DDR5-4800, двух низкопрофильных карт PCIe 5.0 x16, четырёх накопителей SFF. Есть два интерфейса 25GbE SFP28 LOM и один 1GbE.

Сервер ThinkSystem SD665-N V3 формата 1U также использует СЖО Lenovo Neptune DWC. Он поддерживает два чипа EPYC Genoa, до 24 модулей DDR5-4800, два накопителя SFF NVMe и один загрузочный модуль M.2 NVMe (тоже с жидкостным охлаждением). Могут быть установлены четыре ускорителя NVIDIA H100, связанные между собой посредством NVLink.

Источник изображения: AMD

Кроме того, Lenovo представила серверы ThinkAgile VX645 V3 и ThinkAgile VX665 V3 для гиперконвергентных инфраструктур. Оба поддерживают два чипа EPYC Genoa и до 6 Тбайт памяти DDR5-4800 (24 модуля). Подсистема хранения может иметь структуру All-Flash или гибридную конфигурацию на основе разного количества накопителей SFF и LFF. Младшая версия поддерживает до трёх ускорителей PCIe 5.0 одинарной ширины, старшая — до трёх карт двойной ширины или до восьми ускорителей одинарной ширины.

Компания Meta* в ходе саммита OCP (Open Compute Project) анонсировала систему Grand Teton — аппаратную ИИ-платформу второго поколения, оптимизированную для интенсивной работы с памятью и вычислений. В основу решения положены ускорители NVIDIA H100, которые были представлены в марте 2022 года.

Система Grand Teton превосходит платформу Meta* предыдущего поколения (Zion EX) в плане объёма памяти, вычислительных ресурсов и ёмкости сети. Так, пропускная способность шины между CPU и ускорителями выросла вчетверо, а пропускная способность сети — вдвое. Кроме того, шасси теперь может обеспечить вдвое более мощные с точки зрения энергопотребления компоненты.

В то время как архитектура Zion EX предусматривает применения ряда связанных подсистем (узел CPU, модуль ускорителей и коммутаторная система), Grand Teton объединяет все компоненты на базе единого шасси в высокоинтегрированную систему. Такая конструкция позволяет улучшить производительность, повысить надёжность, ускорить развёртывание и упростить масштабирование.

Источник изображения: Meta*

Отметим, что свою нынешнюю самую мощную ИИ-систему — суперкомпьютер RSC (Research SuperCluster), включающий порядка 16 тыс. ускорителей — Meta* не стала строить самостоятельно, как это было прежде, а заказала у NVIDIA узлы DGX A100, дополнив их многоуровневым All-Flash хранилищем от Pure Storage.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Наиболее мощным на сегодня решением NVIDIA является ускоритель H100. Их серийный выпуск начался не столь давно, 20 сентября. Однако, как выяснилось, ранее опубликованные спецификации новинки оказались не вполне точными, поэтому компания исправила ошибку на своём сайте.

Теперь производительность SXM-версии H100 в вычислениях FP64 составляет не 30, а 34 Тфлопс, а показатель в режиме FP32 вырос с 60 до 67 Тфлопс. Аналогично подросли и показатели H100 в исполнении PCI Express. Однако это не исправление опечаток: графический чип GH100 с 16 896 ядрами CUDA в обоих случаях будет работать на более высокой тактовой частоте, нежели предполагалось ранее.

Источник изображения: NVIDIA

Предварительно речь шла о 1775 МГц для SXM-версии, что в любом случае весьма много для чипа с 80 млрд транзисторов, но техпроцесс TSMC N4, похоже, способен на большее — как минимум, на 1982 МГц, считают зарубежный ресурс VideoCardz.com.

Старые (слева) и новые характеристики H100. По нажатию картинка откроется в полном размере. Источник: VideoCardz.com

Интересно отметить, что цифры в графах, посвящённых режимам машинного обучения (FP16/8, bfloat16 и INT8) также скорректированы, но в меньшую сторону. По всей видимости, ранее приведённые красивые круглые числа заменены реальными, соответствующими фактическим возможностям тензорных ядер GH100, работающих на определённой частоте.

Также в новых данных указано, что теплопакет новых ускорителей может быть конфигурируемым, хотя предельные цифры остались прежними: 700 Вт для SXM-версии и 350 Вт для версии с разъёмом PCI Express. Первые поставки H100 в составе новых систем DGX начнутся в первом квартале следующего года.

Сайт s-ss опубликовал снимок экрана, на котором среди видеокарт NVIDIA GeForce RTX 3090 Ti и NVIDIA A100 80 Гбайт, также отметился неанонсированный ускоритель NVIDIA H100 120 Гбайт с интерфейсом PCIe. На данный момент NVIDIA представила лишь версии H100 с 80 Гбайт памяти, выполненные как в формате карт PCIe, так и модулей SXM.

Подсистема памяти на 120 Гбайт включает пять стеков HBM3, каждый из которых имеет ёмкость 24 Гбайт. Вместе с увеличенным объёмом выросла и пропускная способность памяти HBM2e, до 3 Тбайт/с. Также сообщается, что H100 120 GB PCIe имеет те же характеристики GPU, что и вариант в SXM-формате, что означает присутствие в ускорителе 16 896 ядер CUDA и 528 тензорных ядер. Заметим, что актуальная 80-Гбайт версия H100 PCIe имеет слегка урезанный GPU с меньшим числом ядер.

Что примечательно, вместе с новым ускорителем в диспетчере устройств указан технический образец ускорителя NVIDIA GeForce RTX ADLCE Engineering Sample. Кроме того в Сети появилось фото ускорителя H100 SXM, также с пятью стеками памяти HBM3 и одним ненастоящим стеком для придания большей стабильности системе охлаждения.

Компания NVIDIA сообщила о начале серийного выпуска 4-нм ускорителей H100 (Hopper). Партнёры начнут предлагать решения на базе данной архитектуры в следующем месяце. NVIDIA H100 использует мультичиповую 2.5D-компоновку CoWoS и содержит около 80 млрд транзисторов.

Сочетание NVlink четвёртого поколения, обеспечивающее соединение между графическими процессорами со скоростью 900 Гбайт/с, системы NVSwitch, ускоряющей коллективную связь ускорителей между узлами, PCIe 5.0 и ПО NVIDIA Magnum IO обеспечивает эффективную масштабируемость как для небольших предприятий, так и для крупных унифицированных кластеров.

Источник изображения: NVIDIA

По словам NVIDIA, новые ускорители по сравнению с ускорителями прошлого поколения в 3,5 раза энергоэффективнее и позволяют втрое снизить совокупную стоимость владения, попутно позволяя впятеро снизить количество серверных узлов для получения того же уровня ИИ-производительности. Более подробно ознакомиться с архитектурными особенностями новинок можно здесь.

Источник изображения: NVIDIA

Инстансы на базе H100 намерены развернуть многие облачные платформы. Это Amazon Web Services, Google Cloud, Microsoft Azure и Oracle Cloud. А для тех, кому не терпится ознакомиться с новинками уже прямо сейчас, доступ к ним можно получить уже сейчас в рамках NVIDIA Launchpad. Ускорители будут применяться и в суперкомпьютерах следующего поколения.

Серверы с этими решениями будут предлагать Atos, Cisco, Dell Technologies, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Lenovo и Supermicro. До конца на рынке появится более 50 моделей серверов с новыми ускорителями, а в следующем году будут представлены ещё несколько десятков решений. Кроме того, вместе с серверами будет давать и пятилетняя подписка на NVIDIA AI Enterprise. А сама NVIDIA уже принимает заказы на системы DGX.