Компания NVIDIA в ходе выставки Computex 2023 представила HPC-комплексы Taipei-1 и Israel-1. Первый из названных суперкомпьютеров ориентирован на решение сложных задач в области ИИ и промышленных метавселенных, а второй будет выступать в качестве испытательного полигона для тестирования новых решений.

Основа Taipei-1 — 64 системы NVIDIA DGX H100. Это полностью оптимизированная аппаратная и программная платформа, включающая поддержку новых программных решений NVIDIA для ИИ. Конфигурация узлов включает восемь ускорителей H100, два DPU BlueField-3 и 2 Тбайт памяти.

Кроме того, в состав Taipei-1 войдут 64 системы NVIDIA OVX , которые предназначены для построения крупномасштабных цифровых двойников. Клиентам будет доступен облачный сервис DGX Cloud, а софт NVIDIA Base Command поможет в мониторинге рабочих нагрузок.

Ведущие тайваньские образовательные и научно-исследовательские институты одними из первых получат доступ к Taipei-1 для развития здравоохранения, больших языковых моделей (LLM), климатологии, робототехники, интеллектуального производства и промышленных проектов. Использовать мощности суперкомпьютера, в частности, планирует Национальный тайваньский университет.

Изображение: NVIDIA

В свою очередь, комплекс Israel-1 станет самым мощным ИИ-суперкомпьютером в Израиле. Машина объединит 256 серверов Dell PowerEdge XE9680 на основе NVIDIA HGX H100. В общей сложности будут задействованы 2560 изделий BlueField-3 DPU и 80 коммутаторов Spectrum-4. Общее пиковое быстродействие системы составит 130 Пфлопс, а производительность на ИИ-операциях — до 8 Эфлопс.

Любопытно, что на выставке также удалось обнаружить упоминание пока что не анонсированной машины Taiwania 4, о которой писали зарубежные СМИ. В частности, говорится, что система получит 44 узла со 144-ядерными Arm-чипами Grace, которые будут объединены интеконнектом NVIDIA Quantum-2 InfiniBand NDR. Созданием суперкомпьютера займётся ASUS, а расположится он в тайваньском Национальном центре высокопроизводительных вычислений (NCHC).

Компания ASUS в рамках выставки Computex 2023 анонсировала сервер RS720QN-E11-RS24U типоразмера 2U с высокой плотностью компоновки элементов. Новинка использует передовую модульную архитектуру NVIDIA MGX, которая позволяет комбинировать CPU, GPU и DPU в нужном сочетании для решения определённых задач в области ИИ и НРС.

Сервер несёт на борту процессор NVIDIA Grace CPU Superchip, насчитывающий 144 ядра Arm. Чип функционирует в тандеме с оперативной памятью LPDDR5 объёмом 256/512 Гбайт. Во фронтальной части расположены 24 отсека для SFF-накопителей NVMe. Кроме того, возможна установка SSD-модулей М.2 22110 с интерфейсом PCIe 5.0 х4.

Модель RS720QN-E11-RS24U располагает двумя сетевыми портами 1GbE (контроллер Intel I350) и выделенным сетевым портом управления. Питание обеспечивают блоки мощностью 3600 Вт с сертификатом 80 PLUS Titanium. Сервер имеет габариты 800 × 444 × 88,15 мм. В системе охлаждения задействованы вентиляторы с возможностью горячей замены.

Компания Supermicro официально анонсировала сервер ARS-221GL-NR, построенный на новейшей модульной архитектуре NVIDIA MGX. Решение ориентировано на корпоративных заказчиков, реализующих проекты в области НРС, ИИ, метавселенных и пр.

Сервер выполнен в форм-факторе 2U с габаритами 438,4 × 900 × 88 мм. Применена материнская плата Super G1SMH для процессоров NVIDIA Grace CPU Superchip, насчитывающих 144 ядра Arm. Возможна установка до четырёх ускорителей NVIDIA H100.

Источник изображения: Supermicro

Система несёт на борту до 480 Гбайт памяти LPDDR5X-4800. В комплектацию может быть включён адаптер 10GbE NVIDIA ConnectX-7 или Bluefield-3 DPU. Предусмотрены 16 отсеков для накопителей E1.S NVMe с возможностью горячей замены.

В общей сложности есть семь слотов расширения PCIe 5.0 x16 FHFL. Упомянут аналоговый интерфейс D-Sub. Питание обеспечивают блоки мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C. Сервер оборудован системой воздушного охлаждения с шестью вентиляторами, рассчитанными на продолжительную работу под высокими нагрузками.

Компания Supermicro также сообщила о намерении применять в своих продуктах Ethernet-платформу NVIDIA Spectrum-X. Она обеспечивает возможность обслуживания до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) одним коммутатором.

Компании NVIDIA и SoftBank в рамках выставки Computex 2023 объявили о совместной работе над передовой платформой для генеративного ИИ и приложений 5G/6G. Проект предусматривает формирование дата-центров нового поколения с высокими показателями производительности и энергетической эффективности.

Платформа будет использовать новую эталонную архитектуру NVIDIA MGX, предназначенную для быстрого создания ИИ-систем на базе CPU, GPU и DPU. Основой серверов послужит суперчип GH200 Grace Hopper, уже запущенный в массовое производство.

Новые ЦОД обеспечат более эффективное использование площадей. Говорится о низких задержках и значительной экономии электроэнергии по сравнению с традиционными дата-центрами. SoftBank изучает возможность создания приложений 5G для автономного вождения, ИИ-производств, дополненной и виртуальной реальности, компьютерного зрения и цифровых двойников.

Источник изображения: NVIDIA

Говорится, что GH200 Grace Hopper и BlueField-3 DPU ускорят программно-определяемые сети 5G vRAN, а также приложения для генеративного ИИ. При этом коммутаторы NVIDIA Spectrum Ethernet совместно с BlueField-3 обеспечат высокоточную синхронизацию передачи данных для 5G. Партнёры отмечают, что специализированные 1U-серверы на базе MGX позволят организовывать 5G-сети с самой высокой в отрасли пропускной способностью нисходящей линии — 36 Гбит/с.

Благодаря софту NVIDIA Aerial для высокопроизводительных программно-определяемых облачных сетей 5G новые решения позволят операторам динамически распределять вычислительные ресурсы и дадут 2,5-кратный выигрыш в энергоэффективности по сравнению с конкурирующими продуктами.

Компания NVIDIA анонсировала вычислительную платформу нового типа DGX GH200 AI Supercomputer для генеративного ИИ, обработки огромных массивов данных и рекомендательных систем. HPC-платформа станет доступна корпоративным заказчикам и организациям в конце 2023 года. Платформа представляет собой готовый ПАК и включает, в частности, наборы ПО NVIDIA AI Enterprise и Base Command.

Для платформы предусмотрено использование 256 суперчипов NVIDIA GH200 Grace Hopper, объединённых при помощи NVLink Switch System. Каждый суперчип содержит в одном модуле Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100. Задействован интерконнект NVLink-C2C (Chip-to-Chip), который, как заявляет NVIDIA, значительно быстрее и энергоэффективнее, нежели PCIe 5.0. В результате, скорость обмена данными между CPU и GPU возрастает семикратно, а затраты энергии сокращаются примерно в пять раз. Пропускная способность достигает 900 Гбайт/с.

Источник изображений: NVIDIA

Технология NVLink Switch позволяет всем ускорителям в составе системы функционировать в качестве единого целого. Таким образом обеспечивается производительность на уровне 1 Эфлопс (~ 9 Пфлопс FP64), а суммарный объём памяти достигает 144 Тбайт — это почти в 500 раз больше, чем в одной системе NVIDIA DGX A100. Архитектура DGX GH200 AI Supercomputer позволяет добиться 10-кратного увеличения общей пропускной способности по сравнению с HPC-платформой предыдущего поколения.

Ожидается, что Google Cloud, Meta✴ и Microsoft одними из первых получат доступ к суперкомпьютеру DGX GH200, чтобы оценить его возможности для генеративных рабочих нагрузок ИИ. В перспективе собственные проекты на базе DGX GH200 смогут реализовывать крупнейшие провайдеры облачных услуг и гиперскейлеры. Для собственных нужд NVIDIA до конца 2023 года построит суперкомпьютер Helios, который посредством Quantum-2 InfiniBand объединит сразу четыре DGX GH200.

Компания NVIDIA в ходе выставки Computex 2023 сообщила о начале серийного производства суперчипов GH200 Grace Hopper, предназначенных для построения НРС-систем и платформ генеративного ИИ. Ожидается, что изделия возьмут на вооружение ведущие облачные провайдеры и гиперскейлеры, включая Google, Meta✴ и Microsoft.

В состав Grace Hopper входят 72-ядерный Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100 с 96 Гбайт HBM3. Объём общей для обоих кристаллов памяти составляет 576 Гбайт (480 Гбайт LPDDR5x). Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с: это приблизительно в семь раз больше по сравнению с PCIe 5.0. Заявленный уровень производительности GH200 — 4 Пфлопс с использованием Transformer Engine.

«Генеративный ИИ быстро трансформирует IT-пространство, предоставляя новые возможности и ускоряя открытия в здравоохранении, финансах, бизнес-сфере и многих других отраслях. С началом серийного выпуска суперчипов Grace Hopper производители по всему миру вскоре представят ускоренные инфраструктуры для решения ИИ-задач корпоративного класса на основе уникальных массивов данных», — сказал Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA.

Источник изображения: NVIDIA

Говорится, что в число производителей серверов с ускорителями NVIDIA входят такие компании, как Cisco, Dell Technologies, Gigabyte, HPE, Lenovo, Supermicro, Eviden (Atos). Среди тайваньских партнёров компании были названы AAEON, Advantech, Aetina, ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Tyan, Wistron и Wiwynn. Изделия NVIDIA H100 уже применяют в составе своих платформ облачные провайдеры AWS, Cirrascale, CoreWeave, Google Cloud, Lambda, Microsoft Azure, Oracle Cloud, Paperspace и Vultr.

Источник изображения: NVIDIA

Системы нового поколения на базе NVIDIA Grace, Hopper и Ada Lovelace обеспечат поддержку полного набора ПО NVIDIA, включая NVIDIA AI Enterprise, NVIDIA Omniverse и NVIDIA RTX. Платформы на основе суперчипов GH200 Grace Hopper станут доступны позднее в текущем году.

Компания NVIDIA анонсировала проект Isambard 3 — это система высокопроизводительных вычислений, которая расположится в Научном парке Бристоля и Бата в Великобритании. Комплекс будет применяться при решении сложных задач в области ИИ, медицины, астрофизики, биотехнологий и пр.

Инициативу возглавляет Бристольский университет в составе исследовательского консорциума GW4 Alliance. Кроме того, в проекте принимают участие Университеты Бата, Кардиффа и Эксетера. Строительством суперкомпьютера займётся компания HPE.

В основу Isambard 3 лягут 384 суперпроцессора NVIDIA Grace с ядрами Arm Neoverse. Утверждается, что по производительности и энергетической эффективности система в шесть раз превзойдёт своего предшественника — комплекс Isambard 2. В частности пиковое быстродействие FP64 составит 2,7 Пфлопс при энергопотреблении менее 270 кВт. Это позволит комплексу войти в число трёх наиболее энергоэффективных суперкомпьютеров мира, в которых не используются ускорители.

Источник изображения: NVIDIA

Isambard 3 поможет в создании подробных моделей исключительно сложных структур, объектов и установок, таких как ветряные электростанции и термоядерные реакторы. Новая система также продолжит выполнение задач, которыми ранее занималась машина Isambard 2: это исследование на молекулярном уровне, связанные с болезнью Паркинсона, лечением остеопороза и поиском новых препаратов от COVID-19.

Суперкомпьютер Isambard 3, как ожидается, позволит Европейскому научно-исследовательскому сообществу ускорить реализацию проектов в ряде важных областей. Ввод системы в эксплуатацию намечен на весну 2024 года.

Проект NVIDIA Grace весьма амбициозен: компания всерьёз намерена ворваться с его помощью на рынок высокопроизводительных серверных процессоров, где всё ещё доминируют решения Intel и AMD. Об этом чипе было объявлено ещё на конференции GTC 2022, а на GTC 2023 глава компании, наконец, показал его вживую.

В рамках продолжающегося роста плотности упаковки вычислительных мощностей в современных ЦОД на первый план выдвинулась не голая производительность, а соотношение производительности к уровню энергопотребления и тепловыделения. По сочетанию этих параметров x86 далеко не оптимальна, и тут у NVIDIA есть все шансы. С анонсом Grace Superchip NVIDIA провозглашает (впрочем, уже не в первый раз) смерть «закона Мура» — пришло время оптимизации и отказа от устаревших, по мнению компании, вычислительных архитектур.

Источник изображений здесь и далее: NVIDIA

Процессор NVIDIA Grace воплощает в себе все современные тенденции, начиная с отказа от монолитного кристалла. Сборка Grace Superchip состоит из двух кристаллов, каждый из которых включает в себя 72 ядра Arm Neoverse V2 (Arm v9), поддерживающих векторные расширения SVE2 и оптимизированные для ИИ форматы BF16/INT8. Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с.

В сборку интегрированы чипы памяти LPDDR5x общим объёмом до 960 Гбайт, причём каждый кристалл имеет свою шину доступа к памяти с производительностью 500 Гбайт/с. При этом с точки зрения ПО Grace Superchip представляется единым 144-ядерным процессором с ПСП на уровне 1 Тбайт/с.

Для достижения схожих параметров в мире x86 требуется двухпроцессорная платформа AMD Genoa, куда более сложная технически и гораздо менее энергоэффективная, но при этом обладающая всеми недостатками NUMA-систем. Достаточно сравнить энергопотребление: 900 Вт против 500 у нового решения NVIDIA.

NVIDIA есть чем гордиться: при сопоставимом уровне энергопотребления Grace Superchip превосходит своих конкурентов из мира x86 в 2,3 раза при запуске микросервисов, вдвое опережает их в приложениях с интенсивным обменом данными с памятью и почти вдвое — в задачах симуляции вычислительной гидродинамики. В ряде других научно-технических задач преимущество может быть и более чем двукратным.

Это достигнуто в том числе благодаря изначальной оптимизации дизайна процессора с упором на максимальную производительность передачи данных. Внутренне Grace организован по принципу меш-сети с распределённой системой кеширования на базе специальных узлов коммутации CSN (Cache Switch Nodes). Называется эта сеть Scalable Coherency Fabric, она имеет пропускную способность 3,2 Тбайт/с, а объём кеша L3 составляет 117 Мбайт на кристалл и 234 Мбайт совокупно.

Сервер на базе NVIDIA Grace не только может потреблять меньше энергии, но и будет существенно проще конструктивно, поскольку модуль Grace Superchip содержит не только процессорные ядра и память, но также и регуляторы напряжения. От платформы на базе нового процессора требуется только PCIe 5.0 — у нового чипа есть два набора по 64 линии. Причём линии с поддержкой CXL 2.0, так что проблем с расширением доступного объёма памяти новинка испытывать не будет.

Даже компактные серверы высотой 1U смогут вместить две сборки Grace Superchip, что даст 288 ядер и почти 2 Тбайт оперативной памяти — труднодостижимый в таких габаритах показтель для более традиционных конструктивов процессоров и системных плат. Сравнительно невысокий теплопакет позволит таким решениям обходиться традиционным воздушным охлаждением.

При этом есть и вариант Grace Hopper, сочетающий в одном модуле кристалл Grace и новейший GPU H100, причём параметрами PCI Express последний ограничен не будет благодаря NVLink-C2C. NVIDIA уже начала первичные поставки Grace, а начало полномасштабного производства ожидается во второй половине года. Новыми процессорами заинтересовались крупные производители оборудования, включая ASUS, Atos, GIGABYTE, HPE, QCT, Supermicro, Wistron и ZT Systems.

Лос-Аламосская национальная лаборатория объявила, что использует NVIDIA Grace в новом суперкомпьютере Venado, который поможет учёным в исследованиях новых материалов и возобновляемых источников энергии. Ряд крупных европейских и азиатских ЦОД также рассматривает перспективы применения новых процессоров NVIDIA. В частности, одной из систем на базе Grace станет кластер Alps в Швейцарском национальном компьютерном центре.

Компания NVIDIA в партнёрстве с Quantum Machines анонсировала DGX Quantum — первую систему, объединяющую GPU и квантовые вычисления. Решение использует новую открытую программную платформу CUDA Quantum. Утверждается, что система предоставляет революционно архитектуру для исследователей, работающими с гибридными вычислениями с низкой задержкой.

NVIDIA DGX Quantum объединяет средства ускоренных вычислений на базе Grace Hopper (Arm-процессор + ускоритель H100), модели программирования с открытым исходным кодом CUDA Quantum и передовую квантовую управляющую платформу Quantum Machines OPX+. Такая комбинация позволяет создавать ресурсоёмкие приложения, сочетающие квантовые вычисления с современными классическими вычислениями. При этом в числе прочего обеспечивается работа гибридных алгоритмов и коррекция ошибок.

Источник изображения: NVIDIA

Представленное решение предполагает соединение Grace Hopper и Quantum Machines OPX+ посредством интерфейса PCIe. Это обеспечивает задержку менее микросекунды между ускорителем и блоками квантовой обработки (QPU). Отмечается, что OPX+ — это универсальная система квантового управления. Таким образом, можно максимизировать производительность QPU и предоставить разработчикам новые возможности при использовании квантовых алгоритмов. Системы Grace Hopper и OPX+ можно масштабировать в соответствии с потребностями — от QPU с несколькими кубитами до суперкомпьютера с квантовым ускорением.

Источник изображения: NVIDIA

О намерении интегрировать CUDA Quantum в свои платформы уже заявили компании по производству квантового оборудования Anyon Systems, Atom Computing, IonQ, ORCA Computing, Oxford Quantum Circuits и QuEra, разработчики ПО Agnostiq и QMware, а также некоторые суперкомпьютерные центры.

Grace можно назвать одним из самых амбициозных проектов NVIDIA. О намерении ворваться на рынок мощных серверных процессоров компания объявила ещё на GTC 2022, но до недавних пор о чипах Grace были доступны лишь общие сведения. Однако ситуация меняется. NVIDIA явно располагает рабочим «кремнием», и на днях опубликовала пару деталей о Grace Superchip. Ожидается, что официальный анонс новинки состоится в марте этого года на GTC 2023.

Эта сборка включает в себя два 72-ядерных кристалла Grace, использующих ядра Arm Neoverse V2. Данное ядро использует набор инструкций Armv9, а также имеет четыре 128-битных блока векторных расширений SVE2, блоки для работы с матрицами и поддержку BF16/INT8. Объём кеша L1 составляет по 64 Кбайт для инструкций и данных, L2 — 1 Мбайт на ядро, а общий объём L3 на сборку достигает 234 Мбайт.

Блок-схема сборки Grace Superchip. Источник изображений здесь и далее: NVIDIA

Между собой кристаллы соединены шиной NVLink C2C с пропускной способность 900 Гбайт/с, и работают они как единый 144-ядерный процессор. Но это ещё не всё: каждый из кристаллов соединен со своим банком памяти LPDDR5x ECC шиной с пропускной способностью 500 Гбайт/с (т.е. суммарно на чип получается 1 Тбайт/с). Совокупный объём памяти может достигать 960 Гбайт.

Сравнение производительности и энергоэффективности Grace Superchip с двумя AMD EPYC 7763 (Milan)

Сборка Grace Superchip общается с внешним миром посредством восьми комплексов PCIe 5.0 x16 (всего 128 линий, поддерживается бифуркация). Чип при теплопакете 500 Вт (вместе с набортной памятью) способен развивать 7,1 Тфлопс на вычислениях двойной точности. С учетом интегрированной памяти это делает Grace Superchip интересной альтернативой AMD Genoa.

Программная экосистема платформы NVIDIA Grace. По клику открывается полноразмерная версия.

Помимо данных о производительности в режиме FP64 компания уже опубликовала результаты тестов новинки в HPC-нагрузках, где сравнила своё детище с двухсокетной системой на базе AMD EPYC 7763. Выигрыш в производительности составляет от 1,5x до 2,5x, но что не менее важно — Grace Superchip намного эффективнее энергетически, здесь преимущество может достигать 3,5x. В условиях высокоплотных ЦОД или HPC-кластеров это может стать решающим.