Grace можно назвать одним из самых амбициозных проектов NVIDIA. О намерении ворваться на рынок мощных серверных процессоров компания объявила ещё на GTC 2022, но до недавних пор о чипах Grace были доступны лишь общие сведения. Однако ситуация меняется. NVIDIA явно располагает рабочим «кремнием», и на днях опубликовала пару деталей о Grace Superchip. Ожидается, что официальный анонс новинки состоится в марте этого года на GTC 2023.

Эта сборка включает в себя два 72-ядерных кристалла Grace, использующих ядра Arm Neoverse V2. Данное ядро использует набор инструкций Armv9, а также имеет четыре 128-битных блока векторных расширений SVE2, блоки для работы с матрицами и поддержку BF16/INT8. Объём кеша L1 составляет по 64 Кбайт для инструкций и данных, L2 — 1 Мбайт на ядро, а общий объём L3 на сборку достигает 234 Мбайт.

Блок-схема сборки Grace Superchip. Источник изображений здесь и далее: NVIDIA

Между собой кристаллы соединены шиной NVLink C2C с пропускной способность 900 Гбайт/с, и работают они как единый 144-ядерный процессор. Но это ещё не всё: каждый из кристаллов соединен со своим банком памяти LPDDR5x ECC шиной с пропускной способностью 500 Гбайт/с (т.е. суммарно на чип получается 1 Тбайт/с). Совокупный объём памяти может достигать 960 Гбайт.

Сравнение производительности и энергоэффективности Grace Superchip с двумя AMD EPYC 7763 (Milan)

Сборка Grace Superchip общается с внешним миром посредством восьми комплексов PCIe 5.0 x16 (всего 128 линий, поддерживается бифуркация). Чип при теплопакете 500 Вт (вместе с набортной памятью) способен развивать 7,1 Тфлопс на вычислениях двойной точности. С учетом интегрированной памяти это делает Grace Superchip интересной альтернативой AMD Genoa.

Программная экосистема платформы NVIDIA Grace. По клику открывается полноразмерная версия.

Помимо данных о производительности в режиме FP64 компания уже опубликовала результаты тестов новинки в HPC-нагрузках, где сравнила своё детище с двухсокетной системой на базе AMD EPYC 7763. Выигрыш в производительности составляет от 1,5x до 2,5x, но что не менее важно — Grace Superchip намного эффективнее энергетически, здесь преимущество может достигать 3,5x. В условиях высокоплотных ЦОД или HPC-кластеров это может стать решающим.

Государственное агентство по развитию информационных технологий (KIFU) объявило о запуске суперкомпьютера Komondor в кампусе Дебреценского университета (Венгрия). Это самый мощный венгерский вычислительный комплекс: его производительность достигает почти 5 Пфлопс. Стоимость проекта оценивается в $12,8 млн. В основу положены платформа HPE Cray EX и 100G-интерконнект (Slingshot 11). Тестирование суперкомпьютера началось в сентябре 2022 года.

Архитектура Komondor предполагает наличие CPU- и GPU-разделов, а также специализированного блока для задач ИИ и аналитики данных. Раздел CPU объединяет 140 узлов, каждый из которых содержит два процессора AMD EPYC 7763 (64 ядра; 2,45–3,50 ГГц; 256 Мбайт кеша L3; 280 Вт): суммарная производительность данного сегмента составляет 0,7 Пфлопс. GPU-составляющая включает 50 узлов на чипах EPYC 7763: каждый из узлов наделён четырьмя ускорителями NVIDIA A100, а общее быстродействие равно 4 Пфлопс.

Источник изображения: KIFU

Кроме того, в состав системы включены ИИ-блок и модуль Big Data. Первый состоит из двух узлов HPE Apollo 6500 Gen10, содержащих по два процессора EPYC 7763 и по восемь ускорителей NVIDIA A100. Второй модуль использует узел SMP/NUMA с 12 процессорами Intel Xeon Gold 6254 (18 ядер; 3,1–4,0 ГГц; 200 Вт). Суперкомпьютер также имеет хранилище на 10 Пбайт.

Тепло, генерируемое вычислительным комплексом, будет использоваться для обогрева близлежащего муниципального бассейна. Около трёх четвертей ресурсов системы будут доступны исследователям по всей стране, а остальная часть — бизнесу. Заявленная потребляемая мощность — около 300 кВт. В ноябрьском рейтинге TOP500 суперкомпьютер Komondor находится на 199-й позиции.

Deutsche Bank и NVIDIA объявили о заключении многолетнего соглашения о сотрудничестве с целью разработки технологий искусственного интеллекта (ИИ) и машинного обучения (МО) для сектора финансовых услуг. Как указано в пресс-релизе, сочетание опыта Deutsche Bank в финансовой отрасли с лидирующими позициями NVIDIA в области ИИ и вычислений позволит ускорить разработку широкого спектра сервисов на основе ИИ с соблюдением нормативных требований.

Deutsche Bank воспользуется партнёрством при переходе к облачной трансформации, применяя ИИ и МО для упрощения и ускорения принятия решений по миграции в облачную среду. Заключению соглашения о сотрудничестве предшествовали месяцы исследовательской работы, в ходе которой компании изучали три направления: разработка модели оценки факторов риска, высокопроизводительные вычисления и создание фирменного виртуального аватара.

Deutsche Bank рассчитывает, что партнёрство с NVIDIA позволит ему укрепить лидирующие позиции в области управления рисками, повысить эффективность и улучшить обслуживание клиентов. Для реализации этих планов Deutsche Bank намерен использовать комплексный программный пакет для оптимизации разработки и развёртывания ИИ-нагрузок NVIDIA AI Enterprise. Специалисты Deutsche Bank будут использовать ИИ-решения как локально, так и в облаке Google Cloud.

Источник изображения: NVIDIA

Многие банковские функции, которые обычно выполняются в течение часа, например, оценка рисков, теперь будут выполняться в режиме реального времени благодаря ускоренным вычислениям. При этом возрастёт точность прогнозов и эффективность управления рисками, а общие затраты снизятся на 80 %.

Использование интерактивных аватаров позволит переосмыслить обслуживание клиентов. Deutsche Bank работает над созданием пользовательского интерфейса нового поколения с помощью NVIDIA Omniverse Enterprise. С помощью NVIDIA Omniverse специалисты банка разработали раннюю концепцию 3D-аватара, призванного помочь в работе с персоналом. Будущие варианты использования аватаров будут посвящены иммерсивному опыту работы с банковскими клиентами.

Банк также отметил, что извлечение ключевой информации из неструктурированных данных уже давно является проблемой, особенно в сфере финансовых услуг. Существующие большие языковые модели плохо работают с финансовыми текстами. Deutsche Bank и NVIDIA уже тестируют набор ИИ-моделей Financial Transformers (Finformers), которые позволят получать ранние предупреждения о рисках со стороны контрагентов, более быстро извлекать данные и выявлять проблемы с их качеством.

Сети на основе InfiniBand традиционно используются в HPC-системах для связи в единое целое вычислительных узлов. Обычно речь идёт об организации сети в одном помещении, либо здании ЦОД, но иногда возникает нужда в высокоскоростной связи между кампусами, расположенными на расстоянии до десятков километров. Для решения этой задачи предназначена новое решение NVIDIA MetroX-3 XC.

Сама платформа была разработана ещё в бытность Mellanox независимой компанией, но платформа MetroX-2 была ограничена двумя внешними линками со скоростью 100 Гбит/с, работающими на дальности до 40 км, и россыпью локальных 200G-портов. Новая итерация платформы получила два внешних 100G-порта и два локальных 400G-порта. Используются новые модули со спектральным уплотнением каналов (DWDM). Физическая реализация использует 4 порта QSFP112 для данных и 2 аналогичных порта для управляющих целей.

Схема работы MetroX-3 (Источник: NVIDIA)

Разумеется, функционирует MetroX-3 XC в рамках экосистемы NVIDIA InfiniBand: она призвана работать совместно с коммутаторами Quantum-2, сетевыми адаптерами ConnectX-7 и DPU BlueField. Доступно два варианта, MTQ8400-HS2R и MTQ8400-HS2RC; последний отличается наличием шифрования сетевого трафика. Новая платформа связи MetroX совместима с фреймворком Holoscan HPC и может служить для соединения систем NVIDIA IGX, DGX и HGX.

Моделирование и цифровые двойники позволят проектировщикам дата-центров, строителям и операторам возводить высокоэффективные объекты. Но создать цифрового двойника ЦОД с точным представлением всех компонентов суперкомпьютерного комплекса для HPC и ИИ-задач — непростая задача.

С ней поможет справиться платформа моделирования NVIDIA Omniverse для совместного виртуального проектирования. На конференции SC22 компания NVIDIA продемонстрировала, как эту платформу можно использовать для улучшения проектирования и разработки сложных подсистем суперкомпьютерных ЦОД.

Omniverse позволяет операторам ЦОД агрегировать данные из сторонних приложений автоматизированного проектирования, моделирования и мониторинга, обеспечивая возможность работы с полными наборами данных в реальном времени. На конференции также была продемонстрирована NVIDIA Air, платформа моделирования сети ЦОД. С помощью NVIDIA Air разработчики смогут смоделировать и предварительно проверить точную физическую и логическую топологию сети.

Изображения: NVIDIA

Сообщается, что при создании одного из новейших ИИ-суперкомпьютеров NVIDIA было использовано несколько наборов инженерных данных из сторонних отраслевых инструментов, таких как Autodesk Revit, PTC Creo и Trimble SketchUp. Это позволило проектировщикам создать точную модель машины и ЦОД в формате Universal Scene Description (USD), используя которую они совместно дорабатывали проект в режиме реального времени.

Разработчики также использовали PATCH MANAGER, приложение для планирования прокладки сети, учитывающего всё вплоть до физического расположения кабелей. С PATCH MANAGER, подключенным к Omniverse, сложная топология соединений (от порта до порта), компоновка стоек и узлов, а также кабели могут быть интегрированы непосредственно в модель ЦОД. Для прогнозирования воздушных потоков и теплообмена использовалось ПО Cadence 6SigmaDCX, дополненное ИИ-моделями от NVIDIA Modulus, которые позволяют в режиме, близком к реальному времени, моделировать изменения теплоотдачи и охлаждения в сложных условиях.

После завершения строительства ЦОД его датчики, систему управления и телеметрии можно подключить к цифровому двойнику в Omniverse, чтобы отслеживать его работу в режиме реального времени. Благодаря идеально синхронизированному цифровому двойнику инженеры смогут моделировать часто случающиеся инциденты, такие как скачки мощности или сбои системы охлаждения. Операторы смогут использовать ИИ-рекомендации для повышения энергоэффективности дата-центра и сокращение выбросов CO₂. Цифровой двойник также позволит им тестировать и проверять обновления ПО и компонентов перед их установкой в реальном ЦОД.

Компания NVIDIA объявила о заключении соглашения о многолетнем сотрудничестве с Microsoft для создания одного из самых мощных ИИ-суперкомпьютеров, основанного на передовой инфраструктуре Microsoft Azure в сочетании с ускорителями и интерконнектом NVIDIA, а также полным стеком программного обеспечения для ИИ.

Облачный суперкомпьютер Azure будет включать мощные масштабируемые инстансы серий ND и NC, оптимизированные для распределённого обучения и инференса, 400G-интерконнект InfiniBand NDR (Quantum-2), ускорители NVIDIA H100 и программный пакет NVIDIA AI Enterprise. Отмечается, что Azure станет первым публичным облаком с такими возможностями. Кроме того, оно получит десятки тысяч ускорителей A100 и H100.

В свою очередь, Microsoft оптимизирует свою библиотеку DeepSpeed для нового «железа» NVIDIA. Кроме того, полный набор готовых ИИ-решений NVIDIA и комплекты для разработки программного обеспечения, оптимизированные для Azure, будут доступны корпоративным клиентам Azure.

Источник: NVIDIA

В рамках сотрудничества NVIDIA будет использовать экземпляры масштабируемых виртуальных машин Azure для исследований в области генеративного ИИ — области ИИ, позволяющей нейросети с помощью машинного обучения создавать собственный контент на основе имеющихся образцов. Базовые модели, такие как Megatron Turing NLG 530B, являются основой для создания с помощью самообучающихся алгоритмов текста, кода, цифровых изображений, видео или аудио.

Компания NVIDIA отрапортовала о работе в третьей четверти 2023 финансового года, которая была закрыта 30 октября. Общая выручка составила $5,93 млрд, что на 17 % меньше прошлогоднего результата. Чистая прибыль рухнула на 72 % — с $2,5 млрд до $680 млн.

Однако в сегменте ЦОД наблюдается противоположная картина. Здесь выручка в годовом исчислении подскочила практически на треть — на 31 %, достигнув $3,83 млрд. Это свидетельствует о продолжающемся росте спроса на ускорители для HPC-систем, суперкомпьютеров и облачных платформ.

Источник изображения: NVIDIA

Среди ключевых событий квартала NVIDIA выделяет начало поставок решений H100 на архитектуре Hopper. Было заключено многолетнее соглашение о сотрудничестве с Microsoft, нацеленное на то, чтобы помочь клиентам во внедрении и масштабировании ИИ-решений через облако Azure. Партнёрские соглашения также подписаны с Oracle и Nuance Communications. Кроме того, NVIDIA представила второе поколение систем для симуляции и запуска «цифровых двойников» OVX.

В отчёте также говорится, что квартальная выручка в сегменте автомобильных систем и встраиваемых устройств составила $251 млн, что на 86 % больше результата годичной давности. Компания представила Drive Thor — чип нового поколения с производительностью до 2000 Тфлопс для беспилотных транспортных средств. В ушедшем квартиле NVIDIA также анонсировала вычислительные модули Jetson Orin Nano для робототехники.

Компания Lenovo анонсировала большое количество серверов на новейшей аппаратной платформе AMD EPYC Genoa. В семейство ThinkSystem, в частности, вошли модели SR645 V3, SR665 V3, SR675 V3, SD665 V3 и SD665-N V3, рассчитанные на решение различных задач. Все новинки предусматривают возможность гибкого изменения компоновки и будут доступны в рамках платформы Lenovo TruScale.

Модель ThinkSystem SR645 V3 формата 1U подходит для виртуализации, анализа данных и HPC-нагрузок. Эта двухсокетная система поддерживает до 6 Тбайт оперативной памяти DDR5-4800 в виде 24 модулей и до трёх ускорителей PCIe (2 × PCIe 5.0 и 1 × PCIe 4.0). Доступен слот OCP 3.0. Фронтальная секция может иметь различное исполнение: 10 × SFF (SAS/SATA/NVMe) / 4 × LFF (SAS/SATA) / 16 × E1.S EDSFF NVMe. Есть два тыльных отсека SFF.

Источник изображений: Lenovo

Сервер ThinkSystem SR665 V3 стандарта 2U рассчитан на задачи ИИ, программно-определяемые среды и виртуализацию. Он также поддерживает два чипа EPYC Genoa и 24 модуля ОЗУ. Конфигурация может включать до 20 посадочных мест для накопителей LFF (SAS/SATA/NVMe) или до 40 мест для накопителей SFF (SAS/SATA/NVMe). Есть 10 слотов PCIe (9 × PCIe 5.0) и слот OCP 3.0.

Система ThinkSystem SR675 V3 рассчитана на ИИ-нагрузки и HPC. Платформа поддерживает два процессора и до 3 Тбайт памяти DDR5-4800 в виде 24 модулей. Могут быть установлены до восьми накопителей SFF SAS/SATA/NVMe с горячей заменой и до четырёх ускорителей PCIe 5.0 x16 двойной ширины. В конфигурации высокой плотности поддерживаются шесть накопителей EDSFF E.1S и восемь карт PCIe 5.0 x16 двойной ширины. Возможна работа с ускорителями NVIDIA HGX H100.

ThinkSystem SD665 V3 — двухузловой сервер для задач HPC, крупномасштабных облачных вычислений, тяжелых симуляций и моделирования. Задействована технология прямого жидкостного охлаждения Lenovo Neptune Direct Water Cooling (DWC). Устройство имеет формат 1U. В расчёте на узел возможно использование: двух чипов EPYC Genoa, до 24 модулей DDR5-4800, двух низкопрофильных карт PCIe 5.0 x16, четырёх накопителей SFF. Есть два интерфейса 25GbE SFP28 LOM и один 1GbE.

Сервер ThinkSystem SD665-N V3 формата 1U также использует СЖО Lenovo Neptune DWC. Он поддерживает два чипа EPYC Genoa, до 24 модулей DDR5-4800, два накопителя SFF NVMe и один загрузочный модуль M.2 NVMe (тоже с жидкостным охлаждением). Могут быть установлены четыре ускорителя NVIDIA H100, связанные между собой посредством NVLink.

Источник изображения: AMD

Кроме того, Lenovo представила серверы ThinkAgile VX645 V3 и ThinkAgile VX665 V3 для гиперконвергентных инфраструктур. Оба поддерживают два чипа EPYC Genoa и до 6 Тбайт памяти DDR5-4800 (24 модуля). Подсистема хранения может иметь структуру All-Flash или гибридную конфигурацию на основе разного количества накопителей SFF и LFF. Младшая версия поддерживает до трёх ускорителей PCIe 5.0 одинарной ширины, старшая — до трёх карт двойной ширины или до восьми ускорителей одинарной ширины.

Компания Dell анонсировала серверы PowerEdge нового поколения: дебютировали модели R6615, R6625, R7615 и R7625. Все устройства построены на новейших процессорах AMD EPYC Genoa, благодаря которым, как утверждается, по производительности могут превосходить предшественников более чем в два раза.

Модель PowerEdge R6615, выполненная в формате 1U, представляет собой односокетное изделие. Сервер ориентирован на виртуализацию и гиперконвергентные инфраструктуры. Реализована поддержка памяти DDR5-4800 и трёх ускорителей одинарной ширины (до 75 Вт). Можно установить до 12 накопителей SFF или до четырёх устройств LFF или до 14 модулей E3.S. Вариант PowerEdge R6625 стандарта 1U рассчитан на два процессора. В остальном он идентичен предыдущей модели.

Сервер PowerEdge R7615 формата 2U с одним процессорным разъёмом подходит для программно-ориентированных хранилищ, виртуализации и аналитики данных. Конфигурация подсистемы накопителей может иметь следующую организацию: 24 × SFF / 12 × LFF / 32 × E3.S. Есть место для шести карт одинарной ширины (до 75 Вт) и трёх ускорителей двойной ширины (до 500 Вт). Тип оперативной памяти — DDR5-4800.

Источник изображения: NVIDIA

Модель PowerEdge R7625 имеет исполнение 2U и двухсокетную конфигурацию. Устройство подходит для создания массивов All-Flash, виртуализации и аналитики данных. Подсистема хранения аналогична предыдущей модели. Можно задействовать до шести карт одинарной ширины и два ускорителя двойной ширины. По сравнению с предшественниками у новых серверов улучшены средства обеспечения безопасности и повышена энергетическая эффективность. Поставки начнутся в текущем месяце.

Кроме того, Dell совместно с Intel и NVIDIA представила серверы PowerEdge XE9680, PowerEdge XE9640 и PowerEdge XE8640. Первая из перечисленных моделей — это высокопроизводительная система с восемью ускорителями NVIDIA H100 или A100. Применены два процессора Intel Xeon Sapphire Rapids. Сервер подходит для интенсивных ИИ-нагрузок.

2U-система PowerEdge XE9640 также поддерживает установку четырёх ускорителей Intel Max GPU (Ponte Vecchio). Применено прямое жидкостное охлаждение, что повышает плотность монтажа. Третий сервер, PowerEdge XE8640, имеет формат 4U: он рассчитан на четыре ускорителя H100 и два процессора Sapphire Rapids. Эти новинки станут доступны в первой половине 2023 года.

Hewlett Packard Enterprise анонсировала суперкомпьютеры HPE Cray EX и HPE Cray XD, которые отличаются более доступной ценой, меньшей занимаемой площадью и большей энергоэффективностью по сравнению с прошлыми решениями компании. Новинки используют современные технологии в области вычислений, интерконнекта, хранилищ, питания и охлаждения, а также ПО.

Изображение: HPE

Суперкомпьютеры HPE обеспечивают высокую производительность и масштабируемость для выполнения ресурсоёмких рабочих нагрузок с интенсивным использованием данных, в том числе задач ИИ и машинного обучения. Новинки, по словам компании, позволят ускорить вывода продуктов и сервисов на рынок. Решения HPE Cray EX уже используются в качестве основы для больших машин, включая экзафлопсные системы, но теперь компания предоставляет возможность более широкому кругу организаций задействовать супервычисления для удовлетворения их потребностей в соответствии с возможностями их ЦОД и бюджетом.

В семейство HPE Cray вошли следующие системы:

• HPE Cray EX2500 с такой же архитектурой как у HPE Cray EX4000, самой быстрой системы экзафлопсного класса от HPE. Однако EX2500 на 24 % меньше, что позволит разместить его в корпоративном ЦОД. Новая система имеет 100% прямое жидкостное охлаждение.
• HPE Cray XD2000 и XD6500 HPE со специализированными серверами с высокой плотностью размещения, созданные путём интеграции портфолио HPE и Cray. HPE Cray XD тоже совместимы с традиционными корпоративными ЦОД и дают возможность подобрать необходимую конфигурацию в зависимости от рабочей нагрузки.

Все три системы задействуют те же технологии, что и их старшие собратья: интерконнект HPE Slingshot, хранилище Cray Clusterstor E1000 и пакет ПО HPE Cray Programming Environment и т.д. Система HPE Cray EX2500 поддерживает процессоры AMD EPYC Genoa и Intel Xeon Sapphire Rapids, а также ускорители AMD Instinct MI250X. Модель HPE Cray XD6500 поддерживает чипы Sapphire Rapids и ускорители NVIDIA H100, а для XD2000 заявлена поддержка AMD Instinct MI210.

Изображение: Intel

В качестве примеров выгод от использования анонсированных суперкомпьютеров в разных отраслях компания назвала:

• Ускорение вывода на рынок более безопасных и высокопроизводительных автомобилей: автопроизводители с помощью суперкомпьютеров смогут лучше моделировать и тестировать усовершенствования конструкции транспортных средств и моделировать столкновения, экономя деньги на краш-тестах и физических испытаниях;
• Разработка материалов для упаковки: моделирование физических и химических процессов для ускорения создания альтернативных материалов может помочь в создании более качественной, экологичной упаковки для средств личной гигиены и потребительских товаров, и снизить затраты предприятий;
• Ускорение разработки лекарств: учёные и фармацевтические лаборатории смогут лучше изучить химические взаимодействия, которые могут привести к созданию революционных средств для лечения сложных и даже ещё неизвестных заболеваний;
• Принятие важных мгновенных решений на финансовых рынках: финансовые аналитики смогут использовать производительность суперкомпьютеров и возможности ИИ для создания подробной аналитики и передовых алгоритмов для прогнозирования критических тенденций на рынке, а также для выявления мошенничества и управления рисками.