Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна нова система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

К Европейскому совместному предприятию по развитию высокопроизводительных вычислений EuroHPC JU присоединилась Великобритания, став его 35-м государством-участником, о чём было принято решение на 38-м заседании совета управляющих EuroHPC, сообщает сайт консорциума. Ранее страна лишилась своего места в EuroHPC из-за Brexit'а, хотя и являлась одной из стран-основательниц консорциума.

Теперь Великобритания принимает участие в финансируемой Horizon Europe части программы EuroHPC, в рамках которой ей предоставляется доступ к суперкомпьютерам для исследований. Всего в рамках программы выделяется около £770 млн в период с 2021 по 2027 гг. Исследователи и учёные из Великобритании теперь смогут подавать заявки на участие в финансируемых Horizon Europe конкурсах EuroHPC JU Research & Innovation в партнёрстве с другими европейскими исследовательскими институтами, которые занимаются технологиями, приложениями и ПО для высокопроизводительных вычислений.

Источник изображения: EuroHPC

Horizon Europe — ключевая программа ЕС по финансированию исследований и инноваций с бюджетом в €95,5 млрд. Великобритания вновь присоединилась к ней в конце прошлого года после трёхлетнего перерыва. И теперь в соответствии с соглашением между Лондоном и Брюсселем она стала ассоциированным членом программы Horizon Europe. Сейчас EuroHPC объединяет HPC-ресурсы 35 стран, включая Норвегию, Турцию и все 27 государств-членов ЕС, предназначенных для стимулирования исследований в области вычислительных технологий следующего поколения.

Источник: Hyperion Research

Пользователи из Великобритании получили доступ к суперкомпьютерной экосистеме EuroHPC JU для проведения исследований в 2018 году в рамках программы Horizon 2020. В соответствии с соглашением EU-UK Withdrawal Agreement, пользователи Великобритании продолжают пользоваться возможностями, финансируемыми программой Horizon 2020, включая использование суперкомпьютеров EuroHPC первого поколения.

В марте этого года Великобритания присоединилась к совместному предприятию в сфере чипов Chips Joint Undertaking, благодаря чему британская полупроводниковая промышленность получила доступ к фонду в размере £1,1 млрд, созданным в рамках программы Horizon Europe для поддержки европейских исследований в области полупроводниковых технологий.

Член партии Sinn Féin и нижней палаты ирландского парламента Луиза О’Райли (Louise O'Reilly) раскритиковала местное правительство за неспособность приобрести новый суперкомпьютер. Datacenter Dynamics сообщает, что политик привлекла внимание исполнительной власти к необходимости подготовки новой национальной HPC-платформы варианта взамен недавно списанной.

По её словам, HPC-системы являются сердцем пятой промышленной революции, ключевым фактором роста ирландской экономики и обеспечения прямых иностранных инвестиций. Ранее у Ирландии имелся суперкомпьютер Kay, размещавшийся в центре ICHEC Ирландского национального университета (его части — University College Galway). Запущенный в 2018 году 665-Тфлопс суперкомпьютер, ранее использовавшийся властями, учёными и бизнесом, вывели из эксплуатации в ноябре 2023 года.

Источник изображения: Jason Murphy/unsplash.com

О’Райли заявляет, что у правительства достаточно возможностей для приобретения новой машины. Тем не менее, по её данным, несмотря на предупреждения о необходимости покупки суперкомпьютера, на поставку которого может уйти около трёх лет, власти не сделали ни шагу к приобретению системы. Пока же ирландским структурам приходится или просить об использовании суперкомпьютеров чужие государства, или прибегать к услугам частных компаний.

Другими словами, как считает О’Райли, неспособность правительства инвестировать в критическую инфраструктуру «опозорила» Ирландию в глазах европейского и мирового технологического сообщества и лишит страну целого поколения талантов, отправившихся искать места получше, а также не даст привлекать прямые иностранные инвестиции в должных объёмах в секторы вроде ИИ, машинного обучения и квантовых вычислений.

Как считает депутат, новый суперкомпьютер должен быть построен при участии консорциума EuroHPC. Последний ещё в 2022 году объявил о выборе пяти площадок для следующего поколения суперкомпьютеров, одной из которых должна была стать Ирландия. Страна должна была получить суперкомпьютер CASPIr, причём EuroHPC готов оплатить до 35 % стоимости системы. CASPIr должен быть в 25 раз производительнее Kay.

Очередной рейтинг TOP500 теперь включает сразу две экзафлопсных системы. Суперкомпьютер Frontier, занимающий в рейтинге первое место с весны 2022 года, так и остался лидером, чуть прибавив в производительности за последние полгода — 1,206 Эфлопс на практике и 1,715 Эфлопс в теории. Aurora, дебютировавшая в ноябрьском TOP500, стала практически вдвое производительнее в бенчмарках и едва-едва преодолела экзафлопсный барьер (1,012 Эфлопс).

Пиковая теоретическая FP64-производительность Aurora составляет 1,98 Эфлопс, однако формально система всё ещё не принята, а текущий результат был получен на 87 % доступных узлов (9234 шт). Всего же машина включает 166 стоек, 10624 узлов, 21248 процессоров Intel Xeon Max (Sapphire Rapids с HBM) и 63744 ускорителя Intel Data Center GPU Max. При этом энергопотребление её составляет почти 38,7 МВт против 22,7 МВт у Frontier.

Источник изображения: Intel

Совсем скоро должен заработать старший брат Frontier — 2-Эфлопс суперкомпьютер El Capitan на базе AMD Instinct MI300. Так что времени у Intel на то, чтобы тоже преодолеть этот барьер, не так уж много. Пока компания оправдывается тем, что, например, в бенчмарке HPCG, который в отличие от HPL более корректно отображает производительность машины в реальных задачах, Aurora показала 5,6 Пфлопс, задействовав лишь 39 % имеющихся узлов. Вот только у Frontier и Fugaku этот показатель составляет 14 и 16 Пфлопс соответственно, причём японскую систему в HPCG уже четыре года никто обогнать не может.

Источник изображения: TOP500

Наконец, Intel сообщила, что Aurora (точнее, 89 % узлов) лидирует в ИИ-бенчмарке HPL-MxP (HPL-AI), где показала 10,6 Эфлопс на вычислениях смешанной точности. Обновлённый рейтинг пока не выложен, но у Frontier в прошлом году результат был 9,95 Эфлопс. Как бы то ни было, Intel заявляет, что Aurora теперь является самым быстрым ИИ-суперкомпьютером для научных задач, который доступен открытом сообществу. NVIDIA, вероятно, поспорит с этим утверждением.

Источник изображения: TOP500

Любопытно, что у Frontier за прошедшие полгода конфигурация не изменилась, только чуть выросло энергопотребление. У системы Microsoft Azure Eagle, которая по-прежнему занимает третье место в TOP500, неожиданно стало вдвое больше ядер, но на производительности это никак не отразилось. MareNostrum 5 ACC чуть похудел в ядрах, но в то же время нарастил производительность.

Источник изображения: CSCS

Ну а главное изменение в десятке лидеров TOP500 — это появление на шестом месте швейцарского суперкомпьютера Alps, анонсированного ещё три года назад. Машина включает 2688 узлов с «фантастической четвёркой» Quad GH200 от NVIDIA, которые выдают 270 Пфлопс в FP64 и потребляют всего 5,19 МВт. На самом деле суперкомпьютер включает и другие кластеры на базе AMD EPYC, MI300A и MI250X, а также NVIDIA A100. Главное тут не чистая производительность, а энергоэффективность, что для Швейцарии весьма актуально.

Собственно говоря, ключевые изменения есть именно в Green500 — первые три места (и половину первой десятки вообще) занимают тестовые системы на базе NVIDIA Grace Hopper. Наиболее энергоэффективной является машина JEDI (JUPITER Exascale Development Instrument), которая является тестовой платформой для первого в Европе экзафлопсного суперкомпьютера Jupiter. Она предлагает 72,733 Гфлопс/Вт, тогда как тестовая платформ Frontier TDS — 62,684 Гфлопс/Вт. Однако насколько хорошим будет масштабирование у новых платформ NVIDIA, покажет время. Например, у малой системы preAlps и полноценной Alps показатели энергоэффективности составляют 64,381 и 51,983 Гфлопс/Вт соответственно.

Источник изображения: NVIDIA

Всего же в TOP500 новых систем на базе Grace Hopper набралось семь штук (просто Grace нет), но их будет гораздо больше. На базе AMD EPYC Genoa построено 16 машин, на базе Intel Xeon Sapphire Rapids — 38. Есть даже один новый суперкомпьютер с Fujitsu A64FX (всего в списке таковых девять) — португальский Deucalion. Систем с AMD Instinct MI300A появилось сразу три, причём все они абсолютно одинаковые: Tuolumne, RZAdams и «кусочек» El Capitan. Они занимают в списке места 46, 47 и 48 и представляют собой фактически одну стойку с производительностью 19,65 Пфлопс (в пике 32,1 Пфлопс).

Всего в нынешнем TOP500 есть 49 новых машин, часть из них даже не имеет имён. По количество установленных систем снова лидирует Lenovo (32,4 %), за которой следуют HPE (22,2 %) и Eviden (9,8 %). По суммарной производительности картина тоже прежняя, поскольку HPE опять в лидерах (36,1 %), а за ней идут Eviden (9,6 %) и Lenovo (7,4 %). И по количеству (33,8 %), и по общей мощности (53,6 %) суперкомпьютеров в списке лидируют США. Увы, Китай продолжает игнорировать TOP500.

Компания NVIDIA рассказала о новых высокопроизводительных комплексах на основе суперчипов Grace Hopper для задач ИИ и НРС. Отмечается, что суммарная производительность этих систем превышает 200 Эфлопс. Суперкомпьютеры предназначены для решения самых разных задач — от исследований в области изменений климата до сложных научных проектов.

Одним из таких НРС-комплексов является EXA1 — HE, который является совместным проектом Eviden (дочерняя структура Atos) и Комиссариата по атомной и альтернативным видам энергии Франции (СЕА). Система использует 477 вычислительных узлов на базе Grace Hopper, а пиковое быстродействие достигает 104 Пфлопс.

Ещё одной системой стал суперкомпьютер Alps в Швейцарском национальном компьютерном центре (CSCS). Он использует в общей сложности 10 тыс. суперчипов Grace Hopper. Заявленная производительность на операциях ИИ достигает 10 Эфлопс, и это самый быстрый ИИ-суперкомпьбтер в Европе. Утверждается, что по энергоэффективности Alps в 10 раз превосходит систему предыдущего поколения Piz Daint.

Источник изображений: NVIDIA

В свою очередь, комплекс Helios, созданный компанией НРЕ для Академического компьютерного центра Cyfronet Научно-технического университета AGH в Кракове (Польша), содержит 440 суперчипов NVIDIA GH200 Grace Hopper. Пиковое быстродействие на ИИ-операциях достигает 1,8 Эфлопс.

В список систем на платформе Grace Hopper также входит Jupiter — первый европейский суперкомпьютер экзафлопсного класса. Комплекс расположится в Юлихском исследовательском центре (FZJ) в Германии. Кроме того, в список вошёл комплекс DeltaAI на основе GH200 Grace Hopper, созданием которого занимается Национальный центр суперкомпьютерных приложений (NCSA) при Университете Иллинойса в Урбане-Шампейне (США).

В числе прочих систем названы суперкомпьютер Miyabi в Объединённом центре передовых высокопроизводительных вычислений в Японии (JCAHPC), Isambard-AI в Бристольском университете в Великобритании (5280 × GH200), а также суперкомпьютер в Техасском центре передовых вычислений при Техасском университете в Остине (США), комплекс Venado в Лос-Аламосской национальной лаборатории США (LANL) и суперкомпьютер Recursion BioHive-2 (504 × H100).

Компания NVIDIA сообщила о том, что её платформа CUDA-Q будет использоваться в суперкомпьютерных центрах по всему миру. Она поможет ускорить исследования в области квантовых вычислений, что в перспективе позволит решать наиболее сложные научные задачи.

Технология CUDA-Q предназначена для интеграции CPU, GPU и квантовых процессоров (QPU) и разработки приложений для них. Она даёт возможность выполнять сложные симуляции квантовых схем. О намерении использовать CUDA-Q в составе своих НРС-систем объявили организации в Германии, Японии и Польше.

В частности, Юлихский суперкомпьютерный центр в Германии (JSC) намерен использовать квантовое решение производства IQM Quantum Computers в качестве дополнения к Jupiter — первому европейскому суперкомпьютеру экзафлопсного класса. Этот комплекс будет смонтирован в Юлихском исследовательском центре (FZJ). Суперкомпьютер Jupiter получит приблизительно 24 тыс. гибридных суперчипов NVIDIA GH200 Grace Hopper.

Источник изображений: NVIDIA

Ещё одной гибридной системой, объединяющей классические и квантовые технологии, станет комплексе ABCI-Q, который расположится в суперкомпьютерном центре ABCI (AI Bridging Cloud Infrastructure) Национального института передовых промышленных наук и технологий Японии (AIST). В состав суперкомпьютера войдут QPU разработки QuEra, а также более 2000 ускорителей NVIDIA H100. Ввод ABCI-Q в эксплуатацию состоится в начале 2025 года. Применять систему планируется при проведении исследований в области ИИ, энергетики, биологии и пр.

Вместе с тем Познаньский центр суперкомпьютерных и сетевых технологий (PSNC) в Польше приобрёл две квантовые вычислительные системы британской компании ORCA Computing. Они интегрированы в существующую HPC-инфраструктуру PSNC, которая в числе прочего использует изделия NVIDIA Hopper. Узлы на базе QPU помогут в решении задач в области химии, биологии и машинного обучения.

Компания NVIDIA сообщила о том, что её система DGX SuperPOD ляжет в основу нового вычислительного комплекса для задач ИИ, который будет использоваться различными правительственными учреждениями США для проведения исследований в области климатологии, здравоохранения и кибербезопасности.

Внедрением суперкомпьютера занимается MITRE — американская некоммерческая организация, специализирующаяся в области системной инженерии. Она ведёт разработки и исследования в интересах госорганов США, включая Министерство обороны (DoD), Федеральное управление гражданской авиации (FAA) и пр.

Система DGX SuperPOD станет основой вычислительной платформы MITRE Federal AI Sandbox, доступ к ресурсам которой будет предоставляться различным организациям на федеральном уровне. Государственные учреждения смогут сообща использовать суперкомпьютер для обучения больших языковых моделей (LLM), развёртывания генеративных приложений и других современных ИИ-решений.

Источник изображения: NVIDIA

В состав MITRE Federal AI Sandbox войдут 32 системы NVIDIA DGX H100, а общее количество ускорителей NVIDIA H100 составит 256 штук. Производительность на операциях ИИ будет достигать примерно 1 Эфлопс. Быстродействие FP64 — приблизительно 17 Пфлопс. Ввод суперкомпьютера в эксплуатацию состоится позднее в текущем году.

«Развёртывание MITRE DGX SuperPOD поможет ускорить реализацию инициатив федерального правительства США в области ИИ. Технологии ИИ обладают огромным потенциалом для улучшения государственных услуг в гражданской области и решения серьёзных проблем, в том числе в сфере кибербезопасности», — сказал Энтони Роббинс (Anthony Robbins), вице-президент NVIDIA.

Компания SpiNNcloud Systems анонсировала «нейроморфный суперкомпьютер» — гибридную высокопроизводительную вычислительную ИИ-систему, основанную, по словам компании, на принципах работы человеческого мозга. Утверждается, что это первое коммерчески доступное решение данного типа.

Изделие базируется на архитектуре, разработанной Стивом Фербером (Steve Furber), одним из создателей оригинального процессора Arm. Идея заключается в применении большого количества маломощных чипов для более эффективной обработки ИИ-задач и других рабочих нагрузок.

SpiNNaker2 представляет собой специализированную серверную плату с 48 чипами, каждый из которых насчитывает 152 ядра Arm. Таким образом, общее количество ядер составляет 7296. В состав чипов также входят различные дополнительные узлы, включая распределённые GPU-подобные блоки для ускорения обработки нейроморфных, гибридных и обычных моделей ИИ.

Источник изображений: SpiNNcloud Systems

В одну стойку могут монтироваться до 90 плат SpiNNaker2. Масштабирование осуществляется путём объединения таких стоек в кластер. В результате, как утверждается, возможно эмулирование в реальном времени как минимум 10 млрд взаимосвязанных нейронов. На операциях машинного обучения производительность может достигать 0,3 Эопс (10¹⁸ операций в секунду). Для сравнения — исследовательский нейроморфный компьютер Intel Hala Point поддерживает до 1,15 млрд нейронов и производительность до 30 Попс.

От традиционных ИИ-платформ на базе GPU новое решение отличается универсальностью, говорит компания. Благодаря использованию многочисленных асинхронных блоков с низким энергопотреблением достигается более эффективное управление рабочими нагрузками.

Со II половины 2024 года изделия SpiNNaker2 будут доступны в составе облачной платформы. В I половине 2025-го планируется организовать поставки самостоятельных систем. В число первых заказчиков SpiNNaker2 вошли Национальные лаборатории Сандия (Sandia National Laboratories), Технический университет Мюнхена (TUM) и Гёттингенский университет (Universität Göttingen).

Компания Eviden (дочерняя структура Atos) анонсировала серверы серии BullSequana AI, предназначенные для решения ИИ-задач. В зависимости от модификации и уровня производительности устройства подходят для различных сценариев использования — от НРС-платформ до периферийных вычислений.

Наиболее производительными серверами семейства являются решения BullSequana AI 1200H. Они могут применяться в составе облачных и гибридных инфраструктур, а также в дата-центрах заказчиков. По сути, это суперкомпьютер корпоративного уровня, специально разработанный для ресурсоёмких задач, таких как точная настройка ИИ-систем или обучение больших языковых моделей (LLM).

Конфигурация BullSequana AI 1200H включает суперчипы NVIDIA Grace Hopper, а также интерконнект NVIDIA Quantum-2 InfiniBand. Задействовано программное обеспечение Eviden Jarvice XE, Eviden Smart Energy Management Suite, Eviden Smart Management Center и NVIDIA AI Enterprise.

Источник изображения: Eviden

Серверы BullSequana AI 1200H, насчитывающие в общей сложности 1456 ускорителей NVIDIA H100, выбраны для модернизации французского суперкомпьютера Jean Zay. Производительность этого НРС-комплекса увеличится более чем в три раза — с 36,85 до 125,9 Пфлопс.

Кроме того, в новое семейство серверов вошли производительные устройства BullSequana AI 800, системы BullSequana AI 600 с воздушным и гибридным охлаждением, модели BullSequana AI 200 для частных и гибридных облачных сред, а также BullSequana AI 100 для периферийных вычислений.

Источник изображения: Eviden

В целом, как отмечается, каждая модель BullSequana AI предлагает различные уровни производительности, масштабируемости и гибкости. Таким образом, заказчики могут подобрать наиболее подходящий для себя вариант в зависимости от конкретного варианта использования, бюджета и размера бизнеса.

Компания Lenovo сообщила о возобновлении сотрудничества с Европейско-Средиземноморским центром по изменению климата (CMCC), базирующимся в Лечче (Италия), и подписании контракта на установку в этом году новой мощной системы высокопроизводительных вычислений (HPC) Cassandra, предназначенной для исследования изменения климата с помощью повышенных вычислительных возможностей и оптимизации использования энергии.

Cassandra включает 180 узлов SD650 V3 с двумя процессорами Intel Xeon Max 9480 (Sapphire Rapids с HBM) на узел и имеет пиковую FP64-производительность 1,2 Пфлопс. Благодаря использованию технологии жидкостного охлаждения Lenovo Neptune Direct Water-Cooling, способной отводить до 98 % тепла, Cassandra потребляет на 15 % ниже электроэнергии, чем аналогичные решения с воздушным охлаждением. Благодаря повышенной эффективности СЖО температура процессоров не достигает критических значений, что позволяет избежать снижения максимальной частоты ядер процессоров, говорит Lenovo.

Установкой Cassandra в суперкомпьютерном центре CMCC (SCC) будет заниматься Ricca IT, сертифицированный партнёр Lenovo. В суперкомпьютерном центре CMCC уже имеется HPC-система от Lenovo под названием Juno, установленная в 2022 году, с FP64-производительностью около 1,13 Пфлопс и построенная на базе процессоров Intel и ускорителей NVIDIA.

Источник изображения: cmcc.it

Cassandra будет использоваться для климатического моделирования системы Земли, океана, работы как глобальных, так и региональных систем сезонного прогнозирования, а также запуска приложения по исследованию изменения климата на основе ИИ. CMCC также планирует интегрировать во II полугодии в суперкомпьютер два ИИ-узла с восемью ускорителями NVIDIA H100 в каждом.