Европейская организация по ядерным исследованиям (CERN) объявила об открытии в Превессене во Франции нового ЦОД, который займётся обработкой информации, поступающей от Большого адронного коллайдера (БАК). Объект построен в рекордные сроки — менее чем за два года.

Общая площадь дата-центра превышает 6000 м². Предусмотрены шесть залов для размещения оборудования, каждый из которых рассчитан на мощность в 2 МВт и может вместить до 78 стоек. В ЦОД в основном будут размещены серверы на базе CPU для обработки данных экспериментов, а также небольшое количество систем и хранилищ для обеспечения непрерывности операций и аварийного восстановления. Ожидается, что на полное оснащение площадки оборудованием потребуется около десяти лет.

Источник изображения: CERN

Отмечается, что новый объект соответствует строгим техническим требованиям, обеспечивающим экологическую устойчивость. Развёрнута эффективная система рекуперации тепла, которое будет использоваться для отопления зданий на территории Превессена. Целевой коэффициент PUE составляет 1,1, а показатель эффективности использования воды (WUE) — 0,379 л/кВт·ч. Система охлаждения будет автоматически включаться, когда наружная температура достигнет 20 °C. При этом температура в самих помещениях дата-центра ни при каких условиях не должна превышать 32 °C.

БАК в настоящее время генерирует около 45 Пбайт информации в неделю, но ожидается, что этот объём удвоится после модернизации комплекса. Данные экспериментов передаются в глобальную вычислительную сеть Worldwide LHC Computing Grid (WLCG), объединяющую около 170 дата-центров, расположенных в более чем 40 странах. Общая ёмкость хранилищ составляет примерно 3 Эбайт, а для обработки данных задействован примерно 1 млн процессорных ядер. Существующий дата-центр CERN на площадке в Мерене (Швейцария) по-прежнему является основным для организации.

В Институте математики имени С. Л. Соболева Сибирского отделения Российской академии наук (ИМ СО РАН) официально представлен вычислительный комплекс «Сергей Годунов», названный в честь известного советского и российского математика. Монтажом и тестированием системы занимались специалисты группы компаний РСК.

Суперкомпьютер создан на базе высокоплотной и энергоэффективной платформы «РСК Торнадо» с жидкостным охлаждением. Каждый из узлов в составе системы оснащён двумя процессорами Intel Xeon Ice Lake-SP с 38 ядрами, работающими на базовой частоте 2,4 ГГц. Производительность кластера на момент запуска составляет 54,4 Тфлопс.

Предполагается, что HPC-комплекс поможет повысить эффективность научных исследований и будет способствовать развитию новых технологий. Среди сфер применения суперкомпьютера названы: медицинская электроакустическая томография; моделирование эпидемиологических, экологических, экономических и социальных процессов; вычислительная аэрогидродинамика и задачи оптимизации турбулентных течений; моделирование и построение сценариев развития системы биосфера-экономика-социум с учётом безуглеродного и устойчивого развития и изменения климата; решение обратных задач геофизики прямым методом на основе подхода Гельфанда-Левитана-Крейна».

Источник изображений: РСК

Отмечается, что монтажные и пуско-наладочные работы в рамках проекта произведены в сжатые сроки — за 3,5 недели. В перспективе возможности системы будут расширяться. В частности, в 2024 году планируется осуществить модернизацию, которая позволит более чем вдвое нарастить производительность — до 120,4 Тфлопс.

«У нас появилась возможность решать мультидисциплинарные задачи, моделировать объёмные процессы и предсказывать поведение сложных математических систем. На суперкомпьютере проводятся вычисления по критически важным проблемам и задачам, стоящим перед РФ», — отмечает исполняющий обязанности директора ИМ СО РАН Андрей Миронов.

В целом, запущенный комплекс является основным инструментом для проведения исследований и прикладных разработок в академгородке Новосибирска и создания технологической платформы под эгидой Научного совета Отделения математических наук РАН по математическому моделированию распространения эпидемий с учётом социальных, экономических и экологических процессов.

Компания NVIDIA, по сообщению ресурса Seeking Alpha, прогнозирует высокий спрос на ИИ-ускорители следующего поколения Blackwell. Поэтому сразу после выхода на рынок эти изделия окажутся в дефиците, и их поставки будут ограничены. «На все новые продукты спрос превышает предложение — такова их природа. Но мы работаем так быстро, как только можем, чтобы удовлетворить потребности заказчиков», — говорит глава NVIDIA Дженсен Хуанг (Jensen Huang).

Из-за стремительного развития генеративного ИИ на рынке сформировалась нехватка нынешних ускорителей NVIDIA H100 поколения Hopper. Срок выполнения заказов на серверы с этими изделиями достигает 52 недель. Аналогичная ситуация, вероятно, сложится и с ускорителями Blackwell, анонс которых ожидается в течение нынешнего года. «Полагаем, что отгрузки наших продуктов следующего поколения будут ограниченными, поскольку спрос намного превышает предложение», — сказала Колетт Кресс (Colette Kress), финансовый директор NVIDIA.

Главный вопрос заключается в том, насколько быстро NVIDIA сможет организовать массовое производство Blackwell B100, а также серверов DGX на их основе. Дело в том, что это совершенно новые продукты, в которых используются другие компоненты. По имеющейся информации, Blackwell станет первой архитектурой NVIDIA, предусматривающей чиплетную компоновку. Это может упростить производство ускорителей на уровне кремния, но в то же время усложнит процесс упаковки.

Источник изображения: NVIDIA

В дополнение к флагманскому чипу B100 для ИИ и HPC-задач компания готовит решение B40 для корпоративных заказчиков, гибридный ускоритель GB200, сочетающий ускоритель B100 и Arm-процессор Grace, а также GB200 NVL для обработки больших языковых моделей.

Австралийский суперкомпьютерный центр Pawsey начнёт использовать решение NVIDIA CUDA Quantum — открытую платформу для интеграции и программирования CPU, GPU и квантовых компьютеров (QPU). Ожидается, что это поможет ускорить развитие перспективного направления квантовых вычислений.

Pawsey развернёт в своём Национальном центре инноваций в области суперкомпьютеров и квантовых вычислений восемь узлов с суперчипами NVIDIA GH200. Эти изделия содержат 72-ядерный Arm-процессор Grace и ускоритель H100 с 96 Гбайт HBM3. Объём общей для обоих кристаллов памяти составляет 576 Гбайт (480 Гбайт LPDDR5x). Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с.

Сообщается, что узлы проектируемой системы будут использовать модульную архитектуру NVIDIA MGX, которая предназначена для построения HPC-систем и комплексов ИИ. Предполагается, что высокопроизводительная гибридная платформа с CPU, GPU и QPU позволит выполнять высокоточные и гибко масштабируемые квантовые симуляции. В рамках проекта будет применяться специализированное ПО NVIDIA cuQuantum для разработки квантовых решений.

Источник изображения: NVIDIA

Национальное научное агентство Австралии (CSIRO) оценивает размер внутреннего рынка квантовых вычислений в $2,5 млрд в год с потенциалом создания до 10 тыс. новых рабочих мест к 2040-му. Для достижения таких показателей необходимо внедрение квантовых вычислений в различных областях, включая астрономию, науки о жизни, медицину, финансы и пр.

Австралийский суперкомпьютер Taingiwilta для нужд Минобороны Австралии должен заработать уже в этом году, но военное ведомство отказывается сообщать хоть какие-то детали о его характеристиках и возможностях. The Register сообщает, что и ответственная за создание машины Defence Science Technology Group отказалась давать комментарии относительно спецификаций системы.

Впрочем, представитель разработчика суперкомпьютера всё-таки сообщил, что часть ПО для машины создано в рамках проекта Министерства обороны США Computational Research and Engineering Acquisition Tools and Environments (CREATE). В частности, суперкомпьютер будет использоваться для вычислительной гидродинамики. Потребуются и сложные средства разграничения доступа, поскольку суперкомпьютер будет выполнять как секретные, так и не особенно секретные задачи.

Фото: Australian Army / SGT Tristan Kennedy

Taingiwilta расположен на территории специально построенного объекта Mukarntu. Министерство обороны Австралии впервые анонсировало систему в августе 2022 года, но и тогда представители местных властей отказались раскрывать детали проекта. При этом они заявляли, что Taingiwilta входит в 50 наиболее производительных вычислительных систем мира, поэтому можно предположить, что речь идёт о как минимум 10 Пфлопс — если ориентироваться на актуальный рейтинг TOP500.

Профессор Ченнупати Джагадиш (Chennupati Jagadish), президент Австралийской академии наук, говорит, что отсутствие внятной HPC-стратегии ставит под вопрос процветание и безопасность Австралии. В документе «Будущие вычислительные потребности австралийского научного сектора» подчёркивается, что сейчас страна имеет умеренные возможности для высокопроизводительных вычислений, а уже имеющиеся мощности требуют частых и значительных обновлений и имеют ограниченный жизненный цикл.

Суперкомпьютерный центр Огайо (OSC) анонсировал проект Cardinal по созданию нового кластера для задач HPC и ИИ. Гетерогенная система, построенная на серверах Dell PowerEdge с процессорами Intel, будет введена в эксплуатацию во II половине 2024 года.

В состав кластера войдут узлы, оборудованные процессорами Xeon Max 9470 семейства Sapphire Rapids. Эти чипы содержат 52 ядра (104 потока) с максимальной тактовой частотой 3,5 ГГц и 128 Гбайт памяти HBM2e. В общей сложности будут задействованы 756 таких процессоров. Каждый узел получит 512 Гбайт DDR5 и NVMe SSD вместимостью 400 Гбайт. Узлы входят в состав серверов Dell PowerEdge C6620. Компанию им составят 16 узлов Dell PowerEdge R660, тоже с двумя Xeon Max 9470, но с 2 Тбайт DDR5 и 12,8 Тбайт NVMe SSD. Все эти узлы объединит 200G-интерконнект Infiniband.

Кроме того, будут задействован 32 узла Dell PowerEdge XE9640 с двумя чипами Xeon 8470 Platinum (52C/104T; до 3,8 ГГц), четырьмя ускорителями NVIDIA H100 с 96 Гбайт памяти HBM3 и 1 Тбайт DDR5. Говорится о применении четырёх соединений NVLink и 400G-платформы Quantum-2 InfiniBand. Заявленная пиковая ИИ-производительность (FP8) — около 500 Пфлопс.

Фото: Ohio Supercomputer Center via The Next Platform

Суперкомпьютер обеспечит общую FP64-производительность на уровне 10,5 Пфлопс. Таким образом, по быстродействию кластер приблизительно на 40 % превзойдёт три нынешние машины OSC вместе взятые. При этом Cardinal занимает всего девять стоек и требует пару CDU для работы СЖО. Отмечается, что Cardinal — это результат сотрудничества OSC, Dell Technologies, Intel и NVIDIA. Новый суперкомпьютер придёт на смену системе Owens, которая используется в OSC с 2016 года.

Министерство обороны Италии изучает возможность формирования «военно-космического облака» и поручила поддерживаемому государством подрядчику Leonardo проверить концепцию. По данным The Register, проект Military Space Cloud Architecture (MILSCA) предполагает формирование архитектуры, обеспечивающей правительство и вооружённые силы высокопроизводительными вычислениями и хранилищами данных в космосе.

План предусматривает создание группировки спутников, каждый с FP32-производительностью 250 Тфлопс и хранилищем ёмкостью не менее 100 Тбайт данных. Ещё 100 Тбайт будет зарезервировано на Земле. Все ресурсы будут связаны друг с другом для поддержки выполнения задач, касающихся ИИ и анализа данных. Фактически речь идёт о гигантском, разнесённом в пространстве суперкомпьютерном кластере. Для сравнения — в состав кластера HPE Spaceborne-2 на МКС входит ускоритель NVIDIA T4 с FP32-производительностью 8 Тфлопс.

Источник изображения: Leonardo

В Leonardo обещают быструю обработку данных на орбите и утверждают, что коммуникации будут менее уязвимы, чем наземные. Пользователи получат гарантированный доступ к телеком-услугам, данным наблюдения за Землёй, а также навигационным сведениям в любое время в любой части планеты. Кроме того, группировка послужит важным «бэкапом» для наземных центров, если с теми что-то случится.

Leonardo и её совместные предприятия Telespazio и Thales Alenia Space изучат в ближайшие пару лет целесообразность создания такой группировки. В ходе первой фазы исследований участники проекта определятся с архитектурой всей системы, а в ходе второй попытаются провести симуляцию группировки с помощью «цифрового двойника» на суперкомпьютере Davinci-1. Она поможет заранее выявить потенциальные проблемы и оценить зоны покрытия.

Источник изображения: Leonardo

Оборудование потребует специальной защиты от космической радиации. Также предстоит решить вопросы энергоснабжения и терморегулирования. Кроме того, придётся по возможности минимизировать массу оборудования, доставляемого в космос. Дело осложняется тем, что для получения заданных характеристик придётся использовать достаточно горячие чипы, выполненные по тонким техпроцессам.

Leonardo не впервые просят оценить перспективы космических вычислений. В 2022 году совместное предприятие Thales Alenia Space, созданное Leonardo и французской Thales, наняли для оценки перспектив космических ЦОД в рамках исследовательской программы Horizon Europe. Правда, на тот момент речь шла об экопроекте, а не группировке военного назначения.

Недавно компания Axiom Space также заявила, что построит и выведет на орбиту ЦОД для поддержки миссий своей коммерческой космической станции. Компания намеревалась снизить зависимость от наземных сервисов. Blue Ring тоже планирует предоставлять вычисления в космосе. Наконец, Lonestar Data Holdings привлекает средства для постройки ЦОД на Луне.

На днях NVIDIA снова официально представила суперкомпьютер EOS для решения ресурсоёмких задач в области ИИ. Издание The Register обратило внимание на нестыковки в публичных заявлениях компании относительно конфигурации и производительности машины. В итоге NVIDIA признала, что у неё есть две архитектурно похожих системы под одним и тем же именем. Впрочем, полной ясности это не внесло.

НРС-комплекс EOS изначально был анонсирован почти два года назад — в марте 2022-го. Тогда речь шла о кластере, объединяющем 576 систем NVIDIA DGX H100, каждая из которых содержит восемь ускорителей H100 — в сумме 4608 шт. Суперкомпьютер, согласно заявлениям NVIDIA, обеспечивает ИИ-быстродействие на уровне 18,4 Эфлопс (FP8), тогда как производительность на операциях FP16 составляет 9 Эфлопс, а FP64 — 275 Пфлопс.

Вместе с тем в ноябре 2023 года NVIDIA объявила о том, что ИИ-суперкомпьютер EOS поставил ряд рекордов в бенчмарках MLPerf Training. Тогда говорилось, что комплекс содержит 10 752 ускорителя H100, а его FP8-производительность достигает 42,6 Эфлопс. Представители компании сообщили, что суперкомпьютер, использованный для MLPerf Training с 10 752 ускорителями H100, «представляет собой другую родственную систему, построенную на той же архитектуре DGX SuperPOD».

Вместе с тем комплекс, занявший 9-е место в TOP500 от ноября 2023 года — это как раз версия EOS с 4608 ускорителями, представленная на днях в рамках официального анонса. Но... цифры всё не сходятся! В TOP500 FP64-производительность EOS составляет 121,4 Пфлопс при пиковом значении 188,7 Пфлопс. Сама NVIDIA, как уже было отмечено выше, называет цифру в 275 Пфлопс.

Таким образом, суперкомпьютер, участвующий в рейтинге TOP500, мог содержать от 2816 до 3161 ускорителя H100 из 4608 заявленных. С чем связано такое несоответствие, не совсем ясно. Высказываются предположения, что у NVIDIA могли возникнуть сложности с обеспечением стабильности кластера на момент составления списка TOP500, поэтому система была включена в него в урезанной конфигурации.

Компания «Битривер-Б» (входит в группу BitRiver), резидент территории опережающего развития (ТОР) «Бурятия», намерена ввести в эксплуатацию крупнейший на Дальнем Востоке дата-центр во II половине 2024 года. Ресурсы ЦОД планируется использовать для высокопроизводительных энергоёмких вычислений, таких как майнинг, облачные сервисы и современные цифровые услуги.

Проект реализуется в рамках соглашения с Корпорацией развития Дальнего Востока и Арктики (КРДВ). Строительство дата-центра началось в 2022 году, а объём инвестиций BitRiver на сегодняшний день превысил 1,4 млрд руб. Планируемая мощность ЦОД составляет 100 МВт.

Отмечается, что ЦОД станет якорным предприятием, вокруг которого в Республике Бурятия будет формироваться IT-кластер в соответствии с целями развития цифровой экономики РФ. На площадке будут созданы рабочие места с комфортными условиями труда для 120 высококвалифицированных специалистов. В штат планируется принимать людей с ограниченными возможностями здоровья, а также выпускников местных учебных заведений. Кроме того, оператор ЦОД намерен сотрудничать с вузами и организовывать практику для студентов.

Источник изображения: BitRiver

Выбор ТОР «Бурятия» для строительства дата-центра, как сообщается, не случаен. Действующие здесь налоговые льготы (нулевые налоги на землю и имущество) и административные преференции создают комфортные условия для бизнеса, а также повышают экономическую эффективность проекта. Интерес к будущему ЦОД уже проявили крупные институциональные и частные заказчики из России, СНГ, стран Персидского залива, Китая и других государств БРИКС.

«В настоящее время происходит взаимное проникновение двух сквозных технологий — блокчейна и ИИ. В этом смысле новые центры обработки данных для энергоёмких вычислений служат инфраструктурным заделом для выполнения задачи развития цифровой экономики и ИИ, в частности. Вся сфера высокопроизводительных и энергоёмких вычислений в России, особенно с учётом тенденции повсеместного использования ИИ, к 2035 году может потреблять до нескольких десятков ГВт», — отмечает «Битривер-Б».

Московский авиационный институт (МАИ) сообщил о вводе в эксплуатацию второго корпуса своего НРС-комплекса, что позволит поднять общую производительность суперкомпьютера более чем в два раза — со 150 до 380 Тфлопс. Это, как ожидается, позволит существенно нарастить объём выполняемых работ в интересах аэрокосмической индустрии с использованием методов математического моделирования.

Развитие НРС-кластера МАИ осуществляется по проекту «Будущие аэрокосмические рынки — 2050», который университет реализует как участник программы «Приоритет-2030». Цель — развитие перспективных направлений аэрокосмической индустрии, включая полимерные композиционные материалы.

Источник изображений: МАИ

Модульный дата-центр, поддерживающий работу суперкомпьютера, произвела, поставила и запустила в эксплуатацию компания GreenMDC. Системным интегратором выступила фирма «Ниагара Компьютерс». Отмечается, что для первой очереди вычислительного комплекса МАИ GreenMDC развернула мини-ЦОД CUBiC. Новый дата-центр имеет схожую конфигурацию, но при этом вдвое превосходит предшественника по количеству стоек и по мощности — восемь высоконагруженных стоек по 20 кВт каждая. В новом ЦОД использованы ИБП китайского производителя Kehua и кондиционеры Envicool (также КНР). Оборудование систем противопожарной безопасности — «Болид» и НПО ПАС. Тестирование дата-центра выполнялось как на производстве, так и непосредственно на площадке после сборки: каждое продлилось 72 часа.

Одним из основных проектов МАИ, реализуемых с использованием суперкомпьютерных технологий, является цифровая платформа проектирования летательных аппаратов. Цель заключается в разработке и внедрении на предприятиях программно-информационной среды решения задач проектирования, анализа и контроля массы изделий для повышения качества, сокращения сроков и стоимости проектирования, производства и сертификации. Кроме того, НРС-комплекс МАИ используется для выполнения расчётно-экспериментальных исследований в области прочности конструкций и снижения уровня шума в пассажирском салоне и кабине экипажа. Осуществляются расчёты тепловых, аэродинамических и других параметров.

Среди перспективных задач обновлённого суперкомпьютера заявлены исследования в области технологий ремонта и систем мониторинга состояния конструкции агрегатов авиационной техники, расчётно-экспериментальные исследования в сфере виброакустики, прочностные расчёты в интересах сертификации перспективных самолётов, создание стендов для бортовых систем самолёта SJ-100.