Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

ГК Softline (ПАО «Софтлайн») сообщила о подписании на IX Восточном экономическом форуме трёхстороннего соглашения о сотрудничестве с Корпорацией развития Дальнего Востока и Арктики (КРДВ) и региональной сетью дата-центров ГК Key Point с целью создания в регионах Дальнего Востока и Сибири сети масштабируемых модульных центров обработки данных (МЦОД), полностью оснащённых ИТ-инфраструктурой.

Речь идёт о развитии инфраструктуры в Республиках Якутии и Бурятии, Хабаровском, Забайкальском и Камчатском краях, Сахалинской, Амурской и Магаданской областях, а также в Чукотском автономном округе, где её возможностями смогут воспользоваться жители и компании, включая производственные, добывающие и перерабатывающие предприятия, государственные предприятия, Минцифры, Управления автомобильных дорог, региональные МИАЦ и коммерческие заказчики.

В рамках совместной инициативы компаний на территории ДФО будут предоставляться «уникальные» преференции, которые обеспечат создание цифровой инфраструктуры с опережением спроса.

Источник изображения: ГК Key Point

Комментируя подписание соглашения, директор по развитию бизнеса в ДФО ГК Softline заявил, что это позволит партнёрам объединить компетенции и ресурсы для того, чтобы развернуть ИТ-инфраструктуру быстро и качественно. «У ГК Softline есть все возможности для этого: признанное лидерство на рынке, успешное облачное направление бизнеса, производство собственного аппаратного обеспечения», — отметил он, добавив, что реализация столь масштабного проекта усилит связанность регионов и будет способствовать их социально-экономическому развитию.

В свою очередь, заместитель гендиректора КРДВ по сопровождению инвестиционных проектов сообщил, что ГК Key Point успешно реализует на территории Дальнего Востока два инвестиционных проекта, один из которых уже осуществляет операционную деятельность. Он отметил, что меры поддержки со стороны государства позволяют компаниям развивать деятельность в преференциальных режимах Дальнего Востока и Арктики, и обеспечивают одни из самых комфортных условий в стране для бизнеса, в том числе для ускоренного создания ЦОД.

Руководство Кольской АЭС, расположенной в Мурманской области, оценило инвестиции в строительство дата-центра на территории станции в 1,4 млрд руб. Как сообщает «Интерфакс» со ссылкой на главу АЭС Василия Омельчука, вложения в ЦОД «Арктика» рассчитаны в ценах 2022 года с учётом НДС.

К концу года дата-центр уже собираются ввести в эксплуатацию. По его словам, блочно-модульный объект вместит 48 стоек, ёмкость составляет порядка 1 МВт. Структура нового дата-центра позволяет довольно легко масштабировать проект. Как заявил Омельчук, при наличии клиентов, нуждающихся в обработке информации, руководство АЭС готово довольно быстро нарастить ёмкость ЦОД.

Дата-центр предполагалось ввести в эксплуатацию ещё в 2023 году, но позже сроки пришлось перенести. Предполагается, что новый дата-центр обеспечит базовой инфраструктурой клиентов, намеренных использовать высоконагруженные цифровые платформы и сервисы для Северного морского пути. В сферу доступности вычислительных ресурсов попадает и Арктическая зона в целом.

Источник изображения: «Росэнергоатом»

По задумке создателей ЦОД, вычислительные мощности на севере страны могут быть использованы для организации логистики, управления «умными городами», для поддержки туризма в регионе и развития других сфер деятельности на прилежащей территории. В конце 2022 года «Ростелеком» запустил первый коммерческий дата-центр в арктической зоне России, в Мурманске.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.

Исследование компании Omdia показало, что рынок готовых модульных дата-центров (PMDC) и микро-ЦОД к 2027 году достигнет $11,7 млрд. По данным пресс-службы компании, пик спроса придется на 2023–2024 гг., причиной стремительного роста спроса станет бум ИИ-технологий.

Рынок готовых, заранее собранных на производстве ЦОД включает как отдельные, так и многомодульные конструкции, которые могут выполнять как единичные функции (энергоснабжение, охлаждение), так и составлять ЦОД целиком. В Omdia рассчитывают, что в 2027 году объём продаж PMDC составит $8,6 млрд.

Крупнейшей категорией считаются предсобранные модули питания, их сбыт растёт самыми быстрыми темпами — в сравнении со всеми другими модулями, продажи которых тоже отслеживаются Omdia. Основным фактором роста является то, что именно в таких модулях нуждаются как новые, так и действующие ЦОД, требующие увеличения энергетической ёмкости.

Источник изображения: Omdia

Модульные микро-ЦОД (micro-DC) состоят или из одного или нескольких модулей, последние обычно поставляются уже в собранном состоянии. В Omdia прогнозируют, что их продажи составят в 2027 году $3,1 млрд. Такие объекты, по данным экспертов компании, подходят как облачным провайдерам, так и корпоративным клиентам. В Omdia утверждают, что подобные ЦОД на много стоек изначально использовались гиперскейлерами — предварительная сборка вдали от места установки ускоряла ввод в эксплуатацию на целевой территории. Подобные решения внедрялись как минимум с 2018 года.

Лидером на рынке PMDC является Huawei, за ней следуют Schneider Electric и Veritiv. В Северной Америке крупнейшими вендорами подобных решений являются Johnson Controls, Schneider Electric и M.C. Dean, в Западной Европе — Vertiv и Rittal, а Huawei — в Азии и Океании, а также на рынке Европы, Ближнего Востока и Африки (EMEA) в целом. Что касается рынка модульных микро-ЦОД, он гораздо более насыщеннее вендорами благодаря довольно низкому порогу вхождения. Впрочем, из здесь лидирует Huawei, ненамного от которой отстают Vertiv и DTCT.

В Omdia ожидают, что инновации в PMDC и micro-DC продолжатся. Акцент будет сделан на повышении энергетической плотности для того, чтобы обеспечить в новых ЦОД использование серверов с ресурсоёмким ИИ-оборудованием. В первую очередь ожидаются новые решения в сфере интеграции систем жидкостного охлаждения (СЖО) и аккумуляторов. В июне Omdia прогнозировала, что основной нагрузкой в ЦОД станут ИИ-приложения, которые подстегнут рост расходов на серверы.

Armada, стартап из Сан-Франциско (Калифорния, США), специализирующийся на разработке решений для периферийных вычислений, объявил об успешном раунде финансирования на $40 млн, который возглавил M12 (венчурный фонд Microsoft). С момента выхода в прошлом году из скрытого режима (stealth mode) стартап уже привлёк с учётом этой суммы более $100 млн инвестиций.

В рамках инвестиционной сделки решения Armada появятся в маркетплейсе Azure Marketplace. Как сообщил стартап, это позволит клиентам Azure придерживаться выделенного бюджета на использование решений Armada и сделает его технологию «более доступной, чем когда-либо».

Armada предлагает защищённые автономные модули ЦОД Galleon в стандартных 20″ и 40″ грузовых контейнерах, которые включают три и шесть стоек соответственно, платформу управления устройствами и вычислениями Edge и приложения Edge/AI, специально разработанные для использования на периферии и работающие локально или в облаке.

Также Armada предлагает Commander Connect, комплексную платформу для мониторинга и управления IIoT-активами, включая терминалы Starlink, собственно ЦОД Galleon и другие подключённые устройства, такие как дроны, датчики, камеры и транспортные средства. Её основное назначение — предоставить доступ к интернету и облегчить удалённое или локальное управление экосистемой через «единое окно».

Источник изображения: Armada

Как сообщает Armada, «используя надёжную инфраструктуру Azure, Commander Connect предлагает беспрецедентную масштабируемость, безопасность и производительность для периферийных вычислений корпоративного уровня». Стоимость использования Commander Edge начинается от $450 тыс./год, Commander Connect — $50 тыс./год.

Ранее Armada объявила о партнёрстве с Halliburton, Pivotel, Edarat и Skydio, а также подписала соглашение с ближневосточной фирмой Edarat Group, занимающейся инженерным консалтингом в области ЦОД и облачных сервисов, о развёртывании 10 модулей Galleon в Персидском заливе и на Ближнем Востоке, уточняет DatacenterDynamics. При этом у Microsoft есть собственное предложение в этой области — микро-ЦОД Azure MDC в 40″ контейнере.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Российский энергетический концерн «Росэнергоатом» (входит состав госкорпорации «Росатом») поделился планами по развёртыванию модульных центров обработки данных на отечественных атомных электростанциях.

Реализация проекта будет вестись в сотрудничестве с компанией «ИТК Система», на производственной площадке которой в городе Обнинске Калужской области будут осуществляться изготовление и сборка модульных ЦОД, по уровню надёжности и отказоустойчивости инженерной инфраструктуры соответствующих требованиям Tier III (согласно классификации Uptime Institute). Пилотной площадкой станет Нововоронежская АЭС (г. Нововоронеж Воронежской области). Далее до конца 2025 года проект планируется растиражировать на Балаковскую и Смоленскую атомные электростанции.

Нововоронежская АЭС (источник изображения: пресс-служба концерна Росэнергоатом» / rosenergoatom.ru, фотограф Роман Пышкин)

«Проект концерна «Росэнергоатом» по созданию модульных дата-центров для атомных электростанций России — важный шаг в обеспечении надёжной и высокопроизводительной инфраструктуры для стратегически важных объектов страны в будущем. Пока данные модульные ЦОД предназначены только для АЭС, но в перспективе у этого направления есть коммерческое будущее. Как и по многим другим кейсам, мы сначала внедряем их у себя, а потом можем предложить решение с положительным референсом во вне», — отметил Олег Шальнов, директор департамента управления IT-проектами и интеграцией АО «Концерн Росэнергоатом».

«Одним из важных преимуществ модульных ЦОД является то, что они не требуют капитального строительства или дорогостоящего переоборудования существующего помещения. Также это — возможность развернуть вычислительный комплекс в любом месте в короткий срок, лёгкость масштабирования. Уверен, что наше сотрудничество с компанией «ИТК Система» в разработке российских модульных ЦОД, в том числе, позволит повысить их коммерческую зрелость как продукта концерна», — добавил Олег Шальнов.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Компания «Россети Томск» (ПАО «ТРК»), по сообщению «Томской интернет-газеты», ввела в эксплуатацию новый ЦОД, построенный в рамках инициативы по импортозамещению. Предполагается, что площадка с российскими серверами поможет в решении задач цифровой трансформации и повысит уровень безопасности предприятия.

Отмечается, что ранее вычислительные мощности и хранилища баз данных компании размещались в двух территориально разнесённых зданиях, «построенных в доцифровую эпоху». Проблема заключается в том, что на этих объектах отсутствует полноценная инженерная инфраструктура, необходимая для обеспечения работы современных серверов.

Новый дата-центр представляет собой модульный объект, при проектировании которого была изначально предусмотрена вся необходимая инфраструктура. Она включает в себя энергетические и климатические системы, а также резервный дизель-генератор. ЦОД удовлетворит растущие потребности компании в вычислительных мощностях. Кроме того, на базе площадки будут развёрнуты современные сервисы резервного копирования и восстановления данных.

Источник изображения: «Россети Томск»

«В новом ЦОД всё оборудование сконцентрировано в одном месте, при этом решения созданы отечественными компаниями, что гарантирует техподдержку и качественное сервисное обслуживание. В целом, мы рассчитываем получить множество эффектов — от увеличения вычислительных мощностей на 20 % до экономии электроэнергии», — говорит управляющий директор компании «Россети Томск».

Отмечается, что при создании дата-центра возникли определённые сложности. Проект был задуман в 2021 году, но уже в 2022-м разработанная смета стала неактуальной из-за резкого скачка цен на материалы и оборудование. Проблему помог решить контрагент, который за собственные средства выкупил необходимое оборудование и заморозил на него цены. ЦОД поможет предприятию в реализации масштабных проектов в сфере цифровой трансформации, связанных в том числе с крупными электроподстанциями. Мощность площадки и характеристики установленного оборудования не раскрываются.