AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Российская компания «Систэм Электрик» (Systême Electric, ранее Schneider Electric в России) объявила о начале продаж локализованных модульных источников бесперебойного питания (ИБП) серии Excelente VS. Устройства, по заявлениям разработчика, предназначены для защиты критически важных нагрузок.

Напомним, ранее в семействе Excelente были доступны решения Excelente VM (50–300 кВА), Excelente VL (350–600 кВА) и Excelente VX (100–1200 кВА). Они обеспечивают до 96,6 % КПД в режиме двойного преобразования и до 99 % в режиме ECO.

В случае новых ИБП серии Excelente VS мощность со встроенными модульными батареями может варьироваться от 30 до 60 кВА/кВт, с внешними батареями — от 30 до 150 кВА/кВт. В первом случае заказчик получает такие преимущества, как снижение занимаемой площади, удобное обслуживание без необходимости выключения ИБП и сокращение времени обслуживания всей системы питания, говорит компания. Версии с внешними литий-ионными аккумуляторами предлагают длительный срок службы батареи, повышенную ёмкость и более высокую температурную устойчивость.

Источник изображения: «Систэм Электрик»

Единичный коэффициент мощности по выходу (PF=1), как заявляет «Систэм Электрик», позволяет рассчитывать необходимый уровень защиты для текущей инфраструктуры без лишних затрат. Диапазон входных напряжений — от 135 до 485 В. Кроме того, говорится о высокой перегрузочной способности. Заявленный КПД достигает 96 % в режиме двойного преобразования (On-Line) и 99 % в режиме ECO.

Устройства базируются на модульной архитектуре с возможностью горячей замены. Допускается параллельная работа до шести ИБП одновременно. В оснащение входят информационный дисплей, коммуникационные интерфейсы (SNMP, RS485 и USB), кнопка EPO для аварийного отключения, а также пылевой фильтр с быстрым доступом (находится за фронтальной панелью).

Systeme Electric отмечает, что ИБП можно адаптировать для сложных проектов в средних и крупных дата-центрах, а также в сфере критически важной коммерческой и промышленной инфраструктуры. Устройства серии Excelente VS производится на площадке «Систэм Электрик» в особой экономической зоне «Технополис Москва».

Консорциум Net Zero Innovation Hub for Data Centers ) инициировал т. н. запрос информации (RFI). Как сообщает сайт NZIH, речь идёт о первом запросе такого рода в Европе, направленном на поиск инновационных решений, способных заменить дизельные резервные генераторы.

RFI представляет собой официальный запрос, направляемый компаниям и организациям с целью сбора информации о передовых технологиях и подходах, имеющихся в их распоряжении, которые могут использоваться для решения конкретной проблемы, в данном случае — замены источников резервного питания на безуглеродные.

В консорциум входят такие известные компании, как Danfoss, Data4, Google, Microsoft, Schneider Electric и Vertiv. В NZIH объявили, что ищут решения, которые можно масштабировать до гигаваттного уровня. Инициатива, как ожидается, должна ускорить внедрение решений для резервного питания с нулевым выбросом.

В I квартале 2025 года будет проведена оценка жизнеспособности предложенных решений с технической, экономической, регуляторной и других точек зрения, а во II квартале 2025 года начнётся поиск источников финансирования, после чего, возможно, будут заключены соглашения о внедрении между владельцами инновационных технологий и участниками NIZH.

Источник изображения: NZIH

Речь идёт о возможностях для широкого круга компаний, в том числе тех, чьи решения находятся на раннем этапе коммерциализации. Инициативу планируется реализовать в три этапа. Предполагается:

• согласовать и стандартизировать требования с учётом специфика отрасли ЦОД;
• определить инновационные решения, масштабируемые и поддерживаемые цепочкой поставок, потенциально готовые к внедрению в гигаваттных масштабах;
• реализовать первичные пилотные проекты с привлечением государственных и частных инвестиций.

Как сообщается на сайте консорциума, внедрение передовых «чистых» технологий часто сталкиваются с препятствиями, во многом из-за новизны и высоких рисков на ранних стадиях. Выступая «агрегатором» спроса на такие технологии и создавая новые коммерческие структуры при поддержки крупнейших заказчиков, NIZH со своей инициативой пытается снизить риск для инновационных проектов, разработчиков, энергетических компаний, обеспечивая при этом возможность получения инвестиций.

Инновационный аспект решений может быть представлен разработчиками — речь может идти о технологии, бизнес-модели или других аспектах или их комбинации. Первое предложение уже сделал один из ключевых участников консорциума — Microsoft продвигает водородную энергетику. Так, компания при поддержке ESB на время запитает свой дублинский ЦОД от водородных топливных ячеек GeoPura.

Часть авиабазы Naval Air Station Lemoore близ Фресно (Калифорния) ВМС США совместно с энергетической компанией Ameresco намерены превратить в комплекс из солнечной электростанции мощностью 425 МВт, энергохранилища и дата-центра — всё на площади около 370 га. Ameresco реализует проекты в области солнечной энергетики в США, Канаде и Европе. Авиабаза Naval Air Station Lemoore открыта в 1961 году и является крупнейшей авиабазой ВМС США.

После получения в распоряжение участка Ameresco построит солнечную электростанцию с аккумуляторным энергохранилищем, которые будут снабжать дата-центр общей площадью 56 тыс. м². ЦОД предполагается построить в пять этапов, на каждом из которых будет возведено 20–25 МВт, так что общая ёмкость объекта, вероятно, превысит 100 МВт. По информации СМИ, электростанция и хранилище также будет выступать резервным источником питания самой авиабазы, что обеспечит ей бесперебойное энергоснабжение. Предполагаются поставки энергии и другим клиентам в регионе.

Источник изображения: ВМС США

Это не единственный проект строительства солнечных электростанций для питания дата-центров, но один из самых масштабных. Так, индийская AmpIn Energy Transition (ранее Amp Energy India) ввела в эксплуатацию солнечную электростанцию, компенсирующую потребление ЦОД AWS. Проект имеет общую мощность 100 МВт (в пике до 135 МВт). А Microsoft в прошлом году анонсировала строительство в США солнечных электростанций суммарной мощностью 2,5 ГВт.

Швейцарский застройщик ERNE Gruppe совместно с FlexBase Group объявили о совместной реализации стратегического проекта по созданию гигантского аккумуляторного хранилища FlexBase Technology Center мощностью более 500 МВт. Ёмкость его не уточняется, но сообщается, что оно станет одним из крупнейших если не в мире, то в Европе. Как сообщается в материалах FlexBase, при нём введут в эксплуатацию и ЦОД, предназначенный для ИИ-вычислений.

По имеющимся данным объект разместится на площади 20 тыс. м² в Лауфенбурге в кантоне Аргау (Laufenburg, Aargau) — для реализации проекта перестроят уже имеющееся здание, ранее принадлежавшее Swissgrid, а новое здание напротив старого станет ядром технологического центра. Штаб-квартира Swissgrid переехала из Лауфенбурга в Аргау (адм. центр кантона) в 2018 году, перенеся на новое место всю IT-инфраструктуру и построив два новых ЦОД.

Источник изображения: ERNE Gruppe

Начало строительства запланировано на весну 2025 года. Общая площадь ЦОД составит 600 м², он получит систему жидкостного охлаждения и 8 тыс. м² солнечных панелей. Тепло дата-центра будет передаваться местной сети теплоснабжения. Предполагается, что новый проект позволит создать сотни рабочих мест в Лауфенбурге. В энергохранилище будут использоваться проточные редокс-аккумуляторы, считающиеся более эффективными и безопасными, чем традиционные решения. Проекты строительства энергохранилищ активно реализуются и в других странах Европы, но обычно их мощность несопоставима с предлагаемым в Швейцарии вариантом.

Компания Microsoft намерена распространить успешный опыт по интеграции энергохранилища дата-центра в Дублине с местными энергосетями на свои ЦОД во всём мире. Как сообщает DataCenter Dynamics, ещё в 2022 году свою эффективность доказала схема, объединяющая систему литий-ионных аккумуляторов (BESS) и интерактивные ИБП компании Eaton, которая позволяет делиться энергией с ирландской электросетью в случае необходимости. Подобные пилотные проекты уже реализуют многие операторы ЦОД вроде Google и Telia, а также операторы Deutsche Telecom и Elisa.

К 2030 году Ирландия намерена использовать в своих сетях не менее 70 % возобновляемой энергии, уже сейчас на долю ЦОД приходится порядка 10 % всего энергопотребления страны. По прогнозам экспертов, меньше, чем через 10 лет этот показатель вырастет до 30 %, что приведёт к замедлению роста рынка ЦОД в Ирландии и даже уходу некоторых игроков из-за внедрения новых правил. Применяемая Microsoft система уже сегодня особенно востребована именно здесь, где активное строительство ЦОД привело к нехватке энергетических мощностей.

Источник изображения: Jan Huber/unsplash.com

Такие «виртуальные электростанции» (Microsoft в этом деле помогала Enel X) могут эффективно использоваться в любой точке мира. Считается, что такое решение будет способствовать декарбонизации электросетей. Дело в том, что нестабильные поставки из возобновляемых источников увеличивают потребность в формировании именно аккумуляторных хранилищ. Кроме того, становится доступна и более эффективная и быстрая балансировка сетей — для передачи энергии на краткосрочный период аккумуляторные резервы намного эффективнее.

Пока неизвестно, сколько компания готова отдавать в ирландскую энергосеть. В дублинском кампусе ёмкостью 255 МВт Microsoft намерена построить дополнительные мощности — благодаря тому, что компания успела получить разрешение на строительство до введения в Дублине временных лимитов на создание ЦОД. Ожидается, что следующей на очереди станет Великобритания, где будет использовано аналогичное решение. Впрочем, есть и альтернативный подход — AWS приняла решение закупить более сотни дизель-генераторов для своих ирландских ЦОД.

Финский оператор мобильной связи и телекоммуникационных сервисов Elisa получит от государства €3,9 млн на создание распределённого энергохранилища (Distributed Energy Storage, DES) в своей сети. Как сообщает DataCenter Dynamics, в случае необходимости энергия будет передаваться и местным электросетям. Выделенный финскими властями грант позволит создать крупнейшую в Европе «виртуальную электростанцию», позволяющую рационально расходовать энергию и управлять энергохранилищами. По данным оператора, это крупнейший проект такого рода в Европе.

Финансирование осуществляется в рамках финской программы продвижения проектов, связанных с «зелёной» энергетикой — Recovery and Resilience Plan. Elisa уже протестировала новое решение на 200 базовых станциях. По данным компании, использование DES поможет снизить расходы на электричество. Система уже получила предварительное одобрение финского оператора электросетей Fingrid. Грант позволит создать виртуальное энергохранилище ёмкостью до 150 МВт·ч, что является крупнейшим европейским проектом в области систем хранения энергии, даже в сравнении с проектами централизованных хранилищ.

Фото: Jonathan Borba / Pexels

DES использует ИИ и машинное обучение, позволяющие оптимизировать использование электроэнергии базовыми станциями и эффективно управлять циклами заряда/разрядки аккумуляторов таким образом, что это позволит превратить резервные источники питания сети базовых станций в «виртуальную электростанцию», способную делиться энергией с операторами местных сетей электропередач в случае непредвиденного повышения нагрузки.

Новое решение обеспечит в некоторых случаях альтернативу ископаемому топливу и поможет электросетям, нуждающимся в дополнительных источниках возобновляемой энергии. Считается, что система не только повысит устойчивость сетей связи, но и поможет сэкономить на электричестве, а также будет способствовать достижению нулевых выбросов парниковых газов, поощряя наполнение энергохранилищ из возобновляемых источников.

Дизель-генератор — неотъемлемая часть подсистемы резервного питания любого серьёзного ЦОД, но по природе своей он не может похвастаться нейтральностью выхлопа. Многие ищут традиционным генераторам замену, и в их числе Microsoft. На днях компания сообщила, что ей удалось достичь важной вехи в освоении водородных топливных элементов, которые, по замыслу Microsoft, и должны заменить традиционные дизель-генераторы в принадлежащих ей центрах обработки данных.

Компания начала тестирование новой генераторной станции мощностью 3 МВт, построенной на базе топливных ячеек с протонообменной мембраной (PEM). Она способна обеспечивать питание 10 тыс. серверов. С топливными элементами компания экспериментирует давно, ещё с 2013 года, но более ранние разработки использовали природный газ и не по факту не являлись такими уж экологичными.

Тестовая станция мощностью 3 мВт. Источник: Microsoft/John Brecher

Разработать водородные PEM-ячейки компании удалось в сотрудничестве с Plug Power. В течение нескольких недель июня компании совместно протестировали прототип генератора нового поколения. Новая система, выбрасывающая в атмосферу лишь нагретый водяной пар, сработала успешно, так что Plug Power уже работает над созданием коммерческой версии системы.

Протонообменная мембрана: конструкция и принцип действия. Источник: Encyclopedia Britannica

Первый же экземпляр будет установлен научно-исследовательском центре Microsoft, но пока конкретных сроков пока озвучено не было. У IT-гиганта большие надежды на подобные технологии: к 2030 году компания планирует обновить системы резервного питания во всех своих ЦОД.

В работе система выделяет только горячий водяной пар. Источник: Microsoft/John Brecher

Правда, в полной экологичности водородных топливных элементов есть сомнения: работают они без вредных выбросов, но само их производство может оказаться далеко не таким чистым, как эксплуатация. Тем не менее, администрация США одобрила план стоимостью $8 млрд по развитию производства водорода в рамках программы альтернатив ископаемому топливу. В Европе есть аналогичные инициативы — как совсем скромные (€2,5 млн), так и весьма крупные (€1 млрд).

Системы резервного питания ЦОД включают в себя не только дизель-генераторы, но и массивы резервных батарей достаточно серьёзной ёмкости (а иногда и только аккумуляторы), которые большую часть времени простаивают. Microsoft и Eaton считают, что такой подход нерационален, особенно в рамках курса на снижение углеродного следа и повышение эффективности энергосетей.

Компании объявили о сотрудничестве с целью постепенного оснащение ЦОД Microsoft нового поколения системами резервного питания, способными взаимодействовать с «умной» энергосетью и при некоторых условиях даже отдавать в неё запасённую в батареях энергию. В основе лежит разработанная Eaton технология EnergyAware UPS.

Контроллер Eaton EnergyAware. Источник: Eaton

Компании сотрудничают не первый год: ранее Eaton выбрала в качестве предпочитаемой облачной платформы Microsoft Azure, где развернула поддержку своих решений, включая мощные «умные» прерыватели питания. В прошлом году компании опубликовали исследование, в котором рассмотрена потенциальная роль ЦОД с интерактивными подсистемами питания в «зелёной энергетике». Теперь же от слов партнёры перешли к делу.

Между компаниями заключено стратегическое соглашение «о цифровой трансформации и переходе на возобновляемую энергетику» (digital transformation, sustainability and the energy transition), плодом которого станет оснащение центров обработки данных Microsoft соответствующими подсистемами питания, разработанными Eaton, и способными гибко взаимодействовать с внешней энергосетью, функционируя не только в качестве потребителя.

Источник: Eaton

В концепции композитной «умной» самобалансирующейся энергосети ЦОД, оснащённый оборудованием Eaton, сможет выступать в качестве полноправного участника, и при необходимости не только забирать из неё энергию, но и отдавать, компенсируя суточное или погодное падение выработки другими «зелёными» источниками, а заодно и получать от этого некоторую выгоду. Сама Eaton приводит некоторые цифры в описании технологии: нагруженный на 50% UPS EnergyAware мощностью 1 МВт может принести от $35 тыс. в год.

Это не единственный случай интеграции ИБП дата-центров в энергосети — аналогичные пилотные проекты есть у Google и Telia. Согласно исследованию Omdia, к внедрению такого подхода готово всё больше операторов ЦОД. Впрочем, есть и обратные примеры. Так, для изоляции собственного массива батарей Tesla MegaPack от местной энергосети оператору Switch в своё время пришлось получать специальное разрешение.

Исследование, проведённое аналитической компаний Omdia, показало, что в следующие четыре года операторы ЦОД начнут использовать на своих площадках источники бесперебойного питания (ИБП), способные не только поддерживать энергообеспечение дата-центров, но и в случае необходимости отдавать избытки электроэнергии в общую сеть.

Интеграция разнообразных источников возобновляемой энергии в «динамические» энергосети постепенно становится трендом, а в некоторых регионах в ближайшей перспективе и техническим требованием к сетям электроснабжения. ЦОД находятся в уникальном положении — будучи крупными потребителями энергии, они способны повысить надёжность электросетей, позволяя последним получить доступ к запасённой ИБП энергии.

«Умные» энергосети способны динамически отслеживать потребность в энергии и быстро подключать резервные хранилища, что помогает компенсировать непредсказуемость поставок энергии от возобновляемых источников, обеспечить баланс и сократить инвестиции в электрическую инфраструктуру. Eaton, Schneider Electric и Vertiv уже предлагают клиентам «умные» ИБП, способные интегрироваться в такие энергосети.

Источник изображения: Omdia

Omdia опросила почти 380 представителей операторов дата-центров, технических специалистов, консалтинговых компаний и поставщиков энергии в Северной Америке, Европе и Австралии. Результат опроса показал, что главным стимулом для внедрения совместимых с «умными» энергосетями ИБП стала возможность реализовать инициативы по энергосбережению. Другими стимулами стали стремление к инновациям, репутационные выгоды, а также получение конкурентных преимуществ.

Примечательно, что большинство опрошенных уверены, что использование интеграция ЦОД с «умными» энергосетями не поставит под угрозу выполнение критически важных рабочих нагрузок. Почти половина респондентов ответила, что главными, хотя и далеко не единственными, выгодоприобретателями подобных решений станут облачные. В числе регионов, где наиболее развито внедрение «умных» ИБП названы Скандинавия, Великобритания и Ирландия.

Около 80 % опрошенных считают, что от 10 до 50 % ёмкости аккумуляторов в современных ИБП дата-центров уже сегодня может использоваться для поддержки работы публичных энергосетей без угрозы собственным системам ЦОД. Такой подход поможет эффективно интегрировать в энергосети возобновляемые источники энергии вроде солнечных и ветряных электростанций с нерегулярной генерацией — в периоды избыточной поставки энергии её можно запасать в ИБП, а потом отдавать в час пик.