Как выяснилось недавно, прошлым летом Вирджиния (США) оказалась на грани катастрофы после того, как от энергосети одновременно отключились 60 дата-центров, суммарно потреблявших 1,5 ГВт. Это вынудило операторов электросетей принимать экстренные меры, чтобы избежать масштабных отключений электричества у других потребителей в регионе, сообщает Datacenter Dynamics.

Инцидент документирован, впервые о нём сообщило агентство Reuters — все ЦОД в округе Фэрфакс (Fairfax) в массовом порядке пришлось переключать на резервные генераторы из-за сбоев оборудования в энергосети. Оператору сети PJM Interconnection и местной коммунальной компании Dominion Energy пришлось экстренно сокращать объём поступающей в сеть с электростанций энергии — в противном случае системы сами отключились бы от избыточной мощности. Потенциально это могло привести к отключениям электричества во всём штате.

По данным Североамериканской корпорации по надёжности электроснабжения (NERC), неполадки начались вечером 10 июля 2024 года. На 230-кВ линии электропередачи произошёл сбой оборудования защиты, что привело к нарушениям в работе всей системы. В результате на несколько миллисекунд произошла серия сбоев подачи электричества — этого оказалось достаточно, чтобы местные ЦОД временно переключились на резервные системы питания.

Источник изображения: dhahi alsaeedi/unspalsh.com

Расследование NERC показало, что в случае серии сбоев в течение короткого периода времени дата-центры не переключаются обратно на основную энергосеть — это приходится делать вручную, причём в данном случае ЦОД несколько часов проработали на резервных источниках питания. Хотя напряжение «не поднялось до уровней, представляющих риск для надёжности», операторам энергосети всё равно пришлось принимать меры для сокращения подачи электричества в сеть.

Более того, подобные проблемы, вероятно, в будущем станут более распространёнными, поскольку спрос на электричество для ЦОД в Вирджинии только растёт. В феврале Dominion заявляла, что теперь располагает 40 ГВт «законтрактованных» мощностей для дата-центров по состоянию на декабрь 2024 года — это на 88 % больше, чем в июле.

Не исключены и другие проблемы. В NERC сообщают, что инцидент не вызвал значимых проблем с повторным подключением объектов большой ёмкости, но существует возможность возникновения проблем в будущем. В прошлом году NERC организовала специальную команду для отслеживания ситуаций с большими нагрузками и влияния на состояние энергетической инфраструктуры ЦОД и других крупных потребителей энергии. Такие потребители уже представляют проблему, а иногда и опасность для обычных жителей, т.к. они повышают риск пожаров.

Сетевые операторы и энергокомпании должны принять меры для изучения вероятного влияния внезапного «выхода из сети» крупных потребителей и их повторного подключения. В NERC подчёркивают, что ЦОД становятся больше и потребляют всё больше энергии, но сеть не рассчитана на то, чтобы выдержать отключения дата-центров общей мощностью 1,5 ГВт. На каком-то этапе проблема станет неразрешимой, если ей не заниматься. Северная Вирджиния, где и произошёл сбой, признана самым ёмким рынком ЦОД в мире.

Системы энергоснабжения дата-центров во многом зависят от аккумуляторов в составе ИБП. Участники рынка ЦОД активно инвестируют в создание аккумуляторных систем — не так давно число используемых Li-Ion элементов в дата-центрах Google по всему миру достигло 100 млн шт., сообщает пресс-служба компании.

В Google используются системы электропитания с 48 В постоянного тока (48Vdc), причём ИБП интегрированы непосредственно в стойки. Такая распределённая архитектура обладает двумя ключевыми преимуществами: область возможного сбоя ИБП ограничивается одной стойкой; нет дополнительной точки отказа между ИБП и серверами. Такой подход снижает общую стоимость владения (TCO), поскольку ИБП масштабируется вместе с инфраструктурой, благодаря чему уменьшаются затраты на начальном этапе внедрения, говорит компания.

Размещение батарей на DC-шине вместе с серверами исключает потери энергии, связанные с промежуточными преобразованиями переменного тока (AC) в постоянный (DC), положительно влияя на общую эффективность системы. В 2016 году Google открыла спецификации своей системы электропитания стоек, включая спецификации для литий-ионных BBU, в рамках Open Compute Project (OCP). Кроме того, Li-Ion аккумуляторы вдвое долговечнее и вдвое мощнее свинцово-кислотных элементов, применявшихся ранее. Таким образом, переход с одних на другие означает, что теперь можно использовать меньше батарей, что также положительно влияет на экологичность ЦОД, говорит Google.

Источник изображений: Google/OCP

В Google отмечают, что развернуть 100 млн Li-Ion элементов можно только благодаря подходу «безопасность прежде всего», принятому в компании. Основным риском для такого типа элементов является возможность неуправляемого нагрева, т. н. «теплового разгона» в случае, если с ними некорректно обращаются, чрезмерно заряжают или не охлаждают должным образом. В результате могут случаться пожары, и хотя такое бывает редко, огонь очень трудно погасить из-за выделения большого количества тепла и риска «цепной реакции» воспламенения соседних элементов.

Для использования большого «парка» АКБ в Google применяют метод тестирования UL9540A (стандарт, разработанный для оценки безопасности энергосистем, включая аккумуляторы) и проводит строгие испытания литий-ионных блоков BBU. В результате Google успешно получила от регуляторов разрешения на использование BBU даже в Азиатско-Тихоокеанском регионе, где действуют самые жёсткие правила. Сейчас в Google изучают возможность использования больших энергохранилищ (BESS).

Безопасность аккумуляторов — не праздный вопрос. Пожары в дата-центрах вообще случаются не так уж редко, а во многих случаях причиной служат именно инциденты с аккумуляторами. За примерами не надо далеко ходить: один из крупнейших в мире сбоев ЦОД южнокорейской площадки Kakao произошёл именно из-за перегрева и возгорания литий-ионных аккумуляторов SK On, что привело к пожару. В сентябре 2024 года из-за возгорания Li-Ion элементов ИБП пострадал сингапурский ЦОД Digital Realty. В 2023 году эксперты Uptime Institute предупреждали о возможной опасности использования Li-Ion элементов в дата-центрах, поскольку они подвержены повышенному риску возгорания.

Китайский промышленный гигант BYD заключил сделку с Saudi Electricity Company, предполагающую строительство крупнейших в мире аккумуляторных энергохранилищ в Саудовской Аравии. Компания намерена объединить мощности на пяти площадках с общей ёмкостью 12,5 ГВт∙ч, сообщает Globe Newswire.

Вместе с уже реализованным ранее проектом на 2,6 ГВт∙ч общий объём сотрудничества теперь оценивается в 15,1 ГВт∙ч. Новый этап сотрудничества стал поворотным шагом на пути к развитию индустрии возобновляемой энергии Саудовской Аравии и соответствует инициативе модернизации Vision 2030. На фоне климатических изменений она намерена добиться использования 50 % возобновляемой энергии к 2030 году.

Системы хранения энергии BESS (Battery Energy Storage System) поставит BYD Energy Storage. Хранилища получат модули MC Cube-T ESS, использующие инновационную технологию CTS (Cell-to-System). Новые решения будут интегрированы в саудовскую электросеть и сыграют ключевую роль в борьбе с вызовами, связанными с ростом поставок возобновляемой энергии, которые не особенно стабильны. Кроме того, аккумуляторные хранилища помогают справиться с пиковыми нагрузками.

Источник изображения: BYD Energy

17 лет назад BYD поставила пилотную BESS-систему на литий-железо-фосфатных элементах (LFP) для оценки их эффективности. На текущий момент компания развернула в общей сложности более 75 ГВт∙ч в более чем 110 странах и регионах. Предполагается, что новый знаковый проект заставит пересмотреть ценность электрохимических энергохранилищ на мировом энергетическом рынке.

Востребованность BESS растёт. Например, ирландский регулятор предложил дата-центрам заняться самостоятельной постройкой электростанций и энергохранилищ на фоне острого дефицита энергии в районе Дублина — чтобы не потерять позиции лидера рынка ЦОД из-за нехватки развитой энергетической инфраструктуры на фоне спроса на ИИ.

Оператор Scandinavian Data Centers (SDC) запустил систему хранения энергии на основе АКБ (BESS) для подземного ЦОД ScandiDC I. Объект расположен в шведском Эскильстуне (Eskilstuna), причём речь идёт о реализации экосистемного проекта, сообщает Datacenter Dynamics.

Как сообщает пресс-служба компании, недавно она объявила о запуске первого «экосистемного» объекта ScandiDC I, который подразумевает создание ЦОД с энергохранилищем для стабилизации местной электросети, а также интеграцию с локальной системой отопления тепла дата-центра жилых домов. Как заявляют в SDC, она стремится максимизировать «общественную выгоду на мегаватт». С учётом растущих энергетических потребностей процесса цифровизации объект рассматривается в качестве модели того, как ИИ может использоваться для отопления, внося таким образом свой вклад в устойчивое развитие.

ЦОД расположен на территории бывшего военного завода, построенного в 1939 году. Последние 14 лет на объекте работал небольшой ЦОД одной из местных IT-компаний. Предполагается, что грядущее расширение позволит повысить ёмкость и гибкость ЦОД — будут доступны залы (шесть штук на первом этапе) как с воздушным охлаждением, так и с СЖО. Завершить работы планируется в 2026 году, инвестиции составят kr2 млрд ($186,8 млн).

Источник изображения: SDC

Тепло ЦОД будут передавать в систему центрального отопления Eskilstuna Energi & Miljö. Энергохранилище BESS, разработанное совместно с Ellevio Energy Solutions, будет резервным источником питания ЦОД. Глава SDC ранее был соучредителем Rockan Data Center, запустившей ЦОД в бывшем военном подземном объекте. В США и Евросоюзе активно используют бункеры времён холодной войны и другие бывшие военные объекты, иногда они применялись даже в нелегальных целях.

Власти Эскильстуны объявили, что инициатива укрепляет позиции муниципалитета как лучшего в экологическом отношении в Швеции, а также пионера в области устойчивого развития. Примечательно, что здесь же строит дата-центр и Amazon (AWS), его должны ввести в эксплуатацию в конце года.

Для бесперебойного снабжения электроэнергией американского суперпроекта Stargate, помимо подключения к энергосети, будут использоваться солнечная энергия, природный газ, аккумуляторные энергохранилища и дизель-генераторы, сообщает Datacenter Dynamics. Строительство первого ЦОД уже начато в Техасе.

По данным источников Bloomberg, знакомых с планами развития Stargate, часть энергии, вероятно, будет поступать от SB Energy, дочерней структуры компании SoftBank, предлагающей солнечные и аккумуляторные решения. SB Energy уже довольно давно планировала запитать ЦОД в Техасе. В прошлом году компания объявила о трёх соответствующих проектах для дата-центров Google. Речь идёт о «солнечном поясе» Orion Solar Belt — солнечных электростанциях Orion I, Orion II и Orion III суммарной мощностью почти 900 МВт (258 МВТ, 302 МВт и 315 МВт соответственно).

OpenAI сообщила журналистам, что рассматриваются различные варианты модернизации энергосистемы Соединённых Штатов с использованием самых разных технологий — от атомной энергетики до аккумуляторных энергохранилищ. Поскольку одной только солнечной энергии для Stargate вряд ли хватит, OpenAI будет использовать и другие источники. Подрядчики Stargate уже подали заявку на строительство электростанции на природном газе мощностью 360,5 МВт и стоимостью около $500 млн. Всего будет задействовано десять газовых турбин — по пять от GE Vernova и Solar Turbines («дочка» Caterpillar). Они напрямую будут питать дата-центр.

Заявку подала компания, работающая в интересах Crusoe Energy, которая, в свою очередь, ещё летом начала строительство 205-МВт ИИ ЦОД для Oracle и OpenAI в техасском Абилине (Abilene), также известного как Project Ludicrous. Именно этот кампус, как ожидается, станет первой действующей площадкой Stargate. Кроме того, уже получено разрешение на установку резервных дизель-генераторов.

Источник изображения: Thomas Richter/unsplash.com

Дополнительно появилась информация о том, что OpenAI ищет для Stargate менеджера по закупкам, ответственного за оборудованиее и работу с поставщиками, и технического руководителя программ, отвечающий за инфраструктурную стратегию. Обе вакансии предполагают широкий круг обязанностей, от соискателей требуется не менее пяти лет опыта работы в крупных проектах. Не так давно OpenAI уже переманила из Meta✴ специалиста по цепочкам поставок для помощи в реализации проекта Stargate.

Компания Ippon представила трёхфазные источники бесперебойного питания (ИБП) семейства Intatum ML, предназначенные для работы с критически важным оборудованием. Устройства могут применяться в коммерческих зданиях, логистических центрах, образовательных учреждениях, финансовых организациях, предприятиях розничной и электронной торговли.

В серию вошли модели Intatum ML 100K, 120K, 200K и 300K мощностью 100, 120, 200 и 300 кВА соответственно. Эти моноблочные напольные бестрансформаторные ИБП обеспечивают КПД до 95,5 % в режиме двойного преобразования и до 98,5 % в энергосберегающем (ECO) режиме. Коэффициент входной мощности 0,99 способствует стабильной работе питающей сети и снижению энергозатрат.

Источник изображения: Ippon

ИБП, по заявлениям Ippon, обладают высокой перегрузочной способностью, что позволяет справляться с кратковременными перегрузками без повреждений: это важно для объектов со значительными пиковыми нагрузками. Встроенные автоматические выключатели обеспечивают защиту от перегрузок и коротких замыканий, предотвращая повреждение оборудования.

Устройства оснащены несколькими коммуникационными портами (включая «сухие контакты») для удалённого мониторинга и управления, а также сенсорным информационным дисплеем. Возможно параллельное подключение до четырёх ИБП. Предусмотрена голосовая аварийная сигнализация. Кроме того, производитель упоминает оптимизированный алгоритм заряда батарей, сокращающий время восполнения запаса энергии. Гарантия составляет два года.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Российская компания «Систэм Электрик» (Systême Electric, ранее Schneider Electric в России) объявила о начале продаж локализованных модульных источников бесперебойного питания (ИБП) серии Excelente VS. Устройства, по заявлениям разработчика, предназначены для защиты критически важных нагрузок.

Напомним, ранее в семействе Excelente были доступны решения Excelente VM (50–300 кВА), Excelente VL (350–600 кВА) и Excelente VX (100–1200 кВА). Они обеспечивают до 96,6 % КПД в режиме двойного преобразования и до 99 % в режиме ECO.

В случае новых ИБП серии Excelente VS мощность со встроенными модульными батареями может варьироваться от 30 до 60 кВА/кВт, с внешними батареями — от 30 до 150 кВА/кВт. В первом случае заказчик получает такие преимущества, как снижение занимаемой площади, удобное обслуживание без необходимости выключения ИБП и сокращение времени обслуживания всей системы питания, говорит компания. Версии с внешними литий-ионными аккумуляторами предлагают длительный срок службы батареи, повышенную ёмкость и более высокую температурную устойчивость.

Источник изображения: «Систэм Электрик»

Единичный коэффициент мощности по выходу (PF=1), как заявляет «Систэм Электрик», позволяет рассчитывать необходимый уровень защиты для текущей инфраструктуры без лишних затрат. Диапазон входных напряжений — от 135 до 485 В. Кроме того, говорится о высокой перегрузочной способности. Заявленный КПД достигает 96 % в режиме двойного преобразования (On-Line) и 99 % в режиме ECO.

Устройства базируются на модульной архитектуре с возможностью горячей замены. Допускается параллельная работа до шести ИБП одновременно. В оснащение входят информационный дисплей, коммуникационные интерфейсы (SNMP, RS485 и USB), кнопка EPO для аварийного отключения, а также пылевой фильтр с быстрым доступом (находится за фронтальной панелью).

Systeme Electric отмечает, что ИБП можно адаптировать для сложных проектов в средних и крупных дата-центрах, а также в сфере критически важной коммерческой и промышленной инфраструктуры. Устройства серии Excelente VS производится на площадке «Систэм Электрик» в особой экономической зоне «Технополис Москва».

Консорциум Net Zero Innovation Hub for Data Centers ) инициировал т. н. запрос информации (RFI). Как сообщает сайт NZIH, речь идёт о первом запросе такого рода в Европе, направленном на поиск инновационных решений, способных заменить дизельные резервные генераторы.

RFI представляет собой официальный запрос, направляемый компаниям и организациям с целью сбора информации о передовых технологиях и подходах, имеющихся в их распоряжении, которые могут использоваться для решения конкретной проблемы, в данном случае — замены источников резервного питания на безуглеродные.

В консорциум входят такие известные компании, как Danfoss, Data4, Google, Microsoft, Schneider Electric и Vertiv. В NZIH объявили, что ищут решения, которые можно масштабировать до гигаваттного уровня. Инициатива, как ожидается, должна ускорить внедрение решений для резервного питания с нулевым выбросом.

В I квартале 2025 года будет проведена оценка жизнеспособности предложенных решений с технической, экономической, регуляторной и других точек зрения, а во II квартале 2025 года начнётся поиск источников финансирования, после чего, возможно, будут заключены соглашения о внедрении между владельцами инновационных технологий и участниками NIZH.

Источник изображения: NZIH

Речь идёт о возможностях для широкого круга компаний, в том числе тех, чьи решения находятся на раннем этапе коммерциализации. Инициативу планируется реализовать в три этапа. Предполагается:

• согласовать и стандартизировать требования с учётом специфика отрасли ЦОД;
• определить инновационные решения, масштабируемые и поддерживаемые цепочкой поставок, потенциально готовые к внедрению в гигаваттных масштабах;
• реализовать первичные пилотные проекты с привлечением государственных и частных инвестиций.

Как сообщается на сайте консорциума, внедрение передовых «чистых» технологий часто сталкиваются с препятствиями, во многом из-за новизны и высоких рисков на ранних стадиях. Выступая «агрегатором» спроса на такие технологии и создавая новые коммерческие структуры при поддержки крупнейших заказчиков, NIZH со своей инициативой пытается снизить риск для инновационных проектов, разработчиков, энергетических компаний, обеспечивая при этом возможность получения инвестиций.

Инновационный аспект решений может быть представлен разработчиками — речь может идти о технологии, бизнес-модели или других аспектах или их комбинации. Первое предложение уже сделал один из ключевых участников консорциума — Microsoft продвигает водородную энергетику. Так, компания при поддержке ESB на время запитает свой дублинский ЦОД от водородных топливных ячеек GeoPura.

Часть авиабазы Naval Air Station Lemoore близ Фресно (Калифорния) ВМС США совместно с энергетической компанией Ameresco намерены превратить в комплекс из солнечной электростанции мощностью 425 МВт, энергохранилища и дата-центра — всё на площади около 370 га. Ameresco реализует проекты в области солнечной энергетики в США, Канаде и Европе. Авиабаза Naval Air Station Lemoore открыта в 1961 году и является крупнейшей авиабазой ВМС США.

После получения в распоряжение участка Ameresco построит солнечную электростанцию с аккумуляторным энергохранилищем, которые будут снабжать дата-центр общей площадью 56 тыс. м². ЦОД предполагается построить в пять этапов, на каждом из которых будет возведено 20–25 МВт, так что общая ёмкость объекта, вероятно, превысит 100 МВт. По информации СМИ, электростанция и хранилище также будет выступать резервным источником питания самой авиабазы, что обеспечит ей бесперебойное энергоснабжение. Предполагаются поставки энергии и другим клиентам в регионе.

Источник изображения: ВМС США

Это не единственный проект строительства солнечных электростанций для питания дата-центров, но один из самых масштабных. Так, индийская AmpIn Energy Transition (ранее Amp Energy India) ввела в эксплуатацию солнечную электростанцию, компенсирующую потребление ЦОД AWS. Проект имеет общую мощность 100 МВт (в пике до 135 МВт). А Microsoft в прошлом году анонсировала строительство в США солнечных электростанций суммарной мощностью 2,5 ГВт.