Согласно последнему экспертному докладу компании Dell'Oro Group, данные из которого приводит The Register, на регулярной основе занимающейся мониторингом рынка комплектующих для строительства инфраструктуры ЦОД, необходимые для создания дата-центров компоненты систем питания и охлаждения поставляются с задержкой в несколько месяцев. И, похоже, ситуация сохранится и в 2023 году.

Если на относительно доступные продукты вроде однофазных источников бесперебойного питания (ИБП), модулей распределения питания в стойке и самих стоек время отгрузки составляет 4–6 недель, то до отправки трёхфазных ИБП и систем охлаждения, а также силовых распределительных систем общего назначения может потребоваться уже 6–12 месяцев.

Выяснилось, что в I квартале поставки на рынке важных базовых компонентов вроде ИБП, систем охлаждения, серверных стоек и систем распределения энергии выросли только на 1–2 %, как в штучном, так и в денежном выражении. По мнению экспертов, низкие объёмы продаж связаны как с плачевным состоянием цепочек поставок, так и с высоким спросом со стороны гиперскейлеров. Поскольку те открывают два-три десятка новых облачных регионов в текущем году, производители обеспечивают в первую очередь их, что отрицательно сказывается на времени поставок для других заказчиков.

Источник изображения: Christina @ wocintechchat.com/unsplash.com

Некоторые технологии в последнее время пользуются всё большим спросом. Если в 2021 году на СЖО приходилось только 5 % расходов на системы охлаждения в целом, то рост этого сегмента рынка в сравнении с предыдущим годом составил около 50 %. Интерес к новым технологиям бьёт все рекорды, подогреваемый инвестициями крупных OEM-производителей и компаний, выпускающих чипы.

Например, только в прошлом месяце Intel анонсировала инвестиции в размере $700 млн в лабораторию по разработке новых технологий жидкостного охлаждения. Она же заключила соглашения с GRC и Submer. А решениями LiquidStack, за которой стоит крупный OEM-производитель Wiwenn, заинтересовались Microsoft и NTT. Кроме того, у той же Alibaba уже есть собственные решения.

Источник изображения: Adi Goldstein/unsplash.com

Хотя недостаток комплектующих ограничивал объёмы поставок, выручка от инфраструктурного оборудования выросла на 6 % в сравнении с аналогичным кварталом прошлого года, во многом — из-за общего роста цен. Большей частью рост доходов пришёлся на североамериканский, азиатско-тихоокеанский и китайский рынки, где сильнейшие позиции заняли Eaton Riello и Schneider Electric.

Основное бремя инфляции в I квартале легло на оборудование с коротким циклом продаж вроде однофазных ИБП. По прогнозам экспертов, в начале 2023 года ситуация изменится и инфляция затронет и продукцию с длительным циклом продаж. Кроме того, ожидается, что доходы от сбыта физической инфраструктуры для ЦОД за весь 2022 год вырастут на 9 % поскольку проблемы со снабжением будут постепенно устраняться на фоне продолжающегося роста цен.

В значительной части рост будет подогреваться и повышением спроса со стороны гиперскейлеров, а также увеличением расходов на облачные решения. Dell'Oro Group прогнозирует, что облачные провайдеры в 2022 году потратят на инфраструктуру для ЦОД на 25 % больше — порядка $18 млрд, чем в предыдущий отчётный период. Ранее Dell’Oro спрогнозировала, что рост цен на оборудование и рост облачных сервисов приведут к рекордным расходам на ЦОД в текущем году.

Стремление Евросоюза минимизировать использование природного газа и сохранить при этом курс на лидерство в цифровом мире может столкнуться с серьёзными проблемами. На фоне растущих цен на энергоносители реализация ЦОД-проектов гиперскейлеров оказалась под вопросом, сообщает Bloomberg.

Когда ранее Google собралась строить ЦОД в Люксембурге, а Meta* — в Нидерландах, обе страны питали большие надежды на усиление своих ролей в цифровой экономике. После начала украинских событий эти проекты, уже приостановленные по инициативе местных властей и экологов, похоже, и вовсе отходят на второй план. Поскольку в некоторых странах речь в перспективе якобы идёт уже о поиске энергии для освещения, местные регуляторы намерены предъявлять более жёсткие требования к операторам дата-центров.

По словам некоторых политиков, бездействие в отношении сектора ЦОД лишит страны части возможностей отказа от природного газа и будет мешать переходу на «зелёную» энергетику. Хотя техногиганты неоднократно подчёркивали, что их политика использования энергии соответствует самым строгим стандартам, внедряемым по инициативе самих операторов, для многих представителей общественности строительство новых «зелёных» электростанций для питания ЦОД кажется крайне несбалансированным подходом к обеспечению энергетической безопасности.

Источник изображения: Lars Kienle/unsplash.com

Сейчас политики обсуждают предложенный в прошлом году план «зелёного перехода», позволяющий критически снизить выбросы парниковых газов, шире задействовать возобновляемую энергию и энергосбережение. Но после начала украинского конфликта ЕС анонсировал поэтапный отказ от российских углеводородов, и предложил ужесточить требования к переходу на «зелёную» энергию.

Известно, что как минимум пять стран намерены ввести новые требования к ЦОД. Пока что общие стандарты в ЕС отсутствуют, зато имеются большие планы по строительству новых ЦОД в разных странах. Регуляторы подчёркивают, что политическая и экономическая ситуация предъявляет всё новые вызовы, и в интересах самой индустрии ЦОД сконцентрироваться на использовании самых экоустойчивых технологий.

ЦОД в ЕС потребляли 2,7% всей электроэнергии ещё в 2018 году, а продолжающаяся цифровая трансформация означает, что энергии будет требоваться всё больше. К 2030 году этот показатель может достигнуть 3,2%, увеличившись до 100 ТВт∙ч — вдвое больше, чем использовала в 2019 году Греция. Отметим, что этот показатель выше, чем среднемировое значение (1%) по состоянию на 2020 год. Впрочем, PUE европейских дата-центров оказался заметно ниже среднего, что говорит об их более высокой энергоэффективности.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

ПАО «Газпром нефть» и одна из крупнейших российских компаний в сфере майнинга криптовалюты BitRiver подписали в ходе Петербургского международного экономического форума (ПМЭФ-2022) меморандум о взаимопонимании по развитию мощностей для майнинга криптовалют на нефтяных месторождениях.

В рамках партнёрства «Газпром нефть» обеспечит созданные BitRiver центры обработки данных (ЦОД) электроэнергией, полученной от сжигания попутного нефтяного газа (ПНГ), а BitRiver, к слову, недавно попавшая под санкции США, займётся развитием цифровой инфраструктуры на нефтепромыслах и реализацией услуг на основе создаваемых вычислительных мощностей, включая майнинг криптовалюты.

Источник изображения: «Газпром нефть»

Эти ЦОД будут запущены либо на новых нефтяных месторождениях, где ещё не создана газотранспортная инфраструктура, либо на удалённых участках, где транспортировка слишком дорога, например, в Сибири. В трёх регионах у «Газпром нефти» уже есть инфраструктура для производства энергоёмких вычислений с электроснабжением от попутного газа. В заявлении ресурсу CoinDesk глава BitRiver сообщил, что в течение ближайших двух лет его компания планирует реализовать проекты по созданию собственных ЦОД для энергоёмких вычислений с наращиванием мощности до 2 ГВт, в т.ч. на ПНГ.

Источник изображения: Bitriver

Целый ряд компаний рассматривают возможность использования попутного газа для обеспечения работы ЦОД, как правило, для криптомайнинга и других приложений блокчейна. Нефтяные скважины обычно тратят попутный природный газ впустую, сжигая его в «факелах», причём не целиком. Crusoe Energy, Earth Wind & Power (EWP) и Validus Power считают, что ПНГ эффективнее использовать для питания ЦОД, сокращая выбросы метана и выполняя вычислительные операции за счёт полученной энергии.

Наибольшего успеха в этом деле, судя по всему, добилась Crusoe Energy Systems, у которой, по последним данным, есть уже 98 контейнерных микро-ЦОД, размещённых на нефтепромыслах в США. Буквально на днях компания получила очередные инвестиции и объявила о планах выхода на Ближний Восток (ОАЭ и Оман). Изначально Crusoe Energy тоже специализировалась на майнинге и блокчейне, но теперь предлагает ресурсы для машинного обучения, ИИ и прочих тяжёлых вычислений.

Системы резервного питания ЦОД включают в себя не только дизель-генераторы, но и массивы резервных батарей достаточно серьёзной ёмкости (а иногда и только аккумуляторы), которые большую часть времени простаивают. Microsoft и Eaton считают, что такой подход нерационален, особенно в рамках курса на снижение углеродного следа и повышение эффективности энергосетей.

Компании объявили о сотрудничестве с целью постепенного оснащение ЦОД Microsoft нового поколения системами резервного питания, способными взаимодействовать с «умной» энергосетью и при некоторых условиях даже отдавать в неё запасённую в батареях энергию. В основе лежит разработанная Eaton технология EnergyAware UPS.

Контроллер Eaton EnergyAware. Источник: Eaton

Компании сотрудничают не первый год: ранее Eaton выбрала в качестве предпочитаемой облачной платформы Microsoft Azure, где развернула поддержку своих решений, включая мощные «умные» прерыватели питания. В прошлом году компании опубликовали исследование, в котором рассмотрена потенциальная роль ЦОД с интерактивными подсистемами питания в «зелёной энергетике». Теперь же от слов партнёры перешли к делу.

Между компаниями заключено стратегическое соглашение «о цифровой трансформации и переходе на возобновляемую энергетику» (digital transformation, sustainability and the energy transition), плодом которого станет оснащение центров обработки данных Microsoft соответствующими подсистемами питания, разработанными Eaton, и способными гибко взаимодействовать с внешней энергосетью, функционируя не только в качестве потребителя.

Источник: Eaton

В концепции композитной «умной» самобалансирующейся энергосети ЦОД, оснащённый оборудованием Eaton, сможет выступать в качестве полноправного участника, и при необходимости не только забирать из неё энергию, но и отдавать, компенсируя суточное или погодное падение выработки другими «зелёными» источниками, а заодно и получать от этого некоторую выгоду. Сама Eaton приводит некоторые цифры в описании технологии: нагруженный на 50% UPS EnergyAware мощностью 1 МВт может принести от $35 тыс. в год.

Это не единственный случай интеграции ИБП дата-центров в энергосети — аналогичные пилотные проекты есть у Google и Telia. Согласно исследованию Omdia, к внедрению такого подхода готово всё больше операторов ЦОД. Впрочем, есть и обратные примеры. Так, для изоляции собственного массива батарей Tesla MegaPack от местной энергосети оператору Switch в своё время пришлось получать специальное разрешение.

Ирландия и Нидерланды, долгое время рассматривавшиеся гиперскейлерами в качестве площадок для размещения своих облачных мощностей, перестают быть привлекательными локациями для американского и другого бизнеса, связанного со строительством и эксплуатацией дата-центров.

Недавно высшая судебная инстанция Ирландии отменила разрешение, позволявшее Apple построить ЦОД в округе Голуэй на западном побережье острова. Apple приобрела участок под ЦОД ещё в 2014 году, а в прошлом году обновила разрешение на строительство здесь дата-центра до 2026 года, хотя земля уже выставлена ей на продажу из-за ряда обстоятельств, годами мешавших строительству. Правда, это не устроило местных жителей, поскольку в этот раз разрешение выдали по ускоренной процедуре.

Однако с 2014 года серьёзно изменилась природоохранная политика, поэтому проект требует переоценки. Кроме того, за минувшие восемь лет простоя строительство ЦОД в Ирландии заметно усложнилось с правовой точки зрения, поскольку облачные мощности создают большие нагрузки на энергосети. Хотя участок в Голуэе формально не относится к закрытой для новых ЦОД зоне вблизи Дублина, на фоне нарастающего в Ирландии энергетического кризиса строительство новых мощностей гиперскейл-уровня вряд ли целесообразно. Google уже назвала «невозможными» инвестиции в инфраструктуру Ирландии после введения новых правил.

Фото: Microsoft

Более жёсткой политики в отношении ЦОД стали придерживаться и голландские власти. Местное правительство приняло решение не продавать землю в Зееволде для дата-центра Meta*, рассчитывавшей построить здесь гигантский кампус мощностью 1,36 ГВт. Дополнительно местный кабинет министров одобрил проект решения о более строгом регулировании деятельности ЦОД — теперь материалы будут направлены в местные законодательные органы.

Meta*, уже давно встретившаяся с противодействием местных властей, заморозила проект ещё в марте. Кроме того, в феврале правительство Нидерландов ввело в действие мораторий сроком на 9 месяцев на выдачу разрешений на строительство ЦОД на участках более 10 га. В прошлом июне провинция Флеволанд, где расположен Зееволде, анонсировала остановку строительства новых ЦОД на неопределённое время.

А сейчас голландское правительство приняло решение запретить муниципалитетам отводить новые площадки для ЦОД гиперскейл-уровня в планах зонирования, по существу запретив их строительство. К гиперскейл-кампусам Нидерланды относят площадки от 10 га с энергопотреблением от 70 МВт. Исключение сделано лишь для части земель в провинциях Гронинген и Северная Голландия, находящихся на самой границе Нидерландов и имеющих доступ к возобновляемой энергии.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Согласно отчёту французской группы BEA-RI, официально занимающейся расследованиями техногенных происшествий, страсбургский пожар в дата-центре OVHcloud SBG2 мог быть вызван наличием влаги в зоне силовых инверторов, а его быстрому распространению способствовал целый ряд факторов и ошибки в проектировании ЦОД.

Хотя в докладе BEA-RI не называется точная причина возгорания, подтверждается информация о том, что огонь вспыхнул в энергоотсеке. Данные о том, что рядом с одним из инверторов был зарегистрирован высокий уровень влажности, ранее не публиковались. Пожарные, боровшиеся с огнём, представили собственный отчёт ещё в марте, а доклад BEA-RI появился только на прошлой неделе.

Источник изображения: BEA-RI

По данным нового доклада BEA-RI, огонь вспыхнул практически одновременно в двух энергоотсеках. Только примерно через час после возгорания удалось отключить электропитание ЦОД SBG2, а в соседних SBG3, SBG1 и SBG4 — ещё позже. Выяснилось, что в ЦОД не было механизма централизованного обесточивания, поэтому пришлось ждать, пока поставщик электроэнергии не перекрыл подачу со стороны подстанции. Хуже того, автоматически запустившиеся резервные дизель-генераторы также пришлось отключать вручную уже во время пожара.

В ходе расследования стало известно, что в течение примерно часа до возгорания сенсоры на силовых инверторах регистрировали аномальный уровень влажности, что могло «стать причиной внутреннего короткого замыкания, которое, вероятно, вызвало наблюдавшиеся повреждения». Однако так и не было установлено, была ли это ошибка датчиков или около силовых компонентов каким-то образом действительно оказалась жидкость.

Источник изображения: BEA-RI

Ещё в прошлом году отмечалось, что за день до пожара проводилось плановое обслуживание ИБП, которое также могло привести к возгоранию. Но теперь эксперты считают, что свинцово-кислотные аккумуляторы, работавшие в ЦОД, вряд ли стали причиной пожара — утверждается, что они намного устойчивее к возгораниям, чем их литий-ионные собратья, а OVHCloud обслуживала их в соответствии с рекомендациями производителей.

Отдельно отмечено, что пожарные датчики сработали оперативно, практически одновременно на всех этажах здания — применявшаяся система воздушного охлаждения позволила дыму и огню распространиться очень быстро. При этом не было возможности оперативно перекрыть доступ воздуха из-за конструкции фасадов здания. Распространению пожара способствовали и другие факторы вроде использования деревянных перекрытий и отсутствие автоматизированной системы пожаротушения — её не было и в других объектах OVHCloud, расположенных поблизости.

Источник изображения: BEA-RI

Кто именно виноват в инциденте, до сих пор остаётся под вопросом. Официально расследование всё ещё продолжается, а OVHcloud предпочитает не давать комментария до его завершения. Число претензий со стороны пострадавших клиентов нарастает, а юридическая компания Ziegler & Associés, действующая от лица более 140 потерпевших, продолжает готовиться к судебному или досудебному взысканию средств.

Согласно докладу 2022 Outage Analysis Report, представленному Uptime Institute, несмотря на усилия, прилагаемые операторами информационных систем и активные инвестиции в инфраструктуру, число сбоев в IT-системах остаётся приблизительно на том же уровне, что и в прошлые годы.

Хотя инвестиции в облачные технологии и отказоустойчивые системы помогли повысить надёжность на уровне объектов инфраструктуры, попутно увеличилась сложность систем, что оказывает негативное влияние на надёжность. В частности, растёт число инцидентов, связанных с сетями связи, ПО и другими факторами. Авторы доклада подчёркивают, что хотя десятилетия работы над критическими IT-системами сделали их намного надёжнее, число незапланированных отключений за последние годы почти не изменилось.

В 80 % организаций отключения IT-инфраструктуры случались хотя бы раз за последние три года, а каждый пятый опрошенный заявил о «серьёзных» и «тяжёлых» сбоях в тот же период. В первом случае по классификации Uptime Institute речь идёт о перебоях в работе сервисов с возможными финансовыми потерями, во втором — о крупных инцидентах, ведущих к большим финансовым потерям. По статистике Uptime, ежегодно в мире происходит приблизительно серьёзных 20 инцидентов, ведущих к крупным убыткам, репутационным издержкам и массовым проблемам в работе бизнесов и/или клиентов.

Источник изображения: Florian Krumm/pixabay.com

Любопытно, что основной причиной инцидентов являются перебои электропитания — это главный фактор в 43 % случаев. При этом дело редко обходится без сопутствующих причин. В числе прочих факторов — проблемы с программным обеспечением, сетями и системами охлаждения. Также выяснилось, что за 5 лет облачные операторы, хостинг- и колокейшн-провайдеры чаще всего виноваты в проблемах публичных сервисов, причём в 2021 году этот показатель вырос до 71 %.

Примечательно, что продолжительность сбоев продолжает увеличиваться. Это не может не беспокоить пользователей, поскольку простой тем дороже и разрушительнее, чем он длительнее. В 2021 году число сбоев, длившихся более 48 часов, составляло 16 %, а в 2017 году — 4 %. От 24 до 48 часов — 12 % в сравнении с 4 % в 2017 году. Выросли и убытки. Если в 2019 году 60 % крупных сбоев обходились дешевле $100 тыс., 28 % — от $100 тыс. до $1 млн, то в 2021 году показатели выросли до 39 % и 47 % соответственно. Число сбоев, обошедшихся дороже $1 млн, выросло с 11 до 15 %.

Французская энергетическая компания Engie SA станет первым клиентом нового облачного сервиса Google, использующего ИИ-алгоритмы для предсказания силы ветра в краткосрочной перспективе. Это поможет прогнозировать производительность ветрогенераторов и повысить экоустойчивость энергетических систем. В будущем Google планирует предложить аналогичные сервисы для других сегментов рынка возобновляемых источников энергии — от солнечных ферм до энергохранилищ.

Облачное подразделение Google совместно с DeepMind пытается привлечь клиентов вычислительными сервисами, позволяющими управлять энергосистемами и снизить выбросы вредных веществ в атмосферу. Ещё в 2019 году Google начала сотрудничать с родственной компанией, в результате чего был разработан механизм, дающий возможность прогнозировать силу ветра на 36 часов вперёд.

Считается, что такие ИИ-системы позволят довольно точно предсказывать объёмы поставки энергии в энергосети даже с учётом относительной непредсказуемости поведения ветра. Например, тесты Google показали, что объёмы генерации энергии в случае использования ИИ увеличиваются на 20 %. Engie будет первой сторонней компанией, получившей возможность использовать новый сервис Google. Тестирование начнётся на ветрогенераторах, расположенных в Германии. Они, в частности, питают и немецкие дата-центры самой Google.

Источник изображения: Master Wen/pixabay.com

Французские энергетики из Engie намерены минимум вдвое увеличить производство возобновляемой энергии к 2030 году. Так, в конце прошлого года компания заключила соглашение о производстве водородного топлива в ОАЭ с помощью солнечных генераторов. Для энергетических бизнесов вроде Engie компания Google предлагает действенный механизм, позволяющий планировать продажи и покупки энергии на рынке, а также учитывать другие факторы.

Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации (Минцифры) дало разъяснения по поводу проекта федерального закона № 1195296-7 «О внесении изменений в Федеральный закон «О связи». Речь идёт о комментариях Российского союза промышленников и предпринимателей (РСПП) в отношении данного документа.

Законопроект касается поддержки центров обработки данных (ЦОД) в РФ. Предложенные Минцифры изменения в закон «О связи» о регулировании ЦОД предусмотрены указом Президента Российской Федерации «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года».

«В отзыве комиссия РСПП указывает, что ЦОДом будет считаться только объект, который используется в интересах государства. Это не так: в проекте федерального закона такого определения нет. Комиссия РСПП считает, что негосударственные дата-центры не подпадают под действие законопроекта. Это не так: под действие законопроекта подпадают все дата-центры», — говорится в официальном заявлении Минцифры.

Источник изображения: pixabay.com / Elchinator

Кроме того, сообщается, что владельцы ЦОД смогут войти в правовое поле как объект связи и получить все предусмотренные льготы, которые, в частности, касаются энергоснабжения. При этом им не нужно будет получать операторскую лицензию. Достаточно зарегистрироваться в реестре Минцифры. «В перспективе операторы ЦОД, которые в настоящее время вынужденно являются операторами связи, смогут отказаться от лицензий на оказание услуг связи и получить собственный код внешнеэкономической деятельности, введение которого планируется после вступления в силу законопроекта», — добавляет ведомство.

По данным ирландского Центрального статистического управления (CSO), центры обработки данных (ЦОД) в 2021 году потребляли 14 % всей электроэнергии страны — больше чем все местные сельские домохозяйства. В 2015 году на их долю приходилось порядка 5 %. Однако между 2020 и 2021 годом потребление выросло почти на треть, при этом сельская местность потребляла в 2021 году только 12 %.

Сельской местностью считаются поселения за пределами городов и с населением менее 10 тыс. человек. Всего в стране имеется 1,8 млн сельских жителей, то есть более трети от общей численности населения — это больше, чем в среднем по Европе. С 2015 по 2021 годы энергопотребление страны выросло на 16 % — до 3906 ГВт∙ч. За тот же период суммарное энергопотребление дата-центров выросло почти вчетверо — с 290 ГВт∙ч в I квартале 2015 года до 1058 ГВт∙ч в IV квартале 2021 года.

Источник изображения: rolandmey/pixabay.com

Дело не только о том, что в стране появилось больше дата-центров — выросло и энергопотребление прежних проектов, причём наиболее «прожорливыми» ЦОД потреблявшими львиную долю энергии, стало небольшое число крупных объектов. Всего в Ирландии насчитывается порядка 70 кампусов ЦОД, основными операторами которых являются Amazon, Facebook* и Google, а также Microsoft. С 2020 года в эксплуатацию было введено 10 ЦОД, которые обошлись в миллиарды евро.

Однако сейчас в Дублине фактически ввели мораторий на строительство новых дата-центров в связи со слишком быстрым ростом их потребностей в энергии. По статистике Международного энергетического агентства (IEA) дата-центры потребляют порядка 1 % всей электроэнергии в мире. При этом технологический прогресс последних десяти лет позволило увеличить энергопотребление только на 10 %, тогда как производительность за тот же период выросла в 9,4 раза.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».