Согласно докладу компании CBRE, представляющей услуги на рынке коммерческой недвижимости, несмотря на постоянный рост спроса на новые ЦОД, рост рынка значительно ограничен. Как сообщает Network World, это связано с тем, что строительство развивается в ограниченном числе регионов, где уже не хватает электроэнергии для новых объектов.

Традиционным мировым рекордсменом является Северная Вирджиния, где общая мощность ЦОД в регионе составляет 2132 МВт. Рынок вырос именно здесь как из-за относительной близости федеральных властей США, так и из-за того, что неподалёку находятся посадочные станции транслатлантических кабелей, что обеспечивает ЦОД низкую задержку при передаче данных. Кроме того, местные законы и регуляции привлекают операторов ЦОД. Тем не менее, регион постепенно теряет привлекательность, как из-за ограниченных возможностей поставок энергии, так и в связи с активным противодействием местного населения, недовольного появлением многочисленных ЦОД.

Одним из самых популярных в Северной Америке также является регион Даллас/Форт-Уэрт, в котором только на этапе строительства находятся мощности на 323,9 МВт. В прошлом году активность арендаторов здесь выросла на 850 % в сравнении с обычным уровнем, а общий запас мощностей год к году увеличился на 17 %. В результате регион обошёл Кремниевую долину на рынке колокейшн-ЦОД, заняв второе место в национальном рейтинге США после Северной Вирджинии.

Источник изображения: Fré Sonneveld/unsplash.com

Нехватка энергии характерна и для других регионов компактного размещения ЦОД — Сингапура, Франкфурта и Токио. Осложняют ситуацию требования регуляторов по обеспечению экоустойчивости новых проектов и использованию возобновляемой энергии, которая намного менее доступна, чем обычное электричество. При этом новые чипы Intel, AMD и NVIDIA потребляют большое количество энергии, усугубляя кризис.

Недостаток ЦОД ведёт к дефициту мощностей для их клиентов. По данным CBRE, в мире доступны только до 2 % от общей энергоёмкости ЦОД, что, в свою очередь, ведёт и к росту цен. Так, в Сингапуре аренда мощностей на 250–500 кВт стоит от $300 до $400, а в самом «дешёвом» регионе — Чикаго за такую же мощность необходимо будет отдать $115–$125. При этом доступность энергии в Чикаго одна из лучших, на уровне 6,7 % (годом ранее она была на уровне 8,2 %).

В CBRE пришли к выводу, что росту спроса способствует развитие ИИ-технологий. В числе прочего это содействует и внедрению инновационных решений для ЦОД, позволяющих обеспечить необходимую мощность клиентам, нацеленным на выполнение ресурсоёмких задач. Хотя в докладе напрямую это не упоминается, весьма вероятно, что инновации в первую очередь касаются систем жидкостного охлаждения, поскольку нагрузки, связанные с ИИ, требуют чрезвычайно интенсивного охлаждения для сохранения работоспособности оборудования — такого не могут обеспечить воздушные системы.

Занимающаяся майнингом биткоинов компания CryptoBlox Technologies потратила $11 млн на покупку бизнеса Redwater, специализирующегося на системах воздушного охлаждения и тепловой рекуперации. По данным DataCenter Dynamics, новый актив позволит CryptoBlox снизить эксплуатационные расходы при майнинге, увеличив энергоэффективность её площадок. Кроме того, скоро в Канаде будет запущен майнинговый объект, работающий на попутном газе.

Сделка по покупке состоится в два этапа. В обмен на все акции Redwater, компания CryptoBlox выпустит 220 млн собственных ценных бумаг для нынешних акционеров Redwater, по $0,05 каждая. Немедленно после завершения сделки компания распределит 118,2 млн акций, а остальное акционеры получат, когда купленная компания достигнет обещанных перед продажей показателей.

Одновременно CryptoBlox получила право построить в канадской провинции Альберта объект для майнинга криптовалюты на территории, принадлежащей нефте- и газодобывающей компании, управлением активами которой занимается True North Data Systems (TNDS). На первом этапе будет построен объект, включающий как собственно ферму, так и электростанцию, способную генерировать 0,5–1 МВт (в перспективе 3+ МВт) за счёт сжигания «факельного» газа. Договор с TNDS позволит CryptoBlox получать электроэнергию по цене $0,015/кВт·ч, что на 90 % меньше среднерыночной в регионе.

Источник изображения: Kanchanara/unsplash.com

Ранее в этом году CryptoBlox купила за $20 млн компанию CryptoTherm, специализирующуюся на разработке и строительстве контейнерных ЦОД с жидкостным охлаждением. Предполагалось, что ещё на этом этапе были обозначены планы заняться майнингом с питанием от попутного газа всё в той же Альберте, где над аналогичными проектами также работают Hut 8 Mining, Modern Mining и Bitfarms — местные власти создают им для этого благоприятные условия.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

Источник изображения: Pixabay

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

Компания Microsoft получила разрешение на строительство газовой электростанции на 170 МВт для своего кампуса Grange Castle в пригороде Дублина. Как сообщает DataCenter Dynamics, объект стоимостью €100 млн будет использоваться для повседневного питания ЦОД, а в случае отключения от национальной энергосети станция и 21 дизель-генератор станут единственным источником питания всего кампуса. По данным Business Post, суммарно планируется установить 150 генераторов.

Экоактивисты уже выступили против проекта, обвинив IT-гиганта в попытке обойти запрет оператора EirGrid на новые подключения ЦОД к электросетям в Дублине и его окрестностях до 2028 года. Защитники природы подчёркивают, что хотя благодаря собственной электростанции Microsoft ограничит нагрузку на местные энергосети, электростанция будет только способствовать росту углеродного выброса. При этом власти Ирландии всё ещё намерены добиться того, чтобы к 2030 году 80 % энергии в стране должно поступать из возобновляемых источников.

Источник изображения: Microsoft

Хотя в Ирландии в целом строительство дата-центров не запрещено и даже приветствуется, в Дублине и окрестностях оно ограничено, поскольку здесь и без того уже действует немало ЦОД. Из-за введённых ограничений некоторые крупные компании уже приостановили реализацию ряда проектов. Экоактивисты призывают вообще заблокировать строительство новых ЦОД, утверждая, что это помешает декарбонизации страны. Строительство газовых электростанций может стать временным ответом на ограничения, позволив сделать ЦОД вообще автономными.

При этом власти Ирландии ещё в конце 2022 года предостерегли оператора Gas Networks Ireland от заключения новых контрактов с операторами ЦОД, предполагающими обеспечивать свои объекты преимущественно за счёт газовых генераторов для обхода существующих норм. Известно, что Microsoft, для соблюдения существующих в Ирландии правил, не станет эксплуатировать станцию круглосуточно — она будет работать всего по 8 часов в день. Вместе с тем это вряд ли поможет планам компании по полном переводу её ирландских ЦОД на «зелёную» энергию.

Meta✴ опубликовала доклад 2023 Responsible Business Practices, посвящённый политике работы компании с важнейшими вызовами, с которыми столкнулся бизнес — от проблем с конфиденциальностью пользователей до нарушения прав человека и публикации незаконного контента. Как сообщает DataCenter Dynamics, одной из ключевых проблем стала угроза окружающей среде — выяснилось, что Meta✴ растёт слишком быстро, чтобы эффективно бороться со своими выбросами CO₂, объём которых в 2022 году достиг 8,5 млн т.

Более того, компании вряд ли удастся добиться нулевого углеродного выброса к 2030 году, как планировалось ранее. По факту она может напрямую контролировать только 1 % своих выбросов. Если верить докладу, добиться нулевого выброса по всей цепочке поставок будет «трудно» — но именно последняя, фактически неподконтрольная Meta✴, является наиболее слабым звеном во всём плане компании, посвящённом защите окружающей среды.

Источник изображения: Intermalte/pixabay.com

С 2020 года Facebook✴ (ныне Meta✴) закупала огромное количество возобновляемой энергии. Сегодня она получает более 10 ГВт таких мощностей по всему миру. Тем не менее, на нулевом уровне находятся только выбросы класса Scope 2, связанные с использованием электроэнергии.

Источник изображения: Meta✴

Из остальных выбросов прямую ответственность Meta✴ несёт лишь за 1 % (Scope 1), 99 % приходится на выбросы всей экосистемы, обеспечивающей работу компании. Так, собственные её выбросы в 2022 году составили 67 тыс. т CO₂. Большинство же выбросов приходится на используемые компанией товары и сервисы — в этом отношении Meta✴ очень похожа на Microsoft, которая тоже сама по себе загрязняет атмосферу лишь в небольшой степени.

Источник изображения: Meta✴

В Meta✴ признают, что из-за высоких темпов роста в последние пять лет декарбонизацию не удавалось организовать в нужных объёмах, причём оптимистичных результатов не ожидается и в ближайшие годы. Так, только в 2022 году выбросы компании выросли на 46 % — этому в немалой степени способствовало возвращение сотрудников в офисы после пандемии.

Вероятно, «антирекордсменом» по объёму выброса CO₂ является крупнейший ЦОД Meta✴ в Прайнвиле (штат Орегон). Именно этот дата-центр, являющийся, вероятно, крупнейшим в мире, отвечает за 4500 т эквивалента CO2 в год. При этом сообщалось, что Орегон готов одним из первых значительно ужесточить требования по выбросам углекислого газа для ЦОД и майнеров.

Немецкому Бундестагу пришлось отложить принятие поправок к Закону об энергоэффективности (Energy Efficiency Act) на время традиционных правительственных каникул — как сообщает издание DataCenter Dynamics, на голосование просто не явилось достаточное для формирования кворума количество депутатов. Никаких поправок внесено уже, вероятно, не будет, но голосование перенесено на сентябрь.

Новый закон устанавливает допустимые уровни PUE для дата-центров, а также регламентирует обязательную утилизацию «мусорного» тепла ЦОД. При этом имеются важные исключения из законопроекта от ноября 2022 года, иронично названного в Германской ассоциации дата-центров (GDA) «законом по предотвращению ЦОД». В GDA подчёркивают, что предпочитают стимулирующие меры строгим требованиям.

Закон об энергоэффективности предусматривает снижение Германией энергопотребления на 26,5 % к 2030 году, до показателей 15-летней давности. Евросоюз же на фоне энергетического кризиса призывает снизить общее энергопотребление к 2030 году на треть. Хотя требования к ЦОД в новой версии не такие жёсткие, по-прежнему предусмотрено обязательное использование тепла ЦОД. Это может ограничить реализацию новых проектов, а требования к уровню PUE и использованию возобновляемой энергии могут оказаться не по плечу провайдерам колекейшн-сервисов.

Источник изображения: Sigmund/unsplash.com

В первой версии законопроекта от 2022 года ЦОД должны были передавать не менее 30 % избыточного тепла другим организациям уже со следующего года, а с 2027 года — от 40 %. В некоторых случаях эти требования просто невозможно выполнить по экономическим причинам или из-за отсутствия необходимой инфраструктуры. В мае 2023 года требования скорректировали. Теперь речь идёт об отдаче только 10 % тепла с 2026 года и от 20 % — с 2028-го.

Источник: Uptime Institute

Германские операторы посчитали, что и такие требования чрезмерны, поскольку спрос не всегда будет соответствовать предложению, а в некоторых местностях системы центрального отопления для передачи им «мусорного» тепла просто отсутствуют. После переговоров с представителями бизнеса добавились исключения, позволяющие обойти требования.

Предполагается, что в окончательном варианте закона будет отменено требование размещать ЦОД не дальше 5 км от системы центрального отопления. Вместо этого все новые ЦОД должны будут иметь специальные станции передачи тепла на своей территории, а операторов систем отопления обяжут отвечать на предложение избыточного тепла в шестимесячный срок. Коммунальные службы считают такие проекты сложными и дорогими.

С 2026 года уровень PUE не должен превышать 1.2, хотя GDA отмечает, что некоторые уже одобренные проекты ЦОД не соответствуют этому требованию. Кроме того, колокейшн-провайдеры не смогу полноценно контролировать уровень PUE, поскольку их клиенты будут действовать на своё усмотрение. Наконец, закон всё ещё требует использовать 50 % возобновляемой энергии к 2024 году, и 100 % — к 2027. Исключение делается в случае получения «зелёных» сертификатов у северных соседей Германии вместо использования местной экобезопасной энергии.

Компания Microsoft выходит на новый уровень обеспечения своих ЦОД «зелёной» электроэнергией. Как сообщает DataCenter Dynamics, дата-центр IT-гиганта в Бойдтоне (Вирджиния, США), будет получать до 100 % безуглеродной энергии в круглосуточном режиме — это нехарактерное условие современных соглашений о покупке энергии (PPA). Кампус в Бойдтоне обошёлся примерно в $500 млн и неоднократно расширялся. Этот проект иногда называют крупнейшей инвестицией в Южной Вирджинии.

Известно, что современная «безуглеродная» энергия далеко не всегда по-настоящему является таковой. Многие компании, приобретающие PPA, на деле питают свои ЦОД из самых разных источников. Фактически оговаривается только объём вырабатываемой безуглеродной энергии, но не место или время и иногда даже год её выработки. Так, Microsoft уже приобрела немало сертификатов PPA, чтобы компенсировать использование энергию, получаемую в том числе за счёт ископаемого топлива.

Источник изображения: Lee Lawson/unsplash.com

Теперь АЭС Constellation будут включены в «энергопакет» дата-центра в Бойдтоне, куда уже входят поставки энергии от ветрогенераторов и солнечных электростанций. АЭС позволит круглосуточно поставлять безуглеродную энергию в том объёме, который нужен. Нюанс в том, что у Constellation нет ни одной АЭС поблизости от ЦОД, так что фактически он будет получить энергию из локальных источников, а АЭС будет отдавать такой же объём своим клиентам. Для взаимозачёта используется специальная платформа, размещённая в облаке Microsoft Azure.

Впрочем, в США уже есть проекты ЦОД с питанием непосредственно от АЭС, а в России такой дата-центр работает уже несколько лет. Есть и планы по использованию малых ядерных реакторов, которые позволят размещать дата-центры где угодно, а не только в непосредственной близости от атомных электростанций.

Соглашения о покупке энергии (PPA) обеспечивают оператором дата-центров возможность использовать электричество, получаемое из возобновляемых источников. Как сообщает DataCenter Dynamics, компания Microsoft заключила PPA сроком на 10 лет с новозеландской компанией Contact Energy, причём договор заключили ещё в сентябре 2022 года.

По имеющимся данным, это первый контракт Contact Energy такого типа в Новой Зеландии. Фактически Microsoft скупила на этот срок мощности, обеспечиваемые геотермальной электростанцией Te Huka Unit 3 — всего 41,4 МВт. Как сообщают в компании, электростанция, в свою очередь, получила уверенность в будущей поддержке и развитии своего проекта.

В прошлом году Contact Energy уже анонсировала намерение инвестировать порядка $182,4 млн в Unit 3. Это четвёртая геотермальная станция на площадке Te Huka, станция должна быть введена в эксплуатацию уже в конце 2024 года. Кроме того, компания работает над геотермальной станцией Tauhara на 168 МВт, которая тоже заработает уже в следующем году.

Источник изображения: Sophie Turner/unsplash.com

Microsoft сообщила о желании построить новый облачный регион Azure в Новой Зеландии ещё в 2020 году. С тех пор аналогичные намерения выразили AWS и Amazon, а AWS даже ранее в этом году заключила PPA на 103 МВт с компанией Mercury, также поставляющей возобновляемую энергию.

В прошлом году Microsoft анонсировала партнёрство с компанией Ecotricity, также являющейся поставщиком возобновляемой энергии в Новой Зеландии, хотя о сделке пока почти ничего не известно. В Microsoft New Zealand заявляют, что у компании в стране большие планы, а сотрудничество обеспечит более быстрый переход на 100 % возобновляемую энергию к 2025 году.

Помимо геотермальной, Microsoft покупает и другую энергию. Так, компания уже подписала несколько PPA о закупке энергии, частично поставляемой АЭС, а также PPA, предусматривающее возможную закупку электричества, которое потенциально будет вырабатываться за счёт термоядерного синтеза компанией Helion.

Японская Japan Renewable Energy Corporation (JRE) сообщила о достижении стабильной работы центра обработки данных, полностью обеспечиваемого электричеством, получаемым с помощью солнечных элементов питания, и охлаждаемого водой из скважины.

Ещё до анонса проекта японские власти рассказали о готовности регионов предложить место для размещения ЦОД подальше от Токио в рамках плана по децентрализации ЦОД — сейчас 60 % из них расположены в сейсмоопасном и уязвимом для цунами районе вблизи Токио, что грозит возможными перебоями в работе сервисов. В июне 2022 года было объявлено о реализации совместного проекта JRE и Morgenrot в префектуре Нагано возле солнечной электростанции, принадлежащей JRE.

JRE Nagano Omachi Solar Power Plant. Источник изображения: JRE

Микро-ЦОД контейнерного типа был создан компанией Mirait Corporation и введён в эксплуатацию в декабре 2022 года. ЦОД оптимизирован для ИИ- и HPC-нагрузок. В нём размещено 40 GPU-серверов с ускорителями AMD и NVIDIA. Система охлаждения ЦОД не предусматривает использования ХФУ-хладагентов и потребляет лишь воду из близлежащей скважины. Комплекс имеет PUE на уровне 1,1 и обеспечивает нулевые выбросы CO₂ (без учёта выбросов при строительстве и производстве оборудования).

Ресурсами серверов управляет компания Morgenrot, предоставляющая облачный сервис M:CPP (Morgenrot Computing Power Pool). Для Morgenrot это не первый реализованный проект «зелёного» ЦОД — компания имеет схожие мощности с питанием возобновляемой энергией по всему миру. Известно, что солнечная электростанция JRE Nagano Omachi Solar Power Plant имеет установленную мощность 2442 кВт и, как ожидается, сможет выдавать 3,5 млн кВт·ч ежегодно.

Немецкая компания Intilion получила крупнейший в своей истории заказ от Power & Air Condition Solution Management GmbH (PASM), «дочки» немецкой телекоммуникационной компании Deutsche Telekom, на поставку систем хранения энергии (ESS) общей мощностью около 60 МВт·ч. Заказ должен быть выполнен до конца года, сообщил ресурс Datacenter Dynamics. В планах оператора — постройка энергохранилищ общей ёмкостью 300 МВт·ч.

По словам главы Intilion AG, компания не только получила самый крупный заказ на ESS от известного заказчика, но и успешно вышла на важный для неё рынок систем хранения энергии для телекоммуникационной отрасли и дата-центров. Intilion поставляет масштабируемые и интегрированные решения для хранения энергии, ориентированные на использование в системных и критически важных инфраструктурах, таких как коммерческие, промышленные и сетевые объекты. Ёмкость хранилищ Intilion Scalecube на основе Li-Ion аккумуляторов составляет от 70 кВт·ч до 100 МВт·ч.

Источник изображения: Intilion

В рамках контракта Intilion построит три крупномасштабных энергохранилища Scalecube для ЦОД Deutsche Telekom. Две из них ёмкостью около 26 МВт·ч будут установлены в Ганновере и Бамберге, а ещё одна (6 МВт·ч) — в Мюнстере. Компания планирует начать пробную эксплуатацию систем в III квартале 2023 года с переходом к работе в обычном режиме к концу года. Кроме того, PASM договорилась о сотрудничестве с норвежским поставщиком модульных решений для хранения энергии Pixii PowerShaper.