Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.

Компания Blackstone готова построить в муниципалитете Калаторао в Арагоне (Испания) кампус ЦОД ёмкостью 300 МВт. По данным Datacenter Dynamics, объектом будет управлять подконтрольный Blackstone оператор дата-центров QTS. Как заявляют представители властей Арагона, регион находится на пути к тому, чтобы стать Северной Вирджинией Южной Европы — именно в этом штате США сконцентрированы мощности ЦОД не только страны, но даже мира.

Blackstone намерена инвестировать €7,5 млрд ($8,2 млрд) в строительство в рамках инициативы Project Rodes — проект будет реализован на участке площадью 224 га. Сначала застроят около половины участка, позже на освоение второй половины потратят ещё €7,5 млрд.

Blackstone приобрела QTS в 2021 году за $10 млрд, в июле 2023 года компания взяла на себя обязательство потратить дополнительные $8 млрд на ЦОД в связи с бумом ИИ, поскольку события такого масштаба случаются «раз в поколение». При этом компания действует и на других европейских рынках. Так, Blackstone вложит £10 млрд в создание крупнейшего ЦОД в Европе ЦОД в Великобритании.

Источник изображения: Des Mc Carthy/unsplash.com

QTS активно ведёт бизнес в США, но также управляет европейским кампусом в Гронингене (Нидерланды). Ранее Blackstone и QTS также объявили о намерении построить кампус на 1,1 ГВт в Нортумберленде (Великобритания). Первые данные о том, что Blackstone и подконтрольная ей QTS оценивают целесообразность расширение парка дата-центров в Испании, появились ещё в 2022 году. В Арагоне активно строятся новые кампусы ЦОД. В частности, Microsoft вложит в дата-центры в регионе около €8,6 млрд, AWS — €15,7 млрд, а Oracle — €0,9 млрд.

Компания Crusoe Energy открывает совместное предприятие с Blue Owl Capital и Primary Digital Infrastructure для реализации проекта по строительству ЦОД в Техасе. По данным Silicon Angle, на эти цели будет потрачено $3,4 млрд, специализированный дата-центр должен появиться в кампусе Lancium Clean Campus.

Будущий ЦОД Crusoe AI, уже сданный в аренду целиком некому гиперскейлеру из списка Fortune 500, будет кампусом из двух объектов, построенных по индивидуальному проекту. По имеющимся данным, он рассчитан на ёмкость 205 МВт. Конструкция ЦОД оптимизирована для использования систем с прямым жидкостным охлаждением, но будет поддерживаться и воздушное охлаждение. Готовый ЦОД сможет вместить до 100 тыс. ускорителей в составе одной сетевой фабрики. Предполагается, что энергоснабжение кампуса будет обеспечено внутренними и внешними источниками энергии. Освоение мощностей начнётся в I половине 2025 года.

Ранее появилась информация, что ключевым арендатором станет компания Oracle, а конечным потребителем вычислительных мощностей — OpenAI. При этом Microsoft, вероятно, станет посредником, сохраняя свой статус поставщика облачных услуг для OpenAI. В руководстве Crusoe подчёркивает, что растущий спрос на ЦОД обусловлен большими перспективами ИИ. Lancium, с которой Crusoe уже сотрудничала, в 2021 году получила одобрение на строительство техасского кампуса ЦОД Project Artemis. Тогда речь шла о кампусе на участке 160–320 га ёмкостью от 200 МВт с возможностью масштабирования до 1 ГВт.

Blue Owl Capital управляет активами на $192 млрд. Хотя ранее компания не инвестировала в ЦОД, в последние месяцы она вложила средства в проекты нескольких дата-центров, а недавно создала СП на $5 млрдс Chirisa и PowerHouse для строительства сети ЦОД на территории США, в первую очередь для ИИ-облака CoreWeave. Blue Owl также приобрела владельца Stack и RadiusDC — компанию IPI Partners за $1 млрд.

Руководство Primary Digital Infrastructure говорит об инвестиционном буме — только в США в ближайшие четыре-пять лет на ЦОД будет потрачено около $1 трлн. Текущая цель компании — приобретение наиболее стабильных активов на этом рынке, а также инвестиции в строительство собственных облачных и ИИ-объектов.

Crusoe Energy, основанная в 2018 году, начинала с доставки контейнерных ЦОД к нефтяным скважинам в США, запитанных от попутного газа. Если изначально Crusoe использовала свои ресурсы для майнинга, то позже появилось предложение Crusoe Cloud для ИИ- и HPC-нагрузок. В конце прошлого года компания занялась стационарными проектами. Компания разместила ускорители в ЦОД ICE02 оператора atNorth в Исландии и объявила о сотрудничестве с Digital Realty.

Четыре крупных американских компании готовятся инвестировать в британскую инфраструктуру ЦОД £6,3 млрд ($8,22 млрд). По информации Datacenter Dynamics, средства готовы вложить Cloud HQ, CyrusOne, CoreWeave и ServiceNow. Об этом было сказано в ходе инвестиционного саммита в Лондоне.

Представители британских властей уже назвали новость об инвестициях «вотумом доверия Великобритании». С момента вступления в должность премьер-министра Кира Стармера (Keir Starmer), правительство активно пытается привлечь как можно больше операторов ЦОД на свою землю и готовит новую стратегию по привлечению инвестиций в страну. В прошлом месяце власти даже отнесли дата-центры к объектам критически важной инфраструктуры (CNI).

Компания CloudHQ в ходе саммита подтвердила работу над проектом кампуса ЦОД стоимостью £1,9 млрд ($2,48 млрд) по соседству с электростанцией Didcot. Ранее сообщалось, что данный проект реализуется в интересах AWS и уже одобрен властями, а разрешение на строительство было получено ещё в 2021 году. На тот момент речь шла о ёмкости 84 МВт. Руководство CloudHQ отметило, что в компании рады создать кампус гиперскейл-уровня в Великобритании.

Источник изображения: EJ Yao/unsplash.com

CyrusOne в ближайшие годы намерена потратить £2,5 млрд ($3,3 млрд). Она готова построить 90-МВт кампус ЦОД площадью 63 тыс. м ² на участке площадью 16,59 га в Бакингемшире. Речь идёт о десяти залах в шести зданиях, а также новой подстанции. Первоначально проект был представлен в 2022 году, а сейчас компания пытается обеспечить соответствие документов местным нормам. По словам главы CyrusOne, перевод ЦОД в категорию КИИ показывает, что дата-центры имеют для экономики страны стратегическое значение, и это повлияло на решение компании расширить бизнес в Великобритании.

Провайдер IT-сервисов ServiceNow в течение пяти следующих лет потратит £1,15 млрд ($1,5 млрд) на обновление своих ЦОД в стране. А CoreWeave, в свою очередь, вложит в местную инфраструктуру ЦОД ещё £750 млн ($978 млн), помимо £1 млрд ($1,3 млрд), который она обещала инвестировать ещё в мае.

По данным британского правительства, новости об инвестициях означают, что с момента прихода нового кабинета министров к власти инвестиции в местные ЦОД превысили £25 млрд ($32 млрд). Правда, £10 млрд из них приходятся на проект Blackstone по строительству гиперскейл-ЦОД в Нортумберленде, о чём впервые было объявлено ещё в апреле, когда у власти был совсем другой состав правительства. Покупку земли для ЦОД окончательно утвердили в прошлом месяце.

Google и Kairos Power заключили соглашение о закупке энергии с малых модульных реакторов (SMR), разрабатываемых Kairos. Первый SMR должен заработать к 2030 году, а последующие реакторы — до 2035 года. Всего речь идёт о шести-семи реакторах суммарной мощностью до 500 МВт. Проект касается только Соединённых Штатов. Он обеспечит Google безуглеродной и относительно экобезопасной энергией.

Kairos разрабатывает SMR с охлаждением расплавами солей и гранулированным в керамические шарики топливом. Генерируемое тепло передаётся в паровую турбину для выработки электроэнергии. В июле Kairos Power уже начала строить демонстрационный реактор в Теннесси. Подробная информация о сделке, её стоимости и местоположении реактора не разглашается.

Похожие проекты реализуют и другие компании. В марте 2024 года AWS купила за $650 млн кампус ЦОД Talen Energy рядом с принадлежащей последней АЭС Susquehanna Steam Electric Station. Сообщалось, что АЭС обеспечит кампусу до 960 МВт. В мае AWS получила добро на перезонирование участка площадью около 650 га для строительства 15 зданий ЦОД. В минувшем сентябре Microsoft объявила о покупке возвращаемой к жизни атомной электростанции Three Mile Island мощностью 837 МВт.

Источник изображения: Kairos Power

Oracle также сообщила, что намерена построить кампус ЦОД на 1 ГВт с питанием от трёх SMR. Наконец, Equinix готова приобрести 500 МВт атомной энергии в виде PPA-соглашений у Oklo, у неё же Wyoming Hyperscale получит 100 МВт. При этом пока SMR остаются непроверенной технологией, внедрение которой неизбежно вызовет внимание и, возможно, противодействие регуляторов.

Недавнее исследование показало, что небольшие ветряные турбины при установке на системы охлаждения дата-центров могут генерировать достаточно электроэнергии, чтобы это было экономически выгодно. По информации Dcatacenter Dynamics, соответствующие эксперименты провели на действующем ЦОД в Колумбии.

Источник изображения: Tesup

Согласно публикации в журнале Scientific Reports, исследование, проведённое Дистанционным университетом Мадрида (Universidad a Distancia de Madrid) совместно с колумбийской компанией Grupo ZFB, показало эффективность подхода. Исследователи использовали «ветер» от систем охлаждения колумбийского ЦОД. Объект имеет три чиллера с восемью блоками вентиляторов в каждом. Вентиляторы вращаются со скоростью до 900 об./мин., а их номинальная мощность составляет 2,4 кВт. Поток воздуха от них является достаточно стабильным и мощным для попутной генерации электричества. Впрочем, обычный ветер тоже принимает участие в выработке энергии.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Для эксперимента выбрали вертикальные ветряные турбины Tesup V7 — за их компактность и лёгкую конструкцию. Шесть малых турбин установили над вентиляторами. Два из трёх чиллеров работают постоянно, что, согласно подсчётам, позволяет генерировать 513,82 МВт∙ч в год. С учётом запланированных и незапланированных простоев получается 467,6 МВт∙ч ежегодно, что само по себе позволяет избежать выбросов 300 т CO₂ в год. Сами вентиляторы при номинальной мощности потребляют 336,39 МВт∙ч, так что в чистом остатке получается 131,2 МВт∙ч, которые можно направить на нужды другого инженерного оборудования ЦОД.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Данное исследование — часть более масштабных изменений в секторе ЦОД. Операторы пытаются нарастить эффективность дата-центров. Так, многие из них начали активно инвестировать в системы использования «мусорного» тепла, передавая, его, например, в районные системы отопления или для обогрева бассейнов. Использование малых ветряных турбин может стать ещё одним способом оптимизации работы дата-центров для улучшения общей эффективности и достижения целей по обеспечению нулевых выбросов. Экономическая выгода будет зависеть от стоимости турбин и затрат на их обслуживание, а также срока эксплуатации. Но предварительные расчёты показывают, что данный подход оправдан.

Коммерческие дата-центры в России пользуются всё большим спросом. По данным Forbes, речь идёт не только об использовании облаков — многие компании вместо эксплуатации собственных ЦОД всё чаще предпочитают размещать собственные серверы на арендованных объектах.

Согласно прогнозам iKS-Consulting, уже к 2028 году рынок коммерческих ЦОД в России, возможно, вырастет в 2,1 раза в сравнении с 2023 годом — до 148 тыс. стойко-мест. В денежном выражении на фоне роста спроса рынок может вырасти в 2,8 раза — до 121 млрд рублей. Одной из вероятных причин называется рост арендных ставок для размещения серверов клиентов. При этом рынок облачной инфраструктуры к концу 2024 года может вырасти до 162 млрд руб., а к 2028 году — составить 464 млрд руб. (в 2023 году он составил 121,4 млрд руб.).

Из-за быстрого роста объёмов хранимой и обрабатываемой информации компании могут либо развивать собственную IT-инфраструктуру, либо арендовать её у оператора, поскольку собственные ЦОД могут позволить себе лишь очень крупные бизнесы. По данным Forbes, в последние годы доля ЦОД, принадлежащих компаниям, на российском рынке неуклонно снижается. При этом, если в 2023 году доля коммерческих ЦОД составляла 18,6 % по объёму серверных стоек, то в 2027 году она, возможно, превысит 25 %. В мире этот показатель достиг 31 %, а доля корпоративных ЦОД постепенно сокращается.

Источник: iKS-Consulting

Как отмечают в iKS-Consulting, с 2020 года рынок коммерческих ЦОД в России вырос на 80 %, а в 2024 году, вероятно, составит 82,4 тыс. стойко-мест. Лидером рынка является дочерняя структура «Ростелекома» — РТК-ЦОД. Этим летом она приобрела крупный ЦОД на севере Москвы и теперь располагает 27 тыс. серверных стоек. У ближайших конкурентов IXcellerate, «Росатома» и DataPro насчитывается более 8,3 тыс. стоек, 6,6 тыс. стоек и 6,6 тыс. стоек соответственно. 3data из-за сделки PNK Group с «Ростелекомом» откатилась с четвёртого на седьмое место.

Источник: iKS-Consulting

Среди российских клиентов популярны как облака, так и колокация. Выбор во многом зависит от возможностей IT-специалистов компаний. При этом облачные сервисы предоставляют далеко не все операторы ЦОД, поскольку для этого требуется немало средств и компетенций. Из десятки операторов коммерческих ЦОД, по данным Forbes, лишь три числятся в десятке облачных провайдеров: РТК-ЦОД, Selectel и МТС. Впрочем, компании всё активнее пользуются облачными сервисами. Основные критерии выбора: кибербезопасность, экономическая целесообразность и бесперебойная работа IT-инфраструктуры.

Впрочем, есть и негативные тенденции. По словам iKS-Consulting, среди основных трендов отрасли в России — увеличение сроков эксплуатации инженерного оборудования дата-центров. Основные причины — рост стоимости и сложности с закупками из-за увеличения санкционного давления.

Компания HPE анонсировала, как утверждается, первую в отрасли архитектуру прямого жидкостного охлаждения (DLC), в составе которой вообще не используются вентиляторы. Решение ориентировано на дата-центры для ресурсоёмких нагрузок ИИ и НРС.

Отмечается, что эффективность ИИ-ускорителей следующего поколения повышается, но их энергопотребление продолжает расти. Поэтому ЦОД, рассчитанные на масштабные рабочие нагрузки ИИ, внедряют новые системы охлаждения. Наиболее эффективной технологией, как заявляет HPE, на сегодняшний день является DLC.

Представленное решение включает жидкостное охлаждение для CPU и GPU, blade-сервера целиком, локального хранилища, сетевой фабрики, стойки, модуля/кластера и блок распределения охлаждающей жидкости (CDU). Применяется высокоплотная конструкция с интегрированной сетевой фабрикой, дополненная специальным ПО для мониторинга. При этом обеспечивается гибкость выбора ИИ-ускорителей. «Новая архитектура прямого жидкостного охлаждения обеспечивает снижение энергопотребления на 90 % по сравнению с традиционными системами воздушного охлаждения», — говорит Антонио Нери (Antonio Neri), президент и генеральный директор HPE.

Источник изображения: HPE

Полностью безвентиляторная архитектура DLC обеспечивает ряд преимуществ по сравнению с другими решениями. В частности, затраты на охлаждение «лезвия» сокращаются на 37 % по сравнению с гибридным прямым жидкостным охлаждением. Это позволяет снизить расходы на коммунальные услуги, а также уменьшить выбросы вредных газов в атмосферу. Кроме того, достигается высокая плотность монтажа оборудования, благодаря чему занимаемые площади в ЦОД могут быть уменьшены в два раза.

Отметим, что российская Группа компаний РСК давно предлагает узлы (в том числе с ускорителями), СХД, коммутаторы и стойки с полностью жидкостным охлаждением.