Поставщик инженерной инфраструктуры Schneider Electric приобрёл контрольный пакет акций компании Motivair Corporation. Последняя специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ и других критических систем. По данным The Register, позже будет выкуплена и оставшаяся доля компании.

На первом этапе Schneider Electric выплатит из своих средств $850 млн за 75 % акций Motivair Corporation. Сделка должна быть закрыта в ближайшие кварталы. Компания намерена к 2028 году выкупить оставшиеся 25 % акций. Бизнес вольётся в подразделение Schneider Electric Energy Management, которое тоже специализируется на технологиях прямого жидкостного охлаждения и теплообмена в целом.

У Motivair довольно большой опыт оснащения системами жидкостного охлаждения суперкомпьютеров. Руководство компании считает, что поглощение более крупным игроком поможет ей масштабировать бизнес и получить инвестиции на развитие новых технологий. В Schneider Electric уверены, что, хотя СЖО сами по себе не являются принципиально новым решением, у технологии большое будущее в секторе ЦОД. Во многом успеху СЖО будет способствовать распространение генеративного ИИ и повсеместное внедрение больших языковых моделей (LLM), ставших катализаторами роста энергопотребления.

Источник изображения: Motivair

О росте энергопотребления ЦОД и возможных проблем с охлаждением говорится и в недавнем отчёте Международного энергетического агентство (IEA). В целом отраслевые эксперты уверены, что жидкостное охлаждение более эффективно для новых высокоплотных ЦОД в сравнении с воздушным, хотя расход воды может оказаться значительно больше, установка оборудования — дороже, а ущерб для экологии — выше.

Ранее Schneider Electric фактически установила лимит в 20 кВт/стойку, выше которого без СЖО обойтись никак не удастся. Компания склоняется к системам прямого охлаждения (DLC) с водоблоками для горячих компонентов, а к погружным СЖО относится прохладно, особенно к двухфазным.

В Министерстве экономики Тайваня поднят вопрос о создании объектов возобновляемой энергетики. При этом, как сообщает DigiTimes, они будут расположены не на территории острова, а на соседних Филиппинах — энергии не хватает, в том числе для производства чипов, и не исключается передача электричества подводными кабелями или буквально транспортировка морем. Поставщики энергии отчасти приветствуют подобные инициативы, но предупреждают, что строительство потребует тщательного учёта будущих затрат и рисков.

Во-первых, прокладка кабелей и сопутствующей инфраструктуры для передачи энергии обойдётся дороже NT$100 млрд ($3,1 млрд). Более того, не вся «зелёная» энергия одинакова. По информации издания, цены из-за инфляции растут, а крупные покупатели, включая производителей полупроводников, не готовы покупать электричество дороже $0,19 за кВт∙ч. Тем временем ветроэнергия с Филиппин может стоить и $0,25 за кВт∙ч из-за потерь при передаче. Если покупатели откажутся от подобных поставок, под угрозой окажется как энергобезопасность острова, так и доходы инвесторов.

Немалую роль играют и риски последнего времени. Не так давно Филиппины поменяли политику субсидирования бизнеса, из-за чего некоторые зарубежные инвесторы буквально терпят убытки. Компании, рассматривающие возможности инвестиций в Филиппины, могут столкнуться с серьёзными рисками, если филиппинские власти не предоставят надёжных гарантий. Кроме того, филиппинские субсидии на возобновляемую энергетику зависят от компонентов из материкового Китая, поэтому не исключено, что тайваньским генерирующим компаниям доступ к солнечной и ветряной энергии будет ограничен.

Источник изображения: Lin Jhih-Han / Unsplash

Важна и сложность технического обслуживание возможной инфраструктуры — ремонт подводных кабелей из-за инцидентов разной природы может увеличить расходы, а также привести к перебоям с поставками энергии. Например, подводные кабели станут приоритетными целями в условиях вероятного геополитического кризиса. Подводные ВОЛС острова уже пострадали в прошлом году.

Офшорная энергетика острова сегодня в тупике из-за цен, а развитие солнечной ограничено из-за недостатка земли и строгих требований властей к сосуществованию солнечных электростанций и сельскохозяйственных угодий. Лидеры энергоотрасли Тайваня уверены, что заброшенные и недоиспользованные земли острова можно было бы применять для развития солнечной энергетики. Эффективная координация действий между правительственными ведомствами могла бы снизить затраты и риски — тогда не пришлось бы прибегать к инвестициям в зарубежные «зелёные» проекты с высокими рисками.

Источник изображения: Jesse De Meulenaere/unsplash.com

От некоторых масштабных проектов передачи энергии по морскому дну уже пришлось отказаться. Например, в прошлом году Atlassian закрыла проект поставки «зелёного» электричества из Австралии в Сингапур — он тоже столкнулся с проблемами экономической целесообразности, хотя Сингапуру новые мощности не помешали бы. На самом Тайване дефицит электроэнергии мешает, в частности, развитию ИИ ЦОД.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.

Компания Crusoe Energy открывает совместное предприятие с Blue Owl Capital и Primary Digital Infrastructure для реализации проекта по строительству ЦОД в Техасе. По данным Silicon Angle, на эти цели будет потрачено $3,4 млрд, специализированный дата-центр должен появиться в кампусе Lancium Clean Campus.

Будущий ЦОД Crusoe AI, уже сданный в аренду целиком некому гиперскейлеру из списка Fortune 500, будет кампусом из двух объектов, построенных по индивидуальному проекту. По имеющимся данным, он рассчитан на ёмкость 205 МВт. Конструкция ЦОД оптимизирована для использования систем с прямым жидкостным охлаждением, но будет поддерживаться и воздушное охлаждение. Готовый ЦОД сможет вместить до 100 тыс. ускорителей в составе одной сетевой фабрики. Предполагается, что энергоснабжение кампуса будет обеспечено внутренними и внешними источниками энергии. Освоение мощностей начнётся в I половине 2025 года.

Ранее появилась информация, что ключевым арендатором станет компания Oracle, а конечным потребителем вычислительных мощностей — OpenAI. При этом Microsoft, вероятно, станет посредником, сохраняя свой статус поставщика облачных услуг для OpenAI. В руководстве Crusoe подчёркивает, что растущий спрос на ЦОД обусловлен большими перспективами ИИ. Lancium, с которой Crusoe уже сотрудничала, в 2021 году получила одобрение на строительство техасского кампуса ЦОД Project Artemis. Тогда речь шла о кампусе на участке 160–320 га ёмкостью от 200 МВт с возможностью масштабирования до 1 ГВт.

Blue Owl Capital управляет активами на $192 млрд. Хотя ранее компания не инвестировала в ЦОД, в последние месяцы она вложила средства в проекты нескольких дата-центров, а недавно создала СП на $5 млрдс Chirisa и PowerHouse для строительства сети ЦОД на территории США, в первую очередь для ИИ-облака CoreWeave. Blue Owl также приобрела владельца Stack и RadiusDC — компанию IPI Partners за $1 млрд.

Руководство Primary Digital Infrastructure говорит об инвестиционном буме — только в США в ближайшие четыре-пять лет на ЦОД будет потрачено около $1 трлн. Текущая цель компании — приобретение наиболее стабильных активов на этом рынке, а также инвестиции в строительство собственных облачных и ИИ-объектов.

Crusoe Energy, основанная в 2018 году, начинала с доставки контейнерных ЦОД к нефтяным скважинам в США, запитанных от попутного газа. Если изначально Crusoe использовала свои ресурсы для майнинга, то позже появилось предложение Crusoe Cloud для ИИ- и HPC-нагрузок. В конце прошлого года компания занялась стационарными проектами. Компания разместила ускорители в ЦОД ICE02 оператора atNorth в Исландии и объявила о сотрудничестве с Digital Realty.

Четыре крупных американских компании готовятся инвестировать в британскую инфраструктуру ЦОД £6,3 млрд ($8,22 млрд). По информации Datacenter Dynamics, средства готовы вложить Cloud HQ, CyrusOne, CoreWeave и ServiceNow. Об этом было сказано в ходе инвестиционного саммита в Лондоне.

Представители британских властей уже назвали новость об инвестициях «вотумом доверия Великобритании». С момента вступления в должность премьер-министра Кира Стармера (Keir Starmer), правительство активно пытается привлечь как можно больше операторов ЦОД на свою землю и готовит новую стратегию по привлечению инвестиций в страну. В прошлом месяце власти даже отнесли дата-центры к объектам критически важной инфраструктуры (CNI).

Компания CloudHQ в ходе саммита подтвердила работу над проектом кампуса ЦОД стоимостью £1,9 млрд ($2,48 млрд) по соседству с электростанцией Didcot. Ранее сообщалось, что данный проект реализуется в интересах AWS и уже одобрен властями, а разрешение на строительство было получено ещё в 2021 году. На тот момент речь шла о ёмкости 84 МВт. Руководство CloudHQ отметило, что в компании рады создать кампус гиперскейл-уровня в Великобритании.

Источник изображения: EJ Yao/unsplash.com

CyrusOne в ближайшие годы намерена потратить £2,5 млрд ($3,3 млрд). Она готова построить 90-МВт кампус ЦОД площадью 63 тыс. м ² на участке площадью 16,59 га в Бакингемшире. Речь идёт о десяти залах в шести зданиях, а также новой подстанции. Первоначально проект был представлен в 2022 году, а сейчас компания пытается обеспечить соответствие документов местным нормам. По словам главы CyrusOne, перевод ЦОД в категорию КИИ показывает, что дата-центры имеют для экономики страны стратегическое значение, и это повлияло на решение компании расширить бизнес в Великобритании.

Провайдер IT-сервисов ServiceNow в течение пяти следующих лет потратит £1,15 млрд ($1,5 млрд) на обновление своих ЦОД в стране. А CoreWeave, в свою очередь, вложит в местную инфраструктуру ЦОД ещё £750 млн ($978 млн), помимо £1 млрд ($1,3 млрд), который она обещала инвестировать ещё в мае.

По данным британского правительства, новости об инвестициях означают, что с момента прихода нового кабинета министров к власти инвестиции в местные ЦОД превысили £25 млрд ($32 млрд). Правда, £10 млрд из них приходятся на проект Blackstone по строительству гиперскейл-ЦОД в Нортумберленде, о чём впервые было объявлено ещё в апреле, когда у власти был совсем другой состав правительства. Покупку земли для ЦОД окончательно утвердили в прошлом месяце.

Google и Kairos Power заключили соглашение о закупке энергии с малых модульных реакторов (SMR), разрабатываемых Kairos. Первый SMR должен заработать к 2030 году, а последующие реакторы — до 2035 года. Всего речь идёт о шести-семи реакторах суммарной мощностью до 500 МВт. Проект касается только Соединённых Штатов. Он обеспечит Google безуглеродной и относительно экобезопасной энергией.

Kairos разрабатывает SMR с охлаждением расплавами солей и гранулированным в керамические шарики топливом. Генерируемое тепло передаётся в паровую турбину для выработки электроэнергии. В июле Kairos Power уже начала строить демонстрационный реактор в Теннесси. Подробная информация о сделке, её стоимости и местоположении реактора не разглашается.

Похожие проекты реализуют и другие компании. В марте 2024 года AWS купила за $650 млн кампус ЦОД Talen Energy рядом с принадлежащей последней АЭС Susquehanna Steam Electric Station. Сообщалось, что АЭС обеспечит кампусу до 960 МВт. В мае AWS получила добро на перезонирование участка площадью около 650 га для строительства 15 зданий ЦОД. В минувшем сентябре Microsoft объявила о покупке возвращаемой к жизни атомной электростанции Three Mile Island мощностью 837 МВт.

Источник изображения: Kairos Power

Oracle также сообщила, что намерена построить кампус ЦОД на 1 ГВт с питанием от трёх SMR. Наконец, Equinix готова приобрести 500 МВт атомной энергии в виде PPA-соглашений у Oklo, у неё же Wyoming Hyperscale получит 100 МВт. При этом пока SMR остаются непроверенной технологией, внедрение которой неизбежно вызовет внимание и, возможно, противодействие регуляторов.

Недавнее исследование показало, что небольшие ветряные турбины при установке на системы охлаждения дата-центров могут генерировать достаточно электроэнергии, чтобы это было экономически выгодно. По информации Dcatacenter Dynamics, соответствующие эксперименты провели на действующем ЦОД в Колумбии.

Источник изображения: Tesup

Согласно публикации в журнале Scientific Reports, исследование, проведённое Дистанционным университетом Мадрида (Universidad a Distancia de Madrid) совместно с колумбийской компанией Grupo ZFB, показало эффективность подхода. Исследователи использовали «ветер» от систем охлаждения колумбийского ЦОД. Объект имеет три чиллера с восемью блоками вентиляторов в каждом. Вентиляторы вращаются со скоростью до 900 об./мин., а их номинальная мощность составляет 2,4 кВт. Поток воздуха от них является достаточно стабильным и мощным для попутной генерации электричества. Впрочем, обычный ветер тоже принимает участие в выработке энергии.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Для эксперимента выбрали вертикальные ветряные турбины Tesup V7 — за их компактность и лёгкую конструкцию. Шесть малых турбин установили над вентиляторами. Два из трёх чиллеров работают постоянно, что, согласно подсчётам, позволяет генерировать 513,82 МВт∙ч в год. С учётом запланированных и незапланированных простоев получается 467,6 МВт∙ч ежегодно, что само по себе позволяет избежать выбросов 300 т CO₂ в год. Сами вентиляторы при номинальной мощности потребляют 336,39 МВт∙ч, так что в чистом остатке получается 131,2 МВт∙ч, которые можно направить на нужды другого инженерного оборудования ЦОД.

Источник изображения: Isabel C. Gil-García, Ana Fernández-Guillamón, Álvaro H. Montes-Torres / Scientific Reports

Данное исследование — часть более масштабных изменений в секторе ЦОД. Операторы пытаются нарастить эффективность дата-центров. Так, многие из них начали активно инвестировать в системы использования «мусорного» тепла, передавая, его, например, в районные системы отопления или для обогрева бассейнов. Использование малых ветряных турбин может стать ещё одним способом оптимизации работы дата-центров для улучшения общей эффективности и достижения целей по обеспечению нулевых выбросов. Экономическая выгода будет зависеть от стоимости турбин и затрат на их обслуживание, а также срока эксплуатации. Но предварительные расчёты показывают, что данный подход оправдан.

Коммерческие дата-центры в России пользуются всё большим спросом. По данным Forbes, речь идёт не только об использовании облаков — многие компании вместо эксплуатации собственных ЦОД всё чаще предпочитают размещать собственные серверы на арендованных объектах.

Согласно прогнозам iKS-Consulting, уже к 2028 году рынок коммерческих ЦОД в России, возможно, вырастет в 2,1 раза в сравнении с 2023 годом — до 148 тыс. стойко-мест. В денежном выражении на фоне роста спроса рынок может вырасти в 2,8 раза — до 121 млрд рублей. Одной из вероятных причин называется рост арендных ставок для размещения серверов клиентов. При этом рынок облачной инфраструктуры к концу 2024 года может вырасти до 162 млрд руб., а к 2028 году — составить 464 млрд руб. (в 2023 году он составил 121,4 млрд руб.).

Из-за быстрого роста объёмов хранимой и обрабатываемой информации компании могут либо развивать собственную IT-инфраструктуру, либо арендовать её у оператора, поскольку собственные ЦОД могут позволить себе лишь очень крупные бизнесы. По данным Forbes, в последние годы доля ЦОД, принадлежащих компаниям, на российском рынке неуклонно снижается. При этом, если в 2023 году доля коммерческих ЦОД составляла 18,6 % по объёму серверных стоек, то в 2027 году она, возможно, превысит 25 %. В мире этот показатель достиг 31 %, а доля корпоративных ЦОД постепенно сокращается.

Источник: iKS-Consulting

Как отмечают в iKS-Consulting, с 2020 года рынок коммерческих ЦОД в России вырос на 80 %, а в 2024 году, вероятно, составит 82,4 тыс. стойко-мест. Лидером рынка является дочерняя структура «Ростелекома» — РТК-ЦОД. Этим летом она приобрела крупный ЦОД на севере Москвы и теперь располагает 27 тыс. серверных стоек. У ближайших конкурентов IXcellerate, «Росатома» и DataPro насчитывается более 8,3 тыс. стоек, 6,6 тыс. стоек и 6,6 тыс. стоек соответственно. 3data из-за сделки PNK Group с «Ростелекомом» откатилась с четвёртого на седьмое место.

Источник: iKS-Consulting

Среди российских клиентов популярны как облака, так и колокация. Выбор во многом зависит от возможностей IT-специалистов компаний. При этом облачные сервисы предоставляют далеко не все операторы ЦОД, поскольку для этого требуется немало средств и компетенций. Из десятки операторов коммерческих ЦОД, по данным Forbes, лишь три числятся в десятке облачных провайдеров: РТК-ЦОД, Selectel и МТС. Впрочем, компании всё активнее пользуются облачными сервисами. Основные критерии выбора: кибербезопасность, экономическая целесообразность и бесперебойная работа IT-инфраструктуры.

Впрочем, есть и негативные тенденции. По словам iKS-Consulting, среди основных трендов отрасли в России — увеличение сроков эксплуатации инженерного оборудования дата-центров. Основные причины — рост стоимости и сложности с закупками из-за увеличения санкционного давления.