Согласно исследованию CBRE, количество строящихся дата-центров стремительно растёт из-за бума ИИ-систем, передаёт The Register. При этом, как сообщается в докладе, на ведущих рынках Северной Америки за последний год рост составил около 70 %, достигнув рекордных 3,87 ГВт. В числе самых быстрорастущих регионов — Атланта, где объёмы строительства ЦОД выросли на 76 % год к году до примерно 1,3 ГВт. В Техасе (Остине и Сан-Антонио) строится 463 МВт новой ёмкости ЦОД, вчетверо с лишним больше, чем годом ранее.

Быстрая экспансия сдерживается недостатком доступной ЦОД электроэнергии и длительным временем создания критической инфраструктуры, необходимой для ввода объектов в эксплуатацию. Впрочем, даже когда эти объекты заработают, только около 20 % их ресурсов будут доступны обычным пользователям, порядка 80 % на 3,87 ГВт уже зарезервировано гиперскейлерами, облачными провайдерами и операторами ЦОД, сдающими ИИ-ускорители в аренду.

В CBRE сообщают, что ёмкость ЦОД на ключевых рынках в I половине 2024 года выросла на 10 %, объекты на 1,1 ГВт заработали в прошлом году. Однако доступность ёмкостей всё равно ограничена, поскольку в среднем в указанных регионах свободны всего 2,8 % ресурсов. Впрочем, при желании можно обратиться к менее популярным территориям вроде Центрального Вашингтона, Миннеаполиса, Хьюстона или Денвера, поскольку на второстепенных рынках Северной Америки свободны 10 %.

Источник изображения: CBRE

Недостаток новых ЦОД и высокий спрос ведёт к росту цен, хотя не такому быстрому, как в прошлом году. Средний ежемесячный запрос составляет 250–500 кВт на ключевых рынках, рост в I квартале 2024 года составил 7 % до $174/кВт в месяц. Арендная плата, как ожидается, продолжит расти и во II полугодии, во многом из-за роста стоимости строительства и оборудования. Тенденция также обусловлена и использованием более ресурсоёмких ИИ-ускорителей. Например, потребление одного ускорителя NVIDIA Blackwell может достигать 1200 Вт, он изначально рассчитан на использование СЖО.

По мнению экспертов CBRE, в результате строительство новых ЦОД будет только дорожать. С другой стороны, менее требовательным пользователям могут стать более доступными плохо оснащённые старые дата-центры, не готовые для работы с современными ускорителями. Прогнозируется, что второстепенные рынки в Северной Индиане, Айдахо, Арканзасе и Канзасе благодаря обилию дешёвой земли и энергии могут стать новыми центрами развития ЦОД.

Источник изображения: CBRE

Что касается энергии, то дефицит трансформаторов, переключателей и генераторов продолжится ещё четыре года, что не может не сказаться на времени строительства дата-центров. В CBRE отмечают, что клиенты, желающие получить требуемую ёмкость в срок, должны заключать соглашения за 2–4 года до предполагаемого ввода объектов в эксплуатацию.

В Supermicro рассказали о методологии строительства дата-центров DCBBS, позволяющей создавать небольшие ЦОД за срок от полугода или сокращать время строительства более крупных объектов с трёх до двух лет. Как сообщает The Register, о новом подходе рассказал глава компании Чарльз Лян (Charles Liang) во время последнего финансового отчёта.

Глава Supermicro подчеркнул, что выручка только за IV квартал 2024 финансового года превзошла всю выручку за 2022 год. Впрочем, Лян признал, что новую проприетарную технологию прямого жидкостного охлаждения (DLC) оказалось трудно и дорого разработать, не в последнюю очередь из-за дефицита компонентов. Именно это стало причиной того, что компания недополучила $800 млн квартальной выручи, разоачаровала аналитиков и резко потеряла в рыночной стоимости.

Тем не менее глава компании уверен, что инвестиции в дополнительные производственные мощности помогут справиться с этой нехваткой и удвоить число выпускаемых стоек с DLC с 1500 до 3000 в месяц в течение финансового года. По словам Ляна, СЖО Supermicro стоят не больше, чем обычные системы охлаждения, но системы с ним потребляют меньше энергии, т.е. в итоге позволяют экономить средства. Спрос на подобные комплекты увеличится, уверены в компании.

Источник изображения: Supermicro

Анонсированная в ходе отчёта методология Supermicro 4.0 Datacenter Building Block Solutions (DCBBS) позволит значительно ускорить ввод в эксплуатацию ЦОД и оптимизировать их стоимость. Предполагается полная интеграция ИИ-вычислений, серверов, хранилищ, сети, энергетического оборудования и, конечно, СЖО, а также ПО для сквозного управления и услуги по развёртыванию и обслуживанию. Предполагается, что два года будет уходить создание крупных ИИ ЦОД, а для на объекты меньшего масштаба или модернизацию старых ЦОД уйдёт всего 6-12 месяцев.

При этом в компании не ожидают, что новые ускорители NVIDIA Blackwell, которые как раз без СЖО обходиться будут с трудом, поспособствуют росту Supermicro в 2025 финансовом году. Финансовые аналитики выразили озабоченность падением маржинальности бизнеса, но Лян подчеркнул, что Supermicro улучшит показатели. Впрочем, планам компании может помешать сама NVIDIA, вынужденно отложившая массовое производство новейших ускорителей. Услуги в рамках DCBBS компания намерена предложить к концу 2024 года.

Рост ставки рефинансирования вынудил некоторые частные российские компании, занимающиеся строительством ЦОД на заёмные средства, приостанавливать или откладывать запуск новых объектов, пишет ComNews. Например, в ГК «Филанко» после завершения текущего проекта не планируют сдачу новых объектов в 2025 году, а запуск следующего ЦОД состоится не раньше IV квартала 2026 года. При этом компания закладывает в смету цены за услуги на 80 % выше уровня 2024 года с учётом прогноза роста ставки ещё на 2 п.п.

В Ассоциации участников отрасли ЦОД утверждают, что строительство на заёмные средства становится невыгодным. Ситуацию можно исправить, приравняв ЦОД к ИТ-компаниям или утвердив льготные ставки кредитования. Юридический статус ЦОД тоже не совсем понятен, а законопроект, который бы его определил, лежит под сукном почти четыре года, отметили в ассоциации. В АНО КС ЦОД отмечают, что планов прекращения создания новых ЦОД у участников рынка нет, но со сроками окупаемости проектов ситуация сложная, поскольку на возврат инвестиций в сегменте колокации требуется более 15 лет.

Источник изображения: Taylor Vick / Unsplash

При этом в России есть госкорпорации ПАО «Ростелеком» («РТК-ЦОД») и ГК «Росатом» (АО «Атомдата»), имеющие достаточно оборотных средств для реализации своих проектов, поэтому вопросы займов их не интересуют. В пресс-службе «РТК-ЦОД», который является крупнейшим в РФ оператором ЦОД, рассказали ComNews, что компания обеспечивает запас в более чем 2000 стоек на каждый год и на цикл строительства закладывает полтора-два года. «Атомдата» возводит ЦОД рядом с АЭС и скупает готовые и строящиеся дата-центры, в том числе в Москве.

В пресс-службе Selectel сообщили, что ведут строительство 20-МВт дата-центра «Юрловский» уровня TIER IV ёмкостью 2 тыс. стоек, первая очередь которого на 1000 стоек будет введена в эксплуатацию в 2025 году. Как ожидается, новый ЦОД обеспечит компания необходимыми мощностями для роста бизнеса текущими темпами до 2028 года. В МТС тоже не собираются приостанавливать строительство новых ЦОД, хотя признали, что рост ставки является препятствием для привлечения дополнительных инвестиций. Наконец, в IXCellerate сообщили, что хотя расширение сети ЦОД ведётся за счёт личных и заёмных средств, остановка строительства или заморозка не предвидятся.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Компания Tesla, по сообщению ресурса The Information, не укладывается в намеченный график строительства ЦОД в Остине (Техас, США), в котором планируется разместить узлы ИИ-суперкомпьютера Dojo стоимостью $1 млрд. Эта площадка будет использоваться для решения сложных задач в области ИИ и машинного обучения, в частности, связанных с системами автопилотирования.

К строительству дата-центра, о котором идёт речь, компания Илона Маска приступила в октябре 2023 года. Известно, что по своей конструкции этот ЦОД будет напоминать бункер. Однако, как стало известно, при возведении комплекса Tesla столкнулась с рядом трудностей.

В середине апреля Маск посетил строительную площадку и «пришёл в ярость» из-за увиденного. Вопреки ожиданиям, у объекта отсутствуют большая часть первого этажа и крыша. Наблюдаются сложности с доставкой необходимых материалов, из-за чего возникают задержки при строительстве. Кроме того, ситуация усугубляется из-за того, что основанная Маском компания Boring Company должна проложить под площадкой ЦОД туннель для передвижения электрических пикапов Cybertruck, но эти работы не выполнены. Поэтому невозможно полноценное завершение возведения даже первого этажа.

Источник изображения: Tesla

После своего визита Маск уволил директора по строительной инфраструктуре проекта. После этого Tesla сократила более 14 тыс. сотрудников — свыше 10 % от своего штата, насчитывавшего около 140 тыс. человек. Кроме того, компанию покинули несколько топ-менеджеров. О сроках завершения строительства ЦОД в Остине ничего не сообщается. Возникшие задержки, как считается, отражают более широкие проблемы в автомобильной отрасли.

Бельгийская провинция Эно получит новый импульс к развитию — Google намерена построить в коммуне Фарсьен (Farciennes) свой второй бельгийский ЦОД. Datacentyer Dynamics сообщает, что гиперскейлер готов инвестировать в проект $1 млрд. Кроме того, компания расширит в стране и второй бельгийский кампус, уже действующий в Сен-Гилене.

Впервые местные СМИ обнародовали информацию о намерении Google строить новый дата-центр в Фарсьене ещё в 2019 году. В том же году Google приобрела там 53 га в бизнес-парке Ecopôle. Официально компания обнародовала планы строительства кампуса ЦОД площадью 53 тыс. м² в июле 2023 года, а энергетическая компания Elia подтвердила готовность предоставить объектам 200–300 МВт.

Источник изображения: Michael Maga-ao/unsplash.com

Ожидалось, что первый этап застройки (7,5 тыс. м²) начнётся в прошлом году, а запуск ЦОД состоится в 2025 году, но по факту Google получила разрешение на реализацию проекта только в начале этого года. При этом Google придётся выполнить определённые условия: компания обязалась установить на крыше солнечные панели. Кроме того, в 2025 году 90 % потребляемой объектом энергии должны быть «безуглеродными», а к 2030 году — 95 %. Также Google придётся выбрать более эффективную систему охлаждения ЦОД с малым потреблением воды, которая должна быть подключена к местной сети отопления.

Для значительной доли своей бизнес-активности в Бельгии Google использует компанию-прокладку Crystal Computing. Дата-центр в Сен-Гилене стал первым кампусом ЦОД Google в Европе. С 2009 года там построено уже пять дата-центров и солнечная электростанция. В 2022 году компания приобрела участок площадью 36 га в Экоссинне провинции Эно — в промышленной зоне Feluy. А буквально на днях появилась новость о возобновлении переговоров о строительстве Google ЦОД стоимостью более $1 млрд в соседнем Люксембурге.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Занимающаяся недвижимостью австралийская компания Goodman Group объявила, что теперь располагает возможностями строительства ЦОД на десятки миллиардов долларов. По данным Datacenter Dynamics, речь идёт о готовности построить дата-центры общей стоимостью $80 млрд в ближайшие 5–7 лет.

Информация появилась в полугодовом отчёте компании, где сказано, что с ноября 2023 года она получила ещё 300 МВт доступной ёмкости и теперь в её активе есть 4 ГВт. Из них 200 МВт приходится на Лос-Анджелес, 1,5 ГВт — на Европу и Великобританию, включая локации в Лондоне, Амстердаме, Франкфурте, Париже и Мадриде. В Азии доступная мощность составляет 1,5 ГВт, а 300 МВт уже освоены в Токио и Гонконге. В Австралии и Новой Зеландии доступны 400 МВт, а ещё 200 МВт освоены в Сиднее, Мельбурне и Окленде.

Источник изображения: Goodman Group

Текущие проекты Goodman сообща стоят $12,9 млрд, 37 % из них приходится на строительство ЦОД, причём 58 % мощностей уже забронированы, а средний срок аренды составляет 14 лет. Руководство Goodman Group уверено, что именно дата-центры станут «ключевой областью роста» для компании. В 2023 году она даже отложила работу над рядом объектов, раздумаывая, не превратить ли их в дата-центры.

В отчёте Goodman подчеркнула, что часть из непосредственно принадлежащих ей площадок обладают потенциалом для превращения в ЦОД, поэтому в теории это поможет изменить структуру финансовых показателей бизнеса в пользу операционной прибыли от деятельности компании — в противоположность прибыли от переоценки активов (не связанной напрямую с основной деятельностью). В компании также подчеркнули, что рост доступной энергетической ёмкости свидетельствует о возможности создавать цифровую инфраструктуру с ЦОД в городах с высоким спросом.

Goodman занимается строительством не только дата-центров, но и бизнес-парков, а также промышленных объектов, складов и др. Операционная прибыль компании выросла год к году на 29 % до $1,127 млрд. Доступная ликвидность составила $3 млрд.