Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Американская инвесткомпания Blackstone считает сделку по покупке в 2021 году оператор ЦОД QTS Realty Trust одной из лучших инвестиций за всю свою историю, но для роста этого бизнеса потребуются громадные ресурсы. Сейчас Blackstone финансирует развитие огромной инфраструктуры QTS, пишет Bloomberg.

При этом Blackstone придерживается своей классической стратегии в сфере недвижимости, крупнейшей части её империи стоимостью $1 трлн. Фирма определяет, на каких рынках нарастает дефицит недвижимости, и направляет миллиарды долларов на строительство объектов для сдачи в аренду. Эту модель она применяет на всех направлениях, от складов до загородных домов. В данном случае наблюдается дефицит в объектах для поддержания цифровой трансформации. Причём после заключения сделки спрос на вычислительные мощности резко вырос и подогревается ажиотажем на рынке ИИ.

Изображение: QTS

QTS уже владеет недвижимостью стоимостью $15 млрд, тогда как на момент её приобретения у неё были объекты всего на $1 млрд. По данным аналитиков DatacenterHawk, она уже стала крупнейшим в Северной Америке поставщиком мощностей ЦОД (в МВт по контрактам), тогда как всего три года назад занимала 4-е место. Стоимость активов компании с момента её приобретения выросла до $25 млрд, а численность персонала — до 1000 человек.

Конечно, при развитии сети ЦОД компания сталкивается с проблемами, такими как дефицит электроэнергии и воды. На фоне роста популярности ИИ гиперскейлеры операторы ЦОД довели ежемесячную арендную ставку до $100/кВт, хотя три года назад в некоторых регионах она составляла $70–80/кВт. По словам брокеров, на ключевых рынках ставка может доходить и до $150/кВт. QTS же рассчитывает довести общую ёмкость своих объектов до 6 ГВт.

Интересы Blackstone и QTS охватывают не только рынок США, но и другие регионы, включая Европу, где они готовы приобретать конкурентов, чтобы расширить своё присутствие. В декабре 2023 года Blackstone объединила усилия с Digital Realty Trust Inc., чтобы построить кампусы ЦОД стоимостью $7 млрд во Франкфурте, Париже и Северной Вирджинии (США).

Потребление электроэнергии дата-центрами в США должно достигнуть 35 ГВт уже к концу текущего десятилетия — почти вдвое выше в сравнении с показателями 2022 года. Как сообщается в докладе экспертов компании Newmark, специализирующейся на коммерческой недвижимости, драйвером роста энергопотребления должен стать повышенный спрос на ИИ и системы машинного обучения.

Дополнительно в докладе упоминается о дефиците свободного места в ЦОД Северной Америки, на ключевых рынках доступно буквально по несколько процентов мощностей. Более того, ситуация только усугубится благодаря облачным ИИ-сервисам гиперскейлеров — именно они несут ответственность за то, что в ближайшие годы взлетят потребности ЦОД в электроэнергии. Ещё летом компания CBRE сообщала, что нехватка электроэнергии становится главным препятствием к развитию рынка ЦОД.

Источник изображения: Renan Kamikoga/unsplash.com

Хотя гиперскейлерам в современных дата-центрах требуется «всего» 10–14 кВт на стойку, для ИИ-платформ этот показатель вырастет до 40–60 кВт из-за применения ресурсоёмких ускорителей. Это означает, что среднее потребление мощности ЦОД в США, вероятно, уже к 2030 году достигнет 35 ГВт, тогда как 2022 году оно было на уровне лишь 17 ГВт. В докладе подчёркивается, что внедрение ИИ-систем требует не только больше электроэнергии, но и более мощных систем охлаждения, которых в современной инфраструктуре ЦОД просто нет, что и служит катализатором роста рынка.

Источник изображения: Newmark

Существующие рынки с трудом справляются со спросом. На крупнейшем в мире рынке Северной Вирджинии ёмкостью 3400 МВт (впрочем, тут данные разнятся), где компактно размещены множество дата-центров, доступность мощностей составляет всего 0,2 % — при этом жители региона уже сегодня выступают категорически против новых проектов. Прочие популярные среди клиентов территории также сталкиваются с аналогичными вызовами. В мае уже сообщалось, что в североамериканских ЦОД буквально заканчиваются места. Впрочем, строительство ведётся всё активнее каждый год.

Источник изображения: Newmark

Имеются и другие проблемы. По данным Newmark, количество сделок на рынке резко снизилось — отчасти из-за роста процентных ставок, а также из-за крупных слияний и поглощений последних лет, что привело к сокращению возможностей масштабирования активов. И, конечно, играет важную роль расхождение взглядов покупателей и продавцов на оценку дата-центров, по мнению последних она значительно превышает затраты на строительство.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

По оценкам аналитиков Synergy Research Group, к концу II квартала 2022 года число дата-центров гиперскейлеров превысило 800 шт., а к концу 2026 года их станет в полтора раза больше. Причём расти будет не только количество таких ЦОД, но и их мощность. При этом 53 % ёмкости ЦОД гиперскейлеров приходится на США, а оставшаяся доля практически поровну поделена между Европой, Китаем и остальным миром.

Наиболее крупные игроки на этом рынке — «большая тройка» облачных провайдеров (Amazon, Google, Microsoft). У каждой из этих компаний имеется более 130 дата-центров, причем не менее 25 в каждом из трёх основных регионов, Североамериканском, Азиатско-Тихоокеанском и Европейском. По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. Всего же в исследовании Synergy Research Group учитывались дата-центры 19 крупнейших компаний, оказывающих облачные и иные интернет-услуги.

Источник: Synergy Research Group

По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. При этом, как и прежде, более трети мощностей в США приходится на один-единственный штат — Вирджинию, которая обгоняет по этому показателю Европу и Китай. Здесь находится так называемая Аллея дата-центров, охватывающая округи Лаудон (Loudoun), Принс-Уильям (Prince William) и Фэрфакс (Fairfax). ЦОД в основном концентрируются вокруг городов Эшберн (Ashburn), Стерлинг (Sterling), Манассас (Manassas) и Шантийи (Chantilly).

Источник: Cushman & Wakefield Research

Суммарная ёмкость ЦОД в штате достигла 1,7 ГВт. В частности, Amazon именно здесь размещает значительную часть своих ЦОД. Другими крупными игроками на локальном рынке являются Microsoft, Meta✴, Google, ByteDance. Столь привлекательной для операторов ЦОД Вирджиния стала в силу доступности площадей и энергии, развитой инфраструктуры, а также особенностей местного законодательства, в том числе налоговых послаблений. Правда, теперь местные жители жалуются на «катастрофический шум» от дата-центров, а возможностей энергосети стало не хватать.

Что касается других регионов, то в Европе ведущими рынками для гиперскейлеров остаются Ирландия и Нидерланды, где в последнее время также наметился кризис — обе страны больше не рады крупным игрокам, которые один за другим отменяют или приостанавливают проекты по созданию и развитию ЦОД. Китайский рынок остаётся относительно изолированным, поскольку он включает по большей части дата-центры местных IT-гигантов: Alibaba, Tencent и Baidu. В целом же аналитики прогнозируют, что в течение следующих пяти лет важность ключевых на текущий момент рынков ЦОД несколько снизится.

Жители Северной Вирджинии всё более и более недовольны распространению дата-центров гиперскейл-класса и готовы активно противостоять их строительству. По данным DataCenter Dynamics, вслед за жителями округа Принс-Уильям (Prince William), жалующихся на невыносимый уровень шума ЦОД Amazon, обитатели округа Фокир (Fauquier) потребовали от властей запретить строительство дата-центра той же компании, которая за последний десяток лет вложила в местные ЦОД более $35 млрд.

Примечательно, что Северная Вирджиния десятилетиями является едва ли не крупнейшим хабом для строительства дата-центров в мире, последовательно привлекающим новые компании, объекты и инвестиции. Изначально ЦОД концентрировались преимущественно в округе Лаудон, а теперь распространяются на территорию округов Калпепер (Culpeper), Фокир и Принс-Уильям, жители которых начали вести организованную борьбу с инициативами IT-гигантов и местных властей.

Фото: Taylor Vick / Unsplash.com

В наиболее «пострадавшем» округе Лаудон предложили новые правила зонирования для дата-центров, определяющих, где будущие ЦОД можно строить так, чтобы не побеспокоить местных жителей. Кроме того, предложено пересмотреть экологические стандарты строительства и допустимого уровня шума. Ожидается, что в определённых местах будет прекращено и одобрение строительства ЦОД в ускоренном порядке.

Жители округа Калпепер подали в суд, требуя аннулировать разрешение на перезонирование и развитие ЦОД Amazon. В округе Фокир Amazon уже купила более 16 га земли, подала заявку на строительство нового дата-центра и договорилась с местной энергосбытовой компанией Dominion Energy. Изначально местные жители протестовали против строительства 230-кВ линий электропередач над их домами, но потом поняли, что они вообще не понадобятся, если дата-центра не будет.

Местных жителей беспокоит не только экология и комфортность окружающей среды, но и экономика — скупка земли для ЦОД поднимает её цены. Кроме того, всё чаще задаётся вопрос, почему налоги для жителей не падают по мере развития дата-центров. О полном отказе от ЦОД речь не идёт, поскольку они обеспечивают около трети местных налоговых поступлений.

За прошедшие 10 лет облачный провайдер AWS потратила $35 млрд на строительство инфраструктуры на севере штата Вирджиния (США). Строительство такого масштаба оказало важное влияние на региональную экономику. Обычно гиперскейлеры не делятся детальными сведениями о своих затратах на ЦОД, но в данном случае речь идёт об отчёте, который призван показать, как сотрудничество местных органов власти и индустрии дата-центров может положительно влиять на возможности развития региона.

Сегодня Amazon относится к числу техногигантов, способных играть ведущие роли при создании облачных систем. На северо-востоке штата сейчас находится более 50 дата-центров, формирующих крупнейшее в мире облачное пространство. При этом кластер в Северной Вирджинии — это только часть инфраструктуры AWS, включающей шесть облачных регионов на территории США и 25 по всему миру. Однако именно регион US-East исторически является наиболее важным и крупным для AWS, поскольку здесь развёрнуто сразу шесть зон доступности (AZ).

Провайдеры облачных сервисов сыграли важную роль для развития финансовых систем всего мира в период пандемии. В то же время и заработок AWS в 2020 году составил $45 млрд — больше, чем у многих подразделений Amazon, связанных с торговлей. Деятельность Amazon в штате позволяет акцентировать внимание на двух фактах — по данным компании, создание облачных кластеров несёт большие преимущества для локальных экономик, но вместе с тем требует финансирования в объёмах, доступных лишь немногим компаниям.

datacenterfrontier.com

Расширение проекта Amazon в Северной Вирджинии потребовало закупки местных земель, строительства большего числа дата-центров — это позволяет с запасом обеспечить корпоративный спрос на облачные решения. Прямым следствием становится появление рабочих мест среди местных жителей и рост затрат на местах на обслуживание инфраструктуры, обеспечение безопасности, а также рост поступлений налогов в местные бюджеты:

• В 2020 году AWS заплатила более $220 млн налогов на собственность за дата-центры, расположенные в нескольких округах Северной Вирджинии. На долю компании приходится порядка 20 % всех налоговых отчислений на собственность, полученных этими округами в 2020 фискальном году. Правда, следует учитывать и то, что округа исторически предоставляли налоговые льготы;
• В 2020 году инвестиции AWS в строительство здесь новых мощностей и расширение и поддержку прежних позволили сохранить тысяч штатных рабочих мест и ещё больше в связанных отраслях;
• К 2023 году Amazon планирует построить в Вирджинии 15 новых «зелёных» солнечных ферм общей мощностью 1,43 ГВт.

Инвестиции объёмом $35 млрд в Вирджинии — самые масштабные для одного штата. Такие большие расходы соответствуют масштабным потребностям в затратах, необходимых для создания соответствующей инфраструктуры — конкурирующие компании вроде Google, Microsoft и Facebook✴ обычно тратят на строительство каждого облачного кампуса от $600 млн до $4 млрд. Тем не менее, в последнее время капитальные вложения всей индустрии выросли почти на треть.