Компания Synergy Research Group обнародовала результаты исследования мирового облачного рынка во II квартале 2024 года. Глобальные затраты на услуги облачной инфраструктуры (включая IaaS, PaaS и частные сервисы) достигли $79 млрд. Расходы за 12 месяцев (к концу июня) составили примерно $297 млрд.

Тройка лидеров в мировом масштабе остаётся неизменной: это компании Amazon (AWS), Microsoft и Google с долями 32 %, 23 % и 12 % соответственно. Далее следуют Alibaba, Oracle и Salesforce.

Отмечается, что с географической точки зрения Amazon, Microsoft и Google лидируют во всех регионах мира, кроме Китая. В КНР в тройку ведущих облачных провайдеров входят Alibaba, Tencent и China Telecom, за которыми следуют Huawei, China Unicom и China Mobile. Такая картина объясняется геополитическими факторами, из-за которых западные поставщики облачных услуг ограничены в своих возможностях на китайском рынке. В Европе, Азиатско-Тихоокеанском регионе (за исключением опять же КНР) и других частях мира в рейтинг крупнейших облачных провайдеров также входят IBM, Oracle, NTT и Fujitsu (см. таблицу).

Источник изображения: Synergy Research Group

В исследовании говорится, что США остаются крупнейшим рынком облачных услуг. Далее следует Китай, который значительно опережает другие страны, включая Японию, Великобританию, Германию и Индию. Сообща США, Китай, Азиатско-Тихоокеанский регион и Европа занимают более 90 % мирового рынка облачных сервисов.

Synergy Research Group отмечает, что вместе Amazon, Microsoft и Google оперируют глобальной сетью из более чем 560 дата-центров. Только во II квартале 2024 года эти компании вложили свыше $48 млрд в развитие ЦОД-инфраструктуры: большая часть средств пошла на строительство, оснащение и обновление объектов и связанных с ними сетей.

На днях дата-центр «N1», проект которого реализуется компанией «Свободные Технологии Инжиниринг», успешно прошёл проверку для получения сертификата Uptime Institute. Компания сообщает, что ЦОД будет присвоен уровень Tier III Constructed Facility.

Объект мощностью 11,5 МВт (IT-ёмкость 6,3 МВт) и площадью 4860 м² реализуется компанией «Свободные Технологии Инжиниринг» под ключ в новом «Телекомплексе» рядом с Останкинской телебашней в Москве. ЦОД расположен в технологическом блоке последнего и имеет полностью автономную от остальной части здания инженерную инфраструктуру, 10 машинных залов, 2 MMR и специальный выделенный зал для телеком-операторов и IX.

Источник изображения: Свободные Технологии Инжиниринг

Уровень надёжности — Tier III по классификации Uptime Institute. Схема резервирования электропитания 6/5N, схема резервирования системы технологического кондиционирования — N+1, время работы от ИБП при максимальной нагрузке — не менее 15 минут. Схема электроснабжения стоек — 2N (и по два PDU). 2N-резервирование маршрутов прокладки ВОЛС, два независимых и разнесённых магистральных ввода.

ЦОД «N1» предлагает колокейшн-услуги и сопутствующие сервисы, в том числе услугу Smart Hands. Имеется 1020 стоек со средней мощностью на каждую по 6 кВт и максимальной — 10 кВт. В 2025 году планируется начать строительство на территории второй очереди ЦОД на 2000 стоек.

Бум ИИ-систем привёл к тому, что технологические компании и их поставщики начали рассматривать в качестве места для размещения дата-центров старые электростанции и промышленные площадки. По данным Financial Times, гиперскейлеры вкладывают миллиарды долларов в строительство облачных объектов и ИИ ЦОД, но найти место с подходящей инфраструктурой и доступом к электроэнергии становится всё сложнее.

По информации экспертов по недвижимости из Cushman & Wakefield, многие рынки ЦОД ограничены в доступе не только к электричеству, но и к земельным участкам. В ответ всё больше интереса проявляется к малым рынкам и «более сложным площадкам» вроде старых электростанций. В занимающейся недвижимостью группе JLL тоже отмечают, что застройщики больших кампусов ищут новые локации, включая «инфраструктурные площадки» или электростанции. Обычно на такие объекты заглядываются гиперскейлеры вроде Microsoft, Amazon и Google.

Источник изображения: Karl Hörnfeldt/unsplash.com

В некоторых регионах США и Европы угольные станции или производственные площадки давно списаны, но по-прежнему обладают инфраструктурой, необходимой для ЦОД. Промышленные объекты обычно оснащены подходящими линиями электропередач и часто находятся возле источников воды.

Так, Microsoft намерена построить ЦОД на территории старых электростанций Eggborough и Skelton Grange возле Лидса на севере Англии и кампус ЦОД в США на месте неудавшегося завода Foxconn. Amazon тоже намерена построить кампус на месте старой станции Birchwood в штате Вирджиния (США). По данным некоторых источников, как минимум одна сделка подобного же рода обсуждается сейчас и в Европе, а Великобритании компания намерена перестроить бывший завод Ford. А в Мадриде намерены превратить в крупный ЦОД бывший завод Coca Cola. Наконец, Nautilus предлагала превратить в дата-центр бывшую бумажную фабрику в штате Мэн.

Источник изображения: Jan Huber/unsplash.com

Эксперты предупреждают, что ограничения доступа к электричеству угрожает экспансии ИИ, а недостаток других элементов инфраструктуры вроде кабельных сетей дополнительно ограничивает возможности по поиску площадок для новых дата-центров. В результате растёт интерес к более необычным местам и объектам, поскольку для тренировки ИИ-моделей не слишком важна задержка сигнала. В этом случае смена профиля объектов может оказаться неплохим вариантом. Уже отмечена активность владельцев подобных строений, заинтересованных в превращении своей собственности в ЦОД.

Например, Virtus Data Centres недавно приобрела две площадки в Берлине, часть территории ранее была солнечной электростанцией, а также старую фабрику боеприпасов в Великобритании, их планируется превратить в кампусы ЦОД к 2026 году. Недавно бывший завод приобрела в Джорджии (США) Equities Group — на площадке есть трансформаторы, вода, канализация и подведён газ. Тренд отражает и тенденции в майнинговой индустрии, где также происходит смена профиля старых объектов.

Источник изображения: Jan Huber/unsplash.com

Некоторые эксперты предупреждают, что подобное перепрофилирование может оказаться долгим, дорогим процессом с массой бюрократических препон и не всегда экономически целесообразным, особенно если объект уже отключен от всех энергетических линий и не обслуживается местными энергокомпаниями. Вернуть всё к работе довольно сложно. Специалисты по недвижимости из группы JLL сообщили, что многое зависит от специфики объекта, стоимости доработки, цен на землю и т.д.

Исследователи RMI (Rocky Mountain Institute) и вовсе предлагают объединить электростанции на ископаемом топливе с ЦОД и источниками возобновляемой энергии. Избыток последней, который нельзя передать в энергосеть из-за внешних ограничений можно использовать на месте, например, для питания ЦОД и других объектов, потребляющих много энергии. А тратиться на строительство новых линий электропередач в этом случае не придётся.

Организация Open Compute Project Foundation (OCP) анонсировала сотрудничество с рядом IT-гигантов. Как сообщает пресс-служба, партнёры будут тестировать строительство ЦОД с использованием т.н. «зелёного» низкоуглеродистого бетона. Из числа крупнейших IT-компаний участие в эксперименте примут все ключевые гиперскейлеры, включая Google, AWS, Meta✴ и Microsoft. Инициатива согласуется с открытым письмом коалиции iMasons Climate Accord, призывающем к продвижению «зелёного бетона» в отрасли.

Гиперскейлеры намерены способствовать расширению использования «зелёного бетона» при строительстве дата-центров, вдохновляя другие компании своим примером. Meta✴ и Microsoft уже исследовали новые экологичные смеси, в том числе созданные с использованием ИИ. Microsoft также тестировала бетон с добавлением CO₂ и даже инвестировала в его производителя CarbonCure. Углекислый газ при использовании технологий CarbonCure делает бетон крепче, но позволяет компенсировать лишь малую часть выбросов в ходе производств цемента.

Источник изображения: Open Compute Project

В CarbonCure инвестировала и Amazon, которая также использовала смеси и низкоуглеродный цемент ASTM C1157 Hydraulic Cement от Ozinga. Утверждается, что в результате удалось добиться снижения углеродных выбросов на 64 % в сравнении со средним уровнем в индустрии. В AWS подчеркнули, что традиционный цемент для производства бетона несёт ответственность за значительную долю углеродных выбросов, но эти проекты демонстрируют, что для снижения негативного воздействия на окружающую среду можно применять заменители обычного цемента без ущерба характеристикам и надёжности бетона.

Источник изображения: Open Compute Project

В процессе производства традиционного бетона известняк нагревается вместе с глиной до приблизительно 1450 °C. В результате CO₂ выделяется напрямую в атмосферу, а печи для обжига как правило используют уголь или природный газа, что обеспечивает ещё более количество выбросов. «Зелёный бетон» предусматривает использование дополнительных цементирующих материалов, а «альтернативный» цемент получается из сырья, не проходящего этапов вроде термообработки. Технологий использования низкоуглеродного бетона немало, но масштабного применения в сфере строительства ЦОД они ещё не нашли.

При первой в своём роде демонстрации особенностей «зелёного бетона» в августе этого года в Иллинойсе (США) присутствовали не только крупные IT-компании, но и представители властей США, экологических организаций и научного сообщества. Испытанию подвергаются четыре состава бетона, лучший из которых позволяет снизить углеродный след более чем на 50 % в сравнении с классическим бетоном. Материалы для производства доступны на рынке, но пока редко применяются по ряду причин. Уже готов план дельнейших испытаний, в том числе лабораторных и полевых тестов.

Государственный инвестор Mubadala Investment Co. из Объединённых Арабских Эмиратов вложит средства в лондонского строителя и оператора ЦОД Yondr Group. По данным Bloomberg, это новейшая инвестиция одного из фондов национального благосостояния ОАЭ в сектор, который должен выиграть от стремительно растущего спроса на облачные сервисы и ИИ-технологии.

Фонд, ресурсы которого составляют $302 млрд, объявил, что его инвестиции будут способствовать росту Yondr Group, с общей зарезервированной ёмкостью 878 МВт. Подробности сделки не раскрываются, но ранееуже подписал ряд сделок, связанных с рынком ЦОД, в том числе об инвестициях в американскую Aligned Data Centers и сингапурскую Princeton Digital Group (PDG). По мнению экспертов Mubadala Investment, средние темпы прироста глобального совокупного спроса на ЦОД составят 11 % до 2032 года.

Источник изображения: Nick Fewings/unsplash.com

Операторы ЦОД довольно давно стали объектом внимания со стороны богатых инфраструктурных инвестиционных фондов. Только в текущем году в сектор инвестировано более $20 млрд. В своём регионе ОАЭ и Саудовская Аравия намерены стать ИИ-хабами в рамках попыток диверсифицировать экономику, пока полагающуюся преимущественно на продажи нефти. В результате началась гонка для строительства на Ближнем Востоке дорогих ЦОД для поддержки технологического развития.

Mubadala Investment вкладывает деньги и в другие проекты, связанные с передовыми технологиями дата-центров. В прошлом году появилась информация о том, что фонд инвестировал в разработчика систем жидкостного охлаждения CoolIT, одного из ключевых игроков рынка СЖО для ЦОД и суперкомпьютеров.

Занимающаяся IT-услугами индонезийская компания Lintasarta запустила облачный ИИ-сервис GPU Merdeka. По данным Datacenter Dynamics, бизнес принадлежит Indosat и будет предлагать услуги в формате GPU-as-a-Service (GPUaaS). Ранее в этом году было объявлено, что NVIDIA и Indosat построят в Индонезии ИИ ЦОД стоимостью $200 млн в Суракарте (Surakarta).

Речь идёт о суверенном ИИ-облаке на основе серверов с восемью NVIDIA H100 (SXM). Сам ЦОД поддерживает до 20 кВт на стойку. Как заявляют в Indosat, благодаря знаковому партнёрству с NVIDIA, компания намерена демократизировать доступ к облачным ИИ-сервисам, сделав соответствующие услуги более доступными в Индонезии и соседних странах. Также компания намерена ускорить рост индонезийской цифровой экономики.

Источник изображения: Harry Kessell/unsplash.com

Облако Merdeka, по словам Lintasarta, является важной вехой на пути превращения в специализирующуюся на ИИ технологическую компанию. Ожидается, что технологии и опыт Lintasarta помогут стране в достижении целей стратегии 2045 Golden Indonesia Vision.

IT-система страны нуждается в модернизации. Совсем недавно хакеры заблокировали правительственный ЦОД в стране, потребовав за ключ дешифровки $80 млн, из-за чего нарушилась работа государственных и медицинских учреждений, транспортной инфраструктуры и т.п. Выяснилось, что резервных копий почти никто не делал. В конце концов злоумышленники бесплатно прислали ключ и извинились, но репутация страны в области IT оказалась подпорчена. При этом соседняя Малайзия стремительно наращивает компетенции в области ЦОД и ИИ, намереваясь стать региональным IT-лидером.

Согласно исследованию CBRE, количество строящихся дата-центров стремительно растёт из-за бума ИИ-систем, передаёт The Register. При этом, как сообщается в докладе, на ведущих рынках Северной Америки за последний год рост составил около 70 %, достигнув рекордных 3,87 ГВт. В числе самых быстрорастущих регионов — Атланта, где объёмы строительства ЦОД выросли на 76 % год к году до примерно 1,3 ГВт. В Техасе (Остине и Сан-Антонио) строится 463 МВт новой ёмкости ЦОД, вчетверо с лишним больше, чем годом ранее.

Быстрая экспансия сдерживается недостатком доступной ЦОД электроэнергии и длительным временем создания критической инфраструктуры, необходимой для ввода объектов в эксплуатацию. Впрочем, даже когда эти объекты заработают, только около 20 % их ресурсов будут доступны обычным пользователям, порядка 80 % на 3,87 ГВт уже зарезервировано гиперскейлерами, облачными провайдерами и операторами ЦОД, сдающими ИИ-ускорители в аренду.

В CBRE сообщают, что ёмкость ЦОД на ключевых рынках в I половине 2024 года выросла на 10 %, объекты на 1,1 ГВт заработали в прошлом году. Однако доступность ёмкостей всё равно ограничена, поскольку в среднем в указанных регионах свободны всего 2,8 % ресурсов. Впрочем, при желании можно обратиться к менее популярным территориям вроде Центрального Вашингтона, Миннеаполиса, Хьюстона или Денвера, поскольку на второстепенных рынках Северной Америки свободны 10 %.

Источник изображения: CBRE

Недостаток новых ЦОД и высокий спрос ведёт к росту цен, хотя не такому быстрому, как в прошлом году. Средний ежемесячный запрос составляет 250–500 кВт на ключевых рынках, рост в I квартале 2024 года составил 7 % до $174/кВт в месяц. Арендная плата, как ожидается, продолжит расти и во II полугодии, во многом из-за роста стоимости строительства и оборудования. Тенденция также обусловлена и использованием более ресурсоёмких ИИ-ускорителей. Например, потребление одного ускорителя NVIDIA Blackwell может достигать 1200 Вт, он изначально рассчитан на использование СЖО.

По мнению экспертов CBRE, в результате строительство новых ЦОД будет только дорожать. С другой стороны, менее требовательным пользователям могут стать более доступными плохо оснащённые старые дата-центры, не готовые для работы с современными ускорителями. Прогнозируется, что второстепенные рынки в Северной Индиане, Айдахо, Арканзасе и Канзасе благодаря обилию дешёвой земли и энергии могут стать новыми центрами развития ЦОД.

Источник изображения: CBRE

Что касается энергии, то дефицит трансформаторов, переключателей и генераторов продолжится ещё четыре года, что не может не сказаться на времени строительства дата-центров. В CBRE отмечают, что клиенты, желающие получить требуемую ёмкость в срок, должны заключать соглашения за 2–4 года до предполагаемого ввода объектов в эксплуатацию.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Новые данные Synergy Research Group свидетельствуют о том, что на 20 ключевых рынков ЦОД гиперскейлеров приходится 62 % всей IT-ёмкости. Портал агентства сообщает, что только на Северную Вирджинию и Пекин с прилегающими территориями приходится 22 %. В пятёрку вошёл регион «Большого Дублина» и американские штаты Орегон и Айова, а также Шанхай с окрестностями. Из 20 основных рынков 13 расположены в США, 4 — в Азиатско-Тихоокеанском регионе и 3 — в Европе.

Доля рынков, не попавших в Топ-20, составляет ещё 18 %. В этом сегменте лучше показали себя Европа и Азиатско-Тихоокеанский регион. Преобладание в двадцатке регионов США объясняется тем, что почти 60 % мировых гиперскейлеров родом именно отсюда, включая четырёх крупнейших. Кроме того, на США приходится почти половина выручки от облачных сервисов. Прогнозируется, что в дальнейшем США и Китай продолжат доминировать, хотя страны вроде Малайзии, Индии и Испании постепенно укрепляют свои позиции.

Источник изображения: Synergy Research Group

Исследование основано на анализе показателей ЦОД для 19 крупнейших облачных и IT-компаний, предоставляющих различные интернет-сервисы, включая ключевых операторов SaaS, IaaS и PaaS-услуг, а также поисковые службы, социальные сети, представителей сектора электронной коммерции и игрового бизнеса. В числе лидеров — крупнейшие облачные провайдеры, включая Amazon, Microsoft и Google. Каждый из них к тому же имеет ЦОД почти во всех регионах мира. На «большую тройку» облаков приходится 60 % всей ёмкости ЦОД гиперскейл-класса. За ней следуют Meta✴, Alibaba, Tencent, Apple, ByteDance и «малые гиперскейлеры».

В Synergy Research Group сообщается о строительстве и планировании ещё 510 ЦОД на разных этапах. По словам главного аналитика Synergy Research Group Джона Динсдейла (John Dinsdale), на выбор места для инфраструктуры гиперскейлеров влияет ряд факторов, включая близость клиентов, лёгкость ведения дел, местные финансовые льготы, политическая стабильность и минимальные естественные угрозы. Именно поэтому крупнейшие экономические хабы вроде Лондона и Нью-Йорка по совокупности всех факторов могут уступать американской сельской глубинке в Орегоне, Айове и Небраске.

Хотя в ближайшие годы определяющие факторы для размещения могут остаться в основном прежними, приоритеты при выборе мест могут измениться в пользу развивающихся рынков вроде Юго-Восточной Азии и Латинской Америки. Недавно Synergy Research Group также сообщала, что на долю гиперскейлеров приходится уже более 40 % ёмкости всех дата-центров в мире.

Швейцарский стартап Apheros объявил о завершении раунда предварительного финансирования в размере $1,85 млн, который возглавила венчурная компания Founderful. Как сообщает стартап, полученные инвестиции позволят ему ускорить разработку и внедрение решений для жидкостных систем охлаждения на основе пенометалла.

Основанный в Цюрихе в прошлом году на базе подразделения университета ETH Zurich, Apheros разработал запатентованную технологию создания пенометалла с «беспрецедентными свойствами». Благодаря большой площади поверхности и низкой плотности новый материал имеет улучшенную теплопередачу и низкое сопротивление потоку, что делает его идеальным для высокопроизводительных систем охлаждения. Автор разработки — Джулия Карпентер (Julia Carpenter), соучредитель и генеральный директор Apheros, докторская диссертация которой в ETH Zurich как раз посвящена пенометаллу.

Источник изображений: Apheros

На веб-сайте компании сообщается, что микроструктура пенометалла Apheros «превосходно рассеивает тепло», в том числе в системах жидкостного охлаждения, включая двухфазные испарительные СЖО, с которыми решение компании может быть легко интегрировано уже сейчас. Кроме того, технология Apheros может пригодиться для создания электродов и катализаторов.

Компания уже создала первый продукт, в котором используется пеномедь. Как утверждается, это оптимальное решение для пассивного охлаждения, которое значительно превосходит текущие технологии как с точки зрения эффективности, так и с точки зрения экологического воздействия благодаря малоотходному методу производства.

Apheros протестировала свои продукты с неназванными технологическим партнёром и теперь стремится к коммерциализации своих решений. Компания рассчитывает в течение года масштабировать производство до нескольких тонн. При этом для оснащения с нуля или модернизации одного дата-центра потребуется несколько сотен килограмм пенометалла.