Компания Structure Research опубликовала рейтинг ведущих гиперскейлеров в мировом масштабе по объёму собственных построенных мощностей ЦОД (без учёта арендованных площадок). Отмечается, что крупнейшими игроками отрасли остаются AWS, Google Cloud, Meta✴ и Microsoft Azure, которые сообща контролируют почти 80 % от общей ёмкости.

Говорится, что гиперскейлеры строят собственные кампусы ЦОД по нескольким причинам. Это уменьшение количества поставщиков оборудования и услуг, кастомизированный дизайн, доступ к возобновляемым источникам энергии и более гибкие возможности масштабирования. В прошлом году расходы гиперскейлеров на IT-инфраструктуру выросли, но в этом году ожидается спад.

Источник изображения: Hugo Kurk / Alamy

Согласно данным Structure Research, которые приводит ресурс DataCenter Knowledge, в 2022 году общая ёмкость самостоятельно построенных гиперскейлерами площадок достигла 13,177 ГВт. Из них 78 % приходится на AWS, Google Cloud, Meta✴ и Microsoft Azure. Географически Северная Америка имеет самые большие ресурсы для самостоятельного создания ЦОД. Доминирующими гиперскейлерами в мировом масштабе, за исключением Латинской Америки, остаются Amazon, Google, Meta✴ и Microsoft, а также Apple, Oracle и OVH. В Китае лидируют Alibaba, Huawei, Baidu, Tencent и Kingsoft Cloud.

Рейтинг 12 крупнейших гиперскейлеров мира по итогам 2022 года выглядит следующим образом:

1. Google

• Операционная мощность — 3024 МВт;
• Планируемая мощность — 2905 МВт.

2. Microsoft

• Операционная мощность — 2176 МВт;
• Планируемая мощность — 3344 МВт.

3. Amazon

• Операционная мощность — 2480 МВт;
• Планируемая мощность — 2533 МВт.

4. Meta✴

• Операционная мощность — 1790 МВт;
• Планируемая мощность — 2533 МВт.

5. Apple

• Операционная мощность — 600 МВт;
• Планируемая мощность — 1403 МВт.

6. Alibaba

• Операционная мощность — 1350 МВт;
• Планируемая мощность — 487 МВт.

7. Huawei

• Операционная мощность — 494 МВт;
• Планируемая мощность — 192 МВт.

8. Baidu

• Операционная мощность — 608 МВт;
• Планируемая мощность — 36 МВт.

9. Tencent

• Операционная мощность — 487 МВт;
• Планируемая мощность — 152 МВт.

10. OVH

• Операционная мощность — 52 МВт;
• Планируемая мощность — 6 МВт.

11. Kingsoft Cloud

• Операционная мощность — 36 МВт;
• Планируемая мощность — 0 МВт.

12. Oracle

• Операционная мощность — 21 МВт;
• Планируемая мощность — 0 МВт.

Компания Google, согласно сообщению ресурса Datacenter Dynamics, намерена увеличить срок службы серверов и некоторого сетевого оборудования в своих дата-центрах примерно в полтора раза. Ожидается, что это позволит ежегодно экономить миллиарды долларов на обновлении инфраструктуры ЦОД.

Постоянные проблемы с цепочками поставок и макроэкономические сложности вынуждают гиперскейлеров искать пути сокращения расходов. Так, Meta✴ недавно объявила о ряде инициатив, которые помогут уменьшить затраты на дата-центры на $4 млрд. Речь в том числе о полном пересмотре архитектуры ЦОД. Кроме того, компания сообщила о продлении срока эксплуатации серверов до пяти лет вместо прежних четырёх с половиной: это даст экономию в $1,5 млрд.

Источник изображения: Google

Теперь об аналогичных мерах сообщила Google. По заявлениям компании, она завершила оценку жизненного цикла своего оборудования в январе нынешнего года и пришла к выводу, что может увеличить срок его эксплуатации до шести лет. Ранее оно использовалось в течение четырёх лет. В последнем отчёте TrendForce говорится, что Amazon, Google, Meta✴ и Microsoft снизят закупки серверов в 2023 году. Там же сообщается, что решения на базе новейших Intel Xeon Sapphire Rapids и AMD EPYC Genoa не удовлетворили Google по уровню TCO.

«Мы ожидаем, что [изменение] приведёт к сокращению амортизации примерно на $3,4 млрд за 2023 финансовый год для активов, находящихся в эксплуатации по состоянию на 31 декабря 2022-го», — говорится в финансовом отчёте Alphabet, материнского холдинга Google. Microsoft сообщила об увеличении срока службы серверов и сетевого оборудования с четырёх до шести лет в июле прошлого года: это позволит сэкономить $3,3 млрд. AWS эксплуатирует свои серверы в течение пяти–шести лет. Нужно отметить, что ещё до 2020-го все четыре гиперскейлера обновляли оборудование ориентировочно каждые три года.

Meta✴ кардинально сменила стратегию относительно расширения сети дата-центров, объяснив своё решение тем, что строительство объектов для ИИ будет дешевле и быстрее. В рамках новой политики было прекращено расширение ЦОД в Дании и приостановлены проекты в США, сообщил ресурс DatacenterDynamics (DCD). Глава компании Марк Цукерберг (Mark Zuckerberg) обещает, что 2023 год будет «годом эффективности», и собирается отказаться от неэффективных проектов, а также устранить часть менеджеров, ставших тормозом на пути к росту показателей.

До недавних пор компания утверждала, что расходы на ЦОД в любом случае не уменьшатся, несмотря на сокращение затрат по другим направлениям из-за убытков, связанных с разработкой метавселенной, проблемами в основном бизнесе, а также воздействием глобального экономического спада. Однако в ходе отчёта о результатах за IV квартал компания сообщила, что планирует более низкие капиталовложения в ИТ-инфраструктуру, включая строительство ЦОД.

Изображение: Meta✴

Если за минувший квартал компания потратила $9,2 млрд, «обусловленные инвестициями в серверы, центры обработки данных и сетевую инфраструктуру», то теперь вместо ранее запланированных $34–37 млрд компания собирается израсходовать по этой статье $30–33 млрд. «Снижение прогноза отражает наши обновлённые планы по сокращению затрат на строительство ЦОД в 2023 году, поскольку мы переходим к новой архитектуре ЦОД, которая является более экономичной и может поддерживать как ИИ, так и другие рабочие нагрузки», — заявила Meta✴.

ИИ-платформа Grand Teton (Источник: Meta✴)

Компания обещает, что «новая архитектура ЦОД будет дешевле и быстрее в строительстве, чем предыдущая». Meta✴ будет использовать «новый поэтапный подход», в рамках которого изначально будут строиться объекты с меньшей мощностью и меньшими первоначальными капитальными затратами, которые по необходимости можно развивать, быстро наращивая их мощность. Проще говоря, Meta✴ намерена использовать модульный способ строительства. Аналитики TrendForce отмечают, что вместе с Meta✴ затраты на оборудование снизят Amazon, Google и Microsoft.

Компания Cushman & Wakefield четвёртый год подряд проводит оценку рынков ЦОД по всему миру. Как сообщает InsideHPC, в последнем докладе 2023 Global Data Center Market Comparison указывается, что Портленд (Орегон, США) перескочил с десятого места в рейтинге ведущих рынков ЦОД сразу на второе. Аналитики оценили показатели 63 рынков с 1600 ЦОД по 13 критериям, от доступности ВОЛС, облачной доступности и размера рынка, до, например, политической ситуации в том или ином регионе.

Впервые Северная Вирджиния, традиционно занимавшая в докладах первое место, а теперь страдающая от локальных конфликтов, соседствует в рейтинге с Портлендом, который в прошлом году занимал десятое место, а в этом взлетел сразу на вторую позицию. Во многом это результат активности гиперскейлеров на местном субрынке в Хиллсборо. Теперь первая десятка выглядит следующим образом:

1. Северная Вирджиния;
2. Портленд;
3. Сингапур;
4. Гонконг;
5. Атланта;
6. Чикаго;
7. Кремниевая долина;
8. Даллас;
9. Финикс;
10. Сиэтл.

По ёмкости отдельных рынков в лидерах США, Китай и Великобритания (Источник: Cushman & Wakefield)

Примечательно, что большая часть ведущих рынков ЦОД, по мнению агентства, приходится на США, только две позиции из десяти занимают азиатские рынки. Взлёт Портленда в рейтинге свидетельствует о стремлении малых рынков к завоеванию лидирующих позиций в отрасли. Этому способствуют невысокие цены на электроэнергию и другие ресурсы, доступная земля, низкие экологические риски и другие факторы, включая льготы, вводимые властями на местах.

Источник: Cushman & Wakefield

В компании утверждают, что быстрое развитие ЦОД, начавшееся во время пандемии, продолжилось и в 2022 году, причём даже несмотря на общие проблемы в глобальной экономике и проблемы с ресурсами на некоторых крупнейших рынках. Гиперскейлеры, тем не менее, продолжают экспансию в новых регионах, при этом растёт их интерес ко «вторичным» и развивающимся рынкам, где условия для развития бизнеса сейчас весьма благоприятные.

Компания TrendForce скорректировала прогноз по росту поставок серверов в 2023 году в сторону уменьшения. Связано это с тем, что крупнейшие гиперскейлеры намерены сократить закупки оборудования из-за сложной макроэкономической ситуации и рыночных неопределённостей. Речь идёт об Amazon, Google, Meta✴ и Microsoft — вместе на них приходится до половины мировых поставок серверов. Изначально TrendForce прогнозировала, что в текущем году глобальные отгрузки серверов вырастут на 6,9 % по сравнению с 2022-м. Затем называлась цифра в 4,4 %, а теперь и вовсе говорится о прибавке на уровне 1,87 %.

Это также повлияет на сегмент серверной памяти DRAM — в первой четверти нынешнего года ожидается падение цен примерно на 20–25 % в квартальном исчислении. Столкнувшись с глобальными экономическими препятствиями, гиперскейлеры сократили объёмы закупок серверов на 2023 год и могут внести дальнейшие корректировки в сторону уменьшения. Аналитики говорят о снижении активности в сегменте электронной коммерции на фоне ослабления ограничений в связи с пандемией COVID-19, что также негативно влияет на закупки серверов. Кроме того, сокращение складских запасов в цепочках поставок происходит медленнее, чем ожидалось.

Изображение: Hyve Solutions

Meta✴ намерена уменьшить закупки серверов на 3,0 % по с равнению с 2022 годом, хотя ранее называлась цифра 0,5 %. Помимо экономических трудностей Meta✴ столкнулась с серьёзными препятствиями по развитию бизнеса в Европе. В частности, компания приостановила работы над двумя объектами в своём кампусе в Оденсе (Дания) из-за несоответствия региональным экологическим стандартам. Microsoft, как ожидается, намерена закупить на 13,4 % больше серверов по сравнению с прошлым годом, а не на 16,9 %, как планировалось ранее. Поскольку корпоративные заказчики сокращают расходы из-за неопределённых экономических перспектив, Microsoft может столкнуться с ограниченным ростом доходов от облачного бизнеса.

Google скорректировала объём закупок серверов с +7,5 % до +5,2 %. Говорится, что устройства на процессорах Intel Xeon Sapphire Rapids и AMD EPYC Genoa не оправдали ожиданий Google в отношении совокупной стоимости владения (TCO). Кроме того, может быть ограничен рост доходов компании от облачных сервисов. Наконец, AWS планирует увеличить закупки на 6,2 %, а не на 7,8 %, как говорилось ранее. Компания также может столкнуться с понизившимся спросом на облачные услуги. Кроме того, есть вероятность отказа от выпуска серверов на платформе Graviton 3 в пользу Graviton 4, что создаст определённые задержки в обновлении парка.

В 2022 году объём инвестиций в ИТ-инфраструктуру составил $700 млрд, отметила аналитическая компания Synergy Research. Из этой суммы на расходы гиперскейлеров приходится чуть менее трети (29 %), что гораздо больше их доли в общих затратах в 2016 году, равной 13 %. Доля в расходах на ИТ-инфраструктуру корпоративного сектора осталась примерно на том же уровне (29 %), а доля телекоммуникационных операторов упала за эти годы с 58 % до 42 %.

В исследовании Synergy Research сообщается, что с 2016 года капиталовложения в ИТ-инфраструктуру росли в среднем на 6 % в год. При этом затраты гиперскейлеров росли в среднем на 20 % в год, в то время как капвложения предприятий увеличивались ежегодно в среднем на 6 %, а затраты телекоммуникационных операторов остались на прежнем уровне. В 2022 году объём затрат на ИТ-инфраструктуру гиперскейлеров, включая расходы на сетевые коммутаторы, а также аппаратное и программное обеспечение для ЦОД, вырос на 9 % до $200 млрд. А капвложения операторов фиксированной и мобильной связи упали на 4 % до примерно $290 млрд в год, оставаясь на этом уровне последние 8 лет.

Больше всех среди телекоммуникационных компаний на ИТ-инфраструктуру израсходовали в прошлом году China Mobile, Deutsche Telekom, Verizon, AT&T, NTT и China Telecom. Расходы телекоммуникационных компаний были по-прежнему сильно ограничены из-за отсутствия заметного увеличения их доходов. Лидерами по затратам среди гиперскейров были Amazon, Google, Meta✴, Microsoft, Apple, Alibaba и ByteDance. Их доля в общих расходах неуклонно растёт, поскольку постоянно растущий спрос на облачные и другие цифровые сервисы, и их расширение приводят к ещё более значительным расходам.

Источник: Synergy Research

Капвложения предприятий восстановились за последние два года после периода затишья в 2019–2020 гг. В 2022 году их расходы выросли в годовом исчислении на 9 % до $210 млрд. Основными драйверами прироста были продолжающийся долгосрочный запрос на решения для совместной работы, увеличение расходов на безопасность сетей, рост корпоративных ЦОД и т.д. В некоторых сегментах на увеличение затрат повлиял рост цен, поскольку поставщики закладывали рост расходов из-за проблем с цепочкой поставок, перекладывая тем самым свои издержки на клиентов.

«Хорошей новостью для поставщиков оборудования и программного обеспечения является то, что общие расходы на ИТ-инфраструктуру будут продолжать неуклонно расти в течение следующих пяти лет», — сообщил Джон Динсдейл (John Dinsdale), главный аналитик Synergy Research. Исследование Synergy Research относительно меняющихся приоритетов предприятий в области инвестиций в ИТ-инфраструктуру было опубликовано вскоре после того, как некоторые рыночные наблюдатели спрогнозировали снижение темпов миграции в публичное облако или даже её приостановку в связи со стремлением компаний сократить расходы.

Talen Energy завершила строительство своего первого здания ЦОД в непосредственной близости от принадлежащей ей АЭС в штате Пенсильвания (США). Как сообщает DataCenter Dynamics, первая очередь ЦОД ёмкостью 48 МВт и площадью почти 28 тыс. м² готова принять первых клиентов. Площадь всего кампуса Cumulus Susquehanna составляет около 485 га, а итоговая мощность ЦОД составит около 475 МВт. Ожидается, что в кампусе разместятся гиперскейлеры и криптомайнинговые компани.

Мощности АЭС Susquehanna Steam Electric Station (2,5 ГВт) также можно дополнить «зелёными» солнечными электростанциями на 400+ МВт. Строительство двух объектов на территории, близкой к АЭС, было начато ещё в 2021 году. Для этого Talen Energy сформировала в 2020 году структуру Cumulus Growth для инвестиции в два типа деятельности: подразделение Cumulus Data отвечает за ЦОД для гиперскейлеров, а Cumulus Coin вместе с TeraWulf — за криптомайнинг. Talen обещает помочь клиентам добиться нулевых углеродных выбросов благодаря использованию «безуглеродной» платформы ЦОД в Пенсильвании.

Источник изображения: Cumulus

Это не единственная компания, реализующая проекты ЦОД, напрямую связанные с использованием атомной энергетики. Например, в прошлом году Microsoft подписала соглашение о покупке энергии (PPA) с канадской Ontario Power Generation, владеющей АЭС. Блокчейн-компания Standard Power, уже получающая энергию от Energy Harbor в Огайо (США), намерена построить 900-МВт кампус рядом с АЭС Beaver Valley (Пенсильвания, США). В России с 2018 года работает ЦОД «Калининский» на базе одноимённой АЭС в Тверской области.

Хотя бизнес-среда для деятельности ЦОД в американском штате Орегон считается весьма благоприятной, местные законотворцы подготовили проект, устанавливающий жёсткие экологические стандарты. Как сообщает DataCenter Dynamics, за нарушение новых правил предусмотрены санкции, значимые даже для гиперскейлеров. В законопроекте предусмотрены требования для потребляющих много энергии объектов по снижению выбросов парниковых газов с привязкой к объёмам использованного электричества.

Так, «базовый уровень выбросов» оценивается в 0,428 метрической тонны CO₂ на 1 МВт·ч. ЦОД и криптомайнеры должны снизить выбросы на 60 % в сравнении с этим уровнем к 2027 году, на 80 % — к 2030 году, на 90 % — к 2035 году. Наконец, к 2040 году выбросов не должно быть вовсе (эта же цель поставлена местным коммунальным службам). Законопроект предусматривает штраф в размере $12 тыс./день за каждый лишний МВт·ч, а также отмену налоговых льгот и другие санкции. Кроме того, операторы должны ежегодно отчитываться Департаменту качества окружающей среды Орегона.

Орегон. Источник изображения: Cristofer Maximilian/unsplash.com

Под удар потенциально попадают ЦОД Amazon, Apple, Google, Meta✴ и Twitter, давно обосновавшиеся в штате благодаря налоговым льготам, введённым ещё в 1980-е годы. По имеющимся данным, только Amazon, Apple, Facebook✴ и Google сэкономили $650 млн на подобных льготах. Правда, «налоговые каникулы» Google истекли в конце 2022 года, спустя 15 лет после их начала. По данным The Register, под исключение из общего правила попадают малые операторы.

Amazon является одним из главных «подозреваемых» — выбросы CO₂ на каждый МВт·ч с момента её прибытия в 2010 году на территорию обслуживания Umatilla Electric Cooperative выросли на 543 %. Компания отказалась прокомментировать законопроект и рассказывать о планах развития в регионе, но заявила, что к 2025 году намерена перейти на 100 % возобновляемую энергию, а сейчас её ЦОД имеют на 88 % меньший углеродный выброс, чем среднестатистический корпоративный дата-центр в США. Не исключено, что Amazon прибегнет к т.н. «зелёному камуфляжу», допускающему инвестиции в экопроекты в обмен на формальное признание снижения углеродных выбросов.

Компания Meta✴ намерена пересмотреть концепцию ряда проектов по созданию новых ЦОД с целью их адаптации под ИИ-нагрузки, сообщает DataCentre Dynamics. Это подразумевает расторжение контрактов с некоторыми нынешними подрядчиками и изменение сроков строительства дата-центров.

В начале февраля 2022 года сообщалось, что Meta✴ продолжит увеличивать инвестиции в ЦОД и сетевую инфраструктуру. В частности, компания намеревалась потратить €1 млрд на строительство дата-центра в Испании для обслуживания метавселенной. Позднее стало известно, что Meta✴ была вынуждена отказаться от планов по развёртыванию в Нидерландах крупнейшего в Европе кампуса ЦОД. Тем не менее, в отчёте за III квартал компания подтвердила намерение и далее инвестировать средства в развитие инфраструктуры.

Источник изображения: Meta✴

Теперь же говорится, что компания намерена кардинально изменить подход к строительству ряда новых дата-центров. Речь идёт об 11 проектах, находящихся на стадии разработки и планирования. Сообщается, что для поддержки масштабных ИИ-нагрузок требуется другой подход к архитектуре ЦОД, нежели тот, который использовался для поддержки работы обычных онлайн-сервисов Meta✴. Речь, в частности, идёт о применении СЖО для повышения энергетической эффективности и снижения уровня шума.

Meta✴ уже приостановила работы над двумя объектами в своем кампусе в Оденсе (Дания). Контракт с генеральным подрядчиком Aarsleff в рамках этого проекта расторгнут. Соответствующий договор стоимостью $343 млн был подписан 3 августа 2022 года с запланированным сроком исполнения в 2025 году. Уже были выполнены земляные и бетонные работы, а также проложены километры кабельных траншей. Как теперь сложится дальнейшая судьба проекта, не ясно. Но специалисты говорят, что Meta✴, вероятно, сосредоточит усилия на ЦОД нового поколения с жидкостным охлаждением.

UPD: Meta✴ временно приостановила начатое весной этого строительство ещё одного крупного дата-центра (83,6 тыс м²) в Темпле (Техас, США), сообщив, что проект отменён не будет, но дизайн ЦОД будет пересмотрен. Также компания остановила уже начатые работы по расширению кампуса ЦОД в Алабаме до 325 тыс. м² и строительство $800-млн ЦОД в Айдахо.

Аналитики DigiTimes Research обнародовали результаты исследования мирового рынка серверов: данный сегмент продолжает расти, в отличие от ПК-отрасли. Объясняется это развитием облачных инфраструктур и ЦОД на фоне пандемии и продолжающейся цифровой трансформации предприятий.

По оценкам, в 2022 году глобальные продажи серверов поднимутся примерно на 6,4 %, достигнув 18 млн штук. Росту рынка будут способствовать прежде всего ведущие операторы дата-центров, в том числе Amazon, Google, Meta✴ и Microsoft. В 2023-м прогнозируется увеличение поставок на 5 %, а итоговый результат превысит 19 млн единиц. Поставки серверов тайваньскими ODM-производителями продолжат расти: они увеличатся примерно с 15 млн единиц в 2021 году до 16 млн штук в 2022-м и 17 млн в 2023-м.

Говорится, что дефицит компонентов, ударивший по отрасли в 2021 году, начал ослабевать во второй половине 2022-го, а в следующем году его влияние станет ещё меньше. Ожидается хороший спрос в сегменте оборудования для периферийных вычислений. Наращивать мощности продолжат и крупнейшие гиперскейлеры.

В первой половине наступающего года начнутся массовые отгрузки серверов на платформах Intel Xeon Sapphire Rapids (Eagle Stream) и AMD EPYC Genoa, что будет стимулировать обновление парка систем в корпоративном сегменте и ЦОД в 2023–2024 гг. Продолжится развитие сегмента серверов с Arm-процессорами: над внедрением таких решений для высокопроизводительных систем работают Amazon, Ampere, NVIDIA и другие компании.

Суммарная доля четырёх крупнейших операторов облачных дата-центров в США (Amazon, Google, Meta✴ и Microsoft) в 2022 году достигнет 46 % в общей массе реализованных серверов против 43,1 % в 2021-м. В следующем году показатель поднимется до 47,5 %. Совокупная доля китайских серверных брендов, в число которых входят Inspur, Lenovo и Huawei, в 2021–2023 гг. останется на уровне 17–18 %.

В 2021 году доля процессоров Intel на мировом рынке серверов составляла немногим менее 85 %, а доля AMD превысила 11 %. Ещё около 3,5 % пришлось на Arm-решения. По итогам 2022 года, как ожидается, доля чипов Intel снизится до 77 %, а решений AMD поднимется свыше 15 %. Чуть меньше 7 % составят изделия Arm. В 2023-м доли прогнозируются на уровне соответственно 75 %, 17 % и 8 %.