Synergy Research Group опубликовала результаты нового исследования, согласно которому количество крупных дата-центров, управляемых гиперскейлерами, превысило в начале 2024 года отметку в 1000 штук. В конце 2023 года число таких ЦОД составляло 992 единицы.

Как отметили в Synergy Research Group, всего четыре года потребовалось для того, чтобы общая ёмкость ЦОД гиперскейлеров удвоилась, поскольку их количество растёт наряду с увеличением средней ёмкости дата-центра. По данным аналитической компании, на США по-прежнему приходится 51 % мировой ёмкости, измеряемой в МВт критической ИТ-нагрузки, а на Европу и Китай — около трети.

Источник: Synergy Research Group

Согласно прогнозу Synergy Research Group, общая ёмкость ЦОД гиперскейлеров в ближайшие четыре года вновь удвоится. Хотя ежегодно будет появляться около 120–130 ЦОД гиперскейлеров, рост ёмкости будет во всё большей степени будет обусловлен ещё большим увеличением мощности новых ЦОД. Основной причиной такого роста будет расширение использования технологий генеративного ИИ. У Synergy Research Group есть информация о 440 объектов, которые находятся на разных стадиях планирования, разработки или оснащения.

Исследование основано на анализе работы ЦОД 19 крупнейших мировых компаний, предоставляющих облачные и интернет-услуги, включая крупнейших операторов SaaS, IaaS, PaaS, поиска, социальных сетей, электронной коммерции и игр.

Больше всего ЦОД у ведущих провайдеров облачных услуг Amazon, Microsoft и Google. Помимо большого количества ЦОД в США, каждая из них также имеет дата-центры во многих странах по всему миру. В совокупности на эти компании приходится 60 % общей ёмкости ЦОД гиперскейлеров. За ними в рейтинге следуют Meta/Facebook, Alibaba, Tencent, Apple, ByteDance и другие менее крупные игроки.

Компания Gartner обнародовала скорректированный прогноз по глобальному рынку IT-технологий на 2024 год. Аналитики полагают, что отрасль покажет рост приблизительно на 8,0 %. Если в 2023-м затраты составили $4,69 трлн, то в нынешнем году они достигнут $5,06 трлн.

Аналитики учитывают расходы на дата-центры, электронные устройства, ПО корпоративного класса, IT-сервисы и телекоммуникационные сервисы. В 2023 году суммарный рост затрат в обозначенных сегментах оказался на отметке 3,8 % по отношению к предыдущему году. В 2024-м темпы роста увеличатся, что объясняется, в частности, стремительным внедрением генеративного ИИ.

По направлению ЦОД специалисты Gartner прогнозируют увеличение расходов с $236,18 млрд в 2023 году до $259,68 млрд в 2024-м. Таким образом, ожидается рост примерно на 10,0 %. Говорится, что в 2024 году на системы для задач ИИ придётся около 60 % всех расходов гиперскейлеров на закупку серверов. Ещё $1,04 трлн принесёт ПО корпоративного класса. Годом ранее на этот сектор пришлось $914,69 млрд. Рост в годовом исчислении ожидается на уровне 13,9 %.

Источник изображения: Gartner

По направлению IT-сервисов затраты, по мнению экспертов Gartner, поднимутся на 9,7 % — с 1,39 трлн до $1,52 трлн. Телекоммуникационные сервисы покажут прибавку на уровне 4,3 % — с $1,49 трлн до $1,55 трлн. В сфере электронных устройств затраты достигнут $687,94 млрд против $664,03 млрд в 2023 году, что соответствует росту на 3,6 %.

Microsoft вынашивает масштабные планы для рынка дата-центров. Согласно закрытым документам, поступившим в распоряжение Business Insider, компания связывает наращивание активности с бумом ИИ-технологий и намерена кратно увеличить ёмкость своих новых ЦОД ещё до конца текущего календарного года.

С июля 2023 года (начала текущего фискального года), Microsoft ввела в эксплуатацию новые ЦОД на 500 МВт. Судя по попавшим в руки журналистов документам команды Microsoft Cloud Operations and Innovation, в I половине текущего фискального года общая ёмкость ЦОД Microsoft преодолела отметку 5 ГВт.

Бум на рынке ЦОД подогревается развитием генеративных ИИ-систем, а Microsoft является одним из лидеров новой отрасли благодаря сотрудничеству со стартапом OpenAI и использованием её большой языковой модели (LLM) GPT-4. В целом на тренировку и отладку разных моделей уходит огромное количество электроэнергии и вычислительных ресурсов с использованием тысяч ИИ-ускорителей.

Источник изображения: American Public Power Association/unsplash.com

По мнению экспертов, имеющиеся у Microsoft 5 ГВт полностью освоены — это сопоставимо с мощностями всего Гонконга или Португалии. Тем не менее, компания не намерена останавливаться на достигнутом. Во II половине текущего фискального года (до середины 2024-го календарного) компания намерена добавить вдвое большую ёмкость новых ЦОД (1 ГВт). В I половине 2025 фискального года (до конца 2024-го) — втрое большую (1,5 ГВт). Другими словами, каждый месяц IT-гигант должен добавлять порядка 200 МВт.

Как считает экспертное сообщество, компания или рассчитывает на огромный спрос в будущем или просто хочет «застолбить» доступную энергию, которая иначе может достаться конкурентам. С учётом роста углеродных выбросов и водопотребления, к оператору ЦОД возникает у экспертов ряд вопросов относительно экоустойчивости проектов. В самой Microsoft информацию не комментируют.

Сообщается, что компания закупила во II половине прошлого года «рекордное количество» ускорителей для своих ИИ-проектов, более чем вдвое увеличив установленное количество, хотя точных значений не называется. В этот период число использованных ускорителей увеличилось в 39 ЦОД, так что теперь у компании есть ИИ-кластеры в 98 локациях по всему миру.

Источник изображения: Microsoft

В недавнем описании вакансии директора по управлению активами также упоминается, что компания заключила сделки о приобретении 20 ГВт возобновляемой энергии. На реализацию таких проектов иногда уходят годы, поэтому соглашения о покупке энергии (PPA) нередко заключаются на 10 лет. Например, на период до 2032 года Microsoft намерена закупить посредством PPA 9,5 ГВт у солнечных электростанций Qcells — приблизительно по 1,5 ГВт ежегодно. Заодно компания развивает направление малых модульных реакторов (SMR) и подписала соглашение с Helion Energy о закупке электричества с термоядерных реакторов к 2028 году.

Также Microsoft активно инвестирует в захват углерода из атмосферы, в своё время пообещав к 2030 году стать «углеродно-нейтральной», а в последующие годы — «углеродно-отрицательной». Так, компания заплатила ClimeWorks для удаления из атмосферы 11,4 тыс. т углерода, а также Running Tide для устранения 12 тыс. т, Carbon Streaming — 10 тыс. т ежегодно и Heirloom — 300 тыс. т. Rомпания и сама патентует технологии удаления углекислоты из атмосферы, в частности — с помощью «мусорного» тепла ЦОД.

Компания TrendForce обнародовала прогноз по мировому рынку серверов на 2024 год. Аналитики полагают, что в штучном выражении продажи незначительно увеличатся по сравнению с предыдущим годом, а основным драйвером отрасли останется ИИ. Отмечается, что из-за высокого уровня инфляции и сокращающихся капитальных затрат в корпоративном секторе спрос на серверы пока не вернулся к показателям, наблюдавшимся до начала пандемии COVID-19.

Источник изображения: Supermicro

В 2023 году отгрузки систем зафиксированы на отметке примерно 13,4 млн единиц — это на 6 % меньше по отношению к 2022-му. В 2024 году, полагают специалисты TrendForce, поставки поднимутся на 2 %, оказавшись на отметке 13,7 млн штук. При этом на долю ИИ-серверов придётся около 12,1 %. Практически все крупные игроки увеличили срок службы серверов общего назначения и теперь вкладываются именно в ИИ-решения.

Ожидается, что Foxconn продемонстрирует самые высокие темпы роста — около 5–7 % в годовом исчислении. Этому будут способствовать заказы на платформы Dell 16G, AWS Graviton 3/4, Google на базе AMD EPYC Genoa и Microsoft Gen9. В сегменте ИИ Foxconn получила заявки от Oracle и AWS.

Inventec, согласно прогнозам TrendForce, займёт второе место по темпам роста с показателем до 3 %. Говорится о заказах на системы AWS Graviton 3/4, а также на серверы Google с чипами EPYC Milan и Genoa. А во II половине текущего года Google начнёт внедрять серверы на базе EPYC Bergamo. Помимо заказов от североамериканских гиперскейлеров, ожидается высокий спрос со стороны китайских клиентов, таких как ByteDance. По оценкам, поставки ИИ-серверов Inventec достигнут 10–15 % от общемирового объёма отгрузок.

Источник изображения: Supermicro

Темпы роста продаж Quanta Computer и Supermicro останутся на уровне 2023 года. Quanta сталкивается с рядом неопределённостей, наиболее значимыми из которых являются существенное сокращение заказов на серверы общего назначения у Meta✴ и снижение спроса на платформы Intel со стороны Google, которая сместила фокус на решения AMD. Ожидается, что Quanta нарастит поставки ИИ-серверов благодаря заказам от североамериканских облачных провайдеров, включая Microsoft Azure и AWS.

Вместе с тем Supermicro сосредоточится на развитии ИИ-сегмента. Однако аналитики прогнозируют затишье по направлению серверов общего назначения. Высокопроизводительные ИИ-серверы Supermicro применяются в том числе в дата-центрах CoreWeave и Tesla. Компания также активно расширяет сотрудничество с Apple и Meta✴.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Американская инвесткомпания Blackstone считает сделку по покупке в 2021 году оператор ЦОД QTS Realty Trust одной из лучших инвестиций за всю свою историю, но для роста этого бизнеса потребуются громадные ресурсы. Сейчас Blackstone финансирует развитие огромной инфраструктуры QTS, пишет Bloomberg.

При этом Blackstone придерживается своей классической стратегии в сфере недвижимости, крупнейшей части её империи стоимостью $1 трлн. Фирма определяет, на каких рынках нарастает дефицит недвижимости, и направляет миллиарды долларов на строительство объектов для сдачи в аренду. Эту модель она применяет на всех направлениях, от складов до загородных домов. В данном случае наблюдается дефицит в объектах для поддержания цифровой трансформации. Причём после заключения сделки спрос на вычислительные мощности резко вырос и подогревается ажиотажем на рынке ИИ.

Изображение: QTS

QTS уже владеет недвижимостью стоимостью $15 млрд, тогда как на момент её приобретения у неё были объекты всего на $1 млрд. По данным аналитиков DatacenterHawk, она уже стала крупнейшим в Северной Америке поставщиком мощностей ЦОД (в МВт по контрактам), тогда как всего три года назад занимала 4-е место. Стоимость активов компании с момента её приобретения выросла до $25 млрд, а численность персонала — до 1000 человек.

Конечно, при развитии сети ЦОД компания сталкивается с проблемами, такими как дефицит электроэнергии и воды. На фоне роста популярности ИИ гиперскейлеры операторы ЦОД довели ежемесячную арендную ставку до $100/кВт, хотя три года назад в некоторых регионах она составляла $70–80/кВт. По словам брокеров, на ключевых рынках ставка может доходить и до $150/кВт. QTS же рассчитывает довести общую ёмкость своих объектов до 6 ГВт.

Интересы Blackstone и QTS охватывают не только рынок США, но и другие регионы, включая Европу, где они готовы приобретать конкурентов, чтобы расширить своё присутствие. В декабре 2023 года Blackstone объединила усилия с Digital Realty Trust Inc., чтобы построить кампусы ЦОД стоимостью $7 млрд во Франкфурте, Париже и Северной Вирджинии (США).

Потребление электроэнергии дата-центрами в США должно достигнуть 35 ГВт уже к концу текущего десятилетия — почти вдвое выше в сравнении с показателями 2022 года. Как сообщается в докладе экспертов компании Newmark, специализирующейся на коммерческой недвижимости, драйвером роста энергопотребления должен стать повышенный спрос на ИИ и системы машинного обучения.

Дополнительно в докладе упоминается о дефиците свободного места в ЦОД Северной Америки, на ключевых рынках доступно буквально по несколько процентов мощностей. Более того, ситуация только усугубится благодаря облачным ИИ-сервисам гиперскейлеров — именно они несут ответственность за то, что в ближайшие годы взлетят потребности ЦОД в электроэнергии. Ещё летом компания CBRE сообщала, что нехватка электроэнергии становится главным препятствием к развитию рынка ЦОД.

Источник изображения: Renan Kamikoga/unsplash.com

Хотя гиперскейлерам в современных дата-центрах требуется «всего» 10–14 кВт на стойку, для ИИ-платформ этот показатель вырастет до 40–60 кВт из-за применения ресурсоёмких ускорителей. Это означает, что среднее потребление мощности ЦОД в США, вероятно, уже к 2030 году достигнет 35 ГВт, тогда как 2022 году оно было на уровне лишь 17 ГВт. В докладе подчёркивается, что внедрение ИИ-систем требует не только больше электроэнергии, но и более мощных систем охлаждения, которых в современной инфраструктуре ЦОД просто нет, что и служит катализатором роста рынка.

Источник изображения: Newmark

Существующие рынки с трудом справляются со спросом. На крупнейшем в мире рынке Северной Вирджинии ёмкостью 3400 МВт (впрочем, тут данные разнятся), где компактно размещены множество дата-центров, доступность мощностей составляет всего 0,2 % — при этом жители региона уже сегодня выступают категорически против новых проектов. Прочие популярные среди клиентов территории также сталкиваются с аналогичными вызовами. В мае уже сообщалось, что в североамериканских ЦОД буквально заканчиваются места. Впрочем, строительство ведётся всё активнее каждый год.

Источник изображения: Newmark

Имеются и другие проблемы. По данным Newmark, количество сделок на рынке резко снизилось — отчасти из-за роста процентных ставок, а также из-за крупных слияний и поглощений последних лет, что привело к сокращению возможностей масштабирования активов. И, конечно, играет важную роль расхождение взглядов покупателей и продавцов на оценку дата-центров, по мнению последних она значительно превышает затраты на строительство.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Synergy Research Group прогнозирует, что средняя ёмкость дата-центров гиперскейл-уровня в следующие 6 лет может вырасти почти втрое. Как сообщает пресс-служба компании, хотя критические нагрузки гиперскейлеров давно растут, развитие ИИ-технологий обеспечило отрасли дополнительный импульс и скоро потребуются значительно более производительные ЦОД.

По мере того как растёт средняя нагрузка на отдельные ЦОД, число эксплуатируемых дата-центров тоже будет увеличиваться, а уже существующие объекты подвергнут модернизации. В результате общая ёмкость вырастет приблизительно в 3 раза.

Исследование Synergy основано на оценке площадей ЦОД и деятельности 19 крупнейших компаний, предоставляющих облачные или интернет-сервисы. При этом компании должны соответствовать критериям Synergy, чтобы быть признанными операторами-гиперскейлерами, представляющими SaaS, IaaS или PaaS, поисковые службы, социальные сети, площадки для игр и электронной коммерции.

Источник изображения: Microsoft

По данным на середину 2023 года эти компании управляли 926 ЦОД по всему миру. Известно о планах строительства ещё 427 объектов, на чём и основаны прогнозы компании. Специфика в отдельных регионах может отличаться, но в целом общее количество ЦОД за последние пять лет удвоилось. При этом влияние сферы ИИ заключается в первую очередь не в том, что число дата-центров растёт и будет расти примерно на сто в год, а в росте энергопотребления этих объектов.

Источник изображения: Synergy Research Group

По мере того как число ускорителей в ЦОД гиперскейлеров продолжает расти в связи с развитием ИИ-систем, плотность мощности задействованных стоек тоже должна вырасти, что в перспективе должно привести гиперскейлеров к пересмотру архитектуры ЦОД и планов их ввода в эксплуатацию.

Еврокомиссия провела опрос с участием компаний, бизнес-ассоциаций, НКО, исследовательских институтов, граждан и даже структур и лиц за пределами Евросоюза. Как сообщает The Register, идея заставить IT-гигантов платить за использование сетей связи не особенно интересна опрошенным, но за некоторыми важными исключениями.

Тема стала предметом дискуссий после того, как соответствующие правила ввели в Южной Корее. Европейские операторы связи лоббируют такие же платежи под предлогом того, что строительством и обслуживанием сетей занимаются сами операторы, а основную прибыль от них получают совсем другие компании — например, Google и Netflix, поставляющие контент. Вместе с тем гиперскейлеры активно строят собственные трансокеанские и трансконтинентальные сети связи, вытесняя таким образом крупных магистральных провайдеров.

Источник изображения: Oliver Cole/unsplash.com

В целом, операторы жалуются на то, что гиперскейлеры зарабатывают намного больше самих операторов, хотя никогда не смогли бы добиться таких успехов, если бы не развитая инфраструктура широкополосных сетей связи. Поэтому операторы считают, что IT-гиганты должны отчислять средства на строительство и обслуживание растущих сетей.

Результаты опроса отражают мнение большинства опрошенных, но какой будет реальная политика Евросоюза в этом вопросе, остаётся только догадываться. Подчёркивается, что идею заставить платить поставщиков контента поддерживают преимущественно телеком-операторы, в то время как большинство других опрошенных считает, что такие идеи не будут работать и даже помешают инновациям. По мнению некоторых экспертов, подобные попытки являются попыткой в том или ином виде добиться субсидирования сетей связи и увеличения прибылей. Эксперты призывают найти другие способы ускорить построение сетевой инфраструктуры.

Фото: Lars Kienle / Unsplash

В документе резюмируется, что респонденты в целом уверены в том, что государственное финансирование будет способствовать и росту инвестиций вообще. Также опрошенные поддерживают объединение имеющейся инфраструктуры в единую базовую сеть 5G, что в следующие пять лет может принести €200–300 млн. Кроме того, опрошенные поддерживают «более гармоничное» управление спектром, что позволит «разблокировать рыночный потенциал» и легче внедрять трансграничные сервисы, а также стимулировать инвестиции и инновации.

Опрос позволяет сделать и другие выводы. Например, респонденты сходятся в том, что сетевая виртуализация, пограничные облачные сервисы, ИИ и открытые сети окажут важное влияние на сектор электронных коммуникаций. Эти технологии будут востребованы в основанных на программных и облачных решениях сетях, работающих с гигабитными, а со временем и петабитными скоростями. Немаловажно, что в документе рассматривается необходимость замены «вендоров с высоким уровнем риска» — другими словами, китайских Huawei и ZTE.