Потребление электроэнергии дата-центрами в США должно достигнуть 35 ГВт уже к концу текущего десятилетия — почти вдвое выше в сравнении с показателями 2022 года. Как сообщается в докладе экспертов компании Newmark, специализирующейся на коммерческой недвижимости, драйвером роста энергопотребления должен стать повышенный спрос на ИИ и системы машинного обучения.

Дополнительно в докладе упоминается о дефиците свободного места в ЦОД Северной Америки, на ключевых рынках доступно буквально по несколько процентов мощностей. Более того, ситуация только усугубится благодаря облачным ИИ-сервисам гиперскейлеров — именно они несут ответственность за то, что в ближайшие годы взлетят потребности ЦОД в электроэнергии. Ещё летом компания CBRE сообщала, что нехватка электроэнергии становится главным препятствием к развитию рынка ЦОД.

Источник изображения: Renan Kamikoga/unsplash.com

Хотя гиперскейлерам в современных дата-центрах требуется «всего» 10–14 кВт на стойку, для ИИ-платформ этот показатель вырастет до 40–60 кВт из-за применения ресурсоёмких ускорителей. Это означает, что среднее потребление мощности ЦОД в США, вероятно, уже к 2030 году достигнет 35 ГВт, тогда как 2022 году оно было на уровне лишь 17 ГВт. В докладе подчёркивается, что внедрение ИИ-систем требует не только больше электроэнергии, но и более мощных систем охлаждения, которых в современной инфраструктуре ЦОД просто нет, что и служит катализатором роста рынка.

Источник изображения: Newmark

Существующие рынки с трудом справляются со спросом. На крупнейшем в мире рынке Северной Вирджинии ёмкостью 3400 МВт (впрочем, тут данные разнятся), где компактно размещены множество дата-центров, доступность мощностей составляет всего 0,2 % — при этом жители региона уже сегодня выступают категорически против новых проектов. Прочие популярные среди клиентов территории также сталкиваются с аналогичными вызовами. В мае уже сообщалось, что в североамериканских ЦОД буквально заканчиваются места. Впрочем, строительство ведётся всё активнее каждый год.

Источник изображения: Newmark

Имеются и другие проблемы. По данным Newmark, количество сделок на рынке резко снизилось — отчасти из-за роста процентных ставок, а также из-за крупных слияний и поглощений последних лет, что привело к сокращению возможностей масштабирования активов. И, конечно, играет важную роль расхождение взглядов покупателей и продавцов на оценку дата-центров, по мнению последних она значительно превышает затраты на строительство.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Synergy Research Group прогнозирует, что средняя ёмкость дата-центров гиперскейл-уровня в следующие 6 лет может вырасти почти втрое. Как сообщает пресс-служба компании, хотя критические нагрузки гиперскейлеров давно растут, развитие ИИ-технологий обеспечило отрасли дополнительный импульс и скоро потребуются значительно более производительные ЦОД.

По мере того как растёт средняя нагрузка на отдельные ЦОД, число эксплуатируемых дата-центров тоже будет увеличиваться, а уже существующие объекты подвергнут модернизации. В результате общая ёмкость вырастет приблизительно в 3 раза.

Исследование Synergy основано на оценке площадей ЦОД и деятельности 19 крупнейших компаний, предоставляющих облачные или интернет-сервисы. При этом компании должны соответствовать критериям Synergy, чтобы быть признанными операторами-гиперскейлерами, представляющими SaaS, IaaS или PaaS, поисковые службы, социальные сети, площадки для игр и электронной коммерции.

Источник изображения: Microsoft

По данным на середину 2023 года эти компании управляли 926 ЦОД по всему миру. Известно о планах строительства ещё 427 объектов, на чём и основаны прогнозы компании. Специфика в отдельных регионах может отличаться, но в целом общее количество ЦОД за последние пять лет удвоилось. При этом влияние сферы ИИ заключается в первую очередь не в том, что число дата-центров растёт и будет расти примерно на сто в год, а в росте энергопотребления этих объектов.

Источник изображения: Synergy Research Group

По мере того как число ускорителей в ЦОД гиперскейлеров продолжает расти в связи с развитием ИИ-систем, плотность мощности задействованных стоек тоже должна вырасти, что в перспективе должно привести гиперскейлеров к пересмотру архитектуры ЦОД и планов их ввода в эксплуатацию.

Еврокомиссия провела опрос с участием компаний, бизнес-ассоциаций, НКО, исследовательских институтов, граждан и даже структур и лиц за пределами Евросоюза. Как сообщает The Register, идея заставить IT-гигантов платить за использование сетей связи не особенно интересна опрошенным, но за некоторыми важными исключениями.

Тема стала предметом дискуссий после того, как соответствующие правила ввели в Южной Корее. Европейские операторы связи лоббируют такие же платежи под предлогом того, что строительством и обслуживанием сетей занимаются сами операторы, а основную прибыль от них получают совсем другие компании — например, Google и Netflix, поставляющие контент. Вместе с тем гиперскейлеры активно строят собственные трансокеанские и трансконтинентальные сети связи, вытесняя таким образом крупных магистральных провайдеров.

Источник изображения: Oliver Cole/unsplash.com

В целом, операторы жалуются на то, что гиперскейлеры зарабатывают намного больше самих операторов, хотя никогда не смогли бы добиться таких успехов, если бы не развитая инфраструктура широкополосных сетей связи. Поэтому операторы считают, что IT-гиганты должны отчислять средства на строительство и обслуживание растущих сетей.

Результаты опроса отражают мнение большинства опрошенных, но какой будет реальная политика Евросоюза в этом вопросе, остаётся только догадываться. Подчёркивается, что идею заставить платить поставщиков контента поддерживают преимущественно телеком-операторы, в то время как большинство других опрошенных считает, что такие идеи не будут работать и даже помешают инновациям. По мнению некоторых экспертов, подобные попытки являются попыткой в том или ином виде добиться субсидирования сетей связи и увеличения прибылей. Эксперты призывают найти другие способы ускорить построение сетевой инфраструктуры.

Фото: Lars Kienle / Unsplash

В документе резюмируется, что респонденты в целом уверены в том, что государственное финансирование будет способствовать и росту инвестиций вообще. Также опрошенные поддерживают объединение имеющейся инфраструктуры в единую базовую сеть 5G, что в следующие пять лет может принести €200–300 млн. Кроме того, опрошенные поддерживают «более гармоничное» управление спектром, что позволит «разблокировать рыночный потенциал» и легче внедрять трансграничные сервисы, а также стимулировать инвестиции и инновации.

Опрос позволяет сделать и другие выводы. Например, респонденты сходятся в том, что сетевая виртуализация, пограничные облачные сервисы, ИИ и открытые сети окажут важное влияние на сектор электронных коммуникаций. Эти технологии будут востребованы в основанных на программных и облачных решениях сетях, работающих с гигабитными, а со временем и петабитными скоростями. Немаловажно, что в документе рассматривается необходимость замены «вендоров с высоким уровнем риска» — другими словами, китайских Huawei и ZTE.

Инвестирующая в недвижимость и управляющая соответствующими активами американская Pimco, имеющая немало активов в Европе, основала компанию Apto для работы на европейском рынке. Как сообщает DataCenter Dynamics, новый бизнес займётся строительством и управлением ЦОД гиперскейл-класса, а также будет управлять уже имеющимися дата-центрами Pimco.

Главой Apto выбран Рассел Пул (Russell Poole), ранее возглавлявший британское подразделении Equinix и пришедший туда ещё в 2007 году. По его словам, ключевой миссией Apto является быстрый и беспрепятственный выход на рынки, которые будут формировать будущий спрос в Европе. Опыт и компетенции Pimco в области недвижимости, а также доступ к капиталам позволят сотрудничать с ведущими мировыми гиперскейлерами, намеренными возглавить новую волну цифровизации европейской экономики.

Источник изображения: Pimco

Кроме того, к Apto уже присоединились бывшие специалисты и топ-менеджеры Digital Realty и Interxion, AWS и Equinix. Apto намерена обеспечить гиперскейлерам необходимые мощности и обещает строить их в наиболее востребованных такими провайдерами местах. Apto заявляет, что имеет проверенные планы проектирования, позволяющие избежать препятствий при получении одобрения регуляторов и быстро реализовать проекты, сохраняя высокий уровень их качества.

Проект Open19 объявил о проведении ребрендинга и трансформации в структуру Sustainable and Scalable Infrastructure Alliance (SSIA). В рамках реорганизации председатель правления Open19 Закари Смит (Zachary Smith) уйдёт с занимаемой должности.

Инициатива Open19 была анонсирована в 2016 году социальной сетью LinkedIn (заблокирована на территории РФ за нарушение правил хранения персональных данных российских пользователей). Проект нацелен на снижение стоимости владения оборудованием и оптимизацию энергозатрат. Вместе с тем он не настолько широко распространён как OCP (Open Compute Project).

Источник изображения: SSIA

В официальном заявлении говорится, что инициатива Open19 ориентирована на создание открытого стандарта, подходящего под любой 19″ серверный шкаф. В 2021 году организация Open19 присоединилась к Linux Foundation, крупнейшей в мире экосистеме open source. На фоне развития проекта Open19 использование нового бренда и формирование альянса SSIA, как ожидается, поможет ускорить внедрение инноваций в дата-центрах и на периферии.

Говорится, что после трансформации господин Смит продолжит активно участвовать в деятельности SSIA. Вместе с тем в должность председателя правления альянса вступит технический директор Equnix Май Труонг (My Truong). Он помогает в развитии спецификации Open19 V2, которая включает в себя стандарт жидкостного охлаждения, собственное решение питания на 48 В и другие технологии.

Компания ChinData, которая скоро перейдёт в полную собственность Bain Capital, представила набор полнофункциональных модульных продуктов для крупных дата-центров. По данным DataCenter Dynamics, он включает всевозможные элементы, от интегрированных систем энергоснабжения до готовых зданий.

Новые продукты представлены в ходе мероприятия Data Center New Technology Development Forum на конференции 2023 China Computing Conference в Китае. В компании подчёркивают, что продукты предназначены для удовлетворения спроса крупных строителей ЦОД в новую эпоху генеративного ИИ (AIGC).

Значительная часть применяемых технологий поставляется партнёрами. Так, в прошлом году ChinData представила «первую в мире безводную систему охлаждения», которая на поверку оказалось решением Vertiv Liebert DSE для фрикулинга. В этом году речь зашла о безмасляных компрессорах на магнитной подушке, которые, похоже, тоже уходят корнями к Vertiv. В случае с ChinData речь идёт о двухфазной системе охлаждения X-Cooling Maglev на таких компрессорах. Также применяются и другие технологии охлаждения, за управление которыми отвечает специальный ИИ.

Источник изображения: ChinData

Модульная система X-PrePower 3.0 включает блоки питания и распределения энергии с эффективностью 98,5 %. В ChinData подчеркнули, что такие блоки выгоднее немодульных и занимают на 20 % меньше места. Более того, время доставки снижается с двух месяцев до одной недели. Наконец, платформа Kunpeng обеспечивает эксплуатацию, управление, мониторинг и контроль новых модульных решений.

В итоге новый комплекс решений позволяет формировать стойки мощностью до 35 кВт. Упрощённая конструкция с повышенной надёжностью, по данным компании, способна обеспечить годовой показатель Cooling Load Factor (CLF) на уровне 0,08 на севере Китая и 0,15 в Малайзии.

По оценкам аналитиков Synergy Research Group, к концу II квартала 2022 года число дата-центров гиперскейлеров превысило 800 шт., а к концу 2026 года их станет в полтора раза больше. Причём расти будет не только количество таких ЦОД, но и их мощность. При этом 53 % ёмкости ЦОД гиперскейлеров приходится на США, а оставшаяся доля практически поровну поделена между Европой, Китаем и остальным миром.

Наиболее крупные игроки на этом рынке — «большая тройка» облачных провайдеров (Amazon, Google, Microsoft). У каждой из этих компаний имеется более 130 дата-центров, причем не менее 25 в каждом из трёх основных регионов, Североамериканском, Азиатско-Тихоокеанском и Европейском. По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. Всего же в исследовании Synergy Research Group учитывались дата-центры 19 крупнейших компаний, оказывающих облачные и иные интернет-услуги.

Источник: Synergy Research Group

По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. При этом, как и прежде, более трети мощностей в США приходится на один-единственный штат — Вирджинию, которая обгоняет по этому показателю Европу и Китай. Здесь находится так называемая Аллея дата-центров, охватывающая округи Лаудон (Loudoun), Принс-Уильям (Prince William) и Фэрфакс (Fairfax). ЦОД в основном концентрируются вокруг городов Эшберн (Ashburn), Стерлинг (Sterling), Манассас (Manassas) и Шантийи (Chantilly).

Источник: Cushman & Wakefield Research

Суммарная ёмкость ЦОД в штате достигла 1,7 ГВт. В частности, Amazon именно здесь размещает значительную часть своих ЦОД. Другими крупными игроками на локальном рынке являются Microsoft, Meta✴, Google, ByteDance. Столь привлекательной для операторов ЦОД Вирджиния стала в силу доступности площадей и энергии, развитой инфраструктуры, а также особенностей местного законодательства, в том числе налоговых послаблений. Правда, теперь местные жители жалуются на «катастрофический шум» от дата-центров, а возможностей энергосети стало не хватать.

Что касается других регионов, то в Европе ведущими рынками для гиперскейлеров остаются Ирландия и Нидерланды, где в последнее время также наметился кризис — обе страны больше не рады крупным игрокам, которые один за другим отменяют или приостанавливают проекты по созданию и развитию ЦОД. Китайский рынок остаётся относительно изолированным, поскольку он включает по большей части дата-центры местных IT-гигантов: Alibaba, Tencent и Baidu. В целом же аналитики прогнозируют, что в течение следующих пяти лет важность ключевых на текущий момент рынков ЦОД несколько снизится.

Жители Северной Вирджинии всё более и более недовольны распространению дата-центров гиперскейл-класса и готовы активно противостоять их строительству. По данным DataCenter Dynamics, вслед за жителями округа Принс-Уильям (Prince William), жалующихся на невыносимый уровень шума ЦОД Amazon, обитатели округа Фокир (Fauquier) потребовали от властей запретить строительство дата-центра той же компании, которая за последний десяток лет вложила в местные ЦОД более $35 млрд.

Примечательно, что Северная Вирджиния десятилетиями является едва ли не крупнейшим хабом для строительства дата-центров в мире, последовательно привлекающим новые компании, объекты и инвестиции. Изначально ЦОД концентрировались преимущественно в округе Лаудон, а теперь распространяются на территорию округов Калпепер (Culpeper), Фокир и Принс-Уильям, жители которых начали вести организованную борьбу с инициативами IT-гигантов и местных властей.

Фото: Taylor Vick / Unsplash.com

В наиболее «пострадавшем» округе Лаудон предложили новые правила зонирования для дата-центров, определяющих, где будущие ЦОД можно строить так, чтобы не побеспокоить местных жителей. Кроме того, предложено пересмотреть экологические стандарты строительства и допустимого уровня шума. Ожидается, что в определённых местах будет прекращено и одобрение строительства ЦОД в ускоренном порядке.

Жители округа Калпепер подали в суд, требуя аннулировать разрешение на перезонирование и развитие ЦОД Amazon. В округе Фокир Amazon уже купила более 16 га земли, подала заявку на строительство нового дата-центра и договорилась с местной энергосбытовой компанией Dominion Energy. Изначально местные жители протестовали против строительства 230-кВ линий электропередач над их домами, но потом поняли, что они вообще не понадобятся, если дата-центра не будет.

Местных жителей беспокоит не только экология и комфортность окружающей среды, но и экономика — скупка земли для ЦОД поднимает её цены. Кроме того, всё чаще задаётся вопрос, почему налоги для жителей не падают по мере развития дата-центров. О полном отказе от ЦОД речь не идёт, поскольку они обеспечивают около трети местных налоговых поступлений.

За прошедшие 10 лет облачный провайдер AWS потратила $35 млрд на строительство инфраструктуры на севере штата Вирджиния (США). Строительство такого масштаба оказало важное влияние на региональную экономику. Обычно гиперскейлеры не делятся детальными сведениями о своих затратах на ЦОД, но в данном случае речь идёт об отчёте, который призван показать, как сотрудничество местных органов власти и индустрии дата-центров может положительно влиять на возможности развития региона.

Сегодня Amazon относится к числу техногигантов, способных играть ведущие роли при создании облачных систем. На северо-востоке штата сейчас находится более 50 дата-центров, формирующих крупнейшее в мире облачное пространство. При этом кластер в Северной Вирджинии — это только часть инфраструктуры AWS, включающей шесть облачных регионов на территории США и 25 по всему миру. Однако именно регион US-East исторически является наиболее важным и крупным для AWS, поскольку здесь развёрнуто сразу шесть зон доступности (AZ).

Провайдеры облачных сервисов сыграли важную роль для развития финансовых систем всего мира в период пандемии. В то же время и заработок AWS в 2020 году составил $45 млрд — больше, чем у многих подразделений Amazon, связанных с торговлей. Деятельность Amazon в штате позволяет акцентировать внимание на двух фактах — по данным компании, создание облачных кластеров несёт большие преимущества для локальных экономик, но вместе с тем требует финансирования в объёмах, доступных лишь немногим компаниям.

datacenterfrontier.com

Расширение проекта Amazon в Северной Вирджинии потребовало закупки местных земель, строительства большего числа дата-центров — это позволяет с запасом обеспечить корпоративный спрос на облачные решения. Прямым следствием становится появление рабочих мест среди местных жителей и рост затрат на местах на обслуживание инфраструктуры, обеспечение безопасности, а также рост поступлений налогов в местные бюджеты:

• В 2020 году AWS заплатила более $220 млн налогов на собственность за дата-центры, расположенные в нескольких округах Северной Вирджинии. На долю компании приходится порядка 20 % всех налоговых отчислений на собственность, полученных этими округами в 2020 фискальном году. Правда, следует учитывать и то, что округа исторически предоставляли налоговые льготы;
• В 2020 году инвестиции AWS в строительство здесь новых мощностей и расширение и поддержку прежних позволили сохранить тысяч штатных рабочих мест и ещё больше в связанных отраслях;
• К 2023 году Amazon планирует построить в Вирджинии 15 новых «зелёных» солнечных ферм общей мощностью 1,43 ГВт.

Инвестиции объёмом $35 млрд в Вирджинии — самые масштабные для одного штата. Такие большие расходы соответствуют масштабным потребностям в затратах, необходимых для создания соответствующей инфраструктуры — конкурирующие компании вроде Google, Microsoft и Facebook✴ обычно тратят на строительство каждого облачного кампуса от $600 млн до $4 млрд. Тем не менее, в последнее время капитальные вложения всей индустрии выросли почти на треть.