Объём энергии, потребляемой дата-центрами, в результате роста криптовалют и ИИ-систем может увеличится более чем вдвое за три года. С соответствующим прогнозом выступило Международное энергетическое агентство (IEA). Тем не менее, рост потребления компенсируется появлением новых источников энергии.

Как сообщает агентство, сегодня в мире насчитывается более 8 тыс. ЦОД, 33 % из которых находятся в США, 16 % в Европе и около 10 % в Китае. В 2022 году их суммарное потребление составило около 460 ТВт∙ч, а в 2026 году оно может превысить уже 1000 ТВт∙ч. В США за этот период потребление вырастет с 200 ТВт∙ч (4 % от общего энергопотребления страны) до почти 260 ТВт∙ч в 2026 году (6 %). Основными драйверами роста станут развитие сетей 5G, облачных сервисов и налоговые льготы для операторов ЦОД.

В Китае, по оценкам госорганов, потребление ЦОД должно удвоиться до 400 ТВт∙ч к 2030 году в сравнении с 2020 годом. IEA же прогнозирует, что уже к 2026 году потребление вырастет до 300 ТВт∙ч, а драйверами роста станут 5G и IoT. Наконец, в Евросоюзе потребление в 2022 году было немногим ниже 100 ТВт∙ч (около 4 %), там на тот момент было 1240 ЦОД. Большинство кампусов приходится на рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж, Дублина), но планируется строительство и новых объектов. В 2026 году энергопотребление в секторе должно вырасти почти до 150 ТВт∙ч.

Источник изображения: IEA

Например, по оценкам IEA, уже к 2026 году в Ирландии, ставшей одним из важнейшим хабов для ЦОД, последние будут потреблять 32 % всей электроэнергии в стране — 82 дата-центра здесь уже функционируют, 14 строятся и возведение ещё 40 утверждается. В 2022 году речь шла лишь о 17 % энергопотребления страны. При этом энергетический кризис в стране так и не закончился.

Источник изображения: IEA

Быстрая интеграция ИИ во многих секторах экономики увеличивает общее потребление энергии ЦОД. Например, поисковики могут столкнуться с ростом потребления в 10 раз в случае тотального внедрения ИИ. С учётом кратной разницы в использовании электричества при запросах в обычном поисковике и обращений к LLM вроде ChatGPT, эксперты предполагают, что только поиск с помощью ИИ потребует 10 ТВт∙ч ежегодно. ИИ-индустрия в целом, как ожидается, в 2026 году будет потреблять минимум на порядок больше энергии, чем в 2023 году.

Что касается криптовалют, то в 2022 году на них пришлось около 110 ТВт∙ч (0,4 % от мирового энергопотребления). За базовый вариант берётся прогноз, при котором потребление в этом секторе к 2026 году вырастет более чем на 40 % до 160 ТВт∙ч. При этом скорость развития отрасли ещё предстоит уточнить.

Источник изображения: IEA

Всего к 2026 году потребление электричества вырастет лишь на 3,4 %. Впрочем, рост не должен вызвать острого дефицита — его компенсируют за счёт источников возобновляемой энергии вроде ветряных, солнечных и гидроэлектростанций. Кроме того, большая ставка делается на рост «мирного атома». Уже к 2026 году на источники энергии с низкими выбросами придётся почти половина мирового производства электричества, для сравнения — в 2023 году речь шла о менее 40 %. В целом рост энергопотребления будет меньше, чем рост генерации возобновляемой энергии.

Источник изображения: Bloomberg/IEA

По словам главы IEA Фатиха Бироля (Fatih Birol), сегодня энергетический сектор производит углекислого газа больше, чем любая другая сфера экономики, поэтому быстрый рост возобновляемой и атомной энергетики в ближайшие три года не может не обнадёживать. В то же время должна уменьшиться глобальная интенсивность выбросов, связанных с выработкой энергии. Ожидается, что она в среднем будет падать до 2026 года по 3,5 % ежегодно. Для Евросоюза этот показатель составит и вовсе 13 % в год.

Юлихский исследовательский центр (FZJ) в Германии раскрыл информацию о конфигурации дата-центра для первого европейского суперкомпьютера экзафлопсного класса — системы JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research).

Напомним, Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec, немецкая компания по производству суперкомпьютерного оборудования. Ввод суперкомпьютера в эксплуатацию запланирован на осень 2024 года.

Сообщается, что JUPITER будет построен на базе модульного ЦОД, за создание которого отвечает Eviden. Этот дата-центр займёт площадь приблизительно 2300 м². Модульная архитектура на основе контейнеров обеспечит ряд преимуществ: значительное сокращение времени планирования и монтажа, а также снижение затрат на строительство и эксплуатацию. Кроме того, в дальнейшем облегчится модернизация, тогда как инфраструктура электропитания и охлаждения может гибко адаптироваться к новым требованиям. Eviden заявляет, что благодаря модульности сроки поставки необходимых узлов сократятся на 50 %.

Источник изображения: Eviden

Конфигурация ЦОД включает около 50 взаимозаменяемых модулей, в том числе 20 IT-контейнеров, 15 контейнеров энергоснабжения, а также примерно 10 логистических контейнеров со складскими помещениями, инженерными комнатами и пр. В состав IT-модулей войдут по два контейнера, объединяющих 20 стоек платформы BullSequana XH3000 с прямым жидкостным охлаждением. Модули данных будут содержать четыре контейнера с накопителями.

Модульный ЦОД финансируется Федеральным министерством образования и исследований (BMBF). При этом BMBF и Министерство культуры и науки земли Северный Рейн-Вестфалия (MKW NRW) обеспечат равное финансирование технического оборудования. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность «незначительно превысит 1 Эфлопс».

Итальянский оператор дата-центров Aruba, по сообщению ресурса Datacenter Dynamics, совместно с учёными из Пизанского университета работает над специализированными средствами ИИ, которые помогут оптимизировать производительность облачных ресурсов при одновременном снижении энергопотребления и сокращении затрат.

Речь идёт о создании двух алгоритмов машинного обучения для управления рабочими нагрузками на облачных платформах. В проекте принимают участие исследователи Факультета информационной инженерии в составе Пизанского университета.

Система управления нагрузками предусматривает внедрение инструмента прогнозирования ресурсов, которые используются виртуальными машинами. Такие прогнозы будут формироваться на основе анализа исторических данных. Кроме того, планируется внедрить дополнительные ИИ-механизмы. Алгоритмы позволят оптимизировать энергопотребление оборудования, гарантируя при этом доступность необходимых мощностей для пользователей виртуальных машин.

Источник изображения: Aruba

Один из разрабатываемых алгоритмов нацелен на динамическое профилирование виртуальных машин для определения конфигураций на основе исторических данных. Второй алгоритм ориентирован на управление виртуальными машинами в соответствии с профилями на различном оборудовании в составе облачной платформы. В конечном итоге это может позволить пользователям перемещать нагрузки между узлами OpenStack на прогнозной и исторической основе.

По заявлениям Aruba, возможность оптимизирования облачных ресурсов позволит выделять строго необходимые мощности для выполнения определённой задачи. Таким образом, может быть снижена стоимость услуг для конечных клиентов. Похожие инструменты уже внедряют, например, Google и Microsoft — в их масштабах оптимизация энергопотребления позволяет сэкономить существенные средства.

Компания Shell, по сообщению ресурса Datacenter Dynamics, установила резервуары иммерсионного (погружного) охлаждения GRC в своём техасском ЦОД в Хьюстоне. Они используются для отвода тепла от кластерного оборудования Penguin Solutions на основе процессоров AMD.

Установки GRC S10 Duo смонтированы в ЦОД Skybox компании Element Critical. Каждый из модулей S10 Duo может вмещать оборудование мощностью до 200 кВт (100 кВт на стойку стандарта 42U) с использованием тёплой воды с температурой около +32 °C. При снижении температуры воды до +7 °C производительность каждой системы GRC может быть увеличена практически в два раза.

По имеющейся информации, Shell установила в техасском дата-центре 864 двухпроцессорных сервера (судя по логотипам, это системы Penguin Solutions) с 96-ядерными чипами AMD Epyc 9654 Genoa. Таким образом, в общей сложности задействованы 1728 процессоров и 165 888 ядер. В ЦОД используются как минимум шесть погружных модулей S10 Duo.

Источник изображения: GRC via Datacenter Dynamics

Сама Shell, как и многие другие нефтяные компании, разрабатывает специальные жидкости для систем погружного охлаждения, предназначенных для применения вместе с вычислительным оборудованием высокой плотности. Например, состав Shell S3 X производится из природного газа.

Ещё в конце 2022 года Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Речь идёт о диэлектрических составах, которые должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности.

Amazon утверждает, что в 2023 году компания стала крупнейшим корпоративным покупателем возобновляемой энергии в мире и инвестировала в более 100 новых проектов, связанных с ветряными и солнечными электростанциями. Как сообщает пресс-служба Amazon, IT-гигант заключил за год больше соглашений о покупке энергии (PPA), чем любой другой бизнес с 2020 года.

В своё время компания объявила о намерении добиться нулевых выбросов в атмосферу к 2040 году, но её нередко критикуют за недостаточную прозрачность отчётности, связанной с «зелёной» повесткой. На сегодня Amazon утверждает, что поддержала более 500 ветряных и солнечных проектов по всему миру. Когда все из них будут введены в эксплуатацию, то станут поставлять свыше 77 тыс. ГВт∙ч «чистой» энергии ежегодно — такого объёма, например, достаточно, чтобы удовлетворить потребности 7,2 млн домохозяйств США.

Источник изображения: Amazon

В числе новых инициатив Amazon за последние 12 месяцев — проект, в результате которого загрязнённую территорию старой угольной шахты в Мэриленде (США) перепрофилировали в солнечную электростанцию. Дополнительно компания поддержала свой первый проект по генерации возобновляемой энергии в Южной Корее, а также реализовала 10 похожих схем в Техасе. Все они уже прямо или косвенно снабжают ЦОД, офисы и другие объекты Amazon и поставляют чистую энергию в местные электросети. Кроме того, только в 2022 году экологические схемы Amazon обеспечили поддержку занятости, эквивалентной 39 тыс. рабочих мест.

В AWS уже заявили, что ещё в прошлом году более 90 % её операций выполнялись за счёт «зелёной» энергии и компания намерена оптимизировать производство и потребление таким образом, чтобы добиться 100 % использования возобновляемой энергии к 2025 году. При этом многие эксперты скептически относятся к энергетическим инициативам компании. В отличие от соперников вроде Microsoft Azure и Google Cloud, AWS не предлагают клиентам выбора ЦОД в зависимости от уровня выбросов. Более того, компания не публикует PUE своих объектов.

Эффективность PPA в качестве инструмента сокращения выбросов тоже остаётся под вопросом. Как сообщает Datacenter Dynamics, опубликованное в прошлом году исследование лаборатории ZERO Lab Принстонского университета свидетельствует, что покупка «зелёной» энергии в больших объёмах ведёт к непредвиденным последствиям. Поскольку PPA предусматривает закупку энергии без привязки к региону, генерация вредных выбросов просто смещается, а производство чистой энергии не развивается.

Исследователи считают, что закупки должны осуществляться с учётом времени генерации «зелёной» энергии, с почасовым сопоставлением потребления и производства. Некоторые игроки вроде Google и Microsoft уже заключили соглашения с соответствующими условиями, но в Amazon такие меры всё ещё не приняты.

Корпорация Microsoft, по сообщению ресурса Datacenter Dynamics, назначила Арчи Манохаран (Archie Manoharan) на должность директора по ядерным технологиям. Кроме того, редмондский гигант принял на работу Эрин Хендерсон (Erin Henderson), которая займёт пост руководителя по ускорению ядерных разработок.

Осенью прошлого года сообщалось, что Microsoft ищет топ-менеджера по внедрению малых модульных реакторов (SMR) и микрореакторов для питания дата-центров. Использование таких установок позволит снизить нагрузку на традиционные энергосети. Модульные реакторы рассматриваются как более дешёвая, компактная и быстро внедряемая альтернатива традиционным АЭС.

Госпожа Хендерсон до прихода в Microsoft почти 13 лет проработала в государственной коммунальной компании Tennessee Valley Authority. Она также работала на АЭС Уоттс-Бар и Секвойя. Всего же Хендерсон проработала в сфере энергетики более 20 лет.

Источник изображения: Tennessee Valley Authority

Госпожа Манохаран ранее работала в стартапе Ultra Safe Nuclear (USNC), который занимается разработкой микромодульных реакторов. Кроме того, она работала менеджером по лицензированию в BWX Technologies, специализирующейся на поставках ядерного топлива и компонентов, в компании по производству малых модульных реакторов NuScale, в Tennessee Valley Authority и в энергосервисной компании DTE Energy (на АЭС Энрико Ферми). Манохаран имеет более чем 15-летний стаж работы в области энергетики.

Оператор ЦОД Involta предложил клиентам новую модель ценообразования. Как сообщает пресс-служба компании, покупатели сервисов колокейшн-провайдера смогут платить за подводимую мощность электропитания. Как правило операторы берут плату за стойко-место, иногда добавляя отдельную плату за энергию. Involta считает, что современная инфраструктура, связанная с ИИ, не вписывается в традиционные рамки.

На днях компания запустила тарифы SecurePower Colocation, представляющую собой, по словам компании, уникальную модель ценообразования, не учитывающую занимаемое стойками пространства. В Involta утверждают, что это позволит клиентам платить за используемые мощности с возможностью быстрого масштабирования инфраструктуры. SecurePower Colocation обеспечит экономию, гибкость и безопасность, необходимые для поддержки критических IT-нагрузок.

Фото: Nishant Parikh / Unsplash

Клиентам предлагаются два тарифка: SecurePower All-In и Flexible Commit. В первом случае за заказчиком резервируется желаемая мощность в кВт, а фиксированная ежемесячная плата покрывает расходы на энергию, пространство для стоек, охлаждение, ИБП и т.д. Если загрузка неравномерна, подойдёт вариант Flexible Commit. В этом случае на определённый срок фиксируется стоимость кВт и лимит по мощности. Оплата же производится помесячно за фактически потреблённую энергию в кВт·ч, при этом остаётся возможность при необходимости доплатить за увеличение мощности в рамках заданного лимита.

Компактное высокоплотное оборудование, системы иммерсионного охлаждения, квантовые компьютеры и иные современные платформы не соответствуют стандартам для обычных стоек — всё это диктует свои правила и классические модели ценообразования уже невозможно применять, считает Involta. На этом фоне колокейшн-провайдерам приходится рассматривать новые бизнес-схемы.

Первый коммерческий подводный дата-центр в Китае, который создаётся компанией HiCloud Data Center Technology (подразделение Highlander), подтвердил свою работоспособность. Система, как сообщает Datacenter Dynamics со ссылкой на китайские СМИ, стабильно функционирует с момента ввода в эксплуатацию в конце прошлого года. Более того, HiCloud сообщила, что получила заказы от China Telecom и SenseTime на создание таких же ЦОД в других регионах страны.

ЦОД, о котором идёт речь, расположен у побережья города Санья (о. Хайнань). Проектом предусмотрено использование специальных модулей массой около 1300 т с оборудованием, которые монтируются на глубине примерно 35 м. Первый такой блок был установлен в апреле 2023-го, второй — в ноябре прошлого года.

Источник изображения: HiCloud

Модули используют морскую воду для охлаждения. По сравнению с наземными объектами они имеют более высокую вычислительную плотность. Благодаря герметичной конструкции блоков внутренняя электроника меньше подвержена сбоям. Ожидается, что срок службы модулей составит 25 лет.

Технические характеристики применяемого оборудования не раскрываются. Кроме того, не уточняется, сколько именно модулей уже эксплуатируются на сегодняшний день. Но известно, что после полного развёртывания подводный ЦОД объединит 100 модулей. По сравнению с наземными дата-центрами сопоставимого масштаба площадка позволит экономить 122 млн кВт·ч и 105 тыс. тонн пресной воды ежегодно, а также 68 тыс. м² земли.

Подводные ЦОД Microsoft Natick, по образу и подобию которых были сконструированы модули Highlander, по итогам нескольких лет работы тоже доказали свою работоспособность и надёжность ещё три года назад, однако до коммерческого развёртывания дело не дошло. Впрочем, некоторые эксперты сомневаются в экономической целесообразности массового развёртывания подобных подводных модулей.

Caterpillar Electric Power и Microsoft объявили об успешном эксперименте, в ходе которого для питания дата-центра применялись исключительно водородные топливные ячейки. Как сообщает пресс-служба Caterpillar, они обеспечивали электричеством ЦОД Microsoft в течение 48 часов.

Партнёры привлекли к сотрудничеству разработчика топливных ячеек — компанию Ballard Power Systems. Использовались крупноформатный водородный элемент для энергоснабжения дата-центра Microsoft в Шайенне (штат Вайоминг). Эксперимент имеет вполне прикладное значение — резервные источники питания на водородном топливе в последнее время всё чаще рассматриваются как альтернатива дизельным, но жизнеспособность технологии до сих пор под вопросом.

Компании провели демонстрацию с использованием водородных источников питания на высоте 1855 м над уровнем моря при температуре ниже нуля. Топливные ячейки интегрировали в подстанцию дата-центра. Caterpillar выступила координатором проекта. Помимо водородной батареи Ballard мощностью 1,5 МВт применялась аккумуляторная система Cat Power Grid Stabilization (PGS) 1260 и контроллер Caterpillar.

Изображение: Ballard Power Systems

Microsoft, пообещавшая добиться статуса «углеродно-отрицательной» компании к 2030 году, внимательно следит за потенциалом водородных топливных элементов. В 2020 году она провела эксперимент по питанию серверов с помощью элементов мощностью 250 кВт в течении 48 часов. В 2021 году был задуман новый, более масштабный проект в рамках инициативы H2@Scale Министерства энергетики США. Нынешняя демонстрация как раз и является итогом данного проекта. А в 2022 году Microsoft и Plug Power успешно протестировали 3-МВт водородную батарею для резервного питания ЦОД.

Хотя водородные технологии продолжают развиваться, до массового внедрения в ЦОД пройдёт ещё немало времени. Во-первых, этот газ по-прежнему значительно дороже дизеля, хотя его стоимость продолжает падать, во-вторых, он весьма взрывоопасен, поэтому требует сложных и дорогих систем хранения и транспортировки. Впрочем, в Microsoft заявили, что демонстрация результатов исследования и открытия в сфере водородных топливных решений поможет компании стать «углеродно-негативной» в объявленные ранее сроки.

Amazon Web Services (AWS) до конца 2027 года инвестирует ¥2,3 трлн ($15,5 млрд) в строительство новых ЦОД и усиление деловой активности в Японии, сообщает Reuters. AWS ускорила инвестиции в Японию в ожидании взрывного роста спроса на обработку данных, в первую очередь благодаря масштабному внедрению генеративного ИИ. В 2011–2022 гг. Amazon вложила в развитие ЦОД, облака и иных направлений ¥1,51 трлн иен.

В Японию AWS вложит даже больше, чем в индийский бизнес — ¥1,056 трлн ($12,7 млрд) до 2030 года. Судя по всему, японский рынок Amazon кажется более важным и перспективным. По оценкам компании, инвестиционный план обеспечит прирост ВВП Японии на 5,57 трлн иен ($37,58 млрд).

Одновременно с AWS в ЦОД страны намерены инвестировать и конкуренты — Google и Microsoft, тоже рассчитывающие на рост спроса и распространение ИИ. Все три компании активно взаимодействуют с государственным сектором Японии. Например, их выбрали в качестве провайдеров «Правительственного облака». При этом локальные японские облачные игроки заметно отстают от глобальных.

Источник изображения: Manuel Cosentino/unsplash.com

Масштабные проекты дата-центров необходимы для разработки и использования генеративного ИИ, причём крупные провайдеры лишь укрепят свои доминирующие позиции. В то же время по всему миру ужесточается контроль их деятельности со стороны локальных регуляторов. Например, в Евросоюзе только в 2024 году в полной мере вступит в силу закон Digital Markets Act, который будет регулировать деятельность крупных IT-компаний.

В AWS не хотят, чтобы иностранные инвестиции рассматривались как угроза — в компании подчеркнули, что экспансия бизнеса Amazon позволит использовать японские данные в пределах страны, без их экспорта за рубеж. Кроме того, близость ЦОД к источникам данных существенно снизит задержки при обработке и отправке информации, говорит Amazon.