Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

В Meta✴ продолжают активно вкладывать средства в серверы, дата-центры и сетевую инфраструктуру — компания выстраивает экосистему для искусственного интеллекта. По информации Datacenter Dynamics, капитальные затраты во II квартале составили $8,5 млрд, ожидается, что они будут расти и в дальнейшем.

Выручка за отчётный период превзошла прогнозы экспертов и составила $39,07 млрд, на 22 % больше в сравнении с аналогичным периодом прошлого года. Чистая прибыль в прошедшем квартале — $13,46 млрд, рост составил 73 %. Прогноз выручки на следующий квартал — $38,5-$41 млрд.

Капитальные затраты оказались несколько ниже ($8,5 млрд), чем предполагали отраслевые эксперты ($9,51 млрд), тем не менее рост составил 32,8 % год к году. Компания ожидает и дальнейшего значительного роста капитальных вложений в 2025 году, при этом имеется достаточный запас гибкости. Та же инфраструктура, что построена для обучения генеративного ИИ, будет использована и для инференса. Кроме того, инфраструктуру можно будет модифицировать для других задач, включая ранжирование, рекомендательные системы и др.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Как утверждают в Meta✴, несмотря на рост инвестиций, генеративный ИИ не должен стать значимым драйвером выручки в 2024 году. Впрочем, по словам главы компании Марка Цукерберга (Mark Zuckerberg), он скорее рискнёт создать лишнюю ёмкость до того, как она понадобится, чем станет добиваться её строительства с опозданием, с учётом довольно длительной реализации новых внутренних проектов.

Ожидается, что для тренировки ИИ-модели Llama 4 понадобится почти в 10 раз больше вычислительных мощностей, чем было необходимо для Llama 3. Для последующих моделей потребуется ещё больше. К концу года компания будет использовать ускорители эквивалентные по вычислительной способности 600 тыс. экземпляров NVIDIA H100.

По словам финансового директора Meta✴ Сьюзан Ли (Susan Li), компания применяет стратегию поэтапного строительства ЦОД, позволяющую быстро увеличивать общую ёмкость для удовлетворения спроса. При этом в будущем капитальные затраты снизятся, поскольку не будет необходимости сразу сдавать большие объекты.

Google заключила довольно необычное 10-летнее соглашение о покупке возобновляемой энергии (PPA) для своих дата-центров в Сингапуре. По данным Datacenter Dynamics, это первый в своём роде вариант PPA, который предусматривает получение возобновляемой энергии из деревянных отходов. Подобная «чистая» энергия будет обеспечивать экобезопасные операции Google в Сингапуре и, в конечном счёте, содействовать достижению компанией нулевого углеродного выброса к 2030 году.

Google заключила контракт с энергокомпанией PacificLight Energy (PLE), которая будет поставлять возобновляемую энергию от электростанции Rexus Bioenergy (Rexus). Сама Rexus утверждает, что её электростанция класса WWtE («отходы древесины в энергию») мощностью 13,2 МВт будет первой в своём роде в Сингапуре.

Источник изображения: Ambitious Studio* | Rick Barrett/unsplash.com

Для питания будут использоваться не подлежащие традиционное переработке древесные остатки. Это и отходы сельского хозяйства, и отходы логистических компаний вроде грузовых поддонов. Этот мусор будет не только сжигаться, но и использоваться для получения биомассы, которая, вероятно, тоже будет источником энергии. Также установка будет связана с системой захвата углеродных выбросов (CO₂). Начало коммерческого использования электростанции запланировано на 2026 год.

Google управляет в Сингапуре тремя ЦОД и недавно выделила ещё $5 млрд на развитие инфраструктуры в стране. С 2019 года в Сингапуре действует мораторий на строительство новых дата-центров — не хватает как энергии, так и места для размещения ЦОД. Впрочем, ранее в этом году было решено «разблокировать» ещё 300 МВт. В PacificLight намерены развивать зелёную биоэнергетику и со временем стать «низкоуглеродной» компанией, что соответствует целям города-государства.

Компания Nano Nuclear Energy Inc. подписала меморандум о взаимопонимании с криптомайнингвой Blockfusion Ventures — дочерней структурой Blockfusion USA, Inc. — документ предусматривает использование атомной энергии для питания ЦОД, передаёт Datacenter Dynamics.

Nano Nuclear изучит возможность интеграции своих микрореакторов в ЦОД Blockfusion, который размещается на месте закрытой и реконструированной угольной электростанции. ЦОД для криптомайнинга запитан от ГЭС, связанной с Ниагарским водопадом. Его ёмкость может составлять до 50 МВт. Впрочем, текущее состояние ЦОД под вопросом. В 2022 году на объекте взорвался трансформатор и случился пожар. Предполагается, что причиной стало неисправное оборудование энергоснабжающей организации. Вскоре после ремонта компания на время вынужденно остановила работу объекта по приказу местных властей.

Источник изображения: Nano Nuclear Energy

Основанная в 2021 году компания Nano разрабатывает портативные атомные микрореакторы. Модель Zeus, создаваемая для размещения в 45″ контейнере, оснащена модулем, который позволяет вырабатывать 1–2 МВт и не требует жидкого охладителя. Дополнительно разрабатывается реактор Odin с охлаждающей жидкостью низкого давления. В Nano рассказывают, что давно присматривались к ЦОД, занятыми ИИ, квантовыми вычислениями и майнингом. Впрочем, аналитики Hunterbrook Capital сомневаются в жизнеспособности Nano Nuclear, говоря, что у компании нет доходов и продукции, а руководители работают на полставки.

Малые модульные реакторы (SMR) часто рассматриваются в качестве оптимальных источников энергии с низким углеродным выбросом для дата-центров, они могли бы обеспечить объектам автономную работу и независимость от локальных энергосетей. В прошлом году блокчейн-компания Standard Power объявила о намерении приобрести 24 SMR у NuScale для двух ЦОД в США. А Equinix и Wyoming Hyperscale подписали соглашения о поставках SMR с компанией Oklo.

Индонезийская Star Energy Geothermal, входящая в холдинг Barito Renewables и занимающаяся геотермальной энергетикой, ведёт переговоры с операторами дата-центров о поставках «чистой» энергии при условии, что они будут строить объекты рядом с её ГеоТЭС, передаёт Datacenter Knowledge. Индонезия, по данным Азиатского банка развития, имеет, возможно, крупнейший в мире потенциал в области геотермальной энергетики — на неё приходится 2,1 ГВт или 13 % мировых мощностей такого типа.

Star Energy Geothermal намерена уйти от продажи электричества только государственным коммунальным компаниям и привлечь клиентов, желающих покупать в Индонезии возобновляемую энергию. Также рассматриваются поставки «зелёной» энергии в соседние страны. Компания рассчитывает, что быстрый рост ИИ-сектора, требующего всё больше энергии (предпочтительно «чистой»), привлечёт операторов ЦОД. При этом геотермальные источники являются стабильным поставщиком энергии в местностях, где погода слишком переменчива для регулярной солнечной и ветряной энергетики.

Источник изображения: Joey Clover/unsplash.com

Обычно геотермальные электростанции строятся возле вулканов, гейзеров и иных мест, где природное тепло подходит близко к поверхности Земли. По оценкам Азиатского банка развития, Индонезия, фактически окружённая т.н. «Тихоокеанским огненным кольцом», имеет сильнейший в мире потенциал развития геотермальной энергетики. Однако операторы ЦОД могут и не захотеть строить свои объекты вблизи подобных источников, расположенных зачастую в отдалённых местах.

По данным СМИ, хотя на возобновляемые источники приходится лишь малая часть глобальной энергетики, в индустрии снова наблюдается рост интереса со стороны инвесторов. Так, вложения в геотермальные электростанции в 2023 году достигли $8 млрд, что намного больше, чем в предыдущие годы. Немало внимания уделяется геотермальной энергетике и в других странах. Например, Кения готова вложить $4,5 млрд в развитие этой и других технологий, а в мае Microsoft и G42 заявили о намерении построить ЦОД за $1 млрд рядом с геотермальными источниками.

Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.

Сеть дата-центров 3data сообщила о завершении модернизации ЦОД «П29», находящегося в районе Митино в северо-западной части Москвы, который получил ещё 60 стоек. Также была расширена зона коворкинга для клиентов и увеличена офисная часть объекта, готовая к сдаче в аренду вместе со складскими помещениями.

Дата-центр «П29» уровня Tier III приступил к работе в октябре прошлого года. Он стал 16-м действующим ЦОД 3data. Проектная вместимость объекта составляет 180 стойко-мест, мощность — 1,2 МВт. ЦОД имеет статус «шаговой доступности» для заказчиков. Он находится рядом с Пятницким шоссе, вдоль которого располагается множество бизнес-центров и офисов крупных компаний.

ЦОД предлагает прямое подключение к международным и городским магистральным линиям связи, доступ ко всем современным облачным сервисам, обеспечивая возможность размещения IT-инфраструктуры для компаний, базирующихся в северо-западных районах Москвы и области.

Испанская энергетическая компания Iberdrola сформировала подразделение, отвественное за строительство и развитие ЦОД. Datacenter Dynamics сообщает, что компания считает дата-центры ключевым драйвером развития энергосетей и возобновляемой энергетики. Будущие дата-центры Iberdrola будут подключены к её же энергосетям. Руководство компании уверено, что спрос на ЦОД будет только расти из-за широкого внедрения систем искусственного интеллекта и облачных вычислений.

Iberdola намерена использовать уже имеющиеся связи с компаниями вроде Meta✴, Apple, Microsoft и Amazon (AWS) для того, чтобы получить новые источники спроса. Кроме того, возможно расширение энергосети компании для тех, кто нуждается в новых подключениях. Сегодня у Iberdola уже имеются действующие контракты на поставку 8 ТВт∙ч/год для дата-центров в Испании, США, Великобритании и Германии.

Источник изображения: Iberdrola

По слухам, в этом году компания искала партнёров для создания совместного предприятия для строительства в Испании ЦОД ёмкостью 200 МВт к 2030 году. Долгосрочной целью является создание кампусов ёмкостью 1,2 ГВт, причём Iberdrola рассчитывает в этих проектах на роль миноритарного акционера. В ближайшие годы в Испании ожидаются масштабные инвестиции в дата-центры. Как AWS, так и Microsoft намерены вложить миллиарды долларов в местные облачные мощности и ИИ-инфраструктуру, в первую очередь в Арагоне. Имеет серьёзные планы по развитию бизнеса в стране и Oracle.

Iberdrola уже имеет более 40 тыс. клиентов по всему миру и управляет энергосетями ёмкостью более 60 ГВт. Это один из крупнейших поставщиков возобновляемой энергии — крупнейшие операторы ЦОД заключают с ней соглашения о покупке чистой энергии (PPA). Так, в марте Iberdrola подписала PPA с Amazon. Последняя намеренна получать энергию с оффшорной ветряной электростанции East Anglia Three, расположенной у побережья Великобритании в Северном море. Также компании заключили PPA для объектов в Европе, США и Азиатско-Тихоокеанском регионе. Кроме того, Iberdrola заключила PPA и с Meta✴ (в США).

Олимпиада-2024 в Париже привлекла внимание не только зрелищными выступлениями спорстменов, но и некоторыми удачными технологическими разработками. Datacenter Knowledge сообщает, что значительную роль в этом сыграло решение, позволяющее нагревать бассейны за счёт «мусорного» тепла ЦОД.

Во время любой летней Олимпиады требуются большие энергетические ресурсы для обслуживания бассейнов. На текущей Олимпиаде в Париже главным таким объектом является Paris Olympic Aquatic Centre в Сен-Дени, который уже использует разнообразные экобезопасные решения. Тепло для подогрева воды в бассейнах поступает из открытого в 2023 году парижского ЦОД Equinix PA10. Это уже десятый дата-центр, построенный компанией во французской столице за последние 20 лет.

Источник изображения: Taiki Ishikawa/unsplash.com

Питание PA10 на 100 % компенсируется возобновляемой энергией, а сам он предлагает 5 тыс. м² места для колокейшн-клиентов (2250 серверных шкафов). ЦОД изначально задумывался и строился с прицелом на использование тепла его оборудования. В компании объявили, что бесплатно в течение 15 лет будут поставлять тепло зоне городского развития Plaine Saulnier, а также Olympic Aquatic Centre, где проходят многие олимпийские мероприятия в 2024 году. После окончания Олимпиады объект будет доступен для посещения всеми желающими. Помимо передачи тепла и «восстановления» воды, новый дата-центр имеет на крыше теплицу и улей.

PA10 будет генерировать 10 тыс. МВт∙ч тепла ежегодно, чего достаточно для обогрева более 1 тыс. домохозяйств. Контур внутренней системы охлаждения ЦОД имеет температуру 28 °C круглый год, но перед отдачей тепла наружу тепловые насосы повышают её до 65 °C. Горячая вода через теплообменник отдаётся местному оператору тепловых сетей. Если тепло никуда не передаётся, оно просто выбрасывается в атмосферу, — подчёркивают в компании. PA10 — один из нескольких проектов теплоотдачи, реализуемых Equinix.

Сейчас контракты на поставку тепла заключили три площадки, а первый такой проект был реализован в 2010 году в Хельсинки при сотрудничестве с поставщиком энергии Helen. Ещё один объект расположен в Торонто (Канада), где Equinix поставляет тепло из дата-центра TR5 IBX районной энергетической сети Markham District Energy для обогрева жилых объектов, отелей, больницы и торгового центра. Кроме того, многим местным зданиям поставляется и горячая вода. В компании заявляют, что все её новые ЦОД изначально рассчитаны на экспорт тепла — на пути к «экономике замкнутого цикла».

В целом тепло ЦОД пытаются применять по всему миру, в том числе в бассейнах и других водных объектах — от ближайшей Великобритании до, например, США. В прошлом месяце дело дошло даже до аквапарков — компания Aventuur получила разрешение на реализацию в Новой Зеландии проекта, обеспечивающего круглогодичный доступ к подогретым ближайшим ЦОД волнам.