Техасский оператор ЦОД Aligned Data Centers объявил о привлечении $12 млрд на постройку ИИ ЦОД мощностью 5 ГВт в Северной и Южной Америках. $5 млрд поступило в виде акционерного капитала из фондов, подконтрольных Macquarie Asset Management, ещё $7 млрд — в виде долговых обязательств, сообщает SiliconAbgle.

В Aligned заявляют, что у неё уникальное положение на рынке — у компании более 10 лет опыта в создании систем охлаждения энергоёмких дата-центров. Последнее поколение фирменных СЖО DeltaFlow^~ позволяет повысить плотность размещения ресурсов до 300 кВт на стойку. Также компания разработала систему воздушного охлаждения Delta³ (Delta Cube).

Aligned Data Centers управляет многочисленными колокейшн-объектами. Также она строит дата-центры для гиперскейлеров и корпоративных клиентов. В США компания управляет объектами в Чикаго, Далласе, Финиксе, Солт-Лейк-Сити и Северной Вирджинии. Новые площадки строятся в Вирджинии, Иллинойсе, Мэриленде и Огайо. В мае 2024 года Aligned купила бразильского оператора ЦОД OData, у которого уже были объекты в Бразилии, Чили, Мексике и Колумбии. Наконец, компания инвестировала в канадского оператора QScale SEC.

Источник изображения: Aligned Data Centers

Быстрый рост ИИ в последние годы вызвал и рост спроса на высокопроизводительные дата-центры, способные вместить тысячи ускорителей одновременно. В результате бизнес Aligned значительно вырос. Упомянутая австралийская Macquarie совсем недавно сообщила, что выделит до $5 млрд на ИИ ЦОД Applied Digital — ещё одного американского оператора дата-центров.

Эксперты по недвижимости компании JLL прогнозируют в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и энергоснабжения. Согласно имеющимся прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы, сообщает JLL.

Среднегодовой прирост рынка ожидается на уровне 15 % до 2027 года, а в пике — даже до 20 %. Это происходит несмотря на то, что рост опережает предложение, а на некоторых рынках энергетика развивается не так интенсивно, как хотелось бы потребителям. Основной причиной роста и расширения ЦОД называют экспансию ИИ во все сферы жизни.

В основе революции в сфере ИИ, согласно мнению экспертов, лежит стремительное развитие полупроводниковых технологий. При этом ускорители потребляют всё больше энергии, и энергетическая плотность достигает 40–130 кВт на стойку. С новым поколением чипов этот показатель может вырасти и до 250 кВт. Из-за этого новым стандартом должно стать жидкостное охлаждение, в том числе иммерсионное.

При этом подчёркивается, что хотя ИИ является основным драйвером роста, на его долю в 2030 году всё ещё будет приходиться менее 50 % спроса на ЦОД. Остальное придётся на облачные вычисления и хранение данных. Но даже ЦОД, не связанные напрямую с ИИ, способны выиграть от оптимизации энергопотребления и совершенствования других технологий. Более того, уже сам ИИ поможет повысить энергоэффективность ЦОД, увеличить срок работы оборудования и сократить время простоя с помощью предиктивного обслуживания.

Источник изображения: JLL Research

Ожидается, что в следующие пять лет мировой спрос на электроэнергию для ЦОД удвоится, поэтому уже сейчас ищутся альтернативные энергетические решения. При этом на долю ЦОД придётся лишь около 2 % мирового потребления энергии. В отчёте отмечается, что многие ЦОД группируются территориально и места их компактного размещения неравномерно распределены в мире. В результате доля энергопотребления дата-центрами значительно выше в некоторых регионах.

Тем временем атомная энергетика становится альтернативой традиционной в контексте ЦОД, особенно для ИИ- и HPC-проектов. Особенно активно в атомных проектах участвуют гиперскейлеры. Приоритетным для них является использование будущих SMR, коммерческие версии которых пока отсутствуют и, по оценкам JLL, вряд ли появятся до 2030 года.

Источник изображения: JLL Research

ИИ-системы требуют немало энергии, поэтому рост интереса к SMR и атомной энергетике в целом вполне объясним. В 2024 году AWS и Microsoft заключили соглашения о выкупе энергии у крупных атомных электростанций, а Meta✴ объявила, что готова инвестировать средства в развитие атомной энергетики. Кроме того, Equinix, AWS и Google подписали контракты на питание ЦОД от SMR.

Из-за нехватки электроэнергии, высокой доходности соответствующих проектов и растущего ажиотажа вокруг ИИ интерес инвесторов к ЦОД в 2025 году только вырастет. По оценкам JLL, в последние годы активность в сфере строительства ЦОД заметно выросла, в основном речь идёт о строительстве с нуля для одного конкретного арендатора.

Источник изображения: JLL Research

Утверждается, что для выхода на рынок новых инвесторов существуют барьеры, основанные на объёме необходимого капитала и некоторых других особенностях рынка. Ожидается, что в 2025 году у основных инвесторов при этом будет много возможностей для рекапитализации продолжающихся строиться ЦОД для одного заказчика.

Компания Compal Electronics, по сообщению ресурса DigiTimes, объединила усилия с Intel, BP Castrol, JWS и Priver Technology с целью создания решений с передовой системой жидкостного охлаждения Targeted Flow. Эта технология применяется во флагманском сервере SD220-8.

Инновационная СЖО использует запатентованную технологию Intel Targeted Flow, включая проприетарные резервуар Targeted Flow Tank и теплоотвод Targeted Flow Heat Sink. В последнем задействованы специальные методы для направления охлаждающей жидкости именно в те зоны процессора, которые имеют самую высокую температуру. Такой подход гарантирует максимальную эффективность охлаждения и минимизирует вероятность перегрева.

В СЖО применяется улучшенная охлаждающая жидкость BP Castrol DC 20 — это синтетический углеводородный диэлектрический хладагент с низкой вязкостью и хорошей текучестью. Применённая система охлаждения допускает повторное использование сгенерированного тепла.

Источник изображений: Compal

Сервер SD220-8 представляет собой четырёхузловое решение в форм-факторе 2U. Каждый узел может нести на борту два процессора Intel Xeon Sapphire Rapids или Emerald Rapids, а также 16 модулей DDR5-5600 (L)RDIMM. Во фронтальной части узлов могут быть установлены четыре SFF-накопителя SATA/SAS/NVMe U.2. Кроме того, есть два внутренних коннектора для SSD M.2 2280. Предусмотрен разъём OCP 3.0, а также один или два слота (в зависимости от конфигурации — два или четыре фронтальных SSD) для карт PCIe 5.0 x16 HHHL.

Узлы располагают контроллером BMC/CMC Aspeed AST 2600/2620, опциональным модулем TPM 2.0, портом USB 3.2 Gen1 Type-A. Сервер комплектуется четырьмя блоками питания мощностью 1600 Вт с сертификатом 80 Plus Platinum/Titanium.

Производитель моторных масел и смазочных материалов Castrol анонсировал поступление в продажу жидкости ON Direct Liquid Cooling PG 25, предназначенной для СЖО. Жидкость на основе пропиленгликоля предназначена для использования в дата-центрах, занимающихся HPC- и ИИ-вычислениями, сообщает Indside HPC.

PG 25 разрабатывали для систем прямого жидкостного охлаждения чипов в ЦОД, что обусловлено повышением плотности размещения вычислительных мощностей. Мировой рынок решений для охлаждения ЦОД, как ожидается, достигнет $16,8 млрд к 2028 году, с широким применением систем прямого охлаждения.

Источник изображения: Castrol

В числе преимуществ PG 25 — нетоксичность состава на основе пропиленгликоля и воды, защита оборудования о коррозии и роста бактерий, полная совместимость с материалами систем охлаждения, готовый состав, не требующий разбавления на месте. Castrol обеспечит поддержку использования ON Direct Liquid Cooling PG 25 на всех этапах, от тестирования до внедрения, в течение всего «жизненного цикла» нового решения.

Добавление PG 25 к существующему портфолио жидкостей Castrol для иммерсионного охлаждения и сопутствующих решений позволит компании обеспечить запросы на любые современные решения в соответствующей сфере. Продукт уже появился в сети дистрибуторов компании, но пока только на некоторых региональных рынках.

Microsoft анонсировала новую архитектуру охлаждения своих ЦОД, где вода циркулирует в замкнутом контуре, а испарения вообще нет. Все дата-центры Microsoft, разрабатываемые с августа 2024 года, получат новые системы охлаждения. Они, как ожидается, заработают к концу 2027 года. А впервые новые подходы будут опробованы в строящихся ЦОД в Финиксе (Аризона) и Маунт-Плезанте (Висконсин) в 2026 году, сообщает пресс-служба компании. Впрочем, существующие объекты по-прежнему будут использовать различные комбинации систем охлаждения.

По словам Microsoft, новая архитектура снизит потребление питьевой воды каждым дата-центром компании более чем на 125 млн л/год. Эта цифра рассчитана с учётом среднего показателя эффективности использования воды (WUE) на уровне 0,30 л/кВт∙ч, который за последние три года улучшился на 39 %. А с начала 2000-х, когда компания стала сама строить ЦОД, WUE снизился на 80 %. Это результат усилий по уменьшению объёма сточных вод, повышению температур в ЦОД и усилению контроля за работой оборудования. Кроме того, в Техасе, Вашингтоне, Калифорнии и Сингапуре компания использует очищенные сточные и оборотные воды.

Источник изображения: Microsoft

В компании заявляют, что новые технологии используют замкнутые контуры жидкостного охлаждения — как только система заполнена водой во время монтажа, вода будет циркулировать между серверами и охладителями без необходимости постоянной «дозаправки». Этот подход сочетается с прямым жидкостным охлаждением, что позволяет использовать в контурах более тёплую воду, улучшая не только WUE, но PUE.

Источник изображения: Microsoft

Правда, параллельно ожидается «номинальное увеличение» расхода электроэнергии каждым новым дата-центром на основе соответствующих технологий. Впрочем, в компании заявляют, что работают над другими инновациями для обеспечения «более целевого охлаждения» и снижения энергозатрат. Новая архитектура в некоторых случаях позволит избежать ситуаций, когда компания вынужденно использует воздушное охлаждение или строит системы очистки сточных вод своих дата-центров.

Французская корпорация Schneider Electric, по сообщению ресурса Datacenter Dynamics, совместно с NVIDIA разрабатывает эталонную архитектуру охлаждения для дата-центров, рассчитанных на решение ИИ-задач. Речь, в частности, идёт о ЦОД с суперускорителями GB200 NVL72 (Blackwell).

О том, что Schneider Electric и NVIDIA объединили усилия с целью оптимизации инфраструктуры ЦОД, стало известно в марте нынешнего года. Тогда говорилось, что стороны создадут первые в своём роде общедоступные эталонные проекты дата-центров, призванные переопределить стандарты развёртывания и эксплуатации ИИ.

Как теперь стало известно, эталонный дизайн охлаждения Schneider Electric предусматривает применение специализированных блоков распределения охлаждающей жидкости (CDU), а также решений прямого жидкостного охлаждения Direct-To-Chip (DTC). Говорится, что такие системы обеспечат возможность охлаждения стоек с вычислительным оборудованием суммарной мощностью до 132 кВт. Финансовые условия сотрудничества не раскрываются.

Источник изображения: Schneider Electric

В октябре нынешнего года Schneider Electric приобрела контрольный пакет акций компании Motivair Corporation, которая специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ. Не исключено, что изделия Motivair будут применяться в составе эталонных СЖО для серверов на базе Blackwell.

Апарна Прабхакар (Aparna Prabhakar), старший вице-президент подразделения электропитания Schneider, сообщила, что компания совместно с NVIDIA работает над несколькими вариантами систем охлаждения, которые можно масштабировать в зависимости от количества установленных серверов и потребляемой ими энергии. Это, как ожидается, поможет в развёртывании дата-центров нового поколения, ориентированных на ресурсоёмкие ИИ-вычисления.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Компания Iceotope анонсировала сервер KUL AI, предназначенный для поддержания самых требовательных рабочих нагрузок ИИ. Новинка базируется на аппаратной платформе Gigabyte G293, интегрированной с высокоэффективной гибридной СЖО Iceotope Precision Liquid Cooling, сочетающей прямое жидкостное охлаждение с погружным охлаждением в одном шасси.

Известно, что в сервере применяются процессоры Intel Xeon. Установлены восемь ускорителей. Устройство имеет аккредитацию NVIDIA Certified-Solutions. Оно оптимизировано по конструкции для жидкостного охлаждения на основе диэлектрических теплоносителей. Утверждается, что благодаря системе Iceotope Precision Liquid Cooling сервер KUL AI обеспечивает бесперебойную и надёжную работу при поддержании оптимальной температуры. При этом достигается защита критически важных компонентов и сводится к минимуму частота отказов даже во время интенсивных и продолжительных ИИ-нагрузок.

Устройство имеет размеры 121 × 53 × 13,5 см и весит 99 кг. В набор интерфейсов в зависимости от варианта исполнения входят до четырёх сетевых портов 10Gb RJ-45 и QSFP28 или SFP28, порты USB 3.2 Type-A, аналоговый разъём D-Sub и коннектор 1Gb RJ-45. Говорится о практически бесшумной работе и герметичном исполнении. По заявлениям разработчика, новинка идеально подходит для чувствительных к задержкам периферийных вычислений, включая среды с экстремальными условиями эксплуатации.

Источник изображения: Iceotope

«KUL AI позволяет организациям развёртывать ИИ везде, где это необходимо, открывая новые возможности в плане операционной эффективности и инноваций даже в самых сложных IT-средах», — заявляет Iceotope.

Компания Lenovo анонсировала сервер ThinkSystem SC750 V4 Neptune, предназначенный для технических вычислений и обработки данных в различных областях, таких как аналитика, научные исследования, энергетика, проектирование и финансовое моделирование.

Система ThinkSystem SC750 V4 Neptune объединяет два узла, которые заключены в 19″ корпус с возможностью вертикального монтажа. Каждый узел может нести на борту два процессора Intel Xeon 6900 поколения Granite Rapids (до 128 ядер) с показателем TDP до 500 Вт. В расчёте на узел доступны 24 слота для модулей оперативной памяти TruDDR5 RDIMM-6400 или MRDIMM-8800 (в сумме до 3 Тбайт).

Каждый узел может комплектоваться шестью накопителями EDSFF E3.S NVMe SSD общей вместимостью до 92,16 Тбайт. Есть два сетевых порта 25GbE SFP28 на основе контроллера Broadcom 57414, один порт 1GbE RJ45 на базе Intel I210, два слота PCIe 5.0 x16. Габариты составляют 546 × 53 × 760 мм, масса — 37,2 кг. Говорится о совместимости с Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu и пр.

Источник изображения: Lenovo

Применено прямое жидкостное охлаждение Lenovo Neptune. Утверждается, что по сравнению с аналогичной системой с воздушным охлаждением сервер ThinkSystem SC750 V4 Neptune обеспечивает увеличение общей производительности до 10 % благодаря постоянной работе процессоров в турбо-режиме. При этом энергопотребление ЦОД от серверов может быть уменьшено на 40 %, тогда как шум от вентиляторов устраняется полностью.

Восемь лотков ThinkSystem SC750 V4 Neptune могут быть установлены в шасси ThinkSystem N1380 формата 13U: в сумме это даёт 16 узлов. Шасси может быть оборудовано четырьмя узлами Power Conversion Stations (PCS) с сертификатом 80 PLUS Titanium.

Производитель электроники и инфраструктуры для ЦОД Flex объявил о покупке производителя СЖО для ЦОД JetCool. Приобретение позволит Flex расширить портфолио продуктов для дата-центров, сообщает HPC Wire. Сделка позволит объединить передовые технологии охлаждения JetCool и опыт Flex, связанный с IT-решениями, энергетической инфраструктурой, производством и вертикальной интеграцией для клиентов, нацеленных на масштабное внедрение ИИ-серверов.

Как заявляют во Flex, передовые технологии жидкостного охлаждения усиливают возможности компании решать проблемы клиентов с возрастающей энергетической и тепловой плотностью, а также соответствовать требованиям к охлаждению при решении любых задач в области ИИ и HPC. В JetCool уверены, что присоединение к Flex позволит компании добиться новых высот, нарастить производственные возможности и расширить продуктовую номенклатуру.

Источник изображения: JetCool

Основанная в 2019 году компания JetCool из Массачусетса предоставляет СЖО на базе т.н. «микроконвективного охлаждения». Компания предлагает широкий спектр продуктов, от водоблоков и систем прямого жидкостного охлаждения чипов до интегрированных систем точечного отвода тепла и комплексных систем охлаждения «под ключ». Не так давно компания представлена CDU для отвода до 300 кВт. Систему можно масштабировать, общая охлаждающая способность увеличивается до более 2 МВт.

Около года назад сообщалось, что JetCool в ходе раунда финансирования серии А получила $17 млн на развитие бизнеса. До этого компания в рамках программы COOLERCHIPS получила $1 млн от Агентства передовых исследований в области энергетики (ARPA-E) при Министерстве энергетики США (DOE).