Google представил технологию питания 400 В постоянного тока (DC) и систему жидкостного охлаждения пятого поколения Project Deschutes для стоек нового поколения, которы призваны поддержать стремительное развитие ИИ. В течение последних десяти лет компания использует питание 48 В DC, но переход к новому стандарту позволит повысить максимальную мощность на одну стойку со 100 кВт до 1 МВт.

Ожидается, что отдельные стойки с ИИ-системами будут потреблять свыше 500 кВт уже к 2030 году. Так, грядущий суперускоритель NVIDIA Rubin Ultra NVL576, который появится в 2027 году, будет «упакован» в стойку нового поколения Kyber и потреблять порядка 600 кВт. Google, надо полагать, разработает собственную модификацию данного ускорителя, адаптированного к её дата-центрам, как уже сделала для GB200 NVL72.

Использование 400 В позволяет задействовать цепочку поставок, используемую индустрией электромобилей, что способствует снижению затрат и повышению качества. Совместно с Meta✴ и Microsoft компания Google работает над проектом Mt. Diablo, в рамках которого вырабатываются общие стандарты электрических и механических интерфейсов. Первая версия спецификаций (v0.5) будет доступна для отраслевого обсуждения в мае 2025 года.

Источник изображения: Google

Подсистема питания в Mt. Diablo вынесена в отдельный модуль (sidecar). Это увеличивает полезное пространство в серверных стойках, позволяя целиком отдать их под ускорители, и повышает общую энергоэффективность приблизительно на 3 %, что в масштабах гиперскейлера очень существенно. В перспективе рассматривается переход на прямое распределение высоковольтного постоянного тока внутри ЦОД для ещё большей эффективности и повышения плотности.

Источник изображения: Google

С резким повышением энергопотребления чипов использование СЖО стало неизбежным. В последние семь лет Google развернула СЖО в более 2 тыс. кластеров TPU Pod. Впервые жидкостное охлаждение стало применяться для ИИ-ускорителей TPU v3, появившихся в 2018 году. Компания использует водоблоки, что позволяет практически удвоить плотность размещения вычислительных мощностей в сравнении с воздушным охлаждением. При переходе от TPU v2 к TPU v3 это также позволило вчетверо увеличить размер кластеров. СЖО применяются и для ускорителей Ironwood (TPU v7).

CDU-архитектура Project Deschutes, в которой используются резервные теплообменники и насосы, обеспечивает уровень доступности 99,999 %. Пятое поколение Project Deschutes Google планирует передать Open Compute Project (OCP) в 2025 году. Публикация спецификаций, проектных данных и рекомендаций по эксплуатации ускорит массовое внедрение СЖО в индустрии. В компании уверены, что совместные усилия помогут индустрии справиться с будущими вызовами в индустрии ИИ и масштабировать вычислительные мощности и дальше.

ИИ-облако AI Green Bytes строит в Париже дата-центр с иммерсионной системой охлаждения, основным отличием которой от обычных решений будет применение охлаждающей жидкости Oleon Qloe растительного происхождения, сообщает Datacenter Dynamics. В AI Green Bytes подчёркивают, что жидкость Qloe — передовая разработка для экоустойчивых ИИ-вычислений. Новый объект обеспечит «непревзойдённую эффективность» с минимальным воздействием на окружающую среду.

ЦОД должен открыться в июне 2025 года, это будет первый объект AI Green Bytes с иммерсионной системой охлаждения. Каждая ёмкость способна охлаждать IT-оборудование мощностью 361 кВт. Общая мощность объекта не разглашается. Ранее компания представила концепцию модульного ЦОД AI Green Qube площадью 400 м², способного вместить 3,5 тыс. ИИ-ускорителей. Правда, компания не уточняет, основан ли парижский объект на том же самом дизайне.

ИИ-стартапа AI Green Bytes был основан в Норвегии 2024 году. Oleon же является подразделением французской компании Avril, специализирующимся на разработке «зелёных» химикатов. Жидкость Qloe, по словам компании, полностью биоразлагаема и нетоксична, но при этом обеспечивает высококачественное охлаждение.

Источник изображения: Submer

В 2022 году американская продовольственная компания Cargill представила собственную жидкость растительного происхождения для иммерсионных СЖО — NatureCool 2000. Эта жидкость, на 90 % состоящая из масел растительного происхождения, тоже является безопасной и биоразлагаемой. Синтетическая жидкость Synmerse DC от Perstorp (дочернее предприятие Petronas) также заявлена как биоразлагаемая. О её составе разработчик ничего говорит, сообщая лишь, что она не содержит PFAS-химикатов.

Компания Microsoft намерена развернуть системы охлаждения LG Electronics в своих дата-центрах. Речь идёт о неизвестном пока числе готовящихся к работе ИИ ЦОД, сообщает Datacenter Dynamics. О партнёрстве объявлено после того, как LG Electronics представила обновлённую серию охлаждающих решений, объединив в одном портфолио существующие и новые решения, в том числе СЖО.

Как заявили в LG, между смартфонами дома, ноутбуками на работе и, например, смарт-ТВ стоят ЦОД, играющие ключевую роль в повседневной жизни. А её решения для охлаждения играют решающую роль в обеспечении корректной работы серверного оборудования. LG намерена стать уникальным игроком, она готова удовлетворить спрос на соответствующие компоненты будущим проектам ЦОД и упростить строительство с помощью эффективных предложений «под ключ».

LG предлагает водоблоки, CDU, чиллеры, системы кондиционирования, интеллектуальную платформа мониторинга и управления охлаждением, а также другие комплексные решения. Компания объявила, что намерена сотрудничать с Microsoft для внедрения систем терморегулирования LG и технологии охлаждения в дата-центрах «следующего поколения». Объёмы и рамки сделки не раскрываются.

Источник изображения: LG Electronics

Ранее в этом году LG заявляла, что будет работать с Microsoft над рядом ИИ-проектов, включая создание ИИ-агентов для разных объектов, от домов до транспорта, отелей и офисов. Компания начала более агрессивно развивать решения для сектора ЦОД в прошлом году и заявила, что подписала крупную сделку на более 100 чиллеров для ЦОД, которая оценивается в десятки миллионов долларов.

Fujitsu, Supermicro и Nidec объявили об объединении усилий с целью снижения энергопотребления ЦОД. Речь идёт о создании платформы, которая поможет операторам дата-центров повысить коэффициент эффективности использования энергии (PUE).

Отмечается, что стремительное внедрение ИИ приводит к быстрому росту нагрузки на ЦОД. Это, в свою очередь, провоцирует увеличение энергопотребления, что объясняется установкой мощных серверов с ускорителями на базе GPU. Тем не менее, многие дата-центры продолжают использовать воздушное охлаждение. Хотя жидкостное охлаждение обеспечивает значительно более высокую эффективность, проектирование, строительство и эксплуатация таких систем требуют высокого уровня технических знаний и навыков.

В рамках нового проекта партнёры объединят ПО для мониторинга и управления жидкостным охлаждением Fujitsu, высокопроизводительные GPU-серверы Supermicro и высокоэффективную систему жидкостного охлаждения Nidec. В частности, Fujitsu намерена использовать свой 40-летний опыт в области СЖО, которые применяются в суперкомпьютерах. Supermicro предоставит высокопроизводительные серверные комплексы высокой плотности, оптимизированные для жидкостного охлаждения: такие устройства позволят сократить энергопотребление и снизить уровень шума благодаря отсутствию вентиляторов.

Источник изображения: Nidec

Nidec будет отвечать за поставки компонентов СЖО, включая блоки распределения охлаждающей жидкости (CDU), насосы и пр. Система охлаждения Nidec, как ожидается, улучшит управление температурой и снизит энергопотребление.

В целом, как заявляют партнёры, новая инициатива поможет повысить общую энергоэффективность ЦОД до 40 % по сравнению с традиционными методами воздушного охлаждения. Fujitsu оценит преимущества решения в своем центре обработки данных Tatebayashi.

Компания CoolIT Systems анонсировала блок распределения охлаждающей жидкости (CDU) CHx2000 для дата-центров, ориентированных на задачи ИИ и НРС. Новинка обеспечивает отвод более 2 МВт тепла: это, как утверждается, на сегодняшний день самый высокий показатель для CDU данного класса.

Устройство выполнено в виде шкафа с размерами основания 750 × 1200 мм. Заявленный расход жидкости составляет 1,2 л/мин. на кВт (LPM/kW): допускается охлаждение до двенадцати стоек NVIDIA GB200 NVL72 мощностью 120 кВт. По сравнению со своим предшественником (модель CHx1500) новинка обеспечивает повышение охлаждающей способности на 66 %.

При создании CHx2000 компания CoolIT Systems сделала упор на долговечность, безотказную работу и простоту обслуживания. Применены два насоса с возможностью горячей замены (N+N), обеспечивающие производительность 1500 л/мин. Трубы изготовлены из нержавеющей стали. В конструкции используются 4″ муфты Victaulic.  Благодаря резервированию критически важных компонентов доступность находится на уровне 99,9999 %.

Источник изображения: CoolIT Systems

Предусмотрена интегрированная система управления и мониторинга (Redfish, SNMP, TCP/IP, Modbus, BACnet и др.). Причём допускается групповое управление одновременно до 20 экземпляров CDU. Во время обслуживания возможен доступ с лицевой и тыльной сторон с поддержкой горячей замены насосов, фильтров и датчиков. Заявленная потребляемая мощность составляет 12,24 кВт при работе одного насоса (1500 л/мин). Во фронтальной части корпуса располагается информационный дисплей.

Блок CHx2000 уже доступен для заказа. CoolIT Systems предоставляет комплексную поддержку и услуги по проектированию, монтажу и обслуживанию в более чем 70 странах по всему миру.

На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.

Компания Accelsius, занимающаяся разработкой систем двухфазного жидкостного охлаждения, объявила об успешном испытании технологии NeuCool для отвода тепла от GPU мощностью до 4500 Вт. Решение призвано удовлетворить будущие потребности дата-центров в охлаждении высокопроизводительных ИИ-ускорителей следующего поколения. Месяц назад CoolIT представила свой водоблок для 4-кВт чипов.

NeuCool — это двухфазная система, использующая технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В рамках подготовки к появлению более мощных ускорителей специалисты Accelsius выполнили два температурных теста с применением системы, имитирующей GPU.

Источник изображений: Accelsius

В ходе одного из экспериментов моделировалась работа ускорителя с TDP в 4500 Вт. Для сравнения: у NVIDIA H100 данный показатель составляет до 700 Вт. Во время тестов, как утверждается, температура охлаждающей пластины оставалась стабильной и находилась в допустимых пределах — даже при таких беспрецедентных нагрузках. Иными словами, подчеркивает Accelsius, у NeuCool есть значительный потенциал охлаждения для поддержки нескольких будущих поколений GPU. Показанный результат на сегодняшний день является рекордным для СЖО типа DTC.

Во втором тесте Accelsius успешно продемонстрировала способность своего блока распределения охлаждающей жидкости (CDU) для двухфазных СЖО обслуживать стойку с ИИ-серверами суммарной мощностью 250 кВт (впрочем, для 600-кВт Rubin Ultra NVL576 это решение пока не подходит). В этом эксперименте применялись машины, оснащённые четырьмя ускорителями NVIDIA H100. Охлаждающие пластины находились в непосредственном контакте с ключевыми компонентами, в том числе с CPU и GPU. Были опробованы различные режимы — с температурой воды внешнего контура 20, 30 и 40 °C и с потоком 375 л/мин. Даже при максимальной нагрузке на стойку и при температуре на входе 40 °C температура GPU оставалась ниже предельных значений (около 87 °C).

Оператор AirTrunk заключил соглашение с принадлежащей штату Джохор (Малайзия) водоснабжающей компанией Johor Special Water (JSW). Совместно будет реализована инициатива по снабжению кампусов JHB1 и JHB2 переработанными сточными водами, сообщает Datacenter Dynamics. По данным партнёров, проект — крупнейший в своём роде для Малайзии. Вода, в частности будет использоваться для СЖО в дата-центре JHB1, развёрнутой в прошлом году.

Очищенная на месте вода будет обеспечивать потребности дата-центров AirTrunk в Джохоре, а традиционные водные ресурсы планируется сохранить для местных жителей. Как заявляют в компании, сотрудничество с местными подрядчиками способствует экономическому росту штата. Соглашение также предусматривает значимые инвестиции компании в развитие очистных мощностей и водопроводной инфраструктуры региона.

Кампус JHB1 заработал в июле 2024 года. На начальных стадиях он обеспечивает более 50 МВт ёмкости для крупных клиентов. Площадь 20 помещений превышает 22 тыс. м². Со временем ЦОД вырастет до 150 МВт. Строительство 270-МВт кампуса JHB2 в городе Искандар Путери (Iskandar Puteri), тоже в Джохоре, было анонсировано в феврале. Таким образом, общие инвестиции компании в Малайзию вырастут до RM9,7 млрд ($2,2 млрд). В прошлом сентябре Blackstone и Canada Pension Plan Investment Board приобрели AirTrunk за $16,1 млрд, что стало рекордной сделкой в отрасли.

Источник изображения: Ajay Kumar Jana/unsplash.com

В последние годы использование переработанных сточных вод для охлаждения ЦОД становится всё популярнее. Обычно дата-центры применяют питьевую воду. При этом из-за обработки воды химикатами для ЦОД для удаления бактерий и накипи, вода становится непригодной для питья после прохождения через системы объектов. В результате операторы ЦОД обратили внимание на переработанные сточные воды, которые проходят многоступенчатый процесс очистки, устраняющий 99 % загрязнений. AWS, Google, Microsoft и Meta✴ все активно применяют технологии переработки сточных вод и намерены стать «водно-положительными» к 2030 году.

Известный производитель решений для жидкостного охлаждения — компания LiquidStack — объявила об открытии второго завода в Карролтоне (Техас). Предполагается, что это поможет удовлетворить растущий спрос на СЖО, сообщает пресс-центр компании.

Расположенный всего в паре кварталов от штаб-квартиры и производственной площадки LiquidStack в агломерации Даллас/Форт-Уэрт (Dallas-Fort Worth), новый объект площадью более 1,5 тыс. м² значительно увеличит производственные возможности компании. Одновременно он будет служить в качестве нового исследовательского центра и площадки для обучения сотрудников. Расширение выпуска происходит в важное для производителя время. Спрос на его универсальный блок CDU-1MW для DLC-систем остаётся высоким с момента появления в продаже в августе 2024 года. Продукт также попал в список Recommended Vendor List компании NVIDIA.

Источник изображения: LiquidStack

В компании заявляют, что сейчас LiquidStack переживает беспрецедентный спрос на высокопроизводительные решения для охлаждения на фоне роста ИИ ЦОД. LiquidStack считает колоссальным преимуществом для клиентов наличие производства в США. Масштабирование производственных мощностей позволит LiquidStack поддерживать стабильное время поставок своих решений клиентам в рамках программы Quick-Ship, обеспечивающей быструю транспортировку критически важных компонентов. Это важно, поскольку многие операторы ЦОД столкнулись с задержками выполнения заказов из-за нарушений в цепочках поставок.

Утверждается, что сообщество жителей агломерации Даллас/Форт-Уэрт полно энтузиазма после того, как компания открыла в регионе штаб-квартиру и первый в США завод в прошлом году. В компании намерены и дальше инвестировать в агломерацию, а расширение производства позволит создать немало рабочих мест на севере Техаса и углубить связь с местным бизнес-сообществом.

Источник изображения: LiquidStack

Все решения LiquidStack для жидкостного охлаждения выпускаются на заводах в Карролтоне — включая CDU-1MW, двухфазные и однофазные решения для погружного охлаждения и модульные ЦОД MacroModular и MicroModular. Новый объект LiquidStack в Карролтоне полностью введут в эксплуатацию в мае 2025 года.

В 2021 году LiquidStack и Microsoft продемонстрировали ИИ-серверы с двухфазным иммерсионным охлаждением, а в марте 2024 года компания запустила в США производство погружных СЖО. В сентябре, через месяц после премьеры CDU-1MW, компания привлекла $20 млн на расширение разработки серверных СЖО.