Поскольку современные ИИ-чипы нередко имеют TDP более 1000 Вт, классическое воздушное охлаждение не готово эффективно справляться с подобными тепловыми нагрузками. Однако установка контуров жидкостного охлаждения требует времени и больших затрат, поэтому Google предложила гибридную замкнутую стоечную систему Bezos, которая позволяет развернуть в ЦОД с воздушным охлаждением высокоплотные стойки с СЖО.

Brazos фактически представляет собой автономную СЖО, захватывающую тепло с помощью циркулирующей жидкости непосредственно от компонентов оборудования. После этого тепло отводится в «горячий коридор» через теплообменники. Подобные решения можно быстро развернуть практически в любом действующем ЦОД, стойка за стойкой проводя модернизацию инфраструктуры и сохраняя при этом простоту эксплуатации, характерную для обычных воздушных систем — лишь бы хватало холода и питания в зале.

Источник изображения: Google

Brazos представляет собой модульную систему, включающую три охлаждающих блока высотой 11OU и встроенные коллекторы для стоек. Модули совместимы со стандартными стойками OCP ORv3. По словам Google, Brazos отличают:

• поддержка номинальной тепловой нагрузки до 60 кВт на стойку при использовании трёх охлаждающих модулей;
• использование либо деионизированной воды (DI) или 25-% смеси пропиленгликоля (PG25);
• питание от шинопровода DC 40–60 В;
• сертификация UL/CSA/IEC/62368-1
• встроенный механизм выявления утечек, а также предохранительные клапаны сброса давления;
• локальный мониторинг посредством интегрированного HMI-модуля;
• удалённое управление посредством Modbus/TCP.

Источник изображения: Google

Систему конструировали с учётом удобства обслуживания непосредственно на площадке. Шасси имеет направляющие с низким трением, что позволяет легко выдвигать блоки. Ключевые элементы вроде насосов и вентиляторов выполнены в виде модулей с возможностью «горячей» замены (FRU), что даёт возможность свести к минимуму среднее время ремонта (MTTR). Похожие решения используют Meta✴ и Microsoft.

В ближайшие месяцы Google намерена выложить в open source технические спецификации, принципы разработки и «визуальные активы» Brazos. Наработки рассчитаны на архитекторов вычислительных систем, производителей оборудования, а также специалистов по теплотехнике. Партнёры Google уже готовы к производству решений на основе Brazos. Ранее компания поделилась с OCP проектом CDU Deschutes.

Японская Nidec Corporation (Nippon Densan Corporation) разработала новый блок распределения охлажддающей жидкости (Cooling Distribution Unit) высокой мощности, сообщает Datacenter Dynamics. Прототип стоечного варианта с мощностью до 300 кВт предназначен для охлаждения ИИ-оборудования. Система совместима со стойками OCP ORv3.

Оборудование оснащено внешними и внутренними сенсорами утечек, обеспечивает постоянный мониторинг температуры, давления, скорости потока и уровня жидкости в режиме реального времени. Операторы ЦОД своевременно уведомляются о любых аномалиях. Компания рассчитывает наладить массовое производство соответствующей модели в первом квартале 2027 года. В портфолио Nidec уже имеется два поколения внутристоечных CDU, по 200 и 250 кВт высотой 4U.

Также компания разработала прототип модуля STC 1.0, способного вмещать до пяти CDU в рамках одной системы. STC 1.0 разработали для соблюдения оптимального баланса между готовностью к масштабированию в будущем и обеспечения оптимальной конфигурации на этапе начального развёртывания ИИ-систем.

Источник изображения: Nidec

Основанная в 1973 году Nippon Densan Corporation, сменившая имя на Nidec, в основном известна производством и дистрибуцией электродвигателей, хотя занимается и другими проектами, в том числе — внутрирядных CDU и водоблоков. В 2025 году Nidec, наряду с Fujitsu и Supermicro, сообщили о намерении объединить усилия для повышения энергоэффективности ИИ ЦОД. В частности сообщалось, что Nidec будет поставлять компоненты СЖО, включая CDU, насосы и пр. Система охлаждения Nidec, как ожидается, улучшит управление температурой и снизит энергопотребление серверов.

Если не ограничиваться размером стоек, предлагаются и более мощные решения. Так, в феврале Nautilus анонсировала блок распределения охлаждающей жидкости EcoCore FCD CDU, разработанный специально для крупномасштабных дата-центров, ориентированных на нагрузки ИИ и НРС — мощностью 4 МВт.

Японский производитель электроники TDK объявил о приобретении американского стартапа Fabric8Labs, разработчика новой технологии электрохимической аддитивной (ECAM) 3D-печати, которая может использоваться для изготовления компонентов СЖО. Сумма сделки в размере до $400 млн включает авансовый платеж и многолетнюю выплату в зависимости от результатов деятельности. После закрытия сделки Fabric8Labs станет дочерней компанией TDK.

TDK сообщила, что приобретение Fabric8Labs позволит ей расширить портфель технологий терморегулирования, управления питанием и передовых технологий упаковки, которые «определят производительность ЦОД следующего поколения». Компания также отметила, что производственная платформа Fabric8Labs может дополнить её существующий бизнес по производству пассивных компонентов и ускорить коммерциализацию интегрированных решений для ЦОД.

Источник изображений: Fabric8Labs

Как подчеркнул ресурс Digitimes, запатентованная технология Fabric8Labs особенно подходит для систем терморегулирования в ИИ-серверах, включая СЖО, используемые для рассеивания тепла, выделяемого всё более мощными GPU. Технология Fabric8Labs используется для изготовления охлаждающих пластин, ключевого компонента DLC-систем. По данным компании, её водоблоки позволяют снизить температуру ускорителей на целых 7 °С на кВт.

Сделка является ключевой частью стратегических инвестиций TDK в области ИИ. По данным TDK, на рынки, связанные с ИИ, уже приходится более 10 % её выручки, и она ожидает ежегодного роста в этом сегменте на 25–30 % до конца десятилетия. У TDK есть опыт использования приобретений для реорганизации своего бизнеса. Приобретение в 2005 году производителя батарей Amperex Technology помогло компании создать бизнес, который сейчас приносит ей более половины выручки, а приобретение производителя датчиков InvenSense позволило ей расширить присутствие в сегментах мобильной и промышленной электроники.

По мере ускорения развития ИИ-инфраструктуры управление тепловыми процессами стало одним из самых привлекательных направлений инвестирования в отрасли. Крупные операторы ЦОД и поставщики оборудования активно инвестируют в передовые системы охлаждения для поддержки ИИ-кластеров следующего поколения, благодаря чему создаются новые возможности для поставщиков технологий жидкостного охлаждения и специализированных компонентов.

Компания Wiwynn (дочерняя структура Wistron), по сообщению ресурса Tom's Hardware, продемонстрировала один из первых в отрасли серверов хранения NVIDIA SCADA (SCaled Accelerated Data Access). Устройство ориентировано на высокопроизводительную обработку больших объёмов данных в рамках задач обучения ИИ-моделей и инференса.

Источник изображений: Wiwynn

Новинка выполнена в MGX-шасси высотой 6U и рассчитана на монтаж в 19″ серверную стойку. Задействован процессор NVIDIA Vera, который содержит 88 ядер Olympus, или Intel Xeon (в составе HPM-). Доступны восемь слотов для модулей DDR5. Система несёт на борту четыре ускорителя NVIDIA RTX Pro 6000 Blackwell Server Edition, четыре коммутатора PCIe 6.x и четыре 800G-карты ConnectX-9 SuperNIC/DPU BlueField-4 (опционально GPU можно поменять на DPU). Реализовано полностью жидкостное охлаждение.

Сервер рассчитан на 96 накопителей EDSFF E3.S SSD с вертикальной загрузкой. При использовании изделий Micron 9650 Pro вместимостью 30,72 Тбайт с интерфейсом PCIe 6.0 суммарная ёмкость достигает 2,949 Пбайт. При этом обеспечивается показатель IOPS на операциях случайного чтения до 528 млн. Максимальное энергопотребление новинки — 9 кВт (питание DC 50 В). Кабели питания и гибкие шланги СЖО расположенные в нишах по бокам, что позволяет выдвигать лоток с накопителями и производить «горячую» замену SSD.

Отмечается, что традиционные серверы на основе CPU плохо справляются с такими задачами, как векторный поиск, генерация с дополненной выборкой (RAG), анализ графов и извлечение данных из KV-кеша. При таких нагрузках процессору необходимо выдавать команды, обрабатывать запросы и контролировать передачу данных, из-за чего создаются узкие места.

Платформа SCADA позволяет решить проблему благодаря тому, что операции ввода-вывода и обработка данных возлагаются на GPU — без участия CPU. По сути, ускорители RTX Pro 6000 Blackwell Server Edition в составе машины выполняют функции процессоров хранения, которые инициируют и обрабатывают транзакции и миллионы запросов со стороны ИИ-приложений, а также передают данные на вычислительные узлы посредством карт ConnectX-9.

Компания Valvoline Global Operations представила Beyond by Valvoline — платформу жидкостей нового поколения, разработанную для контроля тепла и максимальной производительности, а также удовлетворения самых жёстких требований при использовании в системах охлаждения инфраструктуры для ИИ и HPC, и крупномасштабных системах хранения энергии на основе аккумуляторов.

Valvoline отметила, что по мере того, как ИИ- и цифровые системы становятся всё более мощными и сложными, управление тепловыми процессами стало критически важным компонентом проектирования ЦОД. «Beyond by Valvoline была создана для решения этой проблемы, обеспечивая передовое управление температурным режимом, которое помогает максимизировать производительность, повысить эффективность и продлить срок службы критически важного вычислительного оборудования», — подчеркнула компания.

Источник изображений: Valvoline

В связи с развёртыванием GPU следующего поколения, отличающихся большей мощностью, отрасль ЦОД переходит к более широкому внедрению технологий прямого жидкостного и иммерсионного охлаждения. Запуск платформы Beyond от Valvoline обеспечивает больше возможностей для специалистов по жидкостным технологиям в поддержке растущих требований к инфраструктуре, говорит компания.

Valvoline позиционирует это предложение как расширение своей экспертизы в области гидродинамики, применяя знания, полученные на автомобильном и промышленном рынках, к новым технологическим приложениям. Компания подчеркнула, что разработанные ею жидкости уже заслужили доверие ряда ведущих мировых поставщиков высокоэффективных решений для охлаждения.

Анонс Beyond by Valvoline отражает продолжающееся развитие экосистемы иммерсионного охлаждения. Как отмечалось в многочисленных проектах и оценках технологий, успешная реализация погружного охлаждения зависит не только от конструкции серверов и резервуаров, но и от производительности, стабильности и долгосрочной надёжности самой охлаждающей жидкости. Поставщики с глубокими знаниями в области химии жидкостей всё чаще становятся участниками цепочки поставок ИИ-инфраструктуры.

В настоящее время Valvoline предлагает жидкости Valvoline HPC DE1 и Valvoline PG25 Advanced. Valvoline HPC DE1 разработана для систем погружного охлаждения, где происходит прямой контакт жидкости с электрическими компонентами, например, в системах HPC, зарядных станциях и электромобилях. Для этих систем требуются низкая электропроводность и высокая диэлектрическая прочность, а для обеспечения высокой эффективности теплопередачи предпочтительны низкая вязкость и высокая теплопроводность.

Valvoline PG25 Advanced предназначена для охлаждения вычислительной техники, отличается низкой токсичностью и обеспечивает надёжную защиту от коррозии металлических компонентов системы охлаждения. Также PG25 Advanced снижает вероятность засорения узких каналов и предотвращает образование отложений при утечках благодаря уникальному низкому содержанию твердых частиц.

Компания SpaceX изучает амбициозную концепцию развёртывания вычислительной ИИ-инфраструктуры на низкой околоземной орбите (LEO) с учётом использования возможностей Starship для доставки спутников-ЦОД, сетевых технологий Starlink и космических платформ с питанием от солнечной энергии. Всё это планируется применить для создания «ИИ-спутников», действующих в качестве орбитальных ЦОД, сообщает Converge! Digest.

В недавно опубликованных материалах компания обнародовала план, который позволит в перспективе перейти от развёртывания отдельных ЦОД с ИИ-возможностями, несущих ускорители на борту, к многогигаваттной орбитальной вычислительной инфраструктуре. Концепция основана на доступности солнечной энергии и терморегуляции с помощью специальных радиаторов. Подчёркивается, что ключевые аппаратные средства уже разрабатываются в недрах SpaceX. Компания отметила, что планирует создать мощности для производства солнечных панелей и ИИ-спутников в Техасе.

Первоначально ИИ-спутники обеспечат по 120–150 кВт вычислительных мощностей — это приблизительный эквивалент одной современной стойки на основе систем класса NVIDIA GB300. Размах «крыльев» спутника составит 70 м, высота в развёрнутом состоянии — 20 м. Солнечные элементы, изначально разработанные для спутников Starlink V3, обеспечат мощность 250 Вт/м², а двусторонние радиаторы — 1400 Вт/м². Платформы-ЦОД не предназначены для обеспечения связи — они будут состоять из солнечных батарей, радиаторов, вычислительного оборудования и оптических интерконнектов.

По словам Илона Маска (Elon Musk), радиатор площадью 110 м² будет использовать систему жидкостного охлаждения с «резервными насосными контурами», вероятно, для поддержания циркуляции жидкости. Какой именно, не указывается, но эксперты предполагают, что будет использоваться аммиак, как на МКС, который не замерзает даже при низких температурах и оптимально подходит для сбора тепла и рассеивания его в космос. Вполне возможно, что спутники SpaceX будут использовать именно такую технологию с радиаторами, направленными в сторону от Земли и от Солнца.

Источник изображения: SpaceX

По мнению Маска, для ИИ-спутников не требуется «никакой магии». Они основаны на модели Starlink V3, которая отправится в космос в конце 2026 года. При этом Маск подчеркнул, что ИИ-спутник намного проще, чем спутник Starlink, имеющий гигантские фазированные антенные решётки, параболические антенны, множественные лазерные каналы связи и пр.

По словам SpaceX, аппараты будут работать на высотах 600–800 км и окажутся связаны как напрямую друг с другом с помощью лазеров, так и с группировкой Starlink. По оценкам компании, задержка для наземных пользователей может оказаться довольно низкой из-за относительной близости спутников к земной поверхности. Потенциально размещение вычислительных мощностей в космосе добавит лишь несколько миллисекунд к задержке.

По словам Маска, инициатива является частью более масштабного плана по использованию солнечной энергии за пределами поверхности Земли. Он утверждает, что ограниченная доступность земельных участков, погодные условия и дефицит энергетических мощностей не позволяют в достаточной мере масштабировать ИИ-инфраструктуру непосредственно на планете. Полный переход в космос должен обеспечить ИИ-системам значительно больше солнечной энергии, одновременно избавив их от многих ограничений наземной инфраструктуры.

Не так давно SpaceX подала заявку на размещение в космосе миллион спутников-ЦОД. При этом компания столкнулась с противодействием AWS, которая, в лице связанной Blue Origin, похоже, сама имеет схожие планы.

Компания Molex представила шину питания с многоканальным жидкостным охлаждением, предназначенную для использования в ИИ ЦОД. Как сообщает компания, предложенная технология объединяет распределение электроэнергии и жидкостное охлаждение в единый инфраструктурный компонент, предназначенный для поддержки ИИ-систем следующего поколения.

Molex отметила, что с ростом интенсивности ИИ-нагрузок требования к мощности стоек приближаются к порогу в 1 МВт, в связи с чем традиционная инфраструктура с воздушным охлаждением достигла физического предела. Компания попыталась решить эту проблему, распространив жидкостное охлаждение на уровень распределения питания, обеспечив поддержку силы тока до 15 тыс. А и планируя в будущем достичь 25 тыс. А.

Вместо одного канала, используемого в традиционной конструкции с жидкостным охлаждением, Molex предложила архитектуру с семью отдельными каналами СЖО. Многоканальная структура призвана уменьшить количество зон перегрева, а также обеспечить более равномерное и эффективное отведение тепла и более стабильную работу электрооборудования при высоких токах.

Источник изображений: Molex

По данным моделирования Molex, эффективность охлаждения повышается до 20 % по сравнению с одноканальной конструкцией. При этом растёт показатель тепловой эффективности — до 15 °C T-Rise при токе 15 тыс. А. Возможность максимизировать отведение тепла при тех же габаритах позволяет архитекторам ЦОД масштабировать мощность без ущерба для ценного пространства в стойке, отметила компания.

Шины могут быть сконфигурированы по длине, глубине, а также по положению входного и выходного отверстий для жидкости. Эта гибкость в сочетании со стандартным интерфейсом plug-and-play обеспечивает плавный переход к жидкостному охлаждению без необходимости перепроектирования инфраструктуры стойки.

Благодаря совместимости габаритов с механическими стандартами ORV3 и HPR упрощается интеграция в стоечные архитектуры, которые уже разрабатываются с учётом всё более высоких токовых нагрузок и более высокой тепловой плотности. Совместимость с диэлектрическими и недиэлектрическими жидкостями гарантирует беспрепятственную интеграцию технологии в различные существующие контуры охлаждения объектов.

Развёртывание ИИ-инфраструктуры изменило роль оборудования распределения питания. Ускорители и высокоскоростная память повышают плотность размещения оборудования в стойках, в то время как прямое охлаждение чипов уже вошло в состав основных высокопроизводительных систем. Проводники, разъёмы и шины, передающие питание по стойке, теперь подвергаются тому же тепловому и механическому воздействию, что и вычислительный слой, который они питают, отметил ресурс IN Electronics.

Распределение более высокого напряжения предлагает один из способов снижения нагрузки на медь и ограничения потерь при преобразовании. Работа Infineon с экосистемой стоек NVIDIA на 800 В DC показывает, как архитектуры на уровне стойки отходят от постепенных изменений в системе питания в сторону более масштабной электрической модернизации. Разработка Molex решает ту же проблему масштаба стойки со стороны проводников и охлаждения.

Жидкостно-охлаждаемые шины питания не устранят необходимость в эффективных преобразовательных каскадах или надёжной защите, но они решают проблему обеспечения температурного режима для стоек с высокими токами. По мере повышения силы тока, силовая магистраль становится одновременно и электрическим каналом, и тепловой структурой, а её конструкция все больше влияет на плотность размещения оборудования в стойках, надёжность, удобство обслуживания и циклы модернизации.

Компания CoolIT Systems объявила о разработке первой в отрасли охлаждающей пластины, способной справляться с отводом тепла от чипов мощностью до 15 кВт. Изделие рассчитано на использование в составе однофазных систем прямого жидкостного охлаждения (DLC).

Представленный водоблок использует фирменную микроканальную архитектуру Split-Flow. Она, как утверждается, позволяет почти на треть улучшить поток и отвод тепла по сравнению с традиционными изделиями. При этом достигается целенаправленное охлаждение наиболее нагревающихся областей микросхем. Новинка протестирована со стандартным водно-гликолевым теплоносителем со скоростью потока 1,2 л/мин./кВт. Кроме того, изделие подходит для систем охлаждения теплой водой при температуре 45 °C.

Источник изображения: CoolIT

CoolIT подчеркивает, что охлаждающая способность разработанного решения более чем в 10 раз превосходит потребности современных ИИ-ускорителей на основе GPU. Таким образом, водоблок сможет применяться для охлаждения будущих карт, потребляющих в разы больше энергии по сравнению с нынешними продуктами. «Этот прорыв демонстрирует, что однофазные DLC-системы могут масштабироваться для удовлетворения тепловых потребностей будущих графических процессоров сверхвысокой плотности и ускорителей ИИ», — отмечает CoolIT.

Нужно добавить, что ранее CoolIT анонсировала водоблок для отвода тепла от чипов мощностью до 4 кВт. Данное изделие также базируется на архитектуре Split-Flow. Новое решение для ускорителей мощностью до 15 кВт обладает почти вчетверо большим потенциалом охлаждения. Accelsius также готовит водоблок для 4,5-кВт GPU, но в рамках двухфазной СЖО.

Коллектив Yandex Infrastructure объявил о пересмотре подхода к строительству ЦОД и охлаждению оборудования. Предполагается, что строительство кампусов из нескольких ЦОД рядом друг с другом и использование систем жидкостного охлаждения (СЖО) помогут ускорить развёртывание ИИ-сервисов компании.

Концепция кампусов не нова и активно применяется в России и за рубежом. Считается, что строительство нескольких ЦОД в одном месте, использующих общую внешнюю инфраструктуру, даст возможность более эффективно использовать имеющиеся ресурсы, сократить расходы и поднять мощность в три раза — до 180 МВт (в сравнении с немногим более 60 МВт сегодня). По данным «Яндекса», это рекордный для России уровень, позволяющий обеспечить пользователям гибко масштабировать сервисы под собственные задачи с гарантированной надёжностью.

«Яндекс»

Параллельно компания внедряет в своих ЦОД системы жидкостного охлаждения. Для этого специально разработаны дополнительные стойки-сайдкары с жидкостно-воздушными радиаторами. Такое оборудование позволяет использовать СЖО в ЦОД с воздушным охлаждением (фрикулингом) без необходимости масштабной и сложной реконструкции дата-центров. Комбинация технологий позволяет эффективно управлять температурой оборудования и даёт возможность быстрее адаптировать инфраструктуру к росту нагрузок, связанных с задачами самого «Яндекса» и его внешних партнёров.

Статистика IDC за 2024 год показывала, что уже на то время 22 % дата-центров применяли СЖО. По мере роста вычислительных нагрузок на фоне широкого внедрения ИИ, внедрение таких систем становится крайне желательным для более эффективного отвода тепла и снижения энергопотребления.

Источник изображения: «Яндекс»

По данным «Яндекса», использование фрикулинга и отказ от доохлаждения обеспечивает показатель PUE на уровне 1,1 — один из лучших для ЦОД в мире. Внедрение СЖО позволит ещё больше снизить затраты энергии и укрепить экологическую безопасность дата-центров.

Команда готовит внутреннюю инфраструктуру «Яндекса», необходимую для всех сервисов компании: дата-центры, сеть, распределённые хранилища данных огромного объёма, а также платформы для разработки и внедрения и инфраструктуру для машинного обучения.

Американские исследователи из Иллинойского университета в Урбане-Шампейне (UIUC) разработали новую технологию изготовления полностью медных охлаждающих пластин для СЖО в дата-центрах. Предложенное решение, как утверждается, способно значительно повысить энергоэффективность серверов.

Авторы проекта отмечают, что производители компонентов для СЖО зачастую отдают приоритет стоимости изготовления водоблоков, а не их производительности. В частности, многие компании отказываются от применения меди в пользу различных алюминиевых сплавов, с которыми проще работать. Однако такие материалы обладает более низкой теплопроводностью, из-за чего ухудшается эффективность охлаждения. При этом конструкция самих охлаждающих пластин предполагает наличие рёбер простой формы — прямоугольных параллелепипедов, конусов или цилиндров.

Источник изображения: cell.com

Исследователи применили иной подход. Они использовали метод топологической оптимизации для проектирования рёбер сложной формы. В качестве базового варианта была взята традиционная конструкция, которая затем изменялась на основе математических алгоритмов. Для каждой итерации оценивались такие ключевые показатели, как охлаждающая способность и количество энергии, необходимое для прокачки жидкости мимо рёбер. В результате была выбрана конфигурация с заостренными вершинами и зазубренными краями.

Источник изображения: cell.com

Утверждается, что оптимизированный водоблок по сравнению с традиционными аналогами (с рёбрами в виде параллелепипедов) позволяет повысить эффективность охлаждения на 32 %. По оценкам, для СЖО с такими пластинами потребуется всего 1,1 % энергии, которую потребляет дата-центр в целом. Для сравнения, в случае воздушного охлаждения этот показатель может достигать 30 %, а в случае других СЖО — 5–15 %.

Однако для изготовления новых пластин обычные производственные методы не подходят из-за сложной конфигурации рёбер. Поэтому участники проекта обратились к компании Fabric8Labs для электрохимического аддитивного производства (ECAM) — метода 3D-печати металлом. Данный подход позволяет изготавливать детали из чистой меди с очень высокой точностью — до 30–50 мкм, что меньше толщины человеческого волоса. О возможных сроках коммерциализации предложенного решения ничего не сообщается. При этом сама Fabric8Labs пару лет назад предложила похожий водоблок, но с гироидными структурами. А Microsoft и Corintis предлагают вообще отказаться от традиционных водоблоков и формировать каналы для охлаждающей жидкости непосредственно на поверхности чипов.