Президент РФ дал поручение правительству России рассмотреть возможность расширения производства систем иммерсионного охлаждения для отечественных центров обработки данных (ЦОД). Это поручение вошло в перечень задач, которые были утверждены главой государства по итогам выставки технологических компаний. Разработка подобных СЖО ведётся в России довольно давно, в том числе для отечественных суперкомпьютеров.

Правительству предлагается рассмотреть вопросы об оказании поддержки в реализации проектов, в том числе в части, касающейся «организации при участии ПАО “Сбербанк России”, ООО “Яндекс”, иных заинтересованных организаций масштабирования производства систем иммерсионного охлаждения для российских центров обработки данных». Доклад по этому вопросу необходимо подготовить до 1 декабря 2026 года.

Источник изображения: GIGABYTE

Технология иммерсионного охлаждения, обеспечивающая отвод тепла от серверов и электронных компоненты благодаря их полному погружению в специальную диэлектрическую жидкость с высокой теплопроводностью и устойчивостью к электрическим зарядам, отличается целым рядом преимуществ, особенно для высоконагруженных HPC-систем. В их числе более высокая по сравнению с воздушным охлаждением энергоэффективность, возможность более плотного размещения оборудования и продление сроков его службы. Впрочем, и недостатков она не лишена.

Китайская ZTE представила модульный ЦОД, разработанный для ИИ-нагрузок. Новый продукт ZXEDC M8000 Intelligent Computing Micro-Module показали в ходе мероприятия Data Center World Asia, сообщает Datacenter Dynamics.

Китайская компания заявила, что M8000 объединяет «холодный коридор», стойки с сетевым оборудованием, стойки для жидкостного охлаждения, CDU, трубопроводы вторичного контура охлаждения, оборудование системы электропитания постоянным током высокого напряжения (HVDC), а также умные шинопроводы, «воздушные стены» (air walls), системы мониторинга и освещения, кабели и системы взаимодействия с пожарной сигнализацией — всё в одном модуле. Система также может поддерживать как стандартные вычислительные задачи, так и ИИ-вычисления.

По данным ZTE, мощность отдельных стоек модуля составит от 20 до 60 кВт, а пиковая мощность достигнет 250 кВт. Стойки отделены от несущего каркаса модуля, поэтому в будущем операторы смогут перейти с воздушного на жидкостное охлаждение непосредственно на площадке размещения дата-центра. Также ZTE утверждает, что архитектура системы охлаждения предусматривает использование общего источника холода для воздушного и жидкостного контуров. Это позволяет операторам регулировать соотношение между разными типами охлаждения.

Источник изображения: ZTE

По данным ZTE, благодаря использованию фрикулинга система способна обеспечить показатель PUE на уровне 1,15 во всех климатических регионах. Оборудование с питанием 800 В DC в сочетании с умными шинопроводами для распределения электроэнергии между стойками, как утверждают в компании, обеспечивает КПД системы электропитания до 98 %.

Компания утверждает, что модуль M8000 — первый вариант с СЖО, получивший сертификат UL Solutions, подтверждающий герметичность системы на уровне всего комплекса. Также ZTE заявляет, что архитектура модульного ЦОД позволяет поддерживать три поколения ИТ-оборудования без необходимости существенной перестройки инфраструктуры по мере наращивания мощностей.

В 2025 году компания представила модульный ЦОД AIDC Prefabricated Container Solution, обеспечивающий показатель PUE на уровне 1,15 благодаря использованию системы охлаждения Chilled Water Wall (CWW), а также разделению «холодного» и «горячего» коридоров и DLC СЖО в сочетании с фрикулингом.

Supermicro анонсировала стойку с процессорами NVIDIA Vera — новое дополнение к линейке DCBBS (Data Center Building Block Solutions) обещает высокую плотность вычислительных мощностей, необходимых для работы агентного ИИ, задач обучения с подкреплением и обработки данных. Решение позволяет развернуть до 22,5 тыс. песочниц. Стойка может эксплуатироваться самостоятельно или совместно с уже поставляемой системой Supermicro NVIDIA Vera Rubin NVL72.

Стойка Supermicro с процессорами NVIDIA Vera объединяет 256 CPU, обеспечивая в общей сложности 22 528 ядер и 45 056 потоков. За высокоскоростное подключение и аппаратные функции безопасности отвечает DPU BlueField-4; технология прямого жидкостного охлаждения Supermicro DLC-2 охватывает стойку целиком. Стойка построена на архитектуре NVIDIA MGX третьего поколения, которая включена в состав комплекса DLC-2 — это обеспечивает унифицированную инфраструктурную базу, общую с системой Vera Rubin NVL72 того же производителя, и упрощает стандартизированное развёртывание. Для питания заказчики могут выбрать либо традиционное подключение к сети переменного тока, либо использовать дополнительный модуль 800 В DC.

Источник изображения: supermicro.com

Стойка Supermicro NVIDIA Vera CPU поддерживает решение NVIDIA OpenShell, которое обеспечивает непрерывный мониторинг и контроль поведения ИИ-агентов; в качестве внешнего средства мониторинга выступает NVIDIA Sentry на DPU BlueField-4 — при выходе ИИ-агента из-под контроля он изолируется за несколько миллисекунд. Supermicro предусмотрела вариант конфигурации, объединяющий стойки VR200 NVL72 и Vera CPU. Для этого используется схема сети на основе NVIDIA Spectrum-X Ethernet; предусматриваются схемы изоляции горячих коридоров, избыточные CDU между рядами стоек и теплообменники на задних дверцах (RDHx). Инженеры производителя обеспечивают сопровождение проекта на этапе развёртывания и постоянную поддержку.

Новинка может работать и в качестве автономной CPU-платформы — она подойдёт для сценариев оркестрации ИИ-агентов, реализации песочниц, операций с БД, управления кластером и планировщиками, анализа данных, а также крупномасштабных конвейеров сборки ПО. Ранее Supermicro представила стойки со статической нагрузкой до 2500 кг, серверы на платформе AMD EPYC Venice и серверы с Arm AGI для агентного ИИ.

Американская компания Micas Networks на мероприятии OCP Global Summit 2026 анонсировала семейство высокопроизводительных коммутаторов с пропускной способностью 102,4 Тбит/с для дата-центров, ориентированных на ИИ-нагрузки. Устройства построены на чипах Broadcom Tomahawk 6.

В частности, дебютировала модель Micas M2-W6950-128OC-FA. Этот коммутатор выполнен в форм-факторе 4U для монтажа в стандартную 19″ серверную стойку. Применяется традиционное воздушное охлаждение. Задействована ASIC-микросхема Broadcom BCM78910 Tomahawk 6P. На фронтальной панели располагаются 128 портов OSFP со скоростью передачи данных 800 Гбит/с каждый. Кроме того, доступны дополнительные сетевые разъёмы, включая RJ45, и порт USB Type-A. Производство устройства планируется организовать в текущем квартале.

Ещё одна новинка — изделие Micas M2-W6951-64HC-CP типоразмера 2U с жидкостным охлаждением. Его конфигурация включат 64 порта OSFP с пропускной способностью 1,6 Тбит/с каждый. Данная модель предназначена для применения в ИИ-инфраструктурах высокой плотности. Серийный выпуск, как ожидается, начнётся до конца 2026 года.

Источник изображения: Micas Networks

Наконец, представлен коммутатор Micas M2-W6950-64X3-DR8-CP08-DC с интегрированной оптикой CPO (Co-Packaged Optics) на базе ASIC Broadcom Tomahawk 6 (Davisson). Он оснащён 64 оптическими портами MMC DR8 со скоростью 1,6 Тбит/с. Данная модель, получившая исполнение 1U, оборудована жидкостным охлаждением. Производство будет начато в I квартале 2027 года.

На коммутаторах применяется сетевая операционная система SONiC с открытым кодом. Использование этой платформы, как подчёркивается, поможет операторам ИИ ЦОД снизить зависимость от закрытых сетевых архитектур.

Компания Celestica представила высокопроизводительный коммутатор DS6005 с интегрированной оптикой CPO (Co-Packaged Optics) для инфраструктур гиперскейлеров и дата-центров, ориентированных на ресурсоёмкие задачи ИИ. Устройство выполнено в форм-факторе 1.5OU для стоек стандарта ORv3.

В новинке применены неназванный процессор AMD Ryzen и ASIC Broadcom Tomahawk 6 (Davisson). Реализованы 64 порта (16 разъёмов MMC-16) со скоростью передачи данных 1,6 Тбит/с каждый. Общая пропускная способность достигает 102,4 Тбит/с.

Конструкция предусматривает наличие 16 внешних лазерных модулей ELSFP на лицевой панели с возможностью горячей замены. Применяется полностью жидкостное охлаждение с быстроразъёмными соединениями. На задней панели расположен вход постоянного тока. В оснащение входят дополнительный Ethernet-порт 100GbE QSFP28, коннекторы USB 3.0 Type-A и USB Type-C, консольный порт RJ45 и пр.

Источник изображения: Celestica

Упомянуты модуль TPM 2.0 для обеспечения безопасности, поддержка постквантовой криптографии, а также аппаратная синхронизация времени по стандартам IEEE 1588 и SyncE. Коммутатор функционирует под управлением сетевой операционной системы SONiC (с установщиком ONIE) и имеет CPO-ориентированные инструменты управления.

В целом, как отмечается, модель Celestica DS6005 даёт возможность уменьшить задержки и повысить энергоэффективность ИИ ЦОД. Применение СЖО обеспечивает стабильность и надёжность работы в условиях большой плотности компоновки оборудования.

Kioxia анонсировала SSD семейства CM9-DLC с поддержкой прямого жидкостного охлаждения. Накопители ориентированы на применение прежде всего в ИИ-серверах для кеширования контекста.

Изделия выполнены в форм-факторе E3.S с двухпортовой конфигурацией. Задействованы чипы флеш-памяти BiCS FLASH TLC NAND восьмого поколения; для обмена данными служит интерфейс PCIe 5.0 (NVMe 2.0, NVMe-MI 1.2). Говорится о поддержке отдельных положений спецификации OCP Datacenter NVMe SSD v2.5.

Накопители CM9-DLC будут предлагаться в вариантах для смешанных нагрузок и интенсивного чтения. В первом случае вместимость составляет 6,4, 12,8 и 25,6 Тбайт. Скорость последовательного чтения варьируется от 13 500 до 14 800 Мбайт/с, скорость последовательной записи — от 9750 до 11 000 Мбайт/с. Величина IOPS при произвольном чтении данных блоками по 4 Кбайт составляет от 3,2 до 3,4 млн, при произвольной записи — 800 тыс. Такие устройства рассчитаны на три полных перезаписи в сутки (величина DWPD) на протяжении пяти лет.

Источник изображения: Kioxia

В свою очередь, изделия, оптимизированные для операций чтения, могут иметь ёмкость 7,68, 15,36 и 30,72 Тбайт. Их скоростные показатели аналогичны SSD для смешанных нагрузок. При этом значение IOPS при произвольном чтении находится в диапазоне от 2,75 до 3,4 млн, а при произвольной записи — от 270 до 500 тыс. Устройства выдерживают одну полную перезапись в сутки в течение пяти лет.

Все новые накопители могут устанавливаться в серверы как с СЖО, так и с традиционным воздушным охлаждением. Предусмотрены средства защиты данных при внезапном отключении питания Power Loss Protection (PLP), функция мгновенного уничтожения информации (SIE) и инструменты сквозного шифрования. Пробные поставки SSD уже начались.

Производитель систем охлаждения Frore Systems представил кастомизируемый водоблок для GPU LiquidJet Diamond, оснащённый теплораспределительной пластиной с алмазными вставками. Новинка, по заявлению Frore Systems, способна увеличить генерацию токенов на ватт и, соответственно, выручку от систем на 35 % по сравнению с традиционными пластинами с оребрением.

Система основана на выпущенной ранее Frore Systems LiquidJet с ультракоротким контуром циркуляции, которая дополнена алмазными вставками, снимающими тепло с наиболее горячих точек чипа. Оригинальный вариант LiquidJet снижает температуру кристалла GPU на 12 °C — в пересчёте на токены на ватт это означает увеличение эффективности на 25 %. LiquidJet Diamond благодаря вставкам снижает температуру наиболее горячих точек чипа ещё на 10 °C (до 770 Вт/см²), увеличивая тем самым итоговый показатель эффективности GPU до +35 %.

Источник изображений: Frore Systems

Frore Systems LiquidJet по сравнению с традиционными водоблоками обладает рядом преимуществ, говорит производитель:

• интенсивность охлаждения точек повышенного тепловыделения повышается на 150 %;
• эффективность теплопередачи повышается на 75 %;
• температура GPU уменьшается на 16–22 °C;
• выход токенов на Вт растёт на 30–35 %;
• установка СЖО нового образца не требует полного перепроектирования системы.

Существующие решения не удовлетворяют требованиям современных ЦОД, уверяет компания. Традиционные водоблоки уже неспособны обеспечить необходимых показателей теплоотвода; технология 3D-печати металлом (ECAM) предлагает гибкость при проектировании, но не отвечает требованиям гиперскейлеров по качеству, надёжности, объёмам производства и срокам реализации. LiquidJet же производятся для конкретных чипов и могут выпускаться в больших объёмах.

Компания готова выпускать новинки для чипов практически любого размера, от NVIDIA Blackwell Ultra (1488 мм²) до Cerebras WSE (46 225 мм²). Компания уже подготовила водоблок для NVIDIA Rubin мощностью 2300 Вт, а также интегрированную систему LiquidJet Nexus для охлаждения узлов ½U. Frore Systems выпускает также твердотельные кулеры для ПК, основанные на ультразвуковых мембранах — такой системой, в частности, комплектуется встраиваемый мини-ПК AAEON UP Xtreme PTL Edge Air.

Компания YADRO, входящая в «ИКС Холдинг», анонсировала сервер G4208P G3 для ресурсоёмких задач, таких как обучение нейросетей, разработка ИИ-приложений, высокоскоростной рендеринг, видеоаналитика, предиктивное обслуживание оборудования, автоматизация технологических процессов, обработка больших массивов информации и пр.

Новинка, выполненная в форм-факторе 4U, использует аппаратную платформу Intel: возможна установка двух процессоров Xeon Sapphire Rapids или Xeon Emerald Rapids с TDP до 350 Вт. Поддерживается до 8 Тбайт DDR5-5600 RDIMM/LRDIMM ECC в виде 32 модулей по 256 Гбайт. Во фронтальной части расположены 12 отсеков для накопителей LFF/SFF в конфигурации 8 × SAS/SATA и 4 × SAS/SATA/NVMe. Возможно формирование массивов RAID 0/1/10/5/50/6/60, а опционально может быть добавлен суперконденсатор для защиты содержимого кеш-памяти при отключении питания.

Сервер способен нести на борту до восьми двухслотовых GPU с интерфейсом PCIe 5.0 х16 и энергопотреблением до 600 Вт каждый. Среди совместимых изделий названы NVIDIA H200 NVL, RTX PRO 6000 Blackwell, L40S, A30, A16, RTX 6000 Ada, RTX 4000 Ada, L4, а также MetaX C500. Реализована система жидкостного охлаждения, которая охватывает CPU и GPU. Отмечается, что в ходе испытаний при 100 % загрузке температура GPU не превышала 60 °C при температуре окружающей среды 22–23 °C и 77 °C — при 39 °C. При существенном росте температуры на площадке тепловой режим ускорителей сохранялся предсказуемым. Дополнительно задействованы 12 двухроторных вентиляторов с размерами 60 × 56 мм, резервированием N+2 и поддержкой горячей замены.

Источник изображения: YADRO

В передней части машины находится один слот PCIe 5.0 x16 FHFL, в задней — восемь слотов PCIe 5.0 x16 FHFL, два разъёма PCIe 5.0 x16 FHFL и один слот OCP 3.0 (PCIe 5.0 x8). Питание обеспечивают четыре блока мощностью 3200 Вт с сертификатом 80 Plus Platinum и резервированием по схеме 2+2 или 3+1. Есть выделенный сетевой порт управления 1GbE RJ45, три порта USB 3.0 Type-A (один спереди), коннектор USB 2.0, а также два разъёма D-Sub (по одному спереди и сзади). Диапазон рабочих температур простирается от +5 до +40 °C. Габариты составляют 447 × 844,3 × 174,8 мм, масса — до 65 кг.

Говорится о совместимости с Windows Server, Ubuntu, «Альт СП Сервер», «Альт Сервер», «РЕД ОС», Astra Linux Special Edition, «РЕД Виртуализация», zVirt, moncloud, «Соболь», SberLinux, РОСА ХРОМ.

Компания Trane Technologies, купившая в начале текущего года поставщика СЖО для дата-центров LiquidStack, представила блок распределения охлаждающей жидкости LiquidStack 2.X CDU для инфраструктур, ориентированных на ресурсоёмкие задачи ИИ. Поставки начнутся во II квартале 2027 года.

Новинка способна обеспечивать отвод 2 МВт тепла при перепаде температуры ATD (Approach Temperature Difference) в 3 °C и до 2,5 МВт при ATD в 4 °C. Температура воды на входе — до +45 °C. Расход жидкости составляет до 3750 л/мин, давление — 3,5 бар. Такие характеристики, как отмечается, обеспечивают необходимый запас гидравлической мощности для удовлетворения высоких требований в ИИ ЦОД.

Источник изображения: Trane

Блоки семейства LiquidStack CDU 2.X допускают размещение в конце ряда (End-of-Row) и непосредственно около стойки с вычислительным оборудованием (Rack-Adjacent). Предусмотрены различные варианты конфигурации гидравлики и резервирования: заказчик может выбрать требуемые характеристики электропитания, управления, резервирования, мониторинга и пр.

Блок поддерживает схемы питания Dual-Feed A/B (два независимых ввода) и оснащается встроенным автоматическим вводом резерва (ATS). Применяется архитектура ЧРП (частотно-регулируемого привода) с ультранизким уровнем гармоник. Это устраняет электромагнитные искажения, позволяя эффективно интегрироваться с системами охлаждения и электроснабжения объекта. Говорится о поддержке Modbus RTU, RESTful API with Redfish, BACnet и SNMP для задач мониторинга, управления и автоматизации.

Власти Сингапура представили стандарт SS 726:2026, имеющий важное значение для индустрии ЦОД. Утверждается, что это первый в мире национальный стандарт, посвящённый использованию систем жидкостного охлаждения (СЖО) в ЦОД, функционирующих в тропиках. Разработкой занималось Управление по развитию инфокоммуникационных средств массовой информации Сингапура (Infocomm Media Development Authority, IMDA) и агентство Enterprise Singapore (EnterpriseSG) через подведомственный ему совет Singapore Standards Council (SSC), руководящий национальной системой стандартизации.

В подготовке стандарта принимали и представители отрасли, включая AirTrunk, Meta✴, ST Telemedia Global Data Centres (STT GDC) и Open Compute Project (OCP). Его появление прежде всего связано с быстрым ростом ИИ-нагрузок, поскольку всё более производительные ускорители сказываются на плотности размещения оборудования и объёмах тепла, требующего отведения от серверов. Однако жаркий и влажный климат препятствует его эффективному отводу при использовании традиционных систем охлаждения. По данным сингапурских властей, переход на СЖО потенциально позволяет снизить энергопотребление ЦОД более чем на 30 % в сравнении с системами воздушного охлаждения.

Источник изображения: Mike Enerio/unsplash.com

ЦОД в Сингапуре очевидно страдают от высокой температуры окружающей среди и высокой влажности. Стандарт SS 726:2026 призван обеспечить эффективную эксплуатацию СЖО именно в таких условиях. Он затрагивает весь жизненный цикл систем, от их планирования и проектирования до ввода таких систем в эксплуатацию, собственно работы, техобслуживания и управления рисками.

Так, стандарт касается:

• вопросов, связанных с нагрузками на полы дата-центров;
• критериев проектирования охлаждающих контуров и оборудования;
• подбора материалов для труб СЖО;
• требований к качеству охлаждающей жидкости;
• мониторинга и управления системой.

Примечательно, что стандарт посвящён только системам непосредственного отвода тепла от CPU, GPU, TPU и др., прочие системы охлаждения, включая двухфазные и гибридные, в нём не рассматриваются. Специальное внимание уделяется рискам утечек, надёжности и интеграции СЖО с уже имеющимися системами воздушного охлаждения. Кроме того, стандарт помогает добиваться устойчивой эксплуатации ЦОД, эффективности использования электричества и воды. Так, он учитывает рекомендации местного регулятора Public Utilities Board (PUB) по расчётам WUE у ЦОД с СЖО.

Условия тропиков означают дополнительные риски для проектов ЦОД, поскольку высокая температура и влажность способствуют коррозии и биологическому загрязнению систем охлаждения, в т.ч. биоплёнок в жидкости. В результате контроль состояния охлаждающих жидкостей, материалов и самой системы в целом не менее важен, чем выбор подходящего оборудования. При разработке SS 726:2026 учитывались уже имеющиеся международные наработки, включая спецификации и рекомендации OCP и ASHRAE.

По мнению авторов стандарта, появление единого подхода в отношении СЖО в тропиках поможет упростить взаимодействие операторов ЦОД, поставщиков оборудования и заказчиков при реализации проектов ЦОД и эксплуатации жидкостных систем. В AirTrunk, Meta✴, OCP и STT GDC стандарт считается основой для более широкого внедрения таких систем и формирования общеотраслевых практик.

В стране, где последовательно наращивают вычислительные мощности и одновременно есть жёсткие ограничения по использованию электроэнергии и воды, подобный подход должен упростить строительство ЦОД и модернизацию уже имеющихся объектов. В августе сообщалось, что Сингапур нашёл 200 МВт для строительства новых ЦОД, но в перспективе предполагается реализация ещё более масштабных проектов.