Власти Сингапура представили стандарт SS 726:2026, имеющий важное значение для индустрии ЦОД. Утверждается, что это первый в мире национальный стандарт, посвящённый использованию систем жидкостного охлаждения (СЖО) в ЦОД, функционирующих в тропиках. Разработкой занималось Управление по развитию инфокоммуникационных средств массовой информации Сингапура (Infocomm Media Development Authority, IMDA) и агентство Enterprise Singapore (EnterpriseSG) через подведомственный ему совет Singapore Standards Council (SSC), руководящий национальной системой стандартизации.

В подготовке стандарта принимали и представители отрасли, включая AirTrunk, Meta✴, ST Telemedia Global Data Centres (STT GDC) и Open Compute Project (OCP). Его появление прежде всего связано с быстрым ростом ИИ-нагрузок, поскольку всё более производительные ускорители сказываются на плотности размещения оборудования и объёмах тепла, требующего отведения от серверов. Однако жаркий и влажный климат препятствует его эффективному отводу при использовании традиционных систем охлаждения. По данным сингапурских властей, переход на СЖО потенциально позволяет снизить энергопотребление ЦОД более чем на 30 % в сравнении с системами воздушного охлаждения.

Источник изображения: Mike Enerio/unsplash.com

ЦОД в Сингапуре очевидно страдают от высокой температуры окружающей среди и высокой влажности. Стандарт SS 726:2026 призван обеспечить эффективную эксплуатацию СЖО именно в таких условиях. Он затрагивает весь жизненный цикл систем, от их планирования и проектирования до ввода таких систем в эксплуатацию, собственно работы, техобслуживания и управления рисками.

Так, стандарт касается:

• вопросов, связанных с нагрузками на полы дата-центров;
• критериев проектирования охлаждающих контуров и оборудования;
• подбора материалов для труб СЖО;
• требований к качеству охлаждающей жидкости;
• мониторинга и управления системой.

Примечательно, что стандарт посвящён только системам непосредственного отвода тепла от CPU, GPU, TPU и др., прочие системы охлаждения, включая двухфазные и гибридные, в нём не рассматриваются. Специальное внимание уделяется рискам утечек, надёжности и интеграции СЖО с уже имеющимися системами воздушного охлаждения. Кроме того, стандарт помогает добиваться устойчивой эксплуатации ЦОД, эффективности использования электричества и воды. Так, он учитывает рекомендации местного регулятора Public Utilities Board (PUB) по расчётам WUE у ЦОД с СЖО.

Условия тропиков означают дополнительные риски для проектов ЦОД, поскольку высокая температура и влажность способствуют коррозии и биологическому загрязнению систем охлаждения, в т.ч. биоплёнок в жидкости. В результате контроль состояния охлаждающих жидкостей, материалов и самой системы в целом не менее важен, чем выбор подходящего оборудования. При разработке SS 726:2026 учитывались уже имеющиеся международные наработки, включая спецификации и рекомендации OCP и ASHRAE.

По мнению авторов стандарта, появление единого подхода в отношении СЖО в тропиках поможет упростить взаимодействие операторов ЦОД, поставщиков оборудования и заказчиков при реализации проектов ЦОД и эксплуатации жидкостных систем. В AirTrunk, Meta✴, OCP и STT GDC стандарт считается основой для более широкого внедрения таких систем и формирования общеотраслевых практик.

В стране, где последовательно наращивают вычислительные мощности и одновременно есть жёсткие ограничения по использованию электроэнергии и воды, подобный подход должен упростить строительство ЦОД и модернизацию уже имеющихся объектов. В августе сообщалось, что Сингапур нашёл 200 МВт для строительства новых ЦОД, но в перспективе предполагается реализация ещё более масштабных проектов.

Согласно анализу Schneider Electric, архитектура систем охлаждения может решающим образом сказаться на использовании ЦОД электроэнергии и воды. Компания подчёркивает, что операторы ЦОД должны уделить таким системам повышенное внимание ещё на этапе проектирования, сообщает The Register. Правда, она может иметь заинтересованность в некоторых выводах.

В докладе Water Usage at AI Scale: Insights from a 100 MW Comparative Analysis эксперты компании смоделировали четыре варианта ЦОД с разными системами охлаждения, от традиционной воздушной до оптимизированных СЖО. В документе делается вывод, что переход от воздушных систем к жидкостным не только неуклонно повышает энергоэффективность, но и способен снизить потребление воды там, где водных ресурсов не хватает. Дополнительно в исследовании смоделировано влияние расположения объекта на эффективность каждого варианта охлаждения. В частности, в расчёт принимались годовые погодные условия в Париже (Франция) и Далласе (Техас, США).

Данные Schneider показывают, что больше всего воды потребляется системой с традиционным воздушным охлаждением в Далласе, переход на СЖО с теплоносителем температурой +45°C снижает потребление воды минимум вдвое. В компании подчёркивают, что местоположение, рабочая температура и архитектура охлаждения во многом определяют потребности объекта в воде, даже без учёта перехода индустрии на высокоплотные ИИ-системы. Водопотребление во многом определяется оборудованием, применяемым для отвода тепла из вычислительного зала. При прочих равных объекты с градирнями требуют в 5–20 раз больше воды, чем «сухие» системы.

Источник изображения: Schneider Electric

В первом из рассмотренных сценариев моделировалось использование традиционного воздушного охлаждения. Второй предусматривает применение СЖО с температурой теплоносителя +32°C (такая архитектура характерна для ранних ИИ ЦОД). В третьем варианте применяется то же оборудование, но температура повышена до +45°C. Наконец, в четвёртом варианте оборудования используется меньше, поскольку система изначально рассчитана на теплоноситель температурой +45°C. Это позволяет сэкономить на оборудовании и снизить капитальные затраты.

Утверждается, что теплоноситель с большей температурой обеспечивает значимую экономию воды, поскольку в этом случае расширяется спектр условий, при которых охлаждение с помощью «уличного» воздуха» может избежать применения механических затрат. Эксперты рекомендуют оценивать водопотребление на ранних этапах проектирования и рассматривать альтернативные источники воды для снижения нагрузки на ресурсы местных жилых сообществ.

Проблема остро стоит в США, где за последние десять лет расход воды дата-центрами вырос втрое. ИИ ЦОД в США в жаркие дни способны потреблять воды, как Нью-Йорк целиком. Это особенно важно на фоне усиливающегося противодействия жителей, активистов и политиков строительству новых ЦОД. Тем временем в Великобритании правительство обвиняют в игнорировании дефицита воды и продвижение строительства всё новых ИИ ЦОД.

Schneider полагает, что эффективность использования воды следует оценивать комплексно. Оптимальную систему следует выбирать с учётом значений PUE и WUE, а также стоимости электричества и воды на местах. У Schneider, конечно, имеется собственный коммерческий интерес в таких выводах. В 2024 году она приобрела 75 % акций компании Motivair, специализирующейся на системах жидкостного охлаждения. Оставшиеся акции планируется выкупить к 2028 году.

Компания Gigabyte пополнила ассортимент ИИ-серверов моделью G4L4-ZD3-LAX7 в форм-факторе 4U. Устройство выполнено на аппаратной платформе AMD EPYC 9005 Turin в сочетании с NVIDIA HGX B300 (SXM).

Допускается установка двух процессоров EPYC в исполнении Socket SP5 (LGA 6096) с показателем TDP до 500 Вт. Доступны 24 слота для модулей оперативной памяти DDR5-6400, а также четыре слота PCIe 5.0 x16 для карт типоразмера FHHL. Питание обеспечивают десять блоков мощностью 3000 Вт с резервированием и сертификатом 80 PLUS Titanium.

Сервер располагает контроллером ASPEED AST2600, двумя сетевыми портами 10GbE на базе Intel X710-AT2, а также выделенным сетевым портом управления 1GbE. Могут быть реализованы восемь OSFP-портов InfiniBand XDR с пропускной способностью до 800 Гбит/с или сдвоенные 400GbE-порты на базе NVIDIA ConnectX-8 SuperNIC. Упомянута совместимость с DPU NVIDIA BlueField-3.

Во фронтальной части расположены восемь отсеков для SFF-накопителей с интерфейсом PCIe 5.0 (NVMe). Кроме того, есть два внутренних коннектора M.2 (2280/22110) для SSD с интерфейсами PCIe 3.0 x4 и PCIe 3.0 x1. Предусмотрены два фронтальных порта USB 3.0 Type-A, разъём D-Sub и три гнезда RJ45 для сетевых кабелей.

Источник изображения: Gigabyte

Применяется жидкостное охлаждение, которое охватывает все ключевые компоненты, в том числе CPU, GPU и RAM. Дополнительно установлены вентиляторы диаметром 60 мм в области материнской платы и 80 мм в зоне слотов PCIe. Диапазон рабочих температур — от +10 до +35 °C. Опционально доступен модуль TPM 2.0 для обеспечения безопасности.

В Малайзии ведутся работы над созданием охлаждающей жидкости на основе пальмового масла для иммерсионных систем жидкостного охлаждения (СЖО). Малайзийский государственный совет по пальмовому маслу (Malaysia’s Palm Oil Board, MPOB) находится на заключительном этапе разработки состава Sawit EcoTherm, сообщает Datacenter Dynamics. Как сообщает MPOB, использование жидкости позволит снизить расходы воды и электричества в малайзийских дата-центрах.

По словам представителя отдела передовых олеохимических технологий MPOB, при масштабном внедрении технология иммерсионного охлаждения с использованием жидкости Sawit EcoTherm может значительно сократить потребности индустрии ЦОД в воде.

Пальмовое масло — наиболее распространённое в мире из растительных. Оно получается из плодов африканской масличной пальмы и широко применяется, например, в пищевой промышленности и производстве косметики. Оно же годится и для использования в качестве биотоплива. При этом Малайзия — второй по величине производитель такого масла в мире после Индонезии.

Несмотря на то, что такое масло можно производить «экоустойчиво», производство связано с катастрофической вырубкой лесов, поскольку земли нужны под плантации пальм, с вытеснением из привычных ареалов растений и животных. По данным экоактивистов, индустрия производства пальмового масла прямо или косвенно наносит непоправимый вред находящимся под угрозой исчезновения видам, в т.ч. орангутанам и суматранским слонам.

Источник изображения: Dan Dennis/unsplash.com

Крупные хабы ЦОД находятся в Куала-Лумпуре и в Джохоре на границе с Сингапуром. При этом местные ЦОД склонны использовать традиционное прямое жидкостное охлаждению (DLC), а не погружное. Впрочем, в строящейся неподалёку от столицы Сайберджае (Cyberjaya) планируется возведение 65-МВт ЦОД с иммерсионным охлаждением. Финансирование осуществляется поддерживаемым государством девелопером Selangor Industrial Corporation.

MPOB намерена взаимодействовать с компаниями, действующими на рынке ЦОД, для доказательства эффективности новой охлаждающей жидкости. Охлаждающие жидкости растительного происхождения уже предлагают Cargill и Oleon Qloe. При этом прочие варианты на рынке обычно создаются на основе минеральных масел и полимерных соединений. А Perstorp, принадлежащая малайзийской нефтегазовой компании Petronas, ранее представила биоразлагаемую жидкость Synmerse DC.

Supermicro расширила ассортимент серверных стоек, анонсировав десять моделей для систем высокой плотности, ориентированных на ресурсоёмкие задачи ИИ и другие критические нагрузки. Дебютировали решения на базе стандартов OCP ORv3 и NVIDIA MGX, а также традиционные 19″ варианты.

Новинки входят в продуктовое семейство Supermicro Data Center Building Block Solutions (DCBBS). Стойки могут поставляться в предварительно сконфигурированном виде, что упрощает и ускоряет развёртывание: заказчикам и интеграторам не нужно монтировать на объекте вычислительные узлы, сетевые компоненты, а также элементы подсистем питания и охлаждения.

Все анонсированные устройства рассчитаны на статическую нагрузку до 2500 кг. Это позволяет размещать мощные ИИ-серверы с ускорителями на базе GPU, высокопроизводительное силовое оборудование и пр. Изделия проходят испытания на вибро- и сейсмическую устойчивость. Говорится о гибких возможностях в плане применения жидкостного охлаждения: стойки совместимы с блоками распределения охлаждающей жидкости (CDU) различных типов, теплообменниками на задней двери (RDHx) и пр. Силовые и сетевые кабели полностью изолированы.

Источник изображения: Supermicro

В число новинок входят стойки для платформ NVIDIA VR200/GB300 MGX в форматах 48U и 52U с вариантами ширины 600 и 750 мм. Кроме того, выпущены решения 44OU и 48OU стандарта ORv3 (типоразмера 21″). В традиционном 19″ исполнении доступны варианты 48U и 52U. Компания Supermicro отмечает, что её производственных возможностей достаточно для выпуска примерно 3 тыс. таких стоек в месяц. Из них около 2 тыс. могут комплектоваться СЖО.

Компания Kioxia анонсировала SSD корпоративного класса семейства NX1, выполненные в форм-факторе E1.S. Накопители рассчитаны на высокопроизводительные GPU-серверы, которые применяются на площадках гиперскейлеров и в крупных дата-центрах, ориентированных в том числе на задачи ИИ.

NX1 — это первые изделия Kioxia, поддерживающие DLC СЖО. Такая опция в дополнение к традиционному воздушному охлаждению доступна для устройств в корпусе толщиной 9,5 мм. В семейство также входят варианты толщиной 15 мм: они оснащаются исключительно воздушным охлаждением.

Для подключения к серверу служит интерфейс PCIe 5.0 (NVMe 2.0). Говорится о поддержке стандартов OCP Datacenter NVMe SSD 2.6 и NVMe Flexible Data Placement (FDP), а также опционального шифрования данных (SED). В основу накопителей положены чипы флеш-памяти Kioxia BiCS Flash 8-го поколения типа TLC и фирменный контроллер с «уникальными возможностями». Задействована технология CBA (CMOS directly Bonded to Array), которая обеспечивает повышение энергоэффективности, производительности, плотности и стабильности по сравнению с решениями предыдущих поколений.

Источник изображения: Kioxia

В серию NX1 входят модели вместимостью от 1,92 до 15,36 Тбайт. Устройства способны выдерживать одну полную перезапись в сутки (1 DWPD). По сравнению с SSD серии Kioxia XD8 типоразмера E1.S, которые дебютировали в октябре 2024 года, новинки обеспечивают прирост производительности до 38 % в режиме последовательной записи и до 20 % на операциях произвольной записи. Пробные поставки изделий NX1 уже начались.

Компания Gigabyte анонсировала сервер G4L4-SD3-LAX7, построенный на аппаратной платформе NVIDIA HGX B300. Устройство, рассчитанное на ресурсоёмкие нагрузки ИИ, оборудовано системой прямого жидкостного охлаждения (DLC) с функцией обнаружения протечек.

Машина выполнена в форм-факторе 4U: допускается установка двух процессоров Intel Xeon 6700P/6500P (Granite Rapids) с показателем TDP до 350 Вт. Предусмотрены 32 слота для модулей оперативной памяти DDR5 RDIMM-6400 или MRDIMM-8000. Во фронтальной части расположены восемь отсеков для SFF-накопителей с интерфейсом PCIe 5.0 (NVMe). Кроме того, есть два внутренних коннектора для SSD типоразмера M.2 2280/22110 с интерфейсом PCIe 5.0 x4 и PCIe 5.0 x2.

Система оснащена восемью SXM-ускорителями Blackwell Ultra. Доступны четыре слота для карт PCIe 5.0 x16 стандарта FHHL. Реализованы восемь портов 800 Гбит/с OSFP XDR InfiniBand на базе NVIDIA ConnectX-8 SuperNIC. Говорится о совместимости с DPU NVIDIA BlueField-3. Питание обеспечивают десять блоков мощностью 3000 Вт с резервированием и сертификатом 80 PLUS Titanium.

Источник изображения: Gigabyte

На фронтальную панель выведены два сетевых порта 10GbE на основе Intel X710-AT2, а также выделенный сетевой порт управления 1GbE. Сзади находится дополнительный порт управления 1GbE. Упомянуты контроллер ASPEED AST2600 с разъёмом D-Sub и два порта USB 3.0 Type-A. Диапазон рабочих температур простирается от +10 до +35 °C. Габариты составляют 447 × 175,5 × 901 мм.

В отчёте об устойчивом развитии Amazon подробно рассказала о мерах, принимаемых для сокращения потребления электричества и воды. В частности, облачное подразделение AWS модернизирует аппаратное обеспечение ЦОД, что позволило снизить расход воды, сообщает Datacenter Dynamics.

Ключевую роль в сокращении водопотребления играет кастомный In-Row Heat Exchanger (IRHX), захватывающий тепло непосредственно от высокоплотного ИИ-оборудования в стойке посредством СЖО и отводящий его в теплообменник, выбрасывающий нагретый воздух в «горячий» коридор. Компания сообщает, что по мере ввода в эксплуатацию IRHX ожидается сокращение потребления воды на 9 % в сравнении с обычными ЦОД с испарительным охлаждением. AWS внедряет всё больше DLC-систем в новых и уже действующих ЦОД, хотя всё ещё полагается в некоторых задачах на воздушное охлаждение.

Источник изображения: AWS

Впервые об IRHX компания упомянула около года назад, когда сообщила о начале развёртывания кастомной СЖО для NVIDIA GB200 NVL72. Тогда новость вызвала некоторый ажиотаж на рынке, вызвав временный спад акций конкурирующих поставщиков систем охлаждения вроде Vertiv. По словам AWS, кастомный IRHX позволил компании упростить масштабирование ИИ-инфраструктуры, поскольку решение совместимо с уже построенными дата-центрами, а кроме того, компания лучше контролирует цепочку поставок.

Источник изображения: AWS

Также компания сообщила, что расширяет внедрение технологий умного учёта воды по всей сети своих ЦОД. Они в режиме реального времени могут отслеживать потребление, выявлять утечки воды и даже оперативно устранять их. В июне компания сообщала, что в 2025 году её дата-центры использовали 9,46 млн м³ воды. В целом эти и иные меры только в том году позволили сократить использование воды на 98 тыс. м³, благодаря чему индекс WUE дата-центров AWS снизился до 0,12 л/кВт∙ч, оптимизация в сравнении с 2024 годом составила 20 % и 52 % — в сравнении с уровнем 2021-го. При этом PUE дата-центров компании составил 1,14.

На конец 2025 года на территории 31 ЦОД Amazon действовали собственные системы очистки воды. В 26 очищенная вода применялась для охлаждения объектов, что позволило сохранить 849 тыс. м³ пресной воды. В 14 ЦОД используются системы сбора дождевой воды. Amazon заключила соглашение с 13 коммунальными компаниями о поставке очищенной воды для систем охлаждения 130 ЦОД, что позволит ежегодно экономить около 6 млн м³ пресной воды.

Поскольку современные ИИ-чипы нередко имеют TDP более 1000 Вт, классическое воздушное охлаждение не готово эффективно справляться с подобными тепловыми нагрузками. Однако установка контуров жидкостного охлаждения требует времени и больших затрат, поэтому Google предложила гибридную замкнутую стоечную систему Bezos, которая позволяет развернуть в ЦОД с воздушным охлаждением высокоплотные стойки с СЖО.

Brazos фактически представляет собой автономную СЖО, захватывающую тепло с помощью циркулирующей жидкости непосредственно от компонентов оборудования. После этого тепло отводится в «горячий коридор» через теплообменники. Подобные решения можно быстро развернуть практически в любом действующем ЦОД, стойка за стойкой проводя модернизацию инфраструктуры и сохраняя при этом простоту эксплуатации, характерную для обычных воздушных систем — лишь бы хватало холода и питания в зале.

Источник изображения: Google

Brazos представляет собой модульную систему, включающую три охлаждающих блока высотой 11OU и встроенные коллекторы для стоек. Модули совместимы со стандартными стойками OCP ORv3. По словам Google, Brazos отличают:

• поддержка номинальной тепловой нагрузки до 60 кВт на стойку при использовании трёх охлаждающих модулей;
• использование либо деионизированной воды (DI) или 25-% смеси пропиленгликоля (PG25);
• питание от шинопровода DC 40–60 В;
• сертификация UL/CSA/IEC/62368-1
• встроенный механизм выявления утечек, а также предохранительные клапаны сброса давления;
• локальный мониторинг посредством интегрированного HMI-модуля;
• удалённое управление посредством Modbus/TCP.

Источник изображения: Google

Систему конструировали с учётом удобства обслуживания непосредственно на площадке. Шасси имеет направляющие с низким трением, что позволяет легко выдвигать блоки. Ключевые элементы вроде насосов и вентиляторов выполнены в виде модулей с возможностью «горячей» замены (FRU), что даёт возможность свести к минимуму среднее время ремонта (MTTR). Похожие решения используют Meta✴ и Microsoft.

В ближайшие месяцы Google намерена выложить в open source технические спецификации, принципы разработки и «визуальные активы» Brazos. Наработки рассчитаны на архитекторов вычислительных систем, производителей оборудования, а также специалистов по теплотехнике. Партнёры Google уже готовы к производству решений на основе Brazos. Ранее компания поделилась с OCP проектом CDU Deschutes.

Японская Nidec Corporation (Nippon Densan Corporation) разработала новый блок распределения охлаждающей жидкости (Cooling Distribution Unit) высокой мощности, сообщает Datacenter Dynamics. Прототип стоечного варианта с мощностью до 300 кВт предназначен для охлаждения ИИ-оборудования. Система совместима со стойками OCP ORv3.

Оборудование оснащено внешними и внутренними сенсорами утечек, обеспечивает постоянный мониторинг температуры, давления, скорости потока и уровня жидкости в режиме реального времени. Операторы ЦОД своевременно уведомляются о любых аномалиях. Компания рассчитывает наладить массовое производство соответствующей модели в первом квартале 2027 года. В портфолио Nidec уже имеется два поколения внутристоечных CDU, по 200 и 250 кВт высотой 4U.

Также компания разработала прототип модуля STC 1.0, способного вмещать до пяти CDU в рамках одной системы. STC 1.0 разработали для соблюдения оптимального баланса между готовностью к масштабированию в будущем и обеспечения оптимальной конфигурации на этапе начального развёртывания ИИ-систем.

Источник изображения: Nidec

Основанная в 1973 году Nippon Densan Corporation, сменившая имя на Nidec, в основном известна производством и дистрибуцией электродвигателей, хотя занимается и другими проектами, в том числе — внутрирядных CDU и водоблоков. В 2025 году Nidec, наряду с Fujitsu и Supermicro, сообщили о намерении объединить усилия для повышения энергоэффективности ИИ ЦОД. В частности сообщалось, что Nidec будет поставлять компоненты СЖО, включая CDU, насосы и пр. Система охлаждения Nidec, как ожидается, улучшит управление температурой и снизит энергопотребление серверов.

Если не ограничиваться размером стоек, предлагаются и более мощные решения. Так, в феврале Nautilus анонсировала блок распределения охлаждающей жидкости EcoCore FCD CDU, разработанный специально для крупномасштабных дата-центров, ориентированных на нагрузки ИИ и НРС — мощностью 4 МВт.