Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Нефтегазовый гигант ExxonMobil работает с Intel над разработкой новых технологий жидкостного охлаждения для дата-центров. По данным Datacenter Dynamics, компании намерены совместно разрабатывать и тестировать соответствующие энергоэффективные системы, которые будут сертифицированы для x86-чипов Intel.

Потенциально такое сотрудничество позволит клиентам ЦОД сократить выбросы и добиться целей по достижению энергоэффективности. По словам представителя Intel, работа с ExxonMobil позволит серьёзно экономить как энергию, так и воду в дата-центрах и сетевых решениях. ExxonMobil анонсировала освоение рынка охлаждающих жидкостей для ЦОД в октябре 2023 года с потртфолио синтетических и несинтетических вариантов. Помимо ExxonMobil, над аналогичными составами работают другие нефтегазовые гиганты вроде Castrol и Shell.

Источник изображения: César Couto/unsplash.com

В последние годы системы жидкостного охлаждения стали реальной альтернативой воздушному для операторов ЦОД, особенно для серверных стоек с высокой плотностью, применяемых для ИИ и прочих энергоёмких задач — они генерируют больше мусорного тепла, чем модели предыдущих поколений.

На момент запуска линейки охлаждающих жидкостей, в ExxonMobil заявляли, что соответствующая химия сможет снизить совокупную стоимость владения IT-оборудованием на 40 % в сравнении с вариантами, использующими системы воздушного охлаждения, улучшая энергоэффективность (PUE) ЦОД. В самой компании рассчитывают избавиться от всех вредных выбросов в результате своей деятельности уже к 2050 году. Впрочем, это не мешает ей активно инвестировать в расширение добычи ископаемого топлива.

Летом 2023 года уже появилась информация о том, что Intel разработала инновационную погружную СЖО, способную справиться с охлаждением чипов на 2 кВт.

Компании Accelsius и OptiCool объявили о стратегическом партнёрстве, целью которого является создание инновационных СЖО для дата-центров. Предполагается, что внедрение таких систем поможет повысить энергоэффективность ЦОД, ориентированных на ресурсоёмкие задачи ИИ.

Accelsius является разработчиком двухфазных систем NeuCool, которые используют технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В свою очередь, OptiCool занимается поставками решений для отвода тепла. Стороны намерены использовать в своих системах диэлектрическую жидкость.

Источник изображения: Opticool

Отмечается, что исторически в однофазных СЖО использовалась вода. Вместе с тем Accelsius и OptiCool отмечают «значительный рост интереса клиентов» к инфраструктурам охлаждения, которые не требуют применения воды в первичном контуре. Такой подход исключает любое потенциальное повреждение серверов и IT-оборудования в результате утечек. Для дата-центров, ориентированных на задачи ИИ и НРС, это означает «защиту инвестиций на миллионы долларов», говорят компании.

Источник изображения: Opticool

Партнёры намерены предлагать клиентам двухфазные СЖО типа DTC с активным отводом тепла через заднюю дверцу. Эти системы будут адаптироваться под потребности заказчиков, одновременно исключая риск повреждения оборудования водой. Отмечается, что в системах OptiCool используется R134a — нетоксичный синтетический хладагент.

«Это сотрудничество имеет большое значение для индустрии ЦОД, поскольку нацелено на удовлетворение растущего спроса на эффективные и устойчивые решения. Объединив наш опыт, мы можем создать комплексную систему охлаждения, отвечающую меняющимся потребностям рынка», — говорит генеральный директор OptiCool.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

ZutaCore, поставщик систем прямого безводного жидкостного охлаждения объявил о поддержке ускорителей вычислений Nvidia H100 и H200. Решения компании позволяют отводить 1500 Вт и более, что поможет добиться максимальной производительности при обработке нагрузок ИИ. ZutaCore сотрудничает с несколькими производителями серверов с целью тестирования и завершения сертификации этих решений.

Являясь одними из самых высокопроизводительных чипов, H100 и H200 имеют TDP до 700 Вт, что, по словам ZutaCore, стало проблемой для ЦОД, стремящихся контролировать температурный режим, оптимизировать энергопотребление и площади. Технология двухфазного жидкостного охлаждения ZutaCore HyperCool была разработана специально для решения этих проблем и уже доказала свою способность охлаждать самые производительные чипы мощностью 1500 Вт и более, позволяя добиться плотности 100 кВт на стойку.

Источник изображения: ZutaCore

Как отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore, высокие требования к охлаждению ускорителей вычислений следующего поколения наиболее эффективно решаются именно с помощью безводных СЖО по схеме direct-to-chip. Благодаря таким СЖО гиперскейлеры не только устраняют риск и огромные расходы, связанные с утечкой воды, но также могут масштабировать потребности в охлаждении практически без изменений в кампусах, системах электропитания или охлаждения.

По словам Питера Руттена (Peter Rutten), вице-президента по исследованиям IDC, в связи с ожидаемым к 2027 году ростом мирового рынка ИИ-серверов до $49 млрд, объявление ZutaCore о поддержке ускорителей следующего поколения является «важной вехой в отрасли».

Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.

Компания Aligned представила новую систему жидкостного охлаждения DeltaFlow~, которая позволяет увеличить плотность размщения вычислительных мощностей 300 кВт на стойку, сообщил ресур Datacenter Dynamics.

DeltaFlow^~ — это готовое решение, поддерживающее текущие и будущие технологии жидкостного охлаждения, включая прямое охлаждение direct-to-chip с CDU, охлаждение с использованием теплообменника на задней дверце (Rear-door Heat Exchanger, RDHx) и иммерсионное охлаждение. Решение опирается на систему с замкнутым контуром без использования наружного воздуха или воды. По словам Alidned, новая СЖО позволяет клиентам по-максимуму использовать современные чипы и ускорителя, сокращая время выхода на рынок, затраты и риски.

Фото: Aligned

DeltaFlow^~ также интегрируется с технологией воздушного охлаждения Delta³ (Delta Cube) без изменений в подаче электроэнергии или существующей температуры в машинных залах. Delta³ вместо традиционного холодного коридора использует вентиляторы и теплообменники, расположенные непосредственно за стойками и подключённые к водяному контуру, уходящему к чиллерам. Delta³ позволяет добиться плотности до 50 кВт на стойку.

Aligned стала одной из последних компаний, анонсировавшей платформу для оборудования высокой плотности, основанное на жидкостном охлаждении. Ранее в этом месяце Stack представила решение с использованием погружного охлаждения, которое позволяет поддерживать мощность 300 кВт или выше на стойку. Летом прошлого года CyrusOne анонсировала новую архитектуру ЦОД для ИИ-нагрузок, где тоже используется погружное охлаждение и тоже можно получить 300 кВт на стойку.

Тогда же Digital Realty запустила услугу колокации с поддержкой размещений до 70 кВт на стойку, а в декабре Equinix объявила о планах по расширению поддержки передовых технологий СЖО в значительной части своих ЦОД, хотя и не указала предельную плотность. DataBank также переработала конструкцию машинных залов для поддержки размещений высокой плотностью с использованием жидкостного охлаждения.

Компания Vertiv, поставляющая оборудование для ЦОД, в том числе энергетические решения и системы охлаждения, объявила о заключении окончательного соглашения по покупке фирмы CoolTera, базирующейся в Великобритании. Финансовые условия сделки не раскрываются.

CoolTera была основана в 2016 году. Компания поставляет продукты и компоненты СЖО для дата-центров. Это, в частности, блоки распределения охлаждающей жидкости (CDU), коллекторы, сети вторичного хладагента и пр. Vertiv и CoolTera на протяжении трёх лет являются технологическими партнерами. Компании сообща реализовали ряд проектов по внедрению своих решений в ЦОД и вычислительных комплексах по всему миру.

Источник изображения: Vertiv

По условиям договора, Vertiv получит в своё распоряжение набор активов CoolTera, включая определенные контракты, патенты, товарные знаки и интеллектуальную собственность дочерней структуры приобретаемой фирмы. Ожидается, что сделка будет закрыта в IV квартале 2023 года при условии получения необходимых разрешений.

Vertiv отмечает, что покупка укрепит положение компании в сегменте систем охлаждения для ЦОД с высокой плотностью размещения оборудования. Речь идёт в том числе о платформах для задач ИИ. Говорится также, что CoolTera располагает командой высококвалифицированных инженеров в области СЖО.

Компания ZutaCore на конференции SC23 сообщила о том, что её система прямого жидкостного охлаждения HyperCool Direct-On-Chip вошла в состав серверов Dell и Pegatron на платформе Intel Xeon Sapphire Rapids.

Двухфазная система HyperCool способна эффективно отводить тепло от самых мощных серверных процессоров — с показателем TDP 1500 Вт и более. Это комплексное решение с замкнутым контуром вместо воды использует специальную диэлектрическую жидкость, благодаря чему оборудование защищено от коррозии.

Платформа HyperCool обладает хорошей масштабируемостью и может быть развёрнута в новых или модернизированных дата-центрах — cтандартизированный интегрированный 6U-модуль способен отводить 100 кВт и выше. Система обеспечивает коэффициент PUE меньше 1,02. Конструкция HyperCool позволяет повторно использовать выделяемое тепло — например, для обогрева зданий. СЖО подходит для применения в ЦОД, ориентированных на решение задач ИИ и НРС. Система позволяет снизить общее энергопотребление и сократить выбросы вредных газов в атмосферу.

Источник изображения: ZutaCore

Отмечается, что недавно технология HyperCool была сертифицирована для высокопроизводительных серверов ASUS. Кроме того, в экосистему ZutaCore входят AMD, Boston Limited, Dell, Equinix, Intel, World Wide Technologies (WWT) и другие. Утверждается, что по сравнению с традиционными системами охлаждения решение HyperCool обеспечивает сокращение совокупной стоимости владения на 50 %.