Глава Supermicro Чарльз Лян (Charles Liang) ожидает, что 30 % стоек, которые компания поставит в следующем году, будут оснащены СЖО. Как передаёт The Register, компания теперь способна выпускать до 1 тыс. стоек с СЖО ежемесячно и готова отправлять их клиентам всего через 2–4 недели после получения заказа, хотя ранее сроки поставок такого оборудования могли составлять от четырёх месяцев до одного года.

Уже в этом году 15 % отгруженных компанией стоек будут оснащены СЖО, а в 2025 году этот показатель удвоится. По словам Ляна, настал звёздный час СЖО, хотя за предыдущие 30 лет эта технология смогла завоевать только 1 % рынка. Естественно, взрывной рост связан активным освоением генеративного ИИ, который требует всё большего количества всё более плотно упакованных ускорителей, для которых TDP на уровне 1 кВт становится нормой.

Источник изображения: Supermicro

DLC-системы Supermicro позволяют добиться плотности 80–100 кВт на стойку. При этом Лян снова повторяет всё те же тезисы, что звучали уже не раз. Так, СЖО позволят частично избавиться от не слишком подходящего при таких TDP воздушного охлаждения, сэкономить место в стойках, повысить общую «продуктивность» и энергоэффективность ЦОД, а значит — ещё больше приблизиться к идеалам устойчивого развития и экологичности индустрии в целом.

Компания готовит 4U-платформы с СЖО для HGX B200, но предложит и 10U-вариант с воздушным охлаждением. Также стоит ожидать «воздушную» систему на базе HGX B100 и собственную реализацию GB200 NVL72. А чтобы удовлетворить растущий спрос на свои серверы, компания к концу году откроет в Малайзии новый завод, способный выпускать до 5 тыс. полностью укомплектованных стоек каждый месяц.

Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Нефтегазовый гигант ExxonMobil работает с Intel над разработкой новых технологий жидкостного охлаждения для дата-центров. По данным Datacenter Dynamics, компании намерены совместно разрабатывать и тестировать соответствующие энергоэффективные системы, которые будут сертифицированы для x86-чипов Intel.

Потенциально такое сотрудничество позволит клиентам ЦОД сократить выбросы и добиться целей по достижению энергоэффективности. По словам представителя Intel, работа с ExxonMobil позволит серьёзно экономить как энергию, так и воду в дата-центрах и сетевых решениях. ExxonMobil анонсировала освоение рынка охлаждающих жидкостей для ЦОД в октябре 2023 года с потртфолио синтетических и несинтетических вариантов. Помимо ExxonMobil, над аналогичными составами работают другие нефтегазовые гиганты вроде Castrol и Shell.

Источник изображения: César Couto/unsplash.com

В последние годы системы жидкостного охлаждения стали реальной альтернативой воздушному для операторов ЦОД, особенно для серверных стоек с высокой плотностью, применяемых для ИИ и прочих энергоёмких задач — они генерируют больше мусорного тепла, чем модели предыдущих поколений.

На момент запуска линейки охлаждающих жидкостей, в ExxonMobil заявляли, что соответствующая химия сможет снизить совокупную стоимость владения IT-оборудованием на 40 % в сравнении с вариантами, использующими системы воздушного охлаждения, улучшая энергоэффективность (PUE) ЦОД. В самой компании рассчитывают избавиться от всех вредных выбросов в результате своей деятельности уже к 2050 году. Впрочем, это не мешает ей активно инвестировать в расширение добычи ископаемого топлива.

Летом 2023 года уже появилась информация о том, что Intel разработала инновационную погружную СЖО, способную справиться с охлаждением чипов на 2 кВт.

Компании Accelsius и OptiCool объявили о стратегическом партнёрстве, целью которого является создание инновационных СЖО для дата-центров. Предполагается, что внедрение таких систем поможет повысить энергоэффективность ЦОД, ориентированных на ресурсоёмкие задачи ИИ.

Accelsius является разработчиком двухфазных систем NeuCool, которые используют технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В свою очередь, OptiCool занимается поставками решений для отвода тепла. Стороны намерены использовать в своих системах диэлектрическую жидкость.

Источник изображения: Opticool

Отмечается, что исторически в однофазных СЖО использовалась вода. Вместе с тем Accelsius и OptiCool отмечают «значительный рост интереса клиентов» к инфраструктурам охлаждения, которые не требуют применения воды в первичном контуре. Такой подход исключает любое потенциальное повреждение серверов и IT-оборудования в результате утечек. Для дата-центров, ориентированных на задачи ИИ и НРС, это означает «защиту инвестиций на миллионы долларов», говорят компании.

Источник изображения: Opticool

Партнёры намерены предлагать клиентам двухфазные СЖО типа DTC с активным отводом тепла через заднюю дверцу. Эти системы будут адаптироваться под потребности заказчиков, одновременно исключая риск повреждения оборудования водой. Отмечается, что в системах OptiCool используется R134a — нетоксичный синтетический хладагент.

«Это сотрудничество имеет большое значение для индустрии ЦОД, поскольку нацелено на удовлетворение растущего спроса на эффективные и устойчивые решения. Объединив наш опыт, мы можем создать комплексную систему охлаждения, отвечающую меняющимся потребностям рынка», — говорит генеральный директор OptiCool.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

ZutaCore, поставщик систем прямого безводного жидкостного охлаждения объявил о поддержке ускорителей вычислений Nvidia H100 и H200. Решения компании позволяют отводить 1500 Вт и более, что поможет добиться максимальной производительности при обработке нагрузок ИИ. ZutaCore сотрудничает с несколькими производителями серверов с целью тестирования и завершения сертификации этих решений.

Являясь одними из самых высокопроизводительных чипов, H100 и H200 имеют TDP до 700 Вт, что, по словам ZutaCore, стало проблемой для ЦОД, стремящихся контролировать температурный режим, оптимизировать энергопотребление и площади. Технология двухфазного жидкостного охлаждения ZutaCore HyperCool была разработана специально для решения этих проблем и уже доказала свою способность охлаждать самые производительные чипы мощностью 1500 Вт и более, позволяя добиться плотности 100 кВт на стойку.

Источник изображения: ZutaCore

Как отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore, высокие требования к охлаждению ускорителей вычислений следующего поколения наиболее эффективно решаются именно с помощью безводных СЖО по схеме direct-to-chip. Благодаря таким СЖО гиперскейлеры не только устраняют риск и огромные расходы, связанные с утечкой воды, но также могут масштабировать потребности в охлаждении практически без изменений в кампусах, системах электропитания или охлаждения.

По словам Питера Руттена (Peter Rutten), вице-президента по исследованиям IDC, в связи с ожидаемым к 2027 году ростом мирового рынка ИИ-серверов до $49 млрд, объявление ZutaCore о поддержке ускорителей следующего поколения является «важной вехой в отрасли».

Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.

Занимающаяся пост-продакшном видео компания Dirty Looks перенесёт все вычисления в облако оператора Deep Green, чей микро-ЦОД занимается обогревом бассейна. Datacenter Dynamics сообщает, что речь идёт о водном парке развлечений в британском графстве Девон. Компания намерена в ближайшие пять лет охватить 1,5 тыс. бассейнов в Великобритании и довести суммарную мощность своих ЦОД до 300 МВт.

Deep Green известна передачей «мусорного» тепла HPC-серверов пользователям — компания бесплатно отдаёт его плавательным бассейнам, а вычислительные ресурсы продаёт по облачной модели при посредничестве сервис-провайдера Civo, который также сотрудничает с похожим на Deep Green стартапом Heata, предлагающим отапливать дома с помощью серверов.

Источник изображения: Thomas Park/unsplash.com

В Deep Green утверждают, что серверы дают 60 % необходимого бассейну тепла в городе Эксмут. Благодаря тому, что теперь можно надолго отключать бойлеры, работающие на ископаемом топливе, спортивный объект ежегодно будет экономить до £20 тыс., а заодно снизит углеродные выбросы на 28,5 т. Опробовав сервис, Dirty Looks подписала соглашение Deep Green на 18 месяцев. Заявляется, что аналогичные договоры смогут заключить и другие компании, ответственные за создание медиаконтента.

Источник изображения: Deep Green (via The Next Web)

Работа с видео всегда потребляет немало энергии, но не требует низкого уровня задержки, который нужен традиционным облачным сервисам, что позволяет использовать удалённые ЦОД. При этом в Deep Green заявляют, что обработка контента возможна и в реальном времени. А в Dirty Looks отметили экологичность подхода Deep Green.

Электричество, которое в противном случае всё равно применялось бы для нагревателей, можно использовать для вычислений, поэтому утилизация тепла ЦОД стала одной из ключевых элементов стратегий по обеспечению экобезопасности ряда стран. В частности, речь идёт о германском Законе об энергоэффективности (Energy Efficiency Act), а в Евросоюзе в целом — о Директиве по энергоэффективности (Energy Efficiency Directive). При этом на практике такие решения дороги, а то и бессмысленны.

Компания ZTE на выставке MWC 2024 анонсировала серверный шкаф нового поколения IceCube, предназначенный для высокоплотного размещения оборудования. Решение, по словам компании, ориентировано на энергоэффективные и экологичные дата-центры. Говорится о показателе до 100 кВт в расчёте на стойку.

Жидкостное охлаждение набирает популярность в ЦОД в связи со стремительным развитием ИИ и ресурсоёмких вычислений. СЖО позволяет обеспечить более высокие мощность и плотность размещения оборудования в стойке. Шкаф ZTE IceCube предлагает гибридный подход: вода циркулирует как через дверцу, так и через водоблоки, прилегающие к горячим компонентам.

Источник изображения: ZTE

В шкафу IceCube можно разместить до 40 серверов формата 1U благодаря монтажу «с нулевым зазором», говорит ZTE. При этом, как утверждается, можно добиться «частичного значения PUE» менее 1,1. Монтаж и замену оборудования можно осуществлять без риска утечек. Реализованы средства «слепого подключения» коммуникаций.