Modine Manufacturing решила диверсифицировать свои активы, вложившись в иммерсионное охлаждение. Как сообщает Datacenter Dynamics, компания приобрела активы стартапа TMGcore, предлагавшего однофазные и двухфазные системы иммерсионного охлаждения для HPC-систем. Сейчас Modine принадлежит производитель чиллеров Airedale.

TMGcore ещё в 2019 году представила роботизированную двухфазную иммерсионную платформу OTTO, а позже показал мобильную платформу OTTO EdgeBox. Также в портфолио компании есть компактная (2,4 м²) однофазная 200-кВт 48U-платформа ComputeCore и аналогичная платформа CryptoCore для тех, кто занимается майнингом.

Источник изображения: TMGcore

Modine приобрела как интеллектуальную собственность, так и другие активы TMGcore, заявив, что это укрепит позиции компании в качестве провайдера комплексных решений для охлаждения вычислительной техники. При этом само юридическое лицо, стоящее за TMGcore, не приобреталось. По словам представителя Modine, покупка активов поможет компании предлагать системы воздушного, жидкостного и гибридного охлаждения.

Хотя иммерсионные системы пока считаются нишевой технологией для майнинга и высокопроизводительных вычислений, давно предсказывается, что рост плотности размещения вычислительных мощностей позволит таким СЖО выйти на более широкий рынок, а катализатором станет развитие ИИ-платформ. В Modine ссылаются на оценки экспертов, которые прогнозируют, что рынок систем иммерсионного охлаждения к 2028 году вырастет до $7,8 млрд.

EK Water Blocks (EKWB) анонсировала водоблоки EK-Pro CPU WB 7529 и 7529 Rack для систем жидкостного охлаждения будущих процессоров Intel Xeon в исполнении LGA 7529, в частности, Sierra Forest (платформа Birch Stream). Появление последних на коммерческом рынке ожидается в первой половине нынешнего года. Эти процессоры получат до 288 E-ядер, а поэтому им потребуется эффективное охлаждение. Впрочем, этот же сокет, как ожидается, будет использоваться и для других чипов Xeon.

Решение EK-Pro CPU WB 7529 Ni + Acetal ориентировано на рабочие станции и высокие серверные корпуса. Используются три стандартных фитинга G1/4″, которые расположены в верхней части. Версия EK-Pro CPU WB 7529 Rack Ni + Acetal, в свою очередь, подойдёт для серверов формата 1U. Данная версия водоблока оборудована четырьмя фитингами стандарта G1/8″, которые расположены в боковых частях.

Источник изображения: EKWB

Водоблок EK-Pro CPU WB 7529 получил основание, изготовленное из очищенной меди с никелевым покрытием. Верхняя часть выполнена из полиформальдегида (ацеталь), фрезерованного на станке с ЧПУ. Кронштейн изготовлен из нержавеющей стали. Новинки уже доступны для заказа, а фактические продажи начнутся в конце февраля. Стоимость обеих модификаций составляет около €180.

Оператор дата-центров Stack Infrastructure, по сообщению ресурса Datacenter Dynamics, планирует размещать на своих площадках, ориентированных на задачи ИИ, стойки для оборудования высокой плотности с поддержкой общей мощности до 300 кВт или даже больше.

Stack намерена применять конфигурируемые решения, которые смогут поддерживать мощность до 30 кВт на стойку с традиционным воздушным охлаждением или до 50 кВт на стойку с теплообменниками на задней двери. При переходе на прямое жидкостное охлаждение мощность будет достигать 100 кВт на стойку. Stack также заявляет, что в дальнейшем намерена обеспечить мощность 300 кВт на стойку или выше благодаря внедрению погружного охлаждения.

Заявленный показатель — это весьма большое значение, и в настоящее время лишь несколько компаний объявили о подобных проектах. Так, CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ: он также предусматривает мощность до 300 кВт на стойку при использовании погружного охлаждения. Digital Realty готовит колокейшн-площадки со стойками на 70 кВт. В свою очередь, Equinix намерена использовать СЖО в более чем 100 ЦОД по всему миру.

Источник изображения: Stack

Stack в Северной Америке оперирует площадками в Атланте, Калгари, Чикаго, Далласе-Форт-Уэрте, Нью-Олбани, Северной Вирджинии, Фениксе, Портленде, Кремниевой долине и Торонто. В регионе EMEA компания работает в Копенгагене, Франкфурте, Женеве, Милане, Осло, Стокгольме и Цюрихе. В Азиатско-Тихоокеанском регионе у неё есть ЦОД в Канберре, Мельбурне, Осаке, Перте, Сеуле и Токио. В дальнейшем Stack намерена активно расширяться, для чего недавно было привлечено долговое финансирование на сумму более $290 млн.

Корпорация Intel, по сообщениям сетевых источников, расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, поддерживающих ресурсоёмкие задачи, в частности, приложения ИИ.

В проекте принимают участие компании Kenmec и Auras Technology. Кроме того, Intel сотрудничает с Тайваньским институтом промышленных исследований (ITRI): стороны намерены сформировать новую лабораторию для сертификации технологий охлаждения НРС-систем на соответствие международным стандартам.

Источник изображения: Intel

Инициатива Intel предусматривает создание первого в отрасли открытого решения для развёртывания полноценных систем иммерсионного (погружного) охлаждения. Кроме того, будет предложен эталонный дизайн такой платформы. Предполагается, что технология поможет поднять производительность ЦОД. Intel говорит о разработке модульной системы охлаждения на основе сверхтекучей жидкости, которая обеспечит возможность отвода тепла от компонентов мощностью 1500 Вт и более.

Новая СЖО, как ожидается, будет внедряться в тайваньских и международных дата-центрах. Отмечается, что ЦОД, ориентированные на задачи ИИ, требуют всё большей плотности размещения компонентов при повышении энергоэффективности и надёжности. Во многом достижение этих показателей зависит от возможностей систем охлаждения.

Kenmec уже предлагает ряд продуктов для жидкостного охлаждения — от блоков распределения охлаждающей жидкости (CDU) до специализированных стоек Open Rack version 3 (ORv3). Причем некоторые такие решения уже сертифицированы Intel.

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий в том числе услуги колокации и объединения сетей, объявила о планах по расширению поддержки передовых СЖО на своих площадках по всему миру. Речь, в частности, идёт о применении прямого жидкостного охлаждения Direct-to-chip с размещением водоблоков на чипах внутри серверов.

Equinix обеспечит возможность использования СЖО в более чем 100 своих ЦОД в составе сети International Business Exchange (IBX). Эти площадки располагаются в более чем 45 городах по всему миру, включая Лондон, Сингапур и Вашингтон. Благодаря внедрению СЖО клиенты смогут использовать мощное оборудование с высокой плотностью компоновки для поддержания ресурсоёмких рабочих нагрузок, связанных с ИИ и пр.

Источник изображения: Equinix

Equinix предлагает независимый от поставщика подход, позволяющий заказчикам применять необходимое оборудование любых производителей. Отмечается, что переход на СЖО даёт возможность поднять производительность при одновременной экономии энергии. Кроме того, улучшается отказоустойчивость и надёжность критически важной цифровой инфраструктуры.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Провайдер облачных услуг Civo сообщил о сотрудничестве с компанией Heata с целью обеспечения горячей водой домов в Великобритании за счёт отвода тепла от размещённых локально серверов, подключённых к системам отопления. Heata позиционирует себя как разработчик инновационной экологически чистой распределённой вычислительной сети, которая использует «мусорное» тепло, генерируемое при обработке вычислительных нагрузок, для нагрева воды.

Компании планируют запустить совместный пилотный проект, в рамках которого клиентам Civo будет предоставлена возможность опробовать облачные нагрузки в сети Heata. Компании заявили, что это позволит клиентам Civo обеспечить тех, кто столкнулся с нехваткой топлива, бесплатной горячей водой.

Источник изображения: Heata

Компактные серверы Heata (36 × 28 см) устанавливаются на внутридомовых бойлерах. Заказчики платят Heata за обработку своих облачных нагрузок на этих серверах (в пакетном режиме), а отводимое от них тепло используется для нагрева воды в бойлере. Работа системы увязана с существующими системами отопления. Бойлеры были протестированы в сотрудничестве с British Gas. Один такой блок позволяет сократить выбросы углекислого газа на 1 т в год.

В настоящее время Heata вместе с Innovate UK занимается определением домов, где будет установлено вычислительное оборудование. Концепция «цифровых бойлеров» не нова. Наиболее известна такими решениями компания Qarnot из Франции, которая недавно привлекла €35 млн инвестиций. А вот компания Nerdalize, занимавшаяся производством «вычислительных» радиаторов, обанкротилась в 2019 году.

Французская компания Qarnot предоставляет услуги высокопроизводительных вычислений компаниям вроде Adobe, Societe Generale, Illumination и Fix Studio. Изюминкой её деятельности является акцент на использовании тепла серверов в разных целях — на этот раз его применили для приготовления ужина.

Фото: Clément Pellegrini/LinkedIn

Вычислительные кластеры Qarnot OBx, по данным компании, позволяют использовать до 96 % выделяемого серверами тепла для нагрева, например, воды. Один из них и использовала Qarnot, подойдя к вопросу использования тепла с кулинарной изобретательностью. Так, в ёмкости c циркулирующей горячей водой появились утка, говядина и лосось. Чтобы охлаждающая жидкость не превратилась в бульон, продукты разместили в вакуумированной упаковке.

Пока система занималась 3D-рендерингом, температура в ёмкости поддерживалась на уровне +55 °C. Этого вполне достаточно, чтобы использовать французскую технологию приготовления мяса sous vide — она предусматривает приготовление блюд при относительно невысоких температурах. Правда, процесс приготовления в этом случае затягивается. Разумеется, в данном случае речь идёт лишь о демонстрации возможностей решений Qarnot.

Компания активно продаёт отработанное тепло, но оно обычно применяется более традиционными способами, преимущественно для отопления жилых и коммерческих зданий. По словам технического директора компании, её решения снижают энергозатраты на отопление на 65 %, а сопутствующие выбросы углерода — на 81 %. В 2018 году компания представила «криптообогреватели», представляющие собой комбинацию вычислительного устройства и обогревателя для дома, а в 2020 году предложила отапливать дома с помощью б/у серверов.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) рассказала о планах по внедрению жидкостного охлаждения в своих ЦОД. Речь идёт об использовании гибридной системы AALC (Air-Assisted Liquid Cooling), предусматривающей совмещение компонентов воздушного охлаждения и жидкостного контура.

Отмечается, что по мере развития машинного обучения и метавселенных всё острее встаёт проблема эффективного отвода тепла от оборудования. Дело в том, что внедряемые алгоритмы требуют больших вычислительных мощностей, что приводит к увеличению энергозатрат. Система AALC предназначена для охлаждения серверов в ЦОД, которые изначально могли быть и не спроектированы под использование СЖО. Отметим, что QCT уже представила аналогичное, полностью интегрированное решение.

Источник изображений: Meta✴

AALC совместима со стойкой Open Rack v3 (ORV3), которая, впрочем, может интегрироваться и с другими вариантами СЖО. Система AALC в исполнении Meta✴ использует водоблоки для самых горячих компонентов, которые подключаются к отдельной стойке с помпами и прочим оборудованием. На задней панели или двери стойки располагается теплообменник, позволяющий охлаждать жидкость за счёт воздуха, циркулирующего в ЦОД. Прототипы решения справляются с охлаждением оборудования мощностью до 40 кВт на стойку.

ORV3 также предлагает общую архитектуру стойки и подсистемы питания для устранения разрыва между нынешними и будущими ЦОД. Обеспечивается широкий спектр вариантов использования, включая поддержку Grand Teton. Модуль питания для общей на всю стойку шины 48 В DC не имеет жёстко определённого расположения и может устанавливается в любом месте стойки, что обеспечивает гибкость конфигурации. При этом он может быть не один, так что пиковая мощность может достигать 30 кВт на стойку.

Усовершенствованный ИБП обеспечивает работу в течение 4 мин. при мощности 15 кВт (против 1,5 мин. у решения предыдущего поколения). Этот блок также может монтироваться в любом месте стойки, а дополнительно возможно применение второго резервного блока. Всё это позволит Meta✴ уже сейчас развёртывать в ЦОД высокоплотную инфраструктуру для ИИ и иных требовательных к питанию и охлаждению решений.