Компания Submer, специализирующаяся на системах иммерсионного охлаждения для дата-центров, объявила о проведении раунда финансирования Series C, в ходе которого на развитие привлечено $55,5 млн. Программу возглавила инвестиционная фирма M&G, под управлением которой находятся активы в размере £346,1 млрд (около $454,1 млрд).

Submer была основана в 2015 году. Её штаб-квартира находится в Барселоне (Испания), тогда как производственная площадка Gigafactory располагается в Хьюстоне (Техас, США). Компания занимается разработкой систем погружного охлаждения для высоконагруженных ЦОД. При этом применяется нетоксичная охлаждающая жидкость SmartCoolant: она обеспечивает высокую эффективность в широком диапазоне температур, безопасность и стабильность состава. Кроме того, компания сотрудничает с другими производителями жидкостей.

Источник изображения: Submer

Согласно отчету Международного энергетического агентства (IEA), в 2022 году дата-центры по всему миру потребили 460 ТВт·ч энергии, что составляет почти 2 % от глобальных затрат. По прогнозам, к 2026 году этот показатель удвоится. Вместе с тем, как утверждает Submer, воздушное охлаждение и традиционные методы жидкостного охлаждения становятся все менее эффективными. Связано это с постоянно растущими вычислительными нагрузками в условиях стремительного развития ИИ. Решением проблемы, по заявлениям Submer, является погружное охлаждение.

В новом раунде финансирования, помимо M&G, приняли участие существующие инвесторы Planet First Partners и Norrsken VC, а также Mundi Ventures. Полученные деньги будут направлены на расширение бизнес-возможностей и привлечение новых клиентов в рамках глобальной экспансии. Submer намерена уделять приоритетное внимание освоению рынков США и Азиатско-Тихоокеанского региона.

Шведская химическая компания Perstorp представила биоразлагаемую жидкость, предназначенную для погружных (иммерсионных) СЖО, передаёт Datacenter Dynamics. По словам компании, Synmerse DC представляет собой синтетическую жидкость, обеспечивающую безопасность и эффективность эксплуатации, это снижает энергопотребление охлаждающих систем.

Perstorp принадлежит малайзийской нефтегазовой компании Petronas, уже представившей жидкость собственной разработки для систем Iceotope. В Perstorp сообщили, что разработали жидкость при сотрудничестве с ведущими производителями чипов и OEM-компаниями для того, чтобы обеспечить её совместимость с новейшим оборудованием и погружными системами охлаждения. По словам компании, у неё богатый опыт в разработке синтетических жидкостей самого разного назначения.

Источник изображения: Jimmy Chang/unsplash.com

Компания не рассказала о составе жидкости подробно, но сообщила, что она не включает PFAS-соединения («вечные» химикаты), способные нанести вред окружающей среде. Жидкости на основе PFAS традиционно применяются в системах погружного охлаждения, но с принятием во многих странах законов, запрещающих их использование, производители ищут более экобезопасные варианты на основе растительных и минеральных масел, различных фторуглеродов и других соединений. Впрочем, ещё летом 2023 года сообщалось, что Евросоюз намерен отменить запрет на PFAS-химикаты, поскольку те очень важны для рынка СЖО.

Жидкостное охлаждение набирает популярность в последние годы, поскольку ИИ-бум привёл к росту плотности размещения компонентов в серверных стойках. Другими словами, традиционные воздушные системы охлаждения часто не справляются с новыми нагрузками мощных новых серверов. Нефтегазовые компании вроде Gulf Oil, Shell, Castrol, ExxonMobil, ENEOS и SK Enmove активно ведут разработки в новой для себя нише СЖО. Свои варианты представили американский продовольственный гигант Cargill и химический концерн Chemours (Du Pont).

Операторы дата-центров тратят немало ресурсов на борьбу с микрочастицами пыли, грязи и пыльцы. По данным Datacenter Dynamics, приходится использовать специальные фильтры, которые после окончания срока службы как правило отправляются на свалки. Поэтому K&N Filtration и Apple совместно создали многоразовые, экобезопасные фильтры для ЦОД. О разработке было объявлено весной этого года.

Эффективность фильтров обычно измеряется показателем MERV, свидетельствующим о размере и типе частиц, задерживаемых соответствующими блоками. Для дата-центров с воздушным или комбинированным охлаждением используются фильтры MERV 8, 11 или 13, но некоторые операторы могут использовать и решения вплоть до MERV 20. Обычные фильтры меняются три-четыре раза в год. По расчётам K&N Filtration, индустрия ЦОД в США отправляет в утиль до 60 тыс. т таких отходов ежегодно.

Источник изображений: K&N

Новые моющиеся фильтры способны прослужить много лет, позволив сэкономить немало средств. Они концептуально похоже на многоразовые фильтры для двигателей, но последние выпускаются на основе хлопка, а фильтры для ЦОД используют синтетический материал, не требующий обработки маслом после мытья. К тому же новый фильтр задерживает микрочастицы на поверхности, благодаря чему его легко чистить. В K&N Filtration утверждают, что их продукт — единственный в своём роде на рынке. Многоразовые фильтры других типов выпускаются, но они не предназначены для ЦОД.

Apple помогла довести конструкцию до совершенства — компании сотрудничают в данной сфере ещё с 2019 года. Всего было испытано более 20 вариантов прежде, чем Apple приняла окончательную версию. По словам K&N Filtration, многоразовые фильтры неоднократно пробовали использовать в ЦОД, но только совместная разработка с участием Apple нашла реальное применение на рынке. Теперь новинки используется в пяти дата-центрах Apple в США, а также продаются другим операторам. Доступны версии MERV 8, 11 и 14, а всю систему легко настроить под экологические требования конкретного ЦОД.

В отчёте Apple об устойчивом развитии за 2023 год говорится, что компания установился 38 тыс. новых фильтров, что помогло избежать отправки на свалку 25 т использованных фильтров каждый гож. Также на 35 % удалось сократить потребление энергии вентиляторами. K&N Filtration утверждает, что фильтры способны прослужить 15 лет и экологически значительнее привлекательнее даже одноразовых вариантов с аналогичным временным ресурсом.

Новые фильтры можно мыть с помощью обычного шланга с холодной водой под низким давлением, очистка происходит за 30–90 с. Впрочем, в зависимости от качества воздуха, процесс может занять и больше времени. Хотя приоритетным для производителя по-прежнему остаётся производство автомобильных фильтров, теперь компания активно занимается разработками и для дата-центров.

Разработчик СЖО для ЦОД LiquidStack Holding сообщил о привлечении $20 млн от инвестиционной компании Tiger Global Management в рамках расширенного раунда серии B. Средства направят на увеличение производственных мощностей для выпуска систем прямого и иммерсионного охлаждения, расширение деятельности и научных исследований.

Основанная в 2012 году LiquidStack поставляет СЖО для IT-оборудования, телекоммуникационных решений и блокчейн-систем. Решения компании используются в дата-центрах гиперскейлеров, а также в корпоративных, колокейшн и периферийных ЦОД. Фактически LiquidStack появилась в результате реорганизации Allied Control Limited (ACL, подразделение The Bitfury Group), которая изначально занималась созданием СЖО для майнинговых систем.

Источник изображения: LiquidStack Holding

Новое финансирование позволит LiquidStack расширить разработку систем прямого жидкостного охлаждения, а также двухфазных и однофазных решений для вариантов использования с комплексным жидкостным охлаждением. В 2021 году Wiwynn, которая занимается поставками серверного оборудования для Microsoft, проинвестировала в LiquidStack $10 млн.

Портфолио LiquidStack включает ряд продуктов СЖО, разработанных для обеспечения высокой энергоэффективности и производительности вычислительных систем. В частности, LiquidStack предлагает системы прямого жидкостного охлаждения Direct-To-Chip (DTC), в том числе линейку блоков распределения охлаждающей жидкости (CDU), специально разработанную для высокотребовательных приложений, таких как генеративный ИИ и HPC. Первый продукт в этой серии, блок распределения охлаждающей жидкости CDU-1MW, обеспечивает мощность охлаждения 1350 кВт.

Также LiquidStack занимается разработкой технологий однофазного и двухфазного иммерсионного охлаждения и микр-ЦОД на их основе. Так, в серии MicroModular и MacroModular входят модульные, готовые решения мощностью от 250 кВт до 1,5 МВт. Продукты LiquidStack производятся в США на её предприятии в Кэрролтоне (штат Техас), которое открылось в марте этого года.

Компания Infinity Turbine представила систему Cluster Mesh Power Generation System, преобразующую тепло серверов ИИ ЦОД в электроэнергию. Datacenter Dynamics сообщает, что новинка позволит генерировать «чистое» экобезопасное электричество, которое можно будет тут же использовать на месте, а также снизит потребности ЦОД в воде для охлаждения.

Система объединяет малые модульные ORC-турбины (Organic Rankine Cycle), использующие в качестве рабочего тела сверхкритическую жидкость CO₂, в mesh-сеть, благодаря чему обеспечиваются масштабируемость, надёжность и высокая эффективность, говорит компания. Каждый турбинный генератор требует 100 тыс. BTU (British thermal unit) тепла для производства до 5 кВт электроэнергии.

Источник изображения: Infinity Turbine

Согласно расчётам компании, комплекс из 600 турбин может отводить 60 млн BTU/час, генерировать до 3 МВт и экономить до 108 тыс. л/час (из расчёта 1,8 л на 100 тыс. BTU). А ежегодная экономия на расходах на воду может достигать почти $1,9 млн (из расчёта $2 за каждый м³). Правда, пока неизвестно, применялась ли Cluster Mesh Power Generation System хотя бы в одном ЦОД.

Компания признаёт, что изначальные расходы на установку её решения будут выше, чем в случае традиционных систем охлаждения и захвата тепла, но в долгосрочной перспективе они окупаются с лихвой. Кроме того, для достижения эффективности и стабильности работы mesh-сети турбин требуется продвинутая система управления. С другой стороны, каждая турбина работает независимо от других, что упрощает процесс обслуживания и ремонта.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Швейцарский стартап Apheros объявил о завершении раунда предварительного финансирования в размере $1,85 млн, который возглавила венчурная компания Founderful. Как сообщает стартап, полученные инвестиции позволят ему ускорить разработку и внедрение решений для жидкостных систем охлаждения на основе пенометалла.

Основанный в Цюрихе в прошлом году на базе подразделения университета ETH Zurich, Apheros разработал запатентованную технологию создания пенометалла с «беспрецедентными свойствами». Благодаря большой площади поверхности и низкой плотности новый материал имеет улучшенную теплопередачу и низкое сопротивление потоку, что делает его идеальным для высокопроизводительных систем охлаждения. Автор разработки — Джулия Карпентер (Julia Carpenter), соучредитель и генеральный директор Apheros, докторская диссертация которой в ETH Zurich как раз посвящена пенометаллу.

Источник изображений: Apheros

На веб-сайте компании сообщается, что микроструктура пенометалла Apheros «превосходно рассеивает тепло», в том числе в системах жидкостного охлаждения, включая двухфазные испарительные СЖО, с которыми решение компании может быть легко интегрировано уже сейчас. Кроме того, технология Apheros может пригодиться для создания электродов и катализаторов.

Компания уже создала первый продукт, в котором используется пеномедь. Как утверждается, это оптимальное решение для пассивного охлаждения, которое значительно превосходит текущие технологии как с точки зрения эффективности, так и с точки зрения экологического воздействия благодаря малоотходному методу производства.

Apheros протестировала свои продукты с неназванными технологическим партнёром и теперь стремится к коммерциализации своих решений. Компания рассчитывает в течение года масштабировать производство до нескольких тонн. При этом для оснащения с нуля или модернизации одного дата-центра потребуется несколько сотен килограмм пенометалла.

Любой производитель не застрахован от сбоя цепочки поставок небольших комплектующих, ведущих к значительным убыткам, иногда исчисляемым сотнями миллионов долларов. Как сообщает Tom’s Hardware, Supermicro не удалось вовремя получить достаточное количество быстроразъёмных соединений для систем жидкостного охлаждения (СЖО), из-за чего произошла задержка поставок готовой продукции покупателям. В результате сформировалась «отложенная выручка» в размере $800 млн, которую пришлось перенести с одного квартала на другой.

СЖО чрезвычайно важны для ИИ-серверов и обычно состоят из нескольких компонентов, объединяемых быстроразъёмными соединениями. Такие разъёмы могут подтекать, поэтому их качество имеет ключевое значение. Из-за высокого спроса на ИИ-серверы спрос на соединения тоже вырос. Их цена уже поднялась с $40 до $60, причём потенциальные покупатели готовы переплачивать ещё больше, лишь бы забронировать поставки.

Источник изображения: Cejn

Рынок быстроразъёмных соединителей контролируется семью компаниями, в том числе двумя китайскими, попавшими под санкции США, что только усугубляет глобальный дефицит. Тайваньские производители Global Tek, Fositek и Lotes охотно пользуются ситуацией, наращивая и ускоряя производство и сертификацию соответствующих продуктов — это поможет заполнить «пустоту» от ухода попавших под санкции китайских компаний. Global Tek активно работает с партнёрами на своих заводах, образцы уже проходят тестирование. Компания рассчитывает, что выручка от этих проектов начнёт поступать уже в IV квартале 2024 года.

Спрос на СЖО действительно высок и ожидается, что к 2028 году они займут треть рынка систем охлаждения для дата-центров. При этом уже поступают рекламации — не исключено, что поставки суперускорителей NVIDIA GB200 могут задержаться из-за протечек вспомогательной «фурнитуры» систем жидкостного охлаждения.

Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Российская компания «Систэм Электрик» (Systême Electric; ранее — Schneider Electric) объявила о выпуске чиллеров семейства CoolFlow, которые, как утверждается, обладают широкими возможностями для адаптации под индивидуальные требования заказчика. Новинки ориентированы на применение в современных дата-центрах.

Отмечается, что новые решения сочетают в себе передовые технологии для достижения высокой энергетической эффективности и улучшения экологических показателей. Чиллеры обеспечивают надёжное охлаждение серверного оборудования, одновременно минимизируя энергопотребление и углеродный след.

Источник изображений: «Систэм Электрик»

В семейство CoolFlow входят устройства воздушного охлаждения с опцией фрикулинга двух типов. Это модели на базе спиральных компрессоров холодопроизводительностью от 30 до 700 кВт, а также чиллеры на основе винтовых компрессоров холодопроизводительностью от 300 до 1500 кВт. Решения оснащены встроенным гидромодулем, который включает в себя все необходимые компоненты для выполнения только одного подключения к чиллеру — без необходимости внешних подсоединений к вспомогательному оборудованию, например, насосам.

Устройства изначально оснащены специальным зимним комплектом, который позволяет эксплуатировать их при температурах до -45 °C. При необходимости может быть добавлен высоконапорный насос.

Преимуществом чиллеров семейства CoolFlow названы широкие возможности в плане кастомизации. Устройства можно адаптировать к индивидуальным требованиям каждого проекта, оптимизируя их для конкретных условий эксплуатации. Благодаря модульной конструкции достигается гибкость масштабирования: допускается создание систем различной мощности, подходящих для разных объектов — от небольших до крупных дата-центров. Чиллеры CoolFlow могут применяться не только для строительства и эксплуатации ЦОД, но и в других отраслях промышленности, а также для создания микроклимата в офисах и бизнес-центрах.

«Систэм Электрик» предлагает возможность изменения стандартных размеров чиллеров и модификации их базовых характеристик. В частности, заказчики могут выбрать двойной или раздельный ввод питания, определённую насосную группу (1/1+1/1 с VSD/1+1 c VSD), а также установку источника бесперебойного питания на контроллер, расходомеров, накопительного бака, сетевых карт RS485 или SNMP, металлических сетчатых фильтров на теплообменники и пр.