Разработчик СЖО для ЦОД LiquidStack Holding сообщил о привлечении $20 млн от инвестиционной компании Tiger Global Management в рамках расширенного раунда серии B. Средства направят на увеличение производственных мощностей для выпуска систем прямого и иммерсионного охлаждения, расширение деятельности и научных исследований.

Основанная в 2012 году LiquidStack поставляет СЖО для IT-оборудования, телекоммуникационных решений и блокчейн-систем. Решения компании используются в дата-центрах гиперскейлеров, а также в корпоративных, колокейшн и периферийных ЦОД. Фактически LiquidStack появилась в результате реорганизации Allied Control Limited (ACL, подразделение The Bitfury Group), которая изначально занималась созданием СЖО для майнинговых систем.

Источник изображения: LiquidStack Holding

Новое финансирование позволит LiquidStack расширить разработку систем прямого жидкостного охлаждения, а также двухфазных и однофазных решений для вариантов использования с комплексным жидкостным охлаждением. В 2021 году Wiwynn, которая занимается поставками серверного оборудования для Microsoft, проинвестировала в LiquidStack $10 млн.

Портфолио LiquidStack включает ряд продуктов СЖО, разработанных для обеспечения высокой энергоэффективности и производительности вычислительных систем. В частности, LiquidStack предлагает системы прямого жидкостного охлаждения Direct-To-Chip (DTC), в том числе линейку блоков распределения охлаждающей жидкости (CDU), специально разработанную для высокотребовательных приложений, таких как генеративный ИИ и HPC. Первый продукт в этой серии, блок распределения охлаждающей жидкости CDU-1MW, обеспечивает мощность охлаждения 1350 кВт.

Также LiquidStack занимается разработкой технологий однофазного и двухфазного иммерсионного охлаждения и микр-ЦОД на их основе. Так, в серии MicroModular и MacroModular входят модульные, готовые решения мощностью от 250 кВт до 1,5 МВт. Продукты LiquidStack производятся в США на её предприятии в Кэрролтоне (штат Техас), которое открылось в марте этого года.

Компания Infinity Turbine представила систему Cluster Mesh Power Generation System, преобразующую тепло серверов ИИ ЦОД в электроэнергию. Datacenter Dynamics сообщает, что новинка позволит генерировать «чистое» экобезопасное электричество, которое можно будет тут же использовать на месте, а также снизит потребности ЦОД в воде для охлаждения.

Система объединяет малые модульные ORC-турбины (Organic Rankine Cycle), использующие в качестве рабочего тела сверхкритическую жидкость CO₂, в mesh-сеть, благодаря чему обеспечиваются масштабируемость, надёжность и высокая эффективность, говорит компания. Каждый турбинный генератор требует 100 тыс. BTU (British thermal unit) тепла для производства до 5 кВт электроэнергии.

Источник изображения: Infinity Turbine

Согласно расчётам компании, комплекс из 600 турбин может отводить 60 млн BTU/час, генерировать до 3 МВт и экономить до 108 тыс. л/час (из расчёта 1,8 л на 100 тыс. BTU). А ежегодная экономия на расходах на воду может достигать почти $1,9 млн (из расчёта $2 за каждый м³). Правда, пока неизвестно, применялась ли Cluster Mesh Power Generation System хотя бы в одном ЦОД.

Компания признаёт, что изначальные расходы на установку её решения будут выше, чем в случае традиционных систем охлаждения и захвата тепла, но в долгосрочной перспективе они окупаются с лихвой. Кроме того, для достижения эффективности и стабильности работы mesh-сети турбин требуется продвинутая система управления. С другой стороны, каждая турбина работает независимо от других, что упрощает процесс обслуживания и ремонта.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Швейцарский стартап Apheros объявил о завершении раунда предварительного финансирования в размере $1,85 млн, который возглавила венчурная компания Founderful. Как сообщает стартап, полученные инвестиции позволят ему ускорить разработку и внедрение решений для жидкостных систем охлаждения на основе пенометалла.

Основанный в Цюрихе в прошлом году на базе подразделения университета ETH Zurich, Apheros разработал запатентованную технологию создания пенометалла с «беспрецедентными свойствами». Благодаря большой площади поверхности и низкой плотности новый материал имеет улучшенную теплопередачу и низкое сопротивление потоку, что делает его идеальным для высокопроизводительных систем охлаждения. Автор разработки — Джулия Карпентер (Julia Carpenter), соучредитель и генеральный директор Apheros, докторская диссертация которой в ETH Zurich как раз посвящена пенометаллу.

Источник изображений: Apheros

На веб-сайте компании сообщается, что микроструктура пенометалла Apheros «превосходно рассеивает тепло», в том числе в системах жидкостного охлаждения, включая двухфазные испарительные СЖО, с которыми решение компании может быть легко интегрировано уже сейчас. Кроме того, технология Apheros может пригодиться для создания электродов и катализаторов.

Компания уже создала первый продукт, в котором используется пеномедь. Как утверждается, это оптимальное решение для пассивного охлаждения, которое значительно превосходит текущие технологии как с точки зрения эффективности, так и с точки зрения экологического воздействия благодаря малоотходному методу производства.

Apheros протестировала свои продукты с неназванными технологическим партнёром и теперь стремится к коммерциализации своих решений. Компания рассчитывает в течение года масштабировать производство до нескольких тонн. При этом для оснащения с нуля или модернизации одного дата-центра потребуется несколько сотен килограмм пенометалла.

Любой производитель не застрахован от сбоя цепочки поставок небольших комплектующих, ведущих к значительным убыткам, иногда исчисляемым сотнями миллионов долларов. Как сообщает Tom’s Hardware, Supermicro не удалось вовремя получить достаточное количество быстроразъёмных соединений для систем жидкостного охлаждения (СЖО), из-за чего произошла задержка поставок готовой продукции покупателям. В результате сформировалась «отложенная выручка» в размере $800 млн, которую пришлось перенести с одного квартала на другой.

СЖО чрезвычайно важны для ИИ-серверов и обычно состоят из нескольких компонентов, объединяемых быстроразъёмными соединениями. Такие разъёмы могут подтекать, поэтому их качество имеет ключевое значение. Из-за высокого спроса на ИИ-серверы спрос на соединения тоже вырос. Их цена уже поднялась с $40 до $60, причём потенциальные покупатели готовы переплачивать ещё больше, лишь бы забронировать поставки.

Источник изображения: Cejn

Рынок быстроразъёмных соединителей контролируется семью компаниями, в том числе двумя китайскими, попавшими под санкции США, что только усугубляет глобальный дефицит. Тайваньские производители Global Tek, Fositek и Lotes охотно пользуются ситуацией, наращивая и ускоряя производство и сертификацию соответствующих продуктов — это поможет заполнить «пустоту» от ухода попавших под санкции китайских компаний. Global Tek активно работает с партнёрами на своих заводах, образцы уже проходят тестирование. Компания рассчитывает, что выручка от этих проектов начнёт поступать уже в IV квартале 2024 года.

Спрос на СЖО действительно высок и ожидается, что к 2028 году они займут треть рынка систем охлаждения для дата-центров. При этом уже поступают рекламации — не исключено, что поставки суперускорителей NVIDIA GB200 могут задержаться из-за протечек вспомогательной «фурнитуры» систем жидкостного охлаждения.

Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Российская компания «Систэм Электрик» (Systême Electric; ранее — Schneider Electric) объявила о выпуске чиллеров семейства CoolFlow, которые, как утверждается, обладают широкими возможностями для адаптации под индивидуальные требования заказчика. Новинки ориентированы на применение в современных дата-центрах.

Отмечается, что новые решения сочетают в себе передовые технологии для достижения высокой энергетической эффективности и улучшения экологических показателей. Чиллеры обеспечивают надёжное охлаждение серверного оборудования, одновременно минимизируя энергопотребление и углеродный след.

Источник изображений: «Систэм Электрик»

В семейство CoolFlow входят устройства воздушного охлаждения с опцией фрикулинга двух типов. Это модели на базе спиральных компрессоров холодопроизводительностью от 30 до 700 кВт, а также чиллеры на основе винтовых компрессоров холодопроизводительностью от 300 до 1500 кВт. Решения оснащены встроенным гидромодулем, который включает в себя все необходимые компоненты для выполнения только одного подключения к чиллеру — без необходимости внешних подсоединений к вспомогательному оборудованию, например, насосам.

Устройства изначально оснащены специальным зимним комплектом, который позволяет эксплуатировать их при температурах до -45 °C. При необходимости может быть добавлен высоконапорный насос.

Преимуществом чиллеров семейства CoolFlow названы широкие возможности в плане кастомизации. Устройства можно адаптировать к индивидуальным требованиям каждого проекта, оптимизируя их для конкретных условий эксплуатации. Благодаря модульной конструкции достигается гибкость масштабирования: допускается создание систем различной мощности, подходящих для разных объектов — от небольших до крупных дата-центров. Чиллеры CoolFlow могут применяться не только для строительства и эксплуатации ЦОД, но и в других отраслях промышленности, а также для создания микроклимата в офисах и бизнес-центрах.

«Систэм Электрик» предлагает возможность изменения стандартных размеров чиллеров и модификации их базовых характеристик. В частности, заказчики могут выбрать двойной или раздельный ввод питания, определённую насосную группу (1/1+1/1 с VSD/1+1 c VSD), а также установку источника бесперебойного питания на контроллер, расходомеров, накопительного бака, сетевых карт RS485 или SNMP, металлических сетчатых фильтров на теплообменники и пр.

Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Швейцарская аэронавигационная служба Skyguide на этой неделе пострадала от сбоя своего ЦОД, вызванного повреждением системы охлаждения, пишет ресурс DatacenterDynamics. 25 июня в Швейцарии прошли грозы, которые привели к наводнению в районе, где находится дата-центр Skyguide, и подтоплению ЦОД.

Особенно пострадала система охлаждения, находящаяся в подвале ЦОД в Женеве. Из-за её повреждения служба Skyguide была вынуждена в этот день закрыть воздушное пространство Женевы на два с половиной часа, в связи с чем взлёт и посадка всех бортов в международном аэропорту Женевы были приостановлены. По словам представителя аэропорта Игнаса Жаннерата (Ignace Jeannerat), было отменено более 50 рейсов, более десятка было перенаправлено в другие аэропорты.

Источник изображения: Skyguide

«Был принят ряд мер, чтобы гарантировать, что системы управления воздушным движением не перегреваются, а также гарантировать охлаждение машинного зала», — указано в заявлении Skyguide. Как сообщается, к 26 июня работа системы охлаждения ЦОД была частично восстановлена, а 28 июня она уже функционировала в полном объёме.

Во избежание повторения подобных сбоев Skyguide приобрела дополнительную внешнюю систему охлаждения и мобильный дизель-генератор для поддержки имеющихся изношенных генераторов. В службе отметили, что это временное решение, и для реального устранения ущерба, нанесённого затоплением помещений ЦОД, потребуется ещё некоторое время.