Облачная платформа Amazon Web Services (AWS), по сообщению ресурса Datacenter Dynamics, переводит системы охлаждения в своих ЦОД на сточные воды. Технология уже используется примерно на 20 площадках компании, а в перспективе её внедрение расширится.

Дата-центры обычно расходуют воду из питьевых источников, которая многократно циркулирует в контурах охлаждения. Из-за накопления бактерий и известкового налёта воду обрабатывают специальными химическими веществами, что делает её непригодной для дальнейшего использования в обычных бытовых целях. Точное количество питьевой воды, используемой индустрией ЦОД, неизвестно, но, по оценкам, оно исчисляется миллиардами литров в год.

Новая технология AWS предполагает повторное применение сточных вод, которые проходят трехэтапный процесс очистки: при этом удаляются 99 % всех примесей и бактерий. После того, как такая вода проходит через систему охлаждения, она снова попадает на станцию очистки для прохождения следующего цикла фильтрации.

Источник изображения: AWS

На сегодняшний день AWS применят комплекс очистки сточных вод в 16 дата-центрах в Вирджинии и на нескольких объектах в Санта-Кларе (Калифорния). В целом, компания управляет более чем 100 площадками по всему миру, а ещё десятки находятся в разработке. В конце 2022 года AWS заявила о намерении добиться положительного водного баланса к 2030 году: компания будет отдавать больше чистой воды, чем потреблять.

Аналогичные инициативы реализуют и другие гиперскейлеры. Так, Google ранее заявляла, что использует очищенную или непитьевую воду более чем в 25 % кампусов ЦОД. Microsoft также пообещала добиться положительного водного баланса к 2030-му: корпорация использует оборотную воду в своих дата-центрах в Сан-Хосе (Калифорния), Куинси (Вашингтон), Техасе и Сингапуре. К концу десятилетия отдавать больше чистой воды, чем расходовать рассчитывает и Meta✴. А европейские дата-центры планируют снизить потребление воды до 400 мл/кВт·ч к 2040 году.

Оператор ЦОД Equinix повысил энергоэффективность своего дата-центра FR6 во Франкфурте (Германия) на 9 %, оптимизировав распределение энергоресурсов при поддержке ИИ. Как сообщает Datacenter Dynamics, этот результат достигнут с помощью интеллектуальной системы управления охлаждения Etalytics.

ПО Etalytics позволило снизить индекс PUE почти до 1,2 и, как ожидается, даст возможность сократить энергопотребление на 900 МВт·ч ежегодно. В дальнейшем Equinix намерена внедрить аналогичные ИИ-решения почти во всех своих франкфутских ЦОД IBX, включая объекты FR4, FR6, FR8 и FR2.6.

Стартап Etalytics был сформирован в 2020 году одной из исследовательских групп Технического университета Дармштадта. Сотрудничество с Equinix началось тогда же. ИИ-платформа Etalyctics позволяет регулировать работу систем охлаждения, что ведёт к экономии электроэнергии. ПО собирает телеметрию с помощью IIoT-датчиков для формирования «цифрового двойника», который может использоваться для «динамических расчётов» оптимальной стратегии охлаждения в реальном времени. Учитывается температура, влажность и т.д.

Как сообщают в Equinix Germany, речь идёт о многообещающем примере позитивного эффекта цифровизации и влиянии ИИ на рост энергоэффективности. Это, в частности, позволило получить награду Energy Efficiency Award от Германского энергетического агентства (DENA). Впрочем, ПО Etalytics с не меньшим успехом может применяться в химической, фармацевтической и автомобильной промышленности.

Источник изображения: Equinix

Считается, что внедрение подобных технологий станет ещё одним ключевым фактором достижения «климатической нейтральности», особенно на фоне амбициозных целей нового Закона об энергоэффективности Германии. В Equinix сообщили, что обсуждают с немецкими политиками способы достижения ещё большей энергоэффективности и устойчивости для того, чтобы новые нормы не помешали цифровизации страны.

Компания LiquidStack, специализирующаяся на разработке систем погружного (иммерсионного) жидкостного охлаждения, анонсировала однофазное решение для дата-центров. Новая СЖО, как утверждается, подходит для платформ, предназначенных для решения ресурсоёмких задач в области ИИ.

Отмечается, что решение, которое пока не получило определённого названия, предоставляет операторам ЦОД экономичный вариант перехода от воздушного охлаждения к энергоэффективному иммерсионному охлаждению.

Источник изображения: LiquidStack

Ранее LiquidStack предлагала двухфазные иммерсионные СЖО. Однако в таких системах используются фторированные растворители, такие как Novec от 3M, который недавно был снят с производства из-за опасений по поводу негативного влияния на здоровье людей. В однофазной СЖО применяются неопасные жидкости.

По заявлениям LiquidStack, представленное решение позволяет отводить более 2,8 кВт тепла в расчёте на единицу оборудования 1U или до 110 кВт на стойку. Это позволяет создавать НРС-системы на базе GPU для приложений ИИ. Система занимает такую же площадь, что и четыре стандартные стойки на 19″ или 21″. Говорится о совместимости с изделиями стандартов 1U, 2U, 4U, 600 мм, 750 мм, OCP, ORv3 и др. Однофазная СЖО LiquidStack будет доступна для предварительного заказа с 1 декабря 2023 года, а поставки начнутся в III квартале 2024 года.

Кроме того, LiquidStack объявила о выпуске новой серии универсальных блоков распределения охлаждающей жидкости (CDU), которые совместимы с большинством имеющихся на рынке систем прямого охлаждения. Изделия обеспечивают отвод тепла от 800 кВт до 1,5 МВт, благодаря чему подходят для задач НРС и ИИ. Среди преимуществ решений названы компактный шумоизолированный корпус, простота установки и обслуживания. Поставки начнутся во II четверти 2024 года.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Компания Thames Water, являющаяся крупнейшей коммунальной службой в Великобритании и занимающаяся водоснабжением и водоотведением для 15 млн человек, выдвинула ультиматум операторам некоторых ЦОД. Как сообщает The Register, им предложено сократить расход воды самостоятельно, или это будет сделано в принудительном порядке. Также не исключается повышение цен в периоды пиковых нагрузок.

В прошлом году Thames Water оценила использование воды дата-центрами в зоне обслуживания компании, включающей как большую часть британской столицы, так и долину Темзы на юге Англии. В дальнейшем планировалось снизить использование воды, координируя действия с ЦОД — страна как раз переживала необычайную жару, из-за которой пострадали и сами дата-центры.

Фото: Kevin Grieve / Unsplash

Теперь, похоже, компания готова прибегнуть и к мерам принуждения, в частности, ограничивать в случае необходимости подачу воды тем, кто расходует её слишком много, или взимать больше в периоды пикового спроса. В июле прошлого года сложилась критическая ситуация — из-за рекордной жары внешние модули систем кондиционирования британских ЦОД буквально приходилось обрызгивать водой из шлангов во избежание перегрева.

По имеющимся данным, рассматривается ограничение подачи воды как минимум одному лондонскому оператору ЦОД в периоды пикового потребления — подобные меры необходимы во время летней жары уже нынешнего года на фоне роста потребностей в воде со стороны бизнесов и граждан. Пока неизвестно, рассматривается ли подобная политика в качестве временной меры или ограничения могут ввести навсегда. Также не сообщается, будут ли ограничения тотальными или станут применяться только в районах компактного размещения кластеров ЦОД.

Фото: Benjamin Davies / Unsplash

Конечно, в Thames Water утверждают, что предпочли бы добровольное ограничение потребления операторами прежде чем вводить репрессивные меры. ЦОД, например, могли бы изучить возможность переработки и использования сточных вод непосредственно по месту потребления. В Thames Water заявили, что компания также поощряет использование дата-центрами альтернативных источников воды. К счастью, не все ЦОД полагаются на пресную воду, но те, что прибегают к ней, часто тратят порядка 4–19 тыс. м³ ежедневно.

Впрочем, это не единственная проблема коммунальных компаний в Англии. В этом году их активно критикуют за сброс неочищенных сточных вод в реки и даже прибрежные морские воды. Кроме того, службы не успевают ремонтировать стареющую инфраструктуру. Из-за этого Thames Water теряет больше любой компании такого профиля в Великобритании — по данным BBC, ежедневно она допускает утечку более 600 тыс. м³, что уже привело к смене её руководства в прошлом месяце.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о разработке системы гибридного иммерсионного (погружного) охлаждения серверов в центрах обработки данных (ЦОД). Технология призвана повысить эффективность расхода электроэнергии и высвободить площади, занимаемые традиционным оборудованием.

Суть метода сводится к использованию двух типов СЖО. На центральных процессорах и ускорителях монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещают в резервуар со специальной нелетучей диэлектрической углеводородной жидкостью. Для каждого сервера применяется собственный резервуар, что, по словам создателей, обеспечивает хорошую масштабируемость, гибкость развёртывания и удобство мониторинга.

Изображения: OVHcloud

Для системы предусмотрено применение трёхуровневой стойки библиотечного типа с возможностью монтажа 48 серверов формата 1U или 24 серверов стандарта 2U. Сами стойки имеют пассивный дизайн, то есть не содержат ни помп, ни вентиляторов, а значит, не затрачивают энергию на охлаждение. Потребление электроэнергии и капитальные затраты дополнительно снижаются за счёт исключения системы испарительного охлаждения в ЦОД, расположенных в регионах с температурой окружающего воздуха ниже +43 °С.

Утверждается, что новое решение позволяет сократить энергетические затраты дата-центра на охлаждение на 20,7 % по сравнению с обычным жидкостным охлаждением. Энергопотребление серверов снижается на 20 % в год по сравнению с воздушными системами охлаждения. Частичный коэффициент PUE (pPUE) заявлен на отметке 1,004, а коэффициент WUE — 0 для климатических зон с температурой окружающего воздуха ниже +43 °С. Отметим, что похожую систему охлаждения ранее представила Iceotope.

Как сообщает DataCenter Dynamics, американская продовольственная компания Cargill разработала жидкость NatureCool 2000 для погружных СЖО, которая является более экологичной альтернативой для составов, полученных в результате перегонки углеводородов, поскольку на 90 % состоит из растительных масел. Разработчики подчёркивают, что, поскольку она получена из растений с естественным образом «связанным» углеродом, её можно назвать углеродно-нейтральной. Кроме того, новинка является биоразлагаемой.

Источник изображения: Robert Anderson/unsplash.com

При этом показатели NatureCool 2000 не только не уступают самым передовым синтетическим альтернативам, но и превосходят их по теплоотдаче на 10 %. Кроме того, жидкость соответствует всем необходимым стандартам безопасности. В частности, говорится о том, что температура вспышки составляет 325°C, а сама жидкость гаснет после устранения источника высокой температуры, тогда как традиционные синтетические жидкости в этом случае могут продолжать гореть.

Источник: Cargill

Известно, что Cargill уже присоединилась к инициативе Open Compute Project, причём члены команды продовольственной компании принимают активное участие в развитии спецификаций погружных СЖО. Cargill постепенно осваивает нишу продуктов для ЦОД, хотя пока подобный профиль деятельности не является основным для компании.

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Источник изображения: Christian Lue/unsplash.com

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.