Хотя «вечные» перфторалкильные и полифторалкильные вещества (PFAS) широко используются в эффективных двухфазных системах погружного охлаждения ЦОД, они токсичны. Но, похоже, запрет на их использование в Евросоюзе откладывается. Как сообщает DataCenter Dynamics, ссылаясь на данные утечки одного из документов, запрет на использование PFAS в Евросоюзе, возможно, не будет реализован или же будут введены незначительные ограничения.

Хотя в рамках «Зелёной сделки» 2020 года Евросоюзе предложил запретить от 7 до 12 тыс. химикатов, включая PFAS, данные утечки свидетельствуют, что евробюрократы готовы пожертвовать планами под давлением представителей промышленности, настаивающих, что PFAS (и другие вещества) необходимы для технологий, обеспечивающих нулевой углеродный выброс. Ранее «сделка» предусматривала запрет PFAS, предположительно являющихся канцерогенами и влияющих на репродуктивную функцию человека.

Источник изображения: Huawei

Согласно документам, попавшим в руки журналистам, речь уже может идти о запрете не более половины перечня токсичных химикатов. Документ, попавший в руки к журналистам, датирован 13 января текущего года, а правила должны вступить в силу ещё до начала 2024. Ожидалось, что закон REACH разрешит использование попавших в перечень химических веществ, только в случае, если их использование будет «необходимым». Но теперь, судя по всему, политики поддались давлению бизнеса.

Расчёты показали, что запрет на химикаты позволит ежегодно экономить €11–31 млрд на лечении рака и ожирения, тогда как промышленности такой запрет обойдётся всего в €0,9–2,7 млрд. Тем не менее, приостановить введение ограничительных норм призвал президент Франции Эммануэль Макрон (Emmanuel Macron), ссылаясь на необходимость помощи промышленному сектору. Его поддерживают и другие политики, негативно оценивающие стоимость введения новых правил для бизнеса.

PFAS применяются не только в СЖО, но и в других отраслях — например, при выпуске полупроводников. Ранее появилась информация, что регулирование оборота PFAS и окончательный отказ 3M от их выпуска могут со временем значительно повлиять на будущее погружных СЖО — несмотря на их эффективность, со временем от них могут отказаться даже гиперскейлеры, чтобы не терпеть репутационного ущерба.

Погружные (иммерсионные) системы жидкостного охлаждения имеют целый ряд преимуществ перед классическими СЖО. В частности, они существенно проще по конструкции, однако и тут есть, что совершенствовать. Компания Intel опубликовала информацию о новых, высокоэффективных теплосъёмниках. Разработанные Intel материалы и конструкции позволят остудить чипы с TDP в районе 2 КВт.

Для этого предлагается использовать теплоноситель, чья температура кипения соответствует рабочему диапазону температур охлаждаемых чипов. Кипение — важная часть процесса теплопереноса в погружных СЖО. Поэтому компания разработала специальное покрытие, ускоряющее рост пузырьков и делающее процесс кипения более интенсивным. Принцип, заложенный в основу, несколько напоминает известное явление с конфетами Mentos, вызывающими бурное выделение газа из прохладительных напитков.

Прототип покрытия, разработанного Intel, показывает первые результаты. Источник здесь и далее: Intel

Ешё одна инновация — специфическая конструкция теплообменников. Обычно производители погружных СЖО используют плоские пластины, но Intel подсмотрела у морских кораллов оптимальную форму, при которой площадь для теплоотдачи в системах нового типа должна существенно возрасти. Компания надеется повысить эффективность погружных СЖО с 0,025°C/Вт до 0,010°C/Вт.

Процесс парообразования с обычным покрытием (слева) и с разработанным Intel. Разница в количестве пузырьков налицо

На развитие этой технологии Intel получила грант $1,7 млн в рамках программы COOLERCHIPS (Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems) Министерства Энергетики США (US Department of Energy). Ранее $5-млн грант получила и NVIDIA, перед которой поставлена цель совместить системы прямого теплоотвода (direct-to-chip) с погружными в габаритах стандартной серверной стойки. Ещё $1 млн получил стартап JetCool. Также в программе участвуют HP, Raytheon и ряд университетов.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, обнародовала результаты исследования, говорящие о высокой эффективности технологии гибридного жидкостного охлаждения для серверного оборудования.

Система, о которой идёт речь, предусматривает совмещение двух типов СЖО. В частности, на CPU и GPU монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещается в резервуар с диэлектрической жидкостью.

Источник изображения: OVHcloud

Исследование показало, что такой комбинированный подход даёт возможность снизить энергопотребление дата-центра приблизительно на 20 % по сравнению с использованием исключительного водяного охлаждения. В оценке возможностей гибридной СЖО приняли участие специалисты Реймсского университета Шампань — Арденны (Франция).

Группа протестировала различные охлаждающие жидкости и пришла к выводу, что составы с низкой вязкостью обеспечивают более эффективный отвод тепла при использовании в резервуарах иммерсионных систем. В частности, при повышении вязкости примерно в два раза — с 4,6 до 9,8 мПа·с — эффективность охлаждения снизилась на 6 %.

Установлено также, что гибридная СЖО позволяет сократить энергопотребление в расчёте на сервер на 7 % в год по сравнению с обычными жидкостными системами и на 20 % по сравнению с воздушным охлаждением. При этом затрачивается от 50 до 100 мл воды в час на каждый Ватт мощности сервера.

В Министерстве энергетики США объявили о выделении $40 млн 15 вендорам и университетским лабораториям на создание технологий охлаждения, которые позволят расходовать на отвод тепла лишь 5 % от общего потребления энергии дата-центром. Как сообщает Network World, подведомственное министерству агентство Advanced Research Projects Agency–Energy (ARPA-E) инициировало программу COOLERCHIPS, в рамках которой и распределяются средства.

В агентстве считают, что в современных системах эффективность использования энергии (PUE) не должна превышать коэффициент 1,05 — из всей выделяемой ЦОД энергии не более 5 % должно тратиться на охлаждение. Хотя некоторые передовые дата-центры, использующие жидкостное или иммерсионное охлаждение, уже сегодня демонстрируют PUE соответствующего уровня, в большинстве случаев для ЦОД этот показатель, по данным Uptime Institute, в среднем составляет 1,55.

Фото: LiquidStack

В Министерстве подчёркивают, что основной целью программы является минимизация воздействие ЦОД на окружающую среду, чему и будут способствовать инвестиции. Суммы грантов для 15 получателей составляют от $1,2 млн для мелких компаний до $5 млн для бизнесов вроде NVIDIA. Деньги выделяются на разнообразные технологии охлаждения, преимущественно жидкостные, но в некоторых случаях речь идёт, например, и о новых конструктивных решениях самих ЦОД.

Например, компании Flexnode выделили $3,5 млн на разработку быстровозводимых дата-центров модульной конструкции для периферийных вычислений, которые можно будет собирать, как конструктор LEGO. Калифорнийскому университету в Дэвисе тоже выделят $3,5 млн — но уже на разработку «Комплексных модульных энергоэффективных решений для направленного охлаждения (HoMEDiCS) для периферийных вычислений». Конструкция HoMEDiCS обеспечивает теплоотвод от CPU и ускорителей с помощью контура жидкостного охлаждения и применения высокоэффективных, но недорогих теплообменников.

Наконец, NVIDIA получит $5 млн на комбинированную систему Green Refrigerant, для ультраэффективного экологичного охлаждения HPC-решений. В данном случае будет сочетаться прямое охлаждение чипов, а также одно- или двухфазное охлаждение со встроенными насосами и парожидкостным сепаратором.

Хотя сумма в $40 млн невелика в сравнении с десятками миллиардов долларов, выделенных в рамках т.н. « Закона о чипах», относительно недавно принятого в США для развития полупроводниковой отрасли, компании с удовлетворением принимают и такие средства. Кроме того, по мнению американских экспертов, США должны иметь конкурентоспособное решение для всех звеньев производственной цепочки, а полученные результаты в числе прочего могут пригодиться в государственном секторе и военной сфере.

Помимо принимаемых в всём мире мер по снижению PUE, ищутся и другие способы сохранения окружающей среды. Например, в апреле поступили данные о том, что Евросоюз поставит на учёт крупные ЦОД и в рамках Директивы по энергетической эффективности (EED) не только обяжет операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду, но и заставит некоторые ЦОД отдавать избыточное тепло со своих площадок на нужды общества.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о разработке системы гибридного иммерсионного (погружного) охлаждения серверов в центрах обработки данных (ЦОД). Технология призвана повысить эффективность расхода электроэнергии и высвободить площади, занимаемые традиционным оборудованием.

Суть метода сводится к использованию двух типов СЖО. На центральных процессорах и ускорителях монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещают в резервуар со специальной нелетучей диэлектрической углеводородной жидкостью. Для каждого сервера применяется собственный резервуар, что, по словам создателей, обеспечивает хорошую масштабируемость, гибкость развёртывания и удобство мониторинга.

Изображения: OVHcloud

Для системы предусмотрено применение трёхуровневой стойки библиотечного типа с возможностью монтажа 48 серверов формата 1U или 24 серверов стандарта 2U. Сами стойки имеют пассивный дизайн, то есть не содержат ни помп, ни вентиляторов, а значит, не затрачивают энергию на охлаждение. Потребление электроэнергии и капитальные затраты дополнительно снижаются за счёт исключения системы испарительного охлаждения в ЦОД, расположенных в регионах с температурой окружающего воздуха ниже +43 °С.

Утверждается, что новое решение позволяет сократить энергетические затраты дата-центра на охлаждение на 20,7 % по сравнению с обычным жидкостным охлаждением. Энергопотребление серверов снижается на 20 % в год по сравнению с воздушными системами охлаждения. Частичный коэффициент PUE (pPUE) заявлен на отметке 1,004, а коэффициент WUE — 0 для климатических зон с температурой окружающего воздуха ниже +43 °С. Отметим, что похожую систему охлаждения ранее представила Iceotope.

Как сообщает DataCenter Dynamics, американская продовольственная компания Cargill разработала жидкость NatureCool 2000 для погружных СЖО, которая является более экологичной альтернативой для составов, полученных в результате перегонки углеводородов, поскольку на 90 % состоит из растительных масел. Разработчики подчёркивают, что, поскольку она получена из растений с естественным образом «связанным» углеродом, её можно назвать углеродно-нейтральной. Кроме того, новинка является биоразлагаемой.

Источник изображения: Robert Anderson/unsplash.com

При этом показатели NatureCool 2000 не только не уступают самым передовым синтетическим альтернативам, но и превосходят их по теплоотдаче на 10 %. Кроме того, жидкость соответствует всем необходимым стандартам безопасности. В частности, говорится о том, что температура вспышки составляет 325°C, а сама жидкость гаснет после устранения источника высокой температуры, тогда как традиционные синтетические жидкости в этом случае могут продолжать гореть.

Источник: Cargill

Известно, что Cargill уже присоединилась к инициативе Open Compute Project, причём члены команды продовольственной компании принимают активное участие в развитии спецификаций погружных СЖО. Cargill постепенно осваивает нишу продуктов для ЦОД, хотя пока подобный профиль деятельности не является основным для компании.

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Источник изображения: Christian Lue/unsplash.com

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.