Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

В ближайшие годы ожидается стремительный рост спроса китайских дата-центров на воду по мере развития ИИ-технологий. Datacenter Dynamics сообщает, что в новом докладе гонконгской НКО China Water Risk (CWR) сделана оценка потребления этого ценного для дата-центров ресурса — оно вырастет более чем в два раза в следующие шесть лет.

CWR рассчитывает, что потребление воды китайскими ЦОД сегодня составляет 1,3 млрд м³ ежегодно, но к 2030 году увеличится до 3 млрд м³. Организация отмечает, что Китайская академия экологического планирования (China Academy of Environmental Planning, CAEP) ранее выяснила, что число стоек в КНР достигло 5,4 млн шт. в 2021 году, то выросло на 27 % год к году, а к 2030 году оно составит уже 11,3 млн. Общее потребление воды местными ЦОД в 2020 году было неизвестно, но эксперты посчитали, что оно держалось приблизительно на уровне 300 млн м³.

Источник изображения: Jani Brumat/unsplash.com

Как указывают в докладе CWR, китайские IT-гиганты должны принять экстренные меры для того, чтобы стать «водно-положительными» или хотя бы «водно-нейтральными». Китай активно развивает индустрию ЦОД в западной части страны, хотя именно здесь преобладают обширные засушливые области, где удобно размещать солнечные электростанции, но где дефицит воды может оказаться катастрофическим.

Более того, водоснабжение может даже ухудшиться несмотря на рост спроса из-за неспособности своевременно реагировать на стихийные бедствия, а также рост «хронических рисков» вроде простой нехватки водных ресурсов и роста уровня моря. Хотя некоторые IT-гиганты начали планировать модернизацию, многие ещё не разработали никаких стратегий для уменьшения рисков. Впрочем, даже те, кто готовятся, могут столкнуться с проблемами из-за ускоренного глобального потепления — ранее принятые меры были недостаточно хороши.

Источник изображения: CWR

В CWR утверждают, что только 32 % китайских стоек находятся в богатых водой регионах, 46 % — в чрезвычайно сухих местах. Как минимум 41 % стоек расположен в регионах с частыми засухами и 28 % — в зонах, где нередко случаются наводнения. А как минимум пятая часть находятся в Цзянсу, Шанхае и Тяньцзине, которые часто страдает и от того, и от другого.

Конкуренция за воду в регионах уровня Dry 10 будет только расти и запросы ЦОД могут оказаться не в приоритете — поскольку в водных ресурсах нуждается сельское хозяйство, жилые дома и промышленность. В Китае ещё не утверждены стандарты эффективности водопользования (Water Usage Effectiveness, WUE), но власти на местах пытаются внедрять свои собственные требования. Например, шанхайское руководство рекомендует WUE на уровне 1.4.

Источник изображения: CWR

Как свидетельствуют публикации ограниченных данных, Baidu и Xiaomi увеличили своё водопотребление в 2021 году на 23 % и 53 % соответственно, а Tencent подняла потребление ресурса на 31 % в 2022 году. При этом China Mobile, наоборот, сократила потребление на 17 %.

CWR рекомендует местным операторам начать формулировать стратегию управления водными ресурсами и добиваться «водно-положительных» результатов. Также НКО предлагает переключиться с на другие, не столь водно-интенсивные технологии охлаждения, требующие меньше воды на единицу выручки, особенно в локациях с дефицитом воды, хотя иногда это это может привести к ухудшению показателей PUE. Стоит отметить, что проблема внедрения экобезопасных технологий актуальна, как никогда. Появилась информация о массовых закупках Китайским бизнесом ресурсоёмких серверов для ИИ-вычислений.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Облачное подразделение Amazon намерено присоединиться в Meta✴, Google и Microsoft в стремлении сократить количество потребляемой ЦОД воды и/или уменьшить ущерб окружающей среде. Amazon Web Services (AWS) планирует добиться положительного водного баланса уже к 2030 году — фактически AWS будет отдавать больше чистой воды, чем потреблять.

Об этом представители AWS сообщили в ходе недавнего мероприятия — в водопроводные сети будет поступать от AWS больше чистой воды, чем компания будет тратить на охлаждение и другие непосредственные нужды ЦОД. Представители облачного провайдера поясняют, что буквально через несколько лет половина населения мира будет жить в местностях с дефицитом воды, поэтому AWS будет искать новые способы перерабатывать и восполнять использованные ресурсы.

Источник изображения: Jacek Dylag/unsplash.com

Ещё в прошлом году AWS заявила, что добилась показателей эффективности водопользования (WUE) в глобальном масштабе на уровне 0,25 л/кВт·ч, а в странах вроде Ирландии и Швеции вода используется для охлаждения электроники в её ЦОД не более трёх недель в году (5% времени). При этом статистика Министерства энергетики США свидетельствует, что в среднем WUE для ЦОД с испарительной системой охлаждения составляет 1,8 л/кВт·ч, а европейские операторы ЦОД намерены к 2040 году добиться показателя 400 мл/кВт·ч.

AWS обещает заняться не только сокращением водопотребления, но и восстановлением воды. Планируется использование IoT-датчиков для поиска утечек и многократное использование воды. Более того, предполагаются даже экологичные способы добычи воды вроде сбора дождевой и применение, где это возможно, систем, в которых вода вообще не используется. В Великобритании AWS работает с экологами над обеспечением дополнительных поступлений воды в приток Темзы — реку Кеннет.

Источник изображения: Erda Estremera/unsplash.com

Хотя дата-центры используют огромное количество воды для охлаждения, реальное потребление отраслью достоверно неизвестно. По некоторым подсчётам в среднем в США на 1 МВт·ч потребляемой ЦОД энергии требуется 7,1 м³ воды, хотя показатели сильно отличаются в зависимости от ряда факторов. Известно, что Meta✴, Google и Microsoft уже обнародовали те или иные обещания, связанные с сокращением потребления воды к 2030 году, хотя многие из их кампусов до сих пор используют миллионы литров ежедневно.

При этом среди облачных провайдеров AWS первым опубликовал индекс WUE и пообещал делать это ежегодно в дальнейшем — публиковать подобные данные операторы ЦОД обычно избегают (а Google однажды даже попыталась скрыть их от властей в судебном порядке), но некоторые гиперскейлеры уже опередили компанию. В частности, Facebook✴ публикует WUE ещё с 2014 года.

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Источник изображения: Christian Lue/unsplash.com

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.