Компания Microsoft пообещала использовать вместо водяного охлаждения, применяемого в ЦОД, расположенных в Финиксе (Аризона, США), воздушное на новых местных объектах. Как сообщает DataCenter Dynamics, город просто не в состоянии перерабатывать больше сточных вод и очищать стоки с дата-центров компании до безопасного для людей состояния. Ожидается, что компания потратит более $40 млн на создание в городе дополнительной инфраструктуры для обработки сточных вод — обновлённое соглашение с городскими властями одобрено на прошлой неделе.

Как сообщают представители города, водяное охлаждение будут использовать только три первых ЦОД, все последующие дата-центры будут применять воздушное охлаждение, поскольку общее количество растворённых в воде веществ (TDS) после цикла охлаждения слишком высоко и очистка такой воды обойдётся слишком дорого, а воды для сохранения загрязнений на безопасном уровне потребуется слишком много. Известно, что пока построен первый ЦОД, второй находится на стадии завершения, а третий скоро начнут возводить. Всего же компания намерена построить пять ЦОД в данном кампусе.

Источник изображения: Alexander Schimmeck/unsplash.com

При этом мощностей городской канализации и местной инфраструктуры водоочистки не вполне достаточно для очистки большего количества сточных вод. При этом компания не приняла достаточных мер для снижения объёма растворённых веществ, создания систем контроля сбросов и хранения отходов, а в ЦОД вода циркулирует по системе охлаждения как минимум дважды, что повышает объём растворённых в ней веществ и увеличивает нагрузку на очистную инфраструктуру города, которая к такому объёму и качеству сточных вод оказалась попросту не готова.

Источник изображения: Erda Estremera/unsplash.com

Более того, компания должна построить дополнительную линию сброса отходов к концу августа 2024 года, а если это не удастся, будет хранить их на территории кампуса. Также она должна будет построить новые водопроводные линии, если это будет необходимо и потратит дополнительные десятки миллионов на расширение городских очистных сооружений. Ещё в 2020 году сообщалось, что Microsoft самостоятельно построит установки для очистки сточных вод, в Массачусетсе, тоже из-за слишком высокой концентрации минералов.

В конце лета 2022 года Microsoft оказалась в центре скандала в Нидерландах, когда выяснилось, что её ЦОД потребляют в разы больше воды, чем планировалось. В результате местным властям пришлось ввести временный запрет на строительство новых объектов подобного назначения. Впрочем, компания намерена пересмотреть технологии, используемые её дата-центрами. Её ЦОД с испарительным охлаждением уже к 2024 году начнут потреблять на 95 % меньше воды, чем сегодня, экономя по 5,7 млрд литров ежегодно.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания Castrol, производитель моторных масел и смазочных материалов, по сообщению The Register, объединила усилия с Государственным научно-исследовательским институтом Швеции (RISE) для разработки диэлектрических жидкостей нового поколения. Предполагается, что жидкости нового типа будут применяться в системах иммерсионного (погружного) охлаждения для дата-центров.

Castrol, принадлежащая группе BP, активно развивает соответствующее направление. Так, ранее компания объединила усилия с фирмой Submer для создания иммерсионных СЖО, а позднее сообщила о формировании специализированной площадки для разработки и тестирования подобных решений. Shell, ещё одна нефтегазовая компания, уже сотрудничает с другим производителем погружных СЖО, компанией Asperitas.

Источник изображения: Submer

Партнёрство с RISE, как ожидается, позволит ускорить разработку новых диэлектрических жидкостей. Castrol планирует привлечь к исследованиям шведских специалистов в области материаловедения. Кроме того, компания получит доступ к передовому оборудованию и испытательным стендам, которыми располагает RISE. Стороны также намерены сообща развивать решения для «задач, связанных с разработкой вычислительных систем следующего поколения».

«Погружное охлаждение — это быстро развивающаяся область, интерес к которой вызван глобальной потребностью в оптимизации эффективности и энергопотребления самых мощных в мире дата-центров», — отметила вице-президент BP по передовым смазочным материалам Ребекка Йейтс (Rebecca Yates).

Отметим, что осенью 2022 года инновационную жидкость для иммерсионных СЖО представила американская продовольственная компания Cargill: NatureCool 2000 на 90 % состоит из растительных масел. Кроме того, новинка является биоразлагаемой.

Российская компания «Систэм Электрик» (Systeme Electric) анонсировала прецизионные кондиционеры прямого расширения на охлаждённой воде — периметральные решения CoolRoom и внутрирядные изделия CoolRow. Холодопроизводительность этих новинок с опцией фрикулинга варьируется от 5 до 250 кВт.

Кондиционеры CoolRoom предлагаются с различными вариантами воздухораспределения: нижним, верхним и фронтальным. Модели прямого расширения с компрессорами с фиксированной частотой вращения (DX) холодопроизводительностью от 5 до 60 кВт представлены в одноконтурном исполнении, версии холодопроизводительностью от 60 до 130 кВт — в двухконтурном. Кроме того, доступны модификации с переменной частотой вращения на охлаждённой воде (CW) с холодопроизводительностью от 5 до 250 кВт.

Источник изображений: «Систэм Электрик»

Внутрирядные кондиционеры CoolRow предлагаются в вариантах шириной 300 и 600 мм. Модели прямого расширения обладают холодопроизводительностью от 7 до 70 кВт, версии на охлаждённой воде — до 60 кВт.

Все кондиционеры могут быть укомплектованы увлажнителями (электродными или плёночными), нагревателями, интерфейсами RS485/SNMP, датчиками протечки и температуры/влажности. Есть 7″ сенсорный дисплей. В сеть можно объединить до 30 блоков. Устройства рассчитаны на работу в круглосуточном режиме при температуре окружающей среды от -40 до +45 °С (благодаря стандартному зимнему комплекту). Все внутренние и наружные блоки оборудованы EC-вентиляторами, что значительно повышает общую энергоэффективность системы.

«Кондиционеры серий CoolRoom и CoolRow — это по-настоящему умные устройства, идеально подходящие для контроля температуры и влажности воздуха в помещении ЦОД. В сочетании с решениями для изоляции горячих или холодных коридоров кондиционеры данных линеек позволяют добиться наилучших показателей энергоэффективности. Новое оборудование легко обслуживать: критически важные компоненты можно заменить или отремонтировать без отключения системы, а остальные — через двери и съёмные панели», — отмечает «Систэм Электрик».

Отключение доступа к IT-сервисам в двух лондонских больницах в связи со сбоем в работе ЦОД из-за аномальной жары в июле прошлого года принесло Национальной службе здравоохранения Великобритании (NHS) убытки в размере £1,4 млн, сообщил ресурс DatacenterDynamics со ссылкой на отчёт ведомства.

Два дата-центра, которые обеспечивали поддержку компьютерных систем больниц фонда Guy's and St Thomas' NHS Foundation Trust, столкнулись с проблемами в функционировании оборудования из-за рекордной температуры в более чем +40 °C. О сбоях в системах охлаждения ЦОД и массовых отключениях сервисов тогда сообщили Google и Oracle. А из-за перегрева оборудования в некоторых ЦОД поливали водой из шлангов внешние модули систем кондиционирования на крыше, чтобы хоть как-то их охладить.

Источник изображения: Pixabay

В результате сбоя врачи были вынуждены перейти на бумажные медицинские карты, а более 100 приёмов пришлось отложить или отменить. Также не удалось получить орган для трансплантации одному из пациентов больницы. В отчёте NHS сообщается, что возникшие проблемы вызвали «усталость, стресс, а также оказали негативное влияние на моральный дух» персонала. На полное восстановление сервисов потребовалось шесть недель.

NHS отметила, что этого можно было бы избежать, если бы дата-центры были должным образом подготовлены к подобной ситуации. В частности, дефектный разъем шланга стал причиной задержки в запуске системы охлаждения одного из ЦОД, в то время как в другом были обнаружены проблемы с водоснабжением.

Компания CryptoBlox Technologies, которая является одним из участников «зелёных» инициатив в области майнинга,приобретает CryptoTherm, специализирующуюся на жидкостных системах охлаждения. Как сообщает DataCenter Dynamics, это должно укрепить позиции компании на рынке добычи криптовалют — CryptoTherm разрабатывает контейнерные ЦОД с погружным охлаждением. Ранее аналогичный шаг сделала Crusoe, поглотившая собственного подрядчика по производству модульных ЦОД Easter-Owens.

Сделка предусматривает выпуск 400 млн акций CryptoTherm общей стоимостью $20 млн, которые полностью перейдут покупателю. Технологии CryptoTherm придутся весьма кстати для CryptoBlox, поскольку компания расширяет подразделение, занимающееся блокчейн-проектами. Дополнительно она намерена развивать и купленный бизнес. Для этого будут выделены ресурсы для расширения парка решений CryptoTherm, связанных с погружным охлаждением, ASIC-майнерами, теплоносителями и т.д.

Источник: CryptoTherm

По данным DataCenter Dynamics, компания занимается реализацией проекта на одном из нефтеносных полей в Альберте (Канада). Проект будет получать энергию за счёт использования попутного природного газа, обычно попросту сжигаемого в факелах при добыче нефти. Планируемая мощность ЦОД составит 3,5–5 МВт, со временем планируется увеличить её до 10 МВт. Подобные проекты получают всё большее распространение. Например, летом появилась информация о том, что ОАЭ и Оман намерены закупить малые ЦОД, работающие на попутном природном газе.

Производители с каждым годом наращивают производительность выпускаемых чипов, что, как утверждает Uptime Institute, может создать проблемы для многих устаревших центров обработки данных, не оборудованных соответствующим образом для работы с новыми системами с более высокой мощностью, передаёт The Register.

Серверные процессоры AMD EPYC Genoa, анонсированные в конце прошлого года, и процессоры Intel Xeon Sapphire Rapids, представленные ранее в этом месяце, являются самыми мощными и энергоёмкими чипами на сегодняшний день, обладая пиковым TDP до 400 Вт и 350 Вт соответственно и приближаясь по данному параметру к ускорителям. Более высокий показатель TDP является следствием повышения плотности размещения вычислительных мощностей. Сейчас двухсокетная 2U-система уже может разместить почти 200 ядер x86-64, тогда как пять лет назад для этого потребовалось бы несколько узлов.

Изображение: pixabay.com / Gam-Ol

Многие ЦОД попросту не рассчитаны на столь «горячие» системы высокой плотности. По словам Uptime Institute, тенденция к использованию систем с более высокой плотностью скоро достигнет точки, когда она начнёт менять существующие представления о проектировании ЦОД. Типичная серверная стойка имеет проектную мощность менее 10 кВт. Но для современных высокоплотных систем этого уже недостаточно. Uptime Institute отмечает, что ЦОД должны производить установку новых систем с запасом на 10–15 лет, учитывая долгосрочные потребности в электроэнергии и охлаждении. При этом, по оценкам Uptime Institute, в течение нескольких лет потребление 1U-места вырастет до примерно 1 кВт.

Кроме того, существует проблема отвода низкотемпературного тепла. За несколько лет желаемая температура шасси упала с 80–82 °C до 55 °C. «Это ключевая проблема: удаление больших объёмов низкотемпературного тепла сложно с точки зрения термодинамики, — отмечают аналитики. — Многие “устаревшие” объекты ограничены в своих возможностях обеспечить необходимый поток воздуха для охлаждения инфраструктуры с высокой плотностью размещения». Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) выпустило пересмотренные рекомендации по эксплуатации ЦОД, включая положения о выделенных низкотемпературных зонах.

Изображение: GRC

Для охлаждения новых систем используются различные решения, включая СЖО. Как отмечает Uptime Institute, по-прежнему существует проблема отсутствия стандартизации, «вызывая опасения по поводу привязки к поставщику и ограничений цепочки поставок для ключевых компонентов, а также ограниченного выбора конфигураций серверов». Пытаясь её решить, и Intel, и Open Compute Project (OCP) работают над эталонными проектами жидкостного охлаждения (в том числе иммерсионного), чтобы улучшить совместимость между оборудованием разных поставщиков. Вместе с тем Uptime Institute считает, что развитие технологий ЦОД также открывает новые возможности для операторов.

Аналитики Uptime Institute также ожидают, что стоимость электроэнергии будет расти и дальше. Существуют также нормативные и связанные с экологией препятствия. Ожидается, что Европейская комиссия примет новые правила в рамках Директивы по энергоэффективности, аналогичные принятым в США, которые будут стимулировать ЦОД к сокращению как потребления энергии, так и выбросов углерода. Этими правилами предполагается введение регулярной отчётности о потреблении энергии и выбросах углерода, что по мнению аналитиков Uptime, позволит повысить эффективность работы ЦОД.

Разработчик СЖО GRC (Green Revolution Cooling) сообщил о том, что компания Shell Lubricants (Shell) присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем иммерсионного (погружного) охлаждения. Инициатива GRC предусматривает возможность использования диэлектрических жидкостей разного типа для СЖО в дата-центрах. Такие жидкости должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности. При этом отстуствие унификации и потверждения совместимости усложняет массовое внедрение таких решений в ЦОД.

Источник изображения: GRC

Отмечается, что сейчас системы иммерсионного охлаждения занимают небольшую нишу в сегменте ЦОД, но становятся всё более распространёнными в связи с развитием новых платформ, которым требуются большие вычислительные ресурсы. Ассортимент GRC ElectroSafe включает в себя широкий спектр высокоэффективных и безопасных для окружающей среды синтетических охлаждающих жидкостей, прошедших тщательные испытания. При этом партнёрская программа предоставляет платформу для совместной работы по повышению эффективности однофазных охлаждающих жидкостей.

Жидкости Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Исследования показали, что они предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов и более высокие диэлектрические показатели по сравнению с другими коммерчески доступными жидкостями. Кроме того, говорится о высокой точке кипения.

«Shell рада стать участником партнёрской программы GRC ElectroSafe. Поскольку однофазное иммерсионное охлаждение предлагает преимущества в плане производительности и стоимости, мы считаем, что сочетание передовых систем охлаждения GRC с разработками Shell обеспечит отличное решение для ЦОД по всему миру», — заявляет компания.

Исследование, проведённое компанией Omdia, говорит о том, что на мировом рынке систем жидкостного охлаждения (СЖО) в ближайшие годы будет наблюдаться стремительный рост. Этому должны способствовать операторы дата-центров и крупных облачных платформ.

Аналитики говорят, что мощное оборудование в современных ЦОД становится всё сложнее охлаждать исключительно при помощи воздуха. Поэтому провайдеры внедряют СЖО, а также присматриваются к технологиям иммерсионного (погружного) охлаждения. Так, согласно прогнозам Omdia, к 2026 году глобальные затраты на СЖО могут достичь $3 млрд (без учёта майнинговых ферм). Если эти ожидания оправдаются, показатель CAGR (среднегодовой темп роста в сложных процентах) составит 50,4 %.

Источник изображения: Robert Anderson/unsplash.com

Среди ключевых преимуществ внедрения СЖО в дата-центрах аналитики называют повышение энергоэффективности, снижение уровня шума, устранение необходимости в сложном управлении воздушными потоками, тщательный контроль температуры, возможность повторного использование тепла и достижение целей устойчивого развития. В то же время необходимо учитывать ряд факторов, включая местоположение ЦОД, климатические условия, удельную мощность, рабочие нагрузки, эффективность и доступность физического пространства.

В целом, полагают эксперты, комбинация систем на основе воздушного и жидкостного охлаждения, вероятно, станет обычным явлением в дата-центрах в ближайшем будущем. Большинство поставщиков облачных услуг уже внедряют СЖО в той или иной форме — от тестирования концепции до фактического развёртывания.

Компания Equinix, известный провайдер колокации и один из крупнейших операторов ЦОД, пообещала «оптимизировать» температуру в своих машинных залах, постепенно увеличивая её, но оставляя в безопасных для оборудования пределах. Как сообщает The Register, это позволит сэкономить немало электроэнергии, снизив затраты на избыточное охлаждение.

Температура +27 °C для машинных залов давно одобрена индустриальными регуляторами и представителями IT-промышленности — ASHRAE указала, что такая температура достаточна для ЦОД ещё в 2008 году. По данным DataCenter Dynamics, в этом же году Intel провела эксперимент, в ходе которого 10 месяцев серверы в ряде ЦОД работали при +33,3 °C. В результате компания на 67 % сократила расходы на охлаждение, но доля отказов оборудования выросла на 2 %. Новейшие спецификации ASHRAE теперь тоже допускают температуры до +33,2 °C.

Источник изображения: Equinix

Впрочем, гиперскейлеры в собственных ЦОД могут позволить себе более высокие температуры, чем обычно. Уже к 2009 году Facebook✴ подняла планку до +29,4 °C, а сейчас добралась и до +32,2 °C. Google долго время придерживалась более умеренных значений, поддерживая температуру +26,6 °C. Однако для операторов ЦОД, сдающих в аренду свои площади, такие показатели нехарактерны. Напротив, зачастую они поддерживают даже более низкую температуру, чем необходимо, чтобы успокоить клиентов, опасающихся перегрева оборудования и сбоев в работе.

Стратегия Equinix предусматривает постепенное повышение температуры до приблизительно +27 °C в течение нескольких лет, что позволит избежать оттока пользователей, придерживаясь при этом последовательной политики. Делается это с целью повышения энергоэффективности охлаждения и снижения углеродных выбросов. Примечательно, что это скажется и на показателях клиентов, чьи углеродные выбросы класса Scope 3, (непосредственно не связанные с их деятельностью), тоже снизятся. Эксперты IDC сообщают, что Equinix способна сыграть ключевую роль в модернизации всей индустрии ЦОД.

Источник изображения: Equinix

По словам Equinix, на охлаждение приходится около четверти всех глобальных расходов компании на энергию. Ожидается, что в некоторых локациях рост энергоэффективности составит до 10 %. Пока в компании не отмечают какого-либо изменения клиентской базы в связи с нововведениями, хотя все клиенты обязательно получат уведомления об изменении политики охлаждения. По мере ужесточения требований клиентам и партнёрам придётся полагаться на Equinix для того, чтобы добиться показателей экоустойчивости в соответствии с новыми стандартами.

Однако на этом пути Equinix ожидает ряд проблем. В частности, не все системы (особенно старые) могут оказаться устойчивыми к росту температуру. Кроме того, новые высокопроизводительные на современных процессорах имеют повышенные требования к охлаждению в связи с выросшим TDP. Так что экономия на охлаждении может привести к перерасходу энергии по причине увеличившегося потребления вентиляторов в шасси.