Исследователи Microsoft опубликовали результаты анализа энергопотребления, затрат воды и выбросов дата-центров на протяжении их жизненного цикла. Учитывались даже выбросы в инфраструктурной цепочке поставок ЦОД и возможная утилизация объектов, сообщает Datacenter Dynamics.

Как заявляют в Microsoft, проведение оценки жизненного цикла ЦОД (Life Cycle Assessment, LCA) важно ещё на ранних этапах проектирования. Применение инструментов LCA способствует принятию более обоснованных инженерных решений с учётом совокупной стоимости владения, производительности, экоустойчивости и др. Компания предлагает отрасли использовать её LCA-инструментарий при постройке новых ЦОД.

В рамках своего исследования Microsoft два года изучала четыре технологии охлаждения: фрикулинг, прямое жидкостное охлаждение (DLC), однофазная и двухфазная иммерсионные СЖО. Правда, основной акцент делался на изучение систем охлаждения для CPU, а не ИИ-ускорителей.

Источник изображений: Microsoft/Nature

Исследование показало, что использование водоблоков и погружного охлаждения позволяет сократить выбросы парниковых газов на 15–21 %, потребление электричества на 15–20 % и воды — на 31–52 % в течение всего жизненного цикла ЦОД — в сравнении с традиционными воздушными системами охлаждения.

Основной вывод — многообещающей технологией является двухфазное иммерсионное охлаждение, способное снизить воздействие на окружающую среду по всем параметрам. Однако такие системы пока применяют PFAS-химикаты, которые с переменным успехом вытесняют регуляторы Евросоюза и США. Другими словами, в будущем использование таких СЖО могут ограничить. Кроме того, сама Microsoft изучает, но внедряет подобные системы в своих ЦОД ограниченно. Также отмечается, что DLC может быть не менее эффективным, чем погружные системы обоих типов.

Дополнительно в статье дана количественная оценка экономии электричества и воды, а также сокращения выбросов при переходе от типичной системы энергоснабжения к 100 % применению возобновляемых источников энергии. Установлено, что выбросы парниковых газов, например, можно сократить на 50–90 % вне зависимости от того, какие применяются технологии охлаждения.

Корпорация Intel на мероприятии Foundry Direct Connect продемонстрировала экспериментальную систему жидкостного охлаждения процессоров. Решение, которое находится в разработке в течение нескольких лет, проектируется с прицелом на наиболее мощные чипы для задач ИИ и НРС.

В отличие от других технологий прямого жидкостного охлаждения (DLC) новая система Intel предполагает применение специального блока, монтируемого непосредственно поверх корпуса CPU. Блок оснащён медными микроканалами, по которым жидкость может направляться к наиболее горячим зонам.

Intel утверждает, что система способна отводить тепло от чипов с TDP до 1000 Вт с использованием стандартной охлаждающей жидкости. Уже готовы рабочие прототипы для процессоров в исполнениях LGA и BGA. Корпорация продемонстрировала возможности решения на примере изделий Core Ultra и Xeon.

Источник изображения: Tom's Hardware / Future

Известно, что для системы предусмотрено применение термоинтерфейса TIM (Thermal Interface Material) на основе жидкого металла. Этот материал в сравнении с обычным полимерным TIM обеспечивает улучшение теплового контакта. Intel работает над разными вариантами термоинтерфейса для различных процессоров.

В целом, по заявлениям Intel, предложенная технология даёт возможность повысить эффективность отвода тепла на 15–20 % по сравнению с традиционным прямым жидкостным охлаждением на кристалле с отсоединенной процессорной крышкой. В настоящее время корпорация продолжает дорабатывать систему для последующего практического внедрения в дата-центрах.

Компания xMEMS Labs анонсировала т.н. «вентилятор на чипе» (fan-on-a-chip) µCooling для отвода тепла от компонентов в дата-центрах. Новое изделие представляет собой миниатюрный элемент охлаждения, выполненный на основе микроэлектромеханических систем (MEMS).

В отличие от традиционных кулеров, предназначенных для высокопроизводительных CPU и GPU, решение µCooling ориентировано на менее мощные компоненты — в частности, на оптические трансиверы 400G/800G и 1,6T, которые являются важной составляющей инфраструктуры ИИ. Такие чипы, как утверждается, могут создавать тепловые проблемы, ограничивая производительность и надёжность каналов передачи данных по мере роста их пропускной способности.

Источник изображений: xMEMS Labs

µCooling обеспечивает целенаправленное гиперлокализованное активное охлаждение для DSP в составе оптических трансиверов, показатель TDP которых может превышать 18 Вт. Отвод тепла от таких компонентов может быть серьёзно затруднён из-за высокой плотности монтажа оборудования в ЦОД.

Изделие µCooling производится на кремниевой пластине. Принцип работы заключается в использовании преобразователя piezoMEMS на основе обратного пьезоэлектрического эффекта: при подаче напряжения крошечные кремниевые структуры начинают колебаться на ультразвуковых частотах, формируя воздушные импульсы, которые, в свою очередь, создают поток воздуха, отводящий тепло от того или иного узла.

Ключевой особенностью решения µCooling является применение изолированного пути для прохождения воздушного потока, который термически связан с источником тепла, но физически отделен от оптической секции трансивера. Нагретый воздух отводится по специальным каналам под платой с DSP. Такая архитектура гарантирует, что оптические компоненты защищены от пыли и прочих загрязнений.

µCooling может отводить локально до 5 Вт, снижая рабочую температуру DSP более чем на 15 %. Отсутствие электрического мотора и других традиционных подвижных частей, которые имеются в традиционных вентиляторах, обеспечивает надёжность и нулевой уровень шума. Кроме того, такой системе не требуется обслуживание. Размеры охладителя составляют 9,3 × 7,6 × 1,13 мм.

Google представил технологию питания 400 В постоянного тока (DC) и систему жидкостного охлаждения пятого поколения Project Deschutes для стоек нового поколения, которы призваны поддержать стремительное развитие ИИ. В течение последних десяти лет компания использует питание 48 В DC, но переход к новому стандарту позволит повысить максимальную мощность на одну стойку со 100 кВт до 1 МВт.

Ожидается, что отдельные стойки с ИИ-системами будут потреблять свыше 500 кВт уже к 2030 году. Так, грядущий суперускоритель NVIDIA Rubin Ultra NVL576, который появится в 2027 году, будет «упакован» в стойку нового поколения Kyber и потреблять порядка 600 кВт. Google, надо полагать, разработает собственную модификацию данного ускорителя, адаптированного к её дата-центрам, как уже сделала для GB200 NVL72.

Использование 400 В позволяет задействовать цепочку поставок, используемую индустрией электромобилей, что способствует снижению затрат и повышению качества. Совместно с Meta✴ и Microsoft компания Google работает над проектом Mt. Diablo, в рамках которого вырабатываются общие стандарты электрических и механических интерфейсов. Первая версия спецификаций (v0.5) будет доступна для отраслевого обсуждения в мае 2025 года.

Источник изображения: Google

Подсистема питания в Mt. Diablo вынесена в отдельный модуль (sidecar). Это увеличивает полезное пространство в серверных стойках, позволяя целиком отдать их под ускорители, и повышает общую энергоэффективность приблизительно на 3 %, что в масштабах гиперскейлера очень существенно. В перспективе рассматривается переход на прямое распределение высоковольтного постоянного тока внутри ЦОД для ещё большей эффективности и повышения плотности.

Источник изображения: Google

С резким повышением энергопотребления чипов использование СЖО стало неизбежным. В последние семь лет Google развернула СЖО в более 2 тыс. кластеров TPU Pod. Впервые жидкостное охлаждение стало применяться для ИИ-ускорителей TPU v3, появившихся в 2018 году. Компания использует водоблоки, что позволяет практически удвоить плотность размещения вычислительных мощностей в сравнении с воздушным охлаждением. При переходе от TPU v2 к TPU v3 это также позволило вчетверо увеличить размер кластеров. СЖО применяются и для ускорителей Ironwood (TPU v7).

CDU-архитектура Project Deschutes, в которой используются резервные теплообменники и насосы, обеспечивает уровень доступности 99,999 %. Пятое поколение Project Deschutes Google планирует передать Open Compute Project (OCP) в 2025 году. Публикация спецификаций, проектных данных и рекомендаций по эксплуатации ускорит массовое внедрение СЖО в индустрии. В компании уверены, что совместные усилия помогут индустрии справиться с будущими вызовами в индустрии ИИ и масштабировать вычислительные мощности и дальше.

Австралийский оператор дата-центров GreenSquareDC, по сообщению Datacenter Dynamics, объединил усилия с компанией Green Critical Minerals с целью разработки радиаторов нового поколения для отвода тепла от чипов в ЦОД, ориентированных на задачи ИИ.

Речь идёт об использовании так называемого графита сверхвысокой плотности (Very High Density, VHD). Данный материал создан командой исследователей под руководством профессора Чарльза Соррелла (Charles Sorrell) из Университета Нового Южного Уэльса (UNSW) в Австралии. Green Critical Minerals приобрела эксклюзивные права на VHD-графит в 2024 году.

Отмечается, что такие материалы, как пиролитический графит, обладают хорошими тепловыми характеристиками, а поэтому могут обеспечивать эффективное охлаждение электронных компонентов. Однако они являются слишком дорогими для широкомасштабного внедрения: например, пирографит может стоить более $1000/кг. Поэтому разработчики систем охлаждения применяют более дешевые, но менее эффективные альтернативы, включая медь и алюминий. Предполагается, что VHD-графит позволит изменить ситуацию.

Источник изображения: Green Critical Materials

Green Critical Minerals утверждает, что теплопроводность VHD-графита в три раза выше, чем у алюминия и обычного графита, и в 2,6 раза больше, чем у меди. При этом новый материал на 80 % легче последней. Более того, для получения VHD-графита не требуются сложные производственные технологии или какая-либо специализированная инфраструктура: применяется проприетарный процесс, который обеспечивает более высокую скорость и меньшие энергозатраты по сравнению с традиционным производством графита.

По условиям соглашения, GreenSquareDC и Green Critical Minerals займутся совместной оценкой коммерческой жизнеспособности радиаторов на основе VHD-графита. В перспективе, как ожидается, такие решения смогут стать более эффективной альтернативой стандартным медным и алюминиевым блокам. По заявлениям Green Critical Minerals, компания «активно взаимодействует» с рядом потенциальных клиентов в Северной Америке, Европе и Австралии, которые заинтересованы в радиаторах нового типа. Коммерциализация технологии запланирована на I половину 2026 года.

ИИ-облако AI Green Bytes строит в Париже дата-центр с иммерсионной системой охлаждения, основным отличием которой от обычных решений будет применение охлаждающей жидкости Oleon Qloe растительного происхождения, сообщает Datacenter Dynamics. В AI Green Bytes подчёркивают, что жидкость Qloe — передовая разработка для экоустойчивых ИИ-вычислений. Новый объект обеспечит «непревзойдённую эффективность» с минимальным воздействием на окружающую среду.

ЦОД должен открыться в июне 2025 года, это будет первый объект AI Green Bytes с иммерсионной системой охлаждения. Каждая ёмкость способна охлаждать IT-оборудование мощностью 361 кВт. Общая мощность объекта не разглашается. Ранее компания представила концепцию модульного ЦОД AI Green Qube площадью 400 м², способного вместить 3,5 тыс. ИИ-ускорителей. Правда, компания не уточняет, основан ли парижский объект на том же самом дизайне.

ИИ-стартапа AI Green Bytes был основан в Норвегии 2024 году. Oleon же является подразделением французской компании Avril, специализирующимся на разработке «зелёных» химикатов. Жидкость Qloe, по словам компании, полностью биоразлагаема и нетоксична, но при этом обеспечивает высококачественное охлаждение.

Источник изображения: Submer

В 2022 году американская продовольственная компания Cargill представила собственную жидкость растительного происхождения для иммерсионных СЖО — NatureCool 2000. Эта жидкость, на 90 % состоящая из масел растительного происхождения, тоже является безопасной и биоразлагаемой. Синтетическая жидкость Synmerse DC от Perstorp (дочернее предприятие Petronas) также заявлена как биоразлагаемая. О её составе разработчик ничего говорит, сообщая лишь, что она не содержит PFAS-химикатов.

Компания Microsoft намерена развернуть системы охлаждения LG Electronics в своих дата-центрах. Речь идёт о неизвестном пока числе готовящихся к работе ИИ ЦОД, сообщает Datacenter Dynamics. О партнёрстве объявлено после того, как LG Electronics представила обновлённую серию охлаждающих решений, объединив в одном портфолио существующие и новые решения, в том числе СЖО.

Как заявили в LG, между смартфонами дома, ноутбуками на работе и, например, смарт-ТВ стоят ЦОД, играющие ключевую роль в повседневной жизни. А её решения для охлаждения играют решающую роль в обеспечении корректной работы серверного оборудования. LG намерена стать уникальным игроком, она готова удовлетворить спрос на соответствующие компоненты будущим проектам ЦОД и упростить строительство с помощью эффективных предложений «под ключ».

LG предлагает водоблоки, CDU, чиллеры, системы кондиционирования, интеллектуальную платформа мониторинга и управления охлаждением, а также другие комплексные решения. Компания объявила, что намерена сотрудничать с Microsoft для внедрения систем терморегулирования LG и технологии охлаждения в дата-центрах «следующего поколения». Объёмы и рамки сделки не раскрываются.

Источник изображения: LG Electronics

Ранее в этом году LG заявляла, что будет работать с Microsoft над рядом ИИ-проектов, включая создание ИИ-агентов для разных объектов, от домов до транспорта, отелей и офисов. Компания начала более агрессивно развивать решения для сектора ЦОД в прошлом году и заявила, что подписала крупную сделку на более 100 чиллеров для ЦОД, которая оценивается в десятки миллионов долларов.

На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.

Нестабильная тарифная политика новой администрации США создаёт неопределённость на рынке ЦОД. В течение всего нескольких дней были анонсированы существенные пошлины, потом были сделаны исключения, а потом ввод новых тарифов был отложен на 90 дней. Но ситуация с Китаем, ключевым игроком всей цепочки поставок, продолжает усугубляться, сообщает Datacenter Knowledge.

Для индустрии дата-центров угроза повышения цен на товары и материалы может оказать долгосрочное негативное влияние. Хотя администрация продвигает идею лидерства США в этой сфере, одновременно она проводит тарифную политику, способную отчасти поставить это лидерство под угрозу и сказаться на цепочках поставок. Отраслевые игроки и без того уже действуют в условиях возможного введения пошлин со стороны Мексики и Канады — двух ключевых торговых партнёров страны, уже пострадавших от американских пошлин.

По мнению экспертов, новые пошлины повысят стоимость строительства и эксплуатации ЦОД. Часть расходов возьмут на себя участники цепочки поставок, часть — операторы и застройщики, но часть всё равно падёт на плечи непосредственных пользователей ЦОД. Хотя отмена текущих проектов из-за тарифов маловероятна, новые сборы могут повлиять на будущие инициативы, поскольку застройщики оценивают возможность перехода на альтернативные продукты и технологии, не подпадающие под действие новых ограничений. При этом считается, что спрос на ЦОД «неэластичен», поэтому увеличение расходов лишь ограниченно скажется на рынке, поскольку долгосрочные драйверы спроса не изменятся.

Источник изображения: Vardan Papikyan/unsplash.com

Если цены на строительную сталь и ключевые электрические компоненты вырастут, ввод новых мощностей в эксплуатацию значительно усложнится и замедлится. Пока эксперты задаются вопросом, как долго такие пошлины будут действовать и как это скажется на уже заказанных товарах с длительными сроками поставки. Впрочем, эксперты сходятся во мнении, что индустрия ЦОД столкнётся со значительным операционным и финансовым давлением, если тарифы в отношении полупроводников, сетевого оборудования, систем резервного питания и HVAC, а также их компонентов будут действовать долго.

При этом увеличатся не только капитальные затраты из-за подорожания оборудования и материалов, но и эксплуатационные расходы, если придётся переходить на альтернативных поставщиков оборудования. Более того, может уменьшиться маржинальность ЦОД, которые будут пытаться поддерживать конкурентоспособные цены. Кроме того, возможен срыв графика поставок из-за усложнившегося таможенного оформления. Не исключены и менее очевидные последствия вроде потенциальной фрагментации цепочек поставок, ориентирования на «конкурирующие» технические стандарты и др. Также не исключена локализация ЦОД в местах, где влияние тарифов незначительно.

Источник изображения: Etienne Girardet/unsplash.com

По словам аналитиков Synergy Research Group, одна из главных проблем — неопределённость, которая часто хуже, чем плохие новости. Крупным инфраструктурным предприятиям нужны долгосрочные планы и крупные инвестиции. Хотя основные движущие силы рынка останутся неизменными, в краткосрочной перспективе неопределённость сможет создать значимые препятствия для бизнеса. Сейчас для операторов ЦОД одной из ключевых статей расходов является энергоснабжение, так что рост расходов наверняка будет переложен на клиентов. Допускается, что краткосрочный рост затрат может быть компенсирован благодаря инновациям. Например, интерес к ядерной энергетике наблюдался ещё до появления новых тарифов.

Впрочем, из-за стремительного развития ИИ рынок ЦОД, вероятно, останется весьма устойчивым. Отмечается, что рост спроса на ИИ-сервисы крупные поставщики услуг, включая AWS, Microsoft и Google, смогут компенсировать любые краткосрочные издержки, хотя не исключена передача удалённым сотрудникам некоторых функций вроде техподдержки.

Ранее сообщалось, что в отрасли ЦОД готовятся к росту цен на серверы из-за торговой политики Трампа.Также появилась информация, что поставщики памяти, накопителей и СХД в основном проиграют от торговой войны США. Впрочем, во всём можно найти положительные моменты. Например, тайваньский производитель серверов Wistron инвестирует $50 млн в производство в США на фоне новых пошлин.