Ведущие разработчики ИИ-ускорителей продолжают наращивать мощность своих устройств, что требует применения передовых систем охлаждения. Речь идёт прежде всего о системах прямого жидкостного охлаждения, способных отводить тепло непосредственно от поверхности чипов. Корпорация Microsoft сообщила о разработке совместно со швейцарским стартапом Corintis альтернативной СЖО, которая охлаждает процессоры изнутри.

Новая технология базируется на принципах микрогидродинамики (microfluidic). Подход основан на формировании крошечных каналов на обратной стороне кремниевого кристалла: циркулируя через эти канавки, жидкость эффективно отводит тепло от наиболее горячих зон чипа. Для оптимизации расположения каналов, которые по толщине сопоставимы с человеческим волосом, использовался ИИ. Полученный рисунок вытравленных канавок напоминает прожилки на листе дерева или крыло бабочки.

Источник изображения: Dan DeLong / Microsoft

При разработке системы нужно было убедиться, что каналы обеспечивают возможность циркуляции необходимого объема охлаждающей жидкости без засорения, но при этом не ухудшают прочность кристалла из-за своих размеров и расположения. Только за последний год команда Microsoft опробовала четыре разных варианта конструкции.

Источник изображения: Dan DeLong / Microsoft

Для практического использования такой СЖО потребовалась разработка герметичного корпуса для чипов. Кроме того, были опробованы различные методы травления каналов: специалистам пришлось создать пошаговую схему добавления этапа травления в стандартный процесс производства чипов. Наконец, была разработана специальная формула охлаждающей жидкости.

Источник изображения: Corintis

По заявлениям Microsoft, предложенная технология по сравнению с традиционными водоблоками способна повысить эффективность отвода тепла до трёх раз — в зависимости от нагрузки и конфигурации. При этом максимальный рост температуры кремния внутри GPU снижается на 65 %, хотя этот показатель варьируется в зависимости от типа чипа. Плюс к этому повышается энергоэффективность.

Источник изображения: Corintis

В дальнейшем Microsoft намерена изучить возможность внедрения технологии охлаждения нового типа в будущие поколения собственных изделий для дата-центров. Корпорация также сотрудничает с производителями и партнёрами по вопросу использования предложенного решения. Предполагается, что в дальнейшем результаты работы откроют путь к совершенно новым архитектурам микросхем, основанным на 3D-компоновке: в этом случае охлаждающая жидкость сможет протекать через слои в многоярусных чипах.

Между тем стартап Corintis, основанный на базе Федеральной политехнической школы Лозанны (EPFL), провёл раунд финансирования Series A, в ходе которого на развитие привлечено $24 млн. Инвестиционную программу возглавил BlueYard Capital при участии Founderful, Acequia Capital, Celsius Industries и XTX Ventures. Таким образом, на сегодняшний день компания получила в общей сложности $33,4 млн. Corintis направит средства на расширение деятельности и дальнейшее развитие новой технологии охлаждения чипов. Будут открыты несколько офисов в США и инженерный центр в Мюнхене.

Корпорация Intel на мероприятии Foundry Direct Connect продемонстрировала экспериментальную систему жидкостного охлаждения процессоров. Решение, которое находится в разработке в течение нескольких лет, проектируется с прицелом на наиболее мощные чипы для задач ИИ и НРС.

В отличие от других технологий прямого жидкостного охлаждения (DLC) новая система Intel предполагает применение специального блока, монтируемого непосредственно поверх корпуса CPU. Блок оснащён медными микроканалами, по которым жидкость может направляться к наиболее горячим зонам.

Intel утверждает, что система способна отводить тепло от чипов с TDP до 1000 Вт с использованием стандартной охлаждающей жидкости. Уже готовы рабочие прототипы для процессоров в исполнениях LGA и BGA. Корпорация продемонстрировала возможности решения на примере изделий Core Ultra и Xeon.

Источник изображения: Tom's Hardware / Future

Известно, что для системы предусмотрено применение термоинтерфейса TIM (Thermal Interface Material) на основе жидкого металла. Этот материал в сравнении с обычным полимерным TIM обеспечивает улучшение теплового контакта. Intel работает над разными вариантами термоинтерфейса для различных процессоров.

В целом, по заявлениям Intel, предложенная технология даёт возможность повысить эффективность отвода тепла на 15–20 % по сравнению с традиционным прямым жидкостным охлаждением на кристалле с отсоединенной процессорной крышкой. В настоящее время корпорация продолжает дорабатывать систему для последующего практического внедрения в дата-центрах.

Компания Accelsius, занимающаяся разработкой систем двухфазного жидкостного охлаждения, объявила об успешном испытании технологии NeuCool для отвода тепла от GPU мощностью до 4500 Вт. Решение призвано удовлетворить будущие потребности дата-центров в охлаждении высокопроизводительных ИИ-ускорителей следующего поколения. Месяц назад CoolIT представила свой водоблок для 4-кВт чипов.

NeuCool — это двухфазная система, использующая технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В рамках подготовки к появлению более мощных ускорителей специалисты Accelsius выполнили два температурных теста с применением системы, имитирующей GPU.

Источник изображений: Accelsius

В ходе одного из экспериментов моделировалась работа ускорителя с TDP в 4500 Вт. Для сравнения: у NVIDIA H100 данный показатель составляет до 700 Вт. Во время тестов, как утверждается, температура охлаждающей пластины оставалась стабильной и находилась в допустимых пределах — даже при таких беспрецедентных нагрузках. Иными словами, подчеркивает Accelsius, у NeuCool есть значительный потенциал охлаждения для поддержки нескольких будущих поколений GPU. Показанный результат на сегодняшний день является рекордным для СЖО типа DTC.

Во втором тесте Accelsius успешно продемонстрировала способность своего блока распределения охлаждающей жидкости (CDU) для двухфазных СЖО обслуживать стойку с ИИ-серверами суммарной мощностью 250 кВт (впрочем, для 600-кВт Rubin Ultra NVL576 это решение пока не подходит). В этом эксперименте применялись машины, оснащённые четырьмя ускорителями NVIDIA H100. Охлаждающие пластины находились в непосредственном контакте с ключевыми компонентами, в том числе с CPU и GPU. Были опробованы различные режимы — с температурой воды внешнего контура 20, 30 и 40 °C и с потоком 375 л/мин. Даже при максимальной нагрузке на стойку и при температуре на входе 40 °C температура GPU оставалась ниже предельных значений (около 87 °C).

Принадлежащая южнокорейской SK Hynix компания Solidigm представила технологию жидкостного охлаждения SSD. По словам разработчиков, благодаря этому можно будет создавать более компактные безвентиляторные серверы с ИИ-ускорителями и высокой плотностью хранения данных.

По данным Solidigm, типичный ИИ-сервер на базе ИИ-ускорителей обычно имеет около 30 Тбайт памяти в восьми слотах и рост ёмкости будет, вероятно, продолжаться. SSD обычно охлаждается воздухом, но с ростом плотности компоновки такой подход становится проблематичным, поскольку твердотельные накопители сами достаточно горячи, что повышает риск отключений, а традиционное сочетание радиаторов и вентиляторов мешают эффективному использованию пространства.

Источник изображений: Solidigm

Поэтому Solidigm представила накопитель D7 PS110 E1.S толщиной 9,5 мм, дополненный водоблоком. Точнее говоря, сами водоблоки находятся в дисковой корзине, что оставляет возможность «горячей» замены самих SSD и в то же время позволяет отводить до 30 Вт, причём охлаждаются обе стороны накопителя. В Solidigm утверждается, что её технология станет первым решением корпоративного уровня с «полным жидкостным охлаждением», хотя на рынке уже есть варианты с похожей функциональностью. Например, у российской РСК давно есть и All-Flash СХД с полностью жидкостным охлаждением, и SSD в вычислительных узлах оснащены водоблоками.

Технология Solidigm разработана совместно с неназванным партнёром и нацелена на «ИИ-серверы будущего». Точная дата премьеры пока не объявлена, но она состоится не раньше II половины текущего года. Пока Solidigm изучает точное влияние технологии охлаждения на общее энергопотребление. Переход к СЖО позволит избавиться от вентиляторов, которые сами по себе потребляют довольно много энергии. Кроме того, в этом случае не нужно будет обеспечивать относительно низкую температуру воздуха между стойками. При этом контур СЖО для SSD будет работать параллельно контуру СЖО для CPU и ускорителей, что потенциально может усложнить компоновку всей системы.

CoolIT Systems представила водоблок для однофазного прямого жидкостного охлаждения (DLC) чипов мощностью 4 кВт. Это вдвое выше, чем у других решений такого типа. Новинка смогла отвести более 97 % тепла от 4-кВт тестовой нагрузки (Thermal Test Vehicle, TTV) при расходе 6 л/мин. (LPM). Это эквивалентно 1,5 LPM на кВт, что совпадает с рекомендуемым потоком для чипов высокой мощности, говорит компания.

Тепловое сопротивление является ещё одним критическим фактором высокопроизводительного охлаждения — новый водоблок имеет сверхнизкое сопротивление Tr<0,009 К/Вт. При этом полное падение давления в контуре, включая фитинги и быстроразъёмные соединения, остаётся на уровне всего 8 фунтов на кв. дюйм (0,5625 кгс/см²). А фирменная технология Split-Flow позволяет почти на треть улучшить поток и отвод тепла по сравнению с традиционными водоблокам, обеспечивая целенаправленное охлаждение наиболее нагревающихся областей чипов, говорит компания.

Источник изображения: CoolIT Systems

Пока столь мощных чипов нет. Даже самые современные NVIDIA Blackwell имеют TDP до 1200 Вт, а AMD Instinct MI355X — до 1100 Вт. Однако для CoolIT важно показать, что у однофазных СЖО есть существенный задел на будущее. Конкуренцию таким систем пытаются составить погружные СЖО, а также двухфазные DLC, например, ZutaCore. Впрочем, есть и необычные однофазные DLC. Так, Chilldyne использует технологию циркуляции теплоносителя с отрицательным давлением, которая снижает риски протечки. А Iceotope предлагает гибридное решение, сочетающее водоблоки и иммерсионную СЖО.

Источник: CoolIT Systems

При этом DLC с водой в качестве теплоносителя остаются наиболее широко распространёнными СЖО. На них приходится более 60 % рынка жидкостного охлаждения ЦОД из-за высокой экономической и тепловой эффективности, сообщает StorageReview со ссылкой на исследование Market Research Future.

Европейский поставщик облачных услуг Exoscale, входящий в состав A1 Digital, в партнёрстве с австрийской компанией Diggers работает над созданием устойчивых дата-центров нового поколения, ориентированных на ресурсоёмкие задачи ИИ. Речь идёт о внедрении новой технологии прямого жидкостного охлаждения (DLC).

Архитектура, разработанная специалистами Diggers, предполагает размещение серверов в «холодных ящиках» — шкафах, в которые не попадает и не выходит воздух. Для отвода тепла от CPU и GPU служат специальные пластины с микроканалами, через которые циркулирует охлаждающая жидкость.

Источник изображений: A1 Digital

Для работы системы требуется подача только электричества и воды. Водоблоки выполнены из алюминия, что предотвращает коррозию. Микроканалы распределяют жидкость таким образом, чтобы увеличить теплопередачу. Каждый водоблок может отводить тепло от двух GPU, которые монтируются с противоположных сторон. Предложенная архитектура устраняет необходимость в холодном коридоре. Утверждается, что по сравнению с обычными системами охлаждения энергопотребление сокращается на 50 %. Показатель PUE составляет до 1,05.

«Мы достигаем практически таких же технических показателей, что и при использовании погружного охлаждения, но при этом не применяется минеральное масло и нет сложностей с обслуживанием. Всё легко меняется. Вы можете менять память и накопители», — говорит генеральный директор Diggers Мартин Шехтнер (Martin Schechtner).

Вода на выходе имеет температуру около 50 °C: она может использоваться либо для нужд самого дата-центра, либо направляться в местную отопительную сеть. Решение может быть интегрировано как в новые, так и в существующие ЦОД. Exoscale испытывает систему на своём объекте в Вене (Австрия).

EK Water Blocks (EKWB) анонсировала водоблоки EK-Pro CPU WB 7529 и 7529 Rack для систем жидкостного охлаждения будущих процессоров Intel Xeon в исполнении LGA 7529, в частности, Sierra Forest (платформа Birch Stream). Появление последних на коммерческом рынке ожидается в первой половине нынешнего года. Эти процессоры получат до 288 E-ядер, а поэтому им потребуется эффективное охлаждение. Впрочем, этот же сокет, как ожидается, будет использоваться и для других чипов Xeon.

Решение EK-Pro CPU WB 7529 Ni + Acetal ориентировано на рабочие станции и высокие серверные корпуса. Используются три стандартных фитинга G1/4″, которые расположены в верхней части. Версия EK-Pro CPU WB 7529 Rack Ni + Acetal, в свою очередь, подойдёт для серверов формата 1U. Данная версия водоблока оборудована четырьмя фитингами стандарта G1/8″, которые расположены в боковых частях.

Источник изображения: EKWB

Водоблок EK-Pro CPU WB 7529 получил основание, изготовленное из очищенной меди с никелевым покрытием. Верхняя часть выполнена из полиформальдегида (ацеталь), фрезерованного на станке с ЧПУ. Кронштейн изготовлен из нержавеющей стали. Новинки уже доступны для заказа, а фактические продажи начнутся в конце февраля. Стоимость обеих модификаций составляет около €180.

Компания ZutaCore на конференции SC23 сообщила о том, что её система прямого жидкостного охлаждения HyperCool Direct-On-Chip вошла в состав серверов Dell и Pegatron на платформе Intel Xeon Sapphire Rapids.

Двухфазная система HyperCool способна эффективно отводить тепло от самых мощных серверных процессоров — с показателем TDP 1500 Вт и более. Это комплексное решение с замкнутым контуром вместо воды использует специальную диэлектрическую жидкость, благодаря чему оборудование защищено от коррозии.

Платформа HyperCool обладает хорошей масштабируемостью и может быть развёрнута в новых или модернизированных дата-центрах — cтандартизированный интегрированный 6U-модуль способен отводить 100 кВт и выше. Система обеспечивает коэффициент PUE меньше 1,02. Конструкция HyperCool позволяет повторно использовать выделяемое тепло — например, для обогрева зданий. СЖО подходит для применения в ЦОД, ориентированных на решение задач ИИ и НРС. Система позволяет снизить общее энергопотребление и сократить выбросы вредных газов в атмосферу.

Источник изображения: ZutaCore

Отмечается, что недавно технология HyperCool была сертифицирована для высокопроизводительных серверов ASUS. Кроме того, в экосистему ZutaCore входят AMD, Boston Limited, Dell, Equinix, Intel, World Wide Technologies (WWT) и другие. Утверждается, что по сравнению с традиционными системами охлаждения решение HyperCool обеспечивает сокращение совокупной стоимости владения на 50 %.

Компания AlphaCool анонсировала водоблок ES H100 80GB HBM PCIe, предназначенный для использования в составе системы жидкостного охлаждения ускорителя NVIDIA H100. Новинка, получившая однослотовое исполнение, уже доступна для заказа по ориентировочной цене €300. Изделие полностью изготовлено из высококачественной хромированной меди.

Верхняя часть водоблока выполнена из углеродного волокна. Новинка специально спроектирована для серверов с ограниченным внутренним пространством. В частности, коннекторы расположены в задней части изделия, благодаря чему упрощается прокладка шлангов. Это позволяет интегрировать решение в водяной контур даже в самых тесных корпусах.

Источник изображений: AlphaCool

Задействованы фитинги стандарта G1/4". Габариты составляют 261,89 × 95,71 × 19,40 мм, а тыльная панель из алюминия чёрного цвета имеет размеры 261,89 × 95,71 × 4,00 мм. Максимальная рабочая температура — 60 °C. В комплект поставки входят термопрокладки толщиной 1 мм и термопаста Alphacool Apex с теплопроводностью 17 Вт/м·К.

Компании Intel и Submer сообщили о новом достижении в области разработки систем однофазного иммерсионного (погружения) жидкостного охлаждения: предложенная технология, как утверждается, позволяет эффективно отводить тепло от процессоров с показателем TDP до 1000 Вт.

Источник изображения: Submer

Речь идёт о решении под названием Forced Convection Heat Sink (FCHS) — радиатор с принудительной конвекцией. Говорится, что технология сочетает «эффективность принудительной конвекции с пассивным охлаждением», позволяя отводить тепло от высокопроизводительных CPU и GPU. Система включает массивный радиатор с двумя винтами в одной из торцевых частей. Это является основным отличием от традиционной концепции пассивного иммерсионного охлаждения, основанного на естественной конвекции.

Источник изображения: Submer

«Погружной радиатор, использующий принудительную конвекцию, является ключевой инновацией, позволяющей вывести однофазное погружное охлаждение за пределы существующих барьеров», — заявляет Мохан Джей Кумар (Mohan J Kumar), научный сотрудник Intel. Отмечается, что некоторые элементы новой системы охлаждения могут быть изготовлены методом 3D-печати. Intel и Submer продемонстрировали, что решение способно справляться с охлаждением неназванного процессора Xeon, TDP которого превышает 800 Вт.