Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Компания CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ-проектами. Как сообщает DataCenter Dynamics, он комбинирует погружное охлаждение и другие технологии, благодаря чему можно добиться высокой плотности размещения ресурсов на стойку — до 300 кВт на стойку. Недавно Digital Realty предложила клиентам 70-кВт стойки.

По словам CyrusOne, проект Intelliscale способен поменять правила игры в индустрии ИИ-решений и является первым в своём роде — специально разработанным под нужды ИИ-приложений и сервисов. Мощности Intelliscale специально созданы для обслуживания высокопроизводительного аппаратного обеспечения. Задействованы прямое жидкостное охлаждение процессоров, встроенные в дверцы теплообменники и погружное охлаждение. При этом модульная структура и дизайн Intelliscale предусматривает нулевое потребление воды.

Источник изображения: CyrusOne

По данным CyrusOne, новые решения могут занимать всего четверть от площади сопоставимых классических ЦОД (в зависимости от решаемых задач). При этом сами здания могут быть как одно-, таки многоуровневыми. В некоторых случаях она позволяет модернизировать и уплотнить уже существующие ИИ-мощности. По словам CyrusOne, внедрение Intelliscale сегодня позволит обеспечить работу ресурсоёмкого оборудования в будущем, поскольку спрос на ИИ будет только увеличиваться. Технология позволит бизнесам выходить на рынок быстро и с меньшими затратами, чем с использованием классических ЦОД.

Компания Giga Computing (Gigabyte), серверное подразделение Gigabyte, анонсировала стоечные серверы G363-SR0 и G593-SD2, выполненные в форм-факторе 3U и 5U соответственно. В основу положены процессоры Intel Xeon Sapphire Rapids и платформа NVIDIA HGX H100.

Обе новинки допускают установку двух процессоров в исполнении LGA 4677 (Socket E) с показателем TDP до 350 Вт. Диапазон рабочих температур — от 0 до +35 °C.

Модель G363-SR0 оснащена системой прямого жидкостного охлаждения (DLC). Доступны 16 слотов для модулей оперативной памяти DDR5-4800 ёмкостью до 256 Гбайт каждый. Могут быть подключены восемь SFF-накопителей NVMe/SATA/SAS с возможностью горячей замены. Поддерживаются массивы SATA RAID 0/1/10/5.

В оснащение входят по два сетевых порта 1GbE и 10GbE, выделенный порт управления 1GbE, два порта USB 3.2 Gen1 и интерфейс Mini-DP. За возможности расширения отвечают шесть слотов PCIe 5.0 x16 (два спереди, четыре сзади), коннекторы OCP 3.0 и М.2 (PCIe 4.0 x4). Задействованы четыре ускорителя NVIDIA H100 (SXM5). Установлены три блока питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium.

Источник изображений: Giga Computing

Сервер G593-SD2, ориентированный на задачи ИИ и НРС, располагает 32 слотами для модулей DDR5-4800 и восемью ускорителями NVIDIA H100 (SXM5). Спереди есть восемь отсеков для SFF-накопителей NVMe/SATA/SAS. Данная модель использует воздушное охлаждение и шесть блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Предусмотрены 12 слотов PCIe 5.0 x16, два сетевых порта 10GbE, выделенный порт управления 1GbE, два порта USB 3.2 Gen1 и интерфейс D-Sub.

Американский оператор дата-центров Digital Realty запустил новые колокейшн-услуги в 28 регионах по всему миру. Теперь допускается размещение нагрузок плотностью до 70 кВт на стойку. Таким образом, могут решаться сложные задачи, связанные с применением алгоритмов ИИ и машинного обучения. Одной из первых площадок, получившей новые возможности, стал парижский кампус оператора. Аналогичные предложения готовят и другие крупные операторы ЦОД.

Изображение: Digital Realty

Говорится, что высокая плотность размещения оборудования достигается благодаря применению инновационной технологии гибридного воздушно-жидкостного охлаждения (Air-Assisted Liquid Cooling, AALC). Какие именно поставщики отвечают за развёртывание данной системы, не уточняется. Сервис, как утверждается, позволит клиентам открыть новые возможности для развития бизнеса, быстро развернуть высокопроизводительную инфраструктуру, не беспокоясь об охлаждении и питании, и достичь оптимальной производительности для ИИ-сервисов.

Хотя «вечные» перфторалкильные и полифторалкильные вещества (PFAS) широко используются в эффективных двухфазных системах погружного охлаждения ЦОД, они токсичны. Но, похоже, запрет на их использование в Евросоюзе откладывается. Как сообщает DataCenter Dynamics, ссылаясь на данные утечки одного из документов, запрет на использование PFAS в Евросоюзе, возможно, не будет реализован или же будут введены незначительные ограничения.

Хотя в рамках «Зелёной сделки» 2020 года Евросоюзе предложил запретить от 7 до 12 тыс. химикатов, включая PFAS, данные утечки свидетельствуют, что евробюрократы готовы пожертвовать планами под давлением представителей промышленности, настаивающих, что PFAS (и другие вещества) необходимы для технологий, обеспечивающих нулевой углеродный выброс. Ранее «сделка» предусматривала запрет PFAS, предположительно являющихся канцерогенами и влияющих на репродуктивную функцию человека.

Источник изображения: Huawei

Согласно документам, попавшим в руки журналистам, речь уже может идти о запрете не более половины перечня токсичных химикатов. Документ, попавший в руки к журналистам, датирован 13 января текущего года, а правила должны вступить в силу ещё до начала 2024. Ожидалось, что закон REACH разрешит использование попавших в перечень химических веществ, только в случае, если их использование будет «необходимым». Но теперь, судя по всему, политики поддались давлению бизнеса.

Расчёты показали, что запрет на химикаты позволит ежегодно экономить €11–31 млрд на лечении рака и ожирения, тогда как промышленности такой запрет обойдётся всего в €0,9–2,7 млрд. Тем не менее, приостановить введение ограничительных норм призвал президент Франции Эммануэль Макрон (Emmanuel Macron), ссылаясь на необходимость помощи промышленному сектору. Его поддерживают и другие политики, негативно оценивающие стоимость введения новых правил для бизнеса.

PFAS применяются не только в СЖО, но и в других отраслях — например, при выпуске полупроводников. Ранее появилась информация, что регулирование оборота PFAS и окончательный отказ 3M от их выпуска могут со временем значительно повлиять на будущее погружных СЖО — несмотря на их эффективность, со временем от них могут отказаться даже гиперскейлеры, чтобы не терпеть репутационного ущерба.

Инвестиционная компания Mubadala из Абу-Даби (ОАЭ), по сообщению ресурса Datacenter Dynamics, предоставила средства на развитие фирмы CoolIT — разработчика систем прямого жидкостного охлаждения (DLC). CoolIT была основана в 2001 году и сейчас является одним из лидеров рынка серверных СЖО. В частности, именно её решения используются в Frontier, самом производительном суперкомпьютере в мире по версии TOP500.

Отмечается, что Mubadala инвестировала в CoolIT ещё в мае нынешнего года, но финансовые условия этого раунда финансирования не раскрываются. Известно лишь, что в нём приняла участие глобальная инвестиционная компания KKR, которая ранее заключила соглашение по приобретению CoolIT.

Источник изображения: CoolIT

«Ожидается, что к 2030 году индустрия дата-центров будет потреблять 8 % мировой энергии. Поэтому жидкостное охлаждение играет жизненно важную роль в сокращении вредных выбросов в сегменте ЦОД», — сказал Абдулла Шадид (Abdulla Shadid), руководитель группы Impact Investing в Mubadala.

В ходе более ранних раундов финансирования CoolIT привлекла приблизительно $10 млн. В число инвесторов вошли Банк делового развития Канады, nVent, Kline Hill Partners, Vistara Capital Partners, Inovia Partners, AVAC Group и Chart Venture Partners.

Компании Iceotope, HPE и Intel анонсировали платформу KUL RAN — специализированный edge-сервер для телекоммуникационной отрасли. На базе новинки могут развёртываться vRAN-платформы, сети 5G и другие сервисы связи. Отмечается, что KUL RAN представляет собой сверхнадёжное и энергоэффективное устройство. В основу положен сервер HPE ProLiant DL110 с процессорами Xeon Sapphire Rapids.

Новинка предназначена для монтажа в 19" стойку уменьшенной глубины. Платформа включает полностью автономную СЖО Precision Liquid Cooling, разработанной специалистами Iceotope. Утверждается, что благодаря Precision Liquid Cooling платформа KUL RAN обеспечивает экономию энергии до 40 % по сравнению с другими edge-серверами аналогичного класса. Разработчики отмечают, что платформа KUL RAN создавалась по концепции «установил и забыл».

Источник изображения: Iceotope

Устройство заключено в корпус со степенью защиты IP67, а модульная конструкция KUL RAN позволяет быстро изменять конфигурацию для различных сценариев развёртывания. Отмечается также, что, в отличие от традиционного оборудования для дата-центров, система KUL RAN разработана таким образом, чтобы превосходить стандарты NEBS, соблюдение которых необходимо в рамках телекоммуникационных инфраструктур.

Банный комплекс Bathhouse в нью-йоркском Бруклине объявил об использовании инновационных технологий для подогрева своих бассейнов. Как сообщает DataCenter Dynamics, он начал использовать «мусорное» тепло серверов, применяемых для майнинга криптовалют. Идея понравилась далеко не всем — нашлось немало причин для критики в социальных сетях.

В среду купальня объявила об использовании стоек с майнинговыми серверами, оснащёнными теплообменниками и системой циркуляции для подогрева воды. Такое нововведение было воспринято крайне неоднозначно. Если одни приветствовали его, то другие отметили то, что майнинг в целом является пустой тратой энергии, а в Нью-Йорке и вовсе вышел из моды и даже считается дурным тоном. Как шутят в соцсетях, некоторым нужно чистое, неподдельное тепло, а не «грязное», получаемое в качестве побочного продукта.

Источник изображения: Derek Story/unsplash.com

После краха биржи FTX банки США решили повременить с интеграцией криптовалют в свои финансовые системы. Более того, штат Нью-Йорк ещё год назад принял закон о запрете криптомайнинга с помощью электричества, полученного с помощью ископаемого топлива. Кроме того, по американским данным на майнинг уходит 0,9 % мировой электроэнергии, что не добавляет криптовалютам популярности среди многочисленных сторонников «зелёного» мира. Наконец, некоторые обеспокоены не экологией, а совсем другими вопросами — отдельные посетители желают знать, кто именно занимается майнингом, кто получает прибыль и стоит ли поддерживать это даже косвенно.

В Bathhouse подчёркивают, что некоторым стоит подтянуть физику — на подогрев воды с сопутствующим майнингом уйдёт, по сути, столько же энергии, сколько и просто на нагрев. Это, по мнению руководства комплексом решает проблему эффективности использования «мусорного» тепла. Схожая система уже применяется британской компанией Depp Green — микро-ЦОД для периферийных вычислений тоже подогревают бассейны. Правда, эти ЦОД используются для ИИ и машинного обучения, а не для майнинга, имеющего неоднозначную репутацию.

Погружные (иммерсионные) системы жидкостного охлаждения имеют целый ряд преимуществ перед классическими СЖО. В частности, они существенно проще по конструкции, однако и тут есть, что совершенствовать. Компания Intel опубликовала информацию о новых, высокоэффективных теплосъёмниках. Разработанные Intel материалы и конструкции позволят остудить чипы с TDP в районе 2 КВт.

Для этого предлагается использовать теплоноситель, чья температура кипения соответствует рабочему диапазону температур охлаждаемых чипов. Кипение — важная часть процесса теплопереноса в погружных СЖО. Поэтому компания разработала специальное покрытие, ускоряющее рост пузырьков и делающее процесс кипения более интенсивным. Принцип, заложенный в основу, несколько напоминает известное явление с конфетами Mentos, вызывающими бурное выделение газа из прохладительных напитков.

Прототип покрытия, разработанного Intel, показывает первые результаты. Источник здесь и далее: Intel

Ешё одна инновация — специфическая конструкция теплообменников. Обычно производители погружных СЖО используют плоские пластины, но Intel подсмотрела у морских кораллов оптимальную форму, при которой площадь для теплоотдачи в системах нового типа должна существенно возрасти. Компания надеется повысить эффективность погружных СЖО с 0,025°C/Вт до 0,010°C/Вт.

Процесс парообразования с обычным покрытием (слева) и с разработанным Intel. Разница в количестве пузырьков налицо

На развитие этой технологии Intel получила грант $1,7 млн в рамках программы COOLERCHIPS (Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems) Министерства Энергетики США (US Department of Energy). Ранее $5-млн грант получила и NVIDIA, перед которой поставлена цель совместить системы прямого теплоотвода (direct-to-chip) с погружными в габаритах стандартной серверной стойки. Ещё $1 млн получил стартап JetCool. Также в программе участвуют HP, Raytheon и ряд университетов.