Компании Intel и Submer сообщили о новом достижении в области разработки систем однофазного иммерсионного (погружения) жидкостного охлаждения: предложенная технология, как утверждается, позволяет эффективно отводить тепло от процессоров с показателем TDP до 1000 Вт.

Источник изображения: Submer

Речь идёт о решении под названием Forced Convection Heat Sink (FCHS) — радиатор с принудительной конвекцией. Говорится, что технология сочетает «эффективность принудительной конвекции с пассивным охлаждением», позволяя отводить тепло от высокопроизводительных CPU и GPU. Система включает массивный радиатор с двумя винтами в одной из торцевых частей. Это является основным отличием от традиционной концепции пассивного иммерсионного охлаждения, основанного на естественной конвекции.

Источник изображения: Submer

«Погружной радиатор, использующий принудительную конвекцию, является ключевой инновацией, позволяющей вывести однофазное погружное охлаждение за пределы существующих барьеров», — заявляет Мохан Джей Кумар (Mohan J Kumar), научный сотрудник Intel. Отмечается, что некоторые элементы новой системы охлаждения могут быть изготовлены методом 3D-печати. Intel и Submer продемонстрировали, что решение способно справляться с охлаждением неназванного процессора Xeon, TDP которого превышает 800 Вт.

Хотя нефтегазовый гигант ExxonMobil и не пользуется прежним авторитетом в эпоху продвижения экобезопасных технологий, его продукция по-прежнему востребована. Как сообщает Datacenter Dynamics, в числе прочего речь идёт и об охлаждающих жидкостях на основе ископаемых углеводородов — они используются в СЖО, а экономия на совокупной стоимости владения (TCO) ЦОД с их применением составляет до 40 % в сравнении с классическим воздушным охлаждением, заявляет компания. Кроме того, улучшается показатель PUE.

Так, в рамках мероприятия Open Compute Project (OCP) Global Summit компания анонсировала серию «синтетических и несинтетических жидкостей» EM DC 3152/3150/315, 3220, 3235 Super, 3250, 1150 и 1210 (AP). Поскольку дата-центры давно испытывают проблемы в связи с ростом спроса и вычислительной плотности, вопрос использования СЖО, в том числе иммерсионных, становится всё более актуальным. При этом будущее весьма эффективных PFAS-химикатов пока что находится под вопросом. Впрочем, сегодня доступны даже охлаждающие жидкости растительного происхождения, а ExxonMobil предлагает собственные варианты на основе углеводородов. Похожие решения есть у Castrol и Shell.

Источник изображения: ExxonMobil

ExxonMobil намеревается расширять добычу ископаемых ресурсов и дальше, несмотря на заявления ООН и прочих структур о вреде такой деятельности для окружающей среды. Вместе с тем компания вкладывает миллионы долларов в исследования, свидетельствующие об отсутствии влияния использования ископаемого топлива на глобальное потепление. Кроме того, ExxonMobil обещает к 2050 году свести к нулю выбросы в атмосферу, связанные с её действиями, параллельно отказываясь нести какую-либо ответственность за последствия использования добытых ей нефти и газа.

Японская Mitsubishi Heavy Industries (MHI) разработала новую модель контейнерного дата-центра с гибридной системой охлаждения. Как сообщает пресс-служба компании, решение на 40 кВА размещается в 12-футовом контейнере.

В микро-ЦОД применяются погружная СЖО (25 кВА), воздушная система охлаждения (8 кВА) и система водяного охлаждения (8 кВА, тип не уточняется). С октября потенциальные клиенты получат новые ЦОД для испытаний, тогда же начнутся демонстрационные тесты на площадке MHI в Йокогаме. Демо-стенд будет включать серверное оборудование Dell Technologies, а NEC Networks & System Integration будет изучать процедуры установки и обслуживания IT-оборудования. ЦОД стал преемником варианта с погружным охлаждением, разрабатываемого MHI с 2021 года совместно с KDDI и NEC.

Источник изображения: Mitsubishi

В новом ЦОД могут размещаться серверы для периферийных вычислений с разными системами охлаждения и с разной энергетической плотностью. При этом в контейнере специально оставлено место 1,4 × 1,3 м, значительно упрощающее установку или демонтаж серверов. В среде с температурой порядка 40°C показатель PUE составят 1,05 при применении только погружной системы охлаждения или 1,14 при комбинации жидкостного и воздушного охлаждения. Как сообщает пресс-служба MHI, коммерциализацию нового решения компания должна начать к концу фискального 2023 года.

Стартап JetCool, созданный при поддержке Массачусетского технологического института (MIT), по сообщению ресурса Datacenter Dynamics, провёл раунд финансирования Series A, в ходе которого на развитие привлечено $17 млн. Деньги помогут компании в укреплении рыночных позиций.

JetCool проектирует эффективные технологии жидкостного охлаждения на базе микроконвекции. Решения используют микротрубки для доставки охлаждающей жидкости непосредственно к чипам, откуда жидкость удаляется по мере нагрева.

Источник изображения: JetCool

В мае 2023 года JetCool получила финансовую поддержку в размере $1,27 млн от Агентства передовых исследований в области энергетики (ARPA-E) в составе Министерства энергетики США (DOE). Тогда говорилось, что средства пойдут на дальнейшую разработку энергоэффективных и экономичных СЖО. Системы компании, как утверждается, способны справляться с охлаждением чипов, TDP которых превышает 1000 Вт.

Раунд финансирования Series A возглавил фонд Bosch Ventures, венчурное подразделение Bosch Group. Кроме того, деньги предоставили In-Q-Tel, Raptor Group и Schooner Capital. По условиям соглашения, инвестиционный партнёр Bosch Ventures Адам Джексон (Adam Jackson) войдёт в совет директоров JetCool.

Компания LiquidStack, специализирующаяся на разработке систем погружного (иммерсионного) жидкостного охлаждения, анонсировала модульные решения MicroModular и MegaModular для периферийных приложений.

В состав MicroModular входит один модуль DataTank 48U, тогда как MegaModular может содержать до шести DataTank 48U. Данное изделие обеспечивает в 28 раз лучший теплоотвод, чем системы воздушного охлаждения, потребляя при этом на 41 % меньше электроэнергии.

Новые системы проектировались в сотрудничестве с Trane Technologies. Модульные решения обеспечивают ёмкость от 250 кВт до 1,5 МВт и резервирование до уровня Tier III, что гарантирует высокую отказоустойчивость и надёжность работы. Для систем заявлен ультранизкий коэффициент PUE — 1,02.

Источник изображения: LiquidStack

LiquidStack отмечает, что на развёртывание MicroModular и MegaModular требуется всего несколько недель, тогда как при использовании традиционных подходов на это могут уходить месяцы и даже годы. Допускается повторное использование тепла. В стандартное оснащение входят средства обнаружения пожара и освещение, а дополнительно можно заказать инструменты обеспечения безопасности и пожаротушения.

Решения могут применяться в различных отраслях, включая телекоммуникации, колокейшн, НРС, гибридное облако и пр. Модульные продукты также хорошо подходят для модернизации существующей инфраструктуры ЦОД.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, анонсировала SSD серии ER3 для дата-центров. Это, как утверждается, первые в мире изделия в своём классе, на которые предоставляется 5-летняя гарантия по использованию в системах с погружным охлаждением.

Благодаря полному погружению комплектующих в теплопроводящую жидкость тепло отводится более эффективно. Это обеспечивает стабильную и надёжную работу при высоких и продолжительных нагрузках. Все компоненты решений тщательно отбираются и тестируются.

Устройства предлагаются в двух вариантах исполнения — SFF и М.2 2280. В обоих случаях применены микрочипы 3D TLC NAND, а для подключения служит интерфейс SATA-3. Значение DWPD (полных перезаписей в сутки) ≥ 1. Поддерживаются шифрование по алгоритму AES-256 и функция защиты от потери питания Power Loss Data Protection. Показатель MTBF (средняя наработка на отказ) заявлен на отметке 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

Накопители типоразмера SFF доступны в модификациях вместимостью от 240 Гбайт до 1,92 Тбайт. Скорость последовательного чтения у всех версий достигает 520 Мбайт/с, а скорость последовательной записи — 280 Мбайт/с у младшего варианта и 520 Мбайт/с у всех других. Значение IOPS на операциях случайного чтения — 90 тыс., на операциях записи — от 10 до 45 тыс. в зависимости от ёмкости.

Изделия формата М.2 представлены в вариантах ёмкостью 240 и 480 Гбайт. У них показатели последовательного чтения/записи равны соответственно 520/280 Мбайт/с и 520/520 Мбайт/с. Величина IOPS при случайном чтении одинакова — до 90 тыс., при записи — 10 тыс. и 15 тыс. соответственно.

Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.

Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.

Фото: Anthony Indraus / Unsplash

В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.

Источник: Schneider Electric

Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.

Источник: Schneider Electric

Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.

Источник: Schneider Electric

Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Компания Thames Water, являющаяся крупнейшей коммунальной службой в Великобритании и занимающаяся водоснабжением и водоотведением для 15 млн человек, выдвинула ультиматум операторам некоторых ЦОД. Как сообщает The Register, им предложено сократить расход воды самостоятельно, или это будет сделано в принудительном порядке. Также не исключается повышение цен в периоды пиковых нагрузок.

В прошлом году Thames Water оценила использование воды дата-центрами в зоне обслуживания компании, включающей как большую часть британской столицы, так и долину Темзы на юге Англии. В дальнейшем планировалось снизить использование воды, координируя действия с ЦОД — страна как раз переживала необычайную жару, из-за которой пострадали и сами дата-центры.

Фото: Kevin Grieve / Unsplash

Теперь, похоже, компания готова прибегнуть и к мерам принуждения, в частности, ограничивать в случае необходимости подачу воды тем, кто расходует её слишком много, или взимать больше в периоды пикового спроса. В июле прошлого года сложилась критическая ситуация — из-за рекордной жары внешние модули систем кондиционирования британских ЦОД буквально приходилось обрызгивать водой из шлангов во избежание перегрева.

По имеющимся данным, рассматривается ограничение подачи воды как минимум одному лондонскому оператору ЦОД в периоды пикового потребления — подобные меры необходимы во время летней жары уже нынешнего года на фоне роста потребностей в воде со стороны бизнесов и граждан. Пока неизвестно, рассматривается ли подобная политика в качестве временной меры или ограничения могут ввести навсегда. Также не сообщается, будут ли ограничения тотальными или станут применяться только в районах компактного размещения кластеров ЦОД.

Фото: Benjamin Davies / Unsplash

Конечно, в Thames Water утверждают, что предпочли бы добровольное ограничение потребления операторами прежде чем вводить репрессивные меры. ЦОД, например, могли бы изучить возможность переработки и использования сточных вод непосредственно по месту потребления. В Thames Water заявили, что компания также поощряет использование дата-центрами альтернативных источников воды. К счастью, не все ЦОД полагаются на пресную воду, но те, что прибегают к ней, часто тратят порядка 4–19 тыс. м³ ежедневно.

Впрочем, это не единственная проблема коммунальных компаний в Англии. В этом году их активно критикуют за сброс неочищенных сточных вод в реки и даже прибрежные морские воды. Кроме того, службы не успевают ремонтировать стареющую инфраструктуру. Из-за этого Thames Water теряет больше любой компании такого профиля в Великобритании — по данным BBC, ежедневно она допускает утечку более 600 тыс. м³, что уже привело к смене её руководства в прошлом месяце.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.