Японская Mitsubishi Heavy Industries (MHI) разработала новую модель контейнерного дата-центра с гибридной системой охлаждения. Как сообщает пресс-служба компании, решение на 40 кВА размещается в 12-футовом контейнере.

В микро-ЦОД применяются погружная СЖО (25 кВА), воздушная система охлаждения (8 кВА) и система водяного охлаждения (8 кВА, тип не уточняется). С октября потенциальные клиенты получат новые ЦОД для испытаний, тогда же начнутся демонстрационные тесты на площадке MHI в Йокогаме. Демо-стенд будет включать серверное оборудование Dell Technologies, а NEC Networks & System Integration будет изучать процедуры установки и обслуживания IT-оборудования. ЦОД стал преемником варианта с погружным охлаждением, разрабатываемого MHI с 2021 года совместно с KDDI и NEC.

Источник изображения: Mitsubishi

В новом ЦОД могут размещаться серверы для периферийных вычислений с разными системами охлаждения и с разной энергетической плотностью. При этом в контейнере специально оставлено место 1,4 × 1,3 м, значительно упрощающее установку или демонтаж серверов. В среде с температурой порядка 40°C показатель PUE составят 1,05 при применении только погружной системы охлаждения или 1,14 при комбинации жидкостного и воздушного охлаждения. Как сообщает пресс-служба MHI, коммерциализацию нового решения компания должна начать к концу фискального 2023 года.

Стартап JetCool, созданный при поддержке Массачусетского технологического института (MIT), по сообщению ресурса Datacenter Dynamics, провёл раунд финансирования Series A, в ходе которого на развитие привлечено $17 млн. Деньги помогут компании в укреплении рыночных позиций.

JetCool проектирует эффективные технологии жидкостного охлаждения на базе микроконвекции. Решения используют микротрубки для доставки охлаждающей жидкости непосредственно к чипам, откуда жидкость удаляется по мере нагрева.

Источник изображения: JetCool

В мае 2023 года JetCool получила финансовую поддержку в размере $1,27 млн от Агентства передовых исследований в области энергетики (ARPA-E) в составе Министерства энергетики США (DOE). Тогда говорилось, что средства пойдут на дальнейшую разработку энергоэффективных и экономичных СЖО. Системы компании, как утверждается, способны справляться с охлаждением чипов, TDP которых превышает 1000 Вт.

Раунд финансирования Series A возглавил фонд Bosch Ventures, венчурное подразделение Bosch Group. Кроме того, деньги предоставили In-Q-Tel, Raptor Group и Schooner Capital. По условиям соглашения, инвестиционный партнёр Bosch Ventures Адам Джексон (Adam Jackson) войдёт в совет директоров JetCool.

Компания LiquidStack, специализирующаяся на разработке систем погружного (иммерсионного) жидкостного охлаждения, анонсировала модульные решения MicroModular и MegaModular для периферийных приложений.

В состав MicroModular входит один модуль DataTank 48U, тогда как MegaModular может содержать до шести DataTank 48U. Данное изделие обеспечивает в 28 раз лучший теплоотвод, чем системы воздушного охлаждения, потребляя при этом на 41 % меньше электроэнергии.

Новые системы проектировались в сотрудничестве с Trane Technologies. Модульные решения обеспечивают ёмкость от 250 кВт до 1,5 МВт и резервирование до уровня Tier III, что гарантирует высокую отказоустойчивость и надёжность работы. Для систем заявлен ультранизкий коэффициент PUE — 1,02.

Источник изображения: LiquidStack

LiquidStack отмечает, что на развёртывание MicroModular и MegaModular требуется всего несколько недель, тогда как при использовании традиционных подходов на это могут уходить месяцы и даже годы. Допускается повторное использование тепла. В стандартное оснащение входят средства обнаружения пожара и освещение, а дополнительно можно заказать инструменты обеспечения безопасности и пожаротушения.

Решения могут применяться в различных отраслях, включая телекоммуникации, колокейшн, НРС, гибридное облако и пр. Модульные продукты также хорошо подходят для модернизации существующей инфраструктуры ЦОД.

Компания Solid State Storage Technology Corporation (SSSTC), дочерняя структура Kioxia, анонсировала SSD серии ER3 для дата-центров. Это, как утверждается, первые в мире изделия в своём классе, на которые предоставляется 5-летняя гарантия по использованию в системах с погружным охлаждением.

Благодаря полному погружению комплектующих в теплопроводящую жидкость тепло отводится более эффективно. Это обеспечивает стабильную и надёжную работу при высоких и продолжительных нагрузках. Все компоненты решений тщательно отбираются и тестируются.

Устройства предлагаются в двух вариантах исполнения — SFF и М.2 2280. В обоих случаях применены микрочипы 3D TLC NAND, а для подключения служит интерфейс SATA-3. Значение DWPD (полных перезаписей в сутки) ≥ 1. Поддерживаются шифрование по алгоритму AES-256 и функция защиты от потери питания Power Loss Data Protection. Показатель MTBF (средняя наработка на отказ) заявлен на отметке 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: SSSTC

Накопители типоразмера SFF доступны в модификациях вместимостью от 240 Гбайт до 1,92 Тбайт. Скорость последовательного чтения у всех версий достигает 520 Мбайт/с, а скорость последовательной записи — 280 Мбайт/с у младшего варианта и 520 Мбайт/с у всех других. Значение IOPS на операциях случайного чтения — 90 тыс., на операциях записи — от 10 до 45 тыс. в зависимости от ёмкости.

Изделия формата М.2 представлены в вариантах ёмкостью 240 и 480 Гбайт. У них показатели последовательного чтения/записи равны соответственно 520/280 Мбайт/с и 520/520 Мбайт/с. Величина IOPS при случайном чтении одинакова — до 90 тыс., при записи — 10 тыс. и 15 тыс. соответственно.

Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.

Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.

Фото: Anthony Indraus / Unsplash

В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.

Источник: Schneider Electric

Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.

Источник: Schneider Electric

Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.

Источник: Schneider Electric

Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.

Британский телеком-оператор BT начал тестирование технологий жидкостного охлаждения на своём оборудовании, в том числе коммутаторы Juniper, оснащённые СЖО Iceotope. Как сообщает DataCenter Dynamics, проверяется эффективность систем жидкостного охлаждения, предлагаемых и другими вендорами.

В первую очередь речь идёт о проверке модификации сетевого коммутатора Juniper QFX Series, специально доработанного для использования совместно с «прецизионным охлаждением» компании Iceotope. Утверждается, что технология позволила существенно снизить расход энергии. Ранее BT протестировала edge-сервер KUL RAN.

Это не единственная разработка, проходящая сегодня серию тестов. В BT заявили, что намерены внедрять те или иные технологии в зависимости от «контекста», а испытания помогут установить, при каком сценарии использования какая разработка эффективнее и энергоэкономичнее. В тестах принимают участие система погружного охлаждения Immersion4, водоблоки Nexalus, а также необычная СЖО Airsys с распылением жидкости на охлаждаемые элементы.

СЖО Immersion4 (Источник изображения: BT)

Проходящие проверки системы разных типов часто потребляют на 40–50 % меньше электричества, чем варианты с воздушным охлаждением, и способны отдавать избыточное тепло для обогрева. При этом новые системы обеспечивают большую энергетическую плотность, что позволяет экономить место и материалы, а отказ от циркуляции воздуха через оборудование даёт возможность и вовсе избежать попадания пыли, грязи и влажности в шкафы.

Для BT является критически важным вопросом экономии электричества — до 95 % расходов бизнеса на электроэнергию приходится именно на обеспечение работы сетей связи. В BT сообщают, что внедрение жидкостного охлаждения — лишь малая, но очень важная часть широкого круга задач по повышению эффективности бизнеса.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.

Многие знают, что ИИ-модели в процессе работы потребляют огромное количество энергии, но не всем известно, что им нужно ещё и очень много чистой воды. Как сообщает Silicon Angle, выяснилось, что ЦОД стоящих за работой ИИ-систем компаний тратят очень много воды, а у техногигантов вроде Google и Microsoft водопотребление только растёт.

Как следует из доклада Associated Press, использование ЦОД Microsoft воды выросло с 2021 по 2022 гг. на 34 %, в прошлом году компания потратила 6,4 млрд литров. В тот же период водопотребление Google выросло на 20 %. По данным экспертов, занимавшихся исследованием воздействия генеративных ИИ-систем на окружающую среду, в большей части рост потребления вызван увеличением связанных с ИИ нагрузок.

По некоторым оценкам, модель GPT-3 компании OpenAI, стоящая за чат-ботом ChatGPT, ответственна за трату более 320 тыс. л во время тренировки, а ChatGPT и вовсе «выпивает» 0,5 л воды каждую чат-сессию, состоящую из 25-50 запросов. Учитывается и непрямое использование воды, включающее затраты электростанций, питающих ЦОД.

Источник изображения: MartinStr/pixabay.com

Для Google статистика оказалась крайне неоднородной и разнится от ЦОД к ЦОД — многое зависит от местоположения, сезона, технологии охлаждения и уровня потребления воды электростанциями. Впрочем, многие специалисты отрасли уверены, что рост потребления воды имеет важное значение, но большие опасения вызывает рост энергопотребления.

Дело в том, что значительная часть используемой воды перерабатывается и применяется снова, тогда как об энергии нельзя сказать того же. Кроме того, Microsoft, Google и другие операторы ЦОД сами заинтересованы в сокращении потребления воды, поэтому будут принимать все необходимые меры для этого.

Ранее Microsoft сообщала, что намерена стать «водно-положительной», «углеродно-отрицательной» и безотходной уже к 2030 году, а к 2024 году снизить потребление ЦОД воды на 95 % (в сравнении с 2021 годом). Впрочем, до сих пор нет точных определений некоторым терминам, например, никто детально не говорил, о какой «водно-положительности» идёт речь. Можно только предполагать, что компания намерена отдавать в природу больше воды, чем потребляет.

Источник: Microsoft

Примером может служить Pepsi, которая, пропустив воду сквозь снековое оборудование в районе Мехико, очищает её до уровня питьевой и отправляет на другой завод — для мытья картофеля для чипсов. Таким образом, воды действительно поступает «в оборот» больше, чем изначально забирается из природных источников.

В OpenAI, крупнейшим инвестором которой является Microsoft, подчеркнули, что осознают высокие уровни потребления ИИ энергии и воды и активно работают над повышением эффективности в этой сфере. Решением может стать создание для ИИ более эффективных алгоритмов и оборудования, хотя на это уйдёт некоторое время.

Компания Nautilus Data Technologies лицензировала использование технологии охлаждения проточной водой TRUE (Total Resource Usage Effectiveness) дата-центра компании Start Campus. По данным Datacenter Dynamics, строительство кампуса ведётся в португальском городе Синиш (Sines), охлаждение будет вестись океанской водой.

В рамках соглашения предполагается, что Start Campus, принадлежащая North American Davidson Kempner и British Pioneer Point Partners, будет использовать в своём проекте систему Nautilus, обеспечивающую «нулевое» потребление воды. Подобные системы, например, с размещением ЦОД на речных баржах, уже активно пытается внедрять сама Nautilus.

Источник изображения: Start Campus

В ходе первой фазы уже начавшегося в Синише строительства компании намерены начать внедрение новой технологии охлаждения наряду с уже использующимися на территории кампуса. В ходе второй Start Campus намерена полностью интегрировать технологию Nautilus для расширения мощностей. Общая мощность кампуса Start составит до 495 МВт, а находится он на территории площадью 60 га на прилегающей к недавно выведенной из эксплуатации угольной электростанции. Хотя реализацию проекта анонсировали ещё в 2021 году, строительство началось только в прошлом. Ожидается, что применение новых экобезопасных технологий позволит серьёзно изменить ландшафт рынка ЦОД.

Nautilus занимается не только плавучими ЦОД, но и стационарными системами, в которых ЦОД охлаждаются за счёт речной проточной воды. В компании утверждают, что они снижают затраты на электричество и позволяют обеспечить «нулевое» потребление воды и нулевые выбросы сточных вод. Правда, пока компания управляет только баржей с ЦОД в калифорнийском Стоктоне (Калифорния), но в дальнейшем планируется построить и наземный объект в Мэне. В разработке находятся и другие проекты, как во Франции и США, так и в Ирландии, а также материковой Европе, изучается возможность применения технологии в Таиланде и на Филиппинах.

Компания ChinData, которая скоро перейдёт в полную собственность Bain Capital, представила набор полнофункциональных модульных продуктов для крупных дата-центров. По данным DataCenter Dynamics, он включает всевозможные элементы, от интегрированных систем энергоснабжения до готовых зданий.

Новые продукты представлены в ходе мероприятия Data Center New Technology Development Forum на конференции 2023 China Computing Conference в Китае. В компании подчёркивают, что продукты предназначены для удовлетворения спроса крупных строителей ЦОД в новую эпоху генеративного ИИ (AIGC).

Значительная часть применяемых технологий поставляется партнёрами. Так, в прошлом году ChinData представила «первую в мире безводную систему охлаждения», которая на поверку оказалось решением Vertiv Liebert DSE для фрикулинга. В этом году речь зашла о безмасляных компрессорах на магнитной подушке, которые, похоже, тоже уходят корнями к Vertiv. В случае с ChinData речь идёт о двухфазной системе охлаждения X-Cooling Maglev на таких компрессорах. Также применяются и другие технологии охлаждения, за управление которыми отвечает специальный ИИ.

Источник изображения: ChinData

Модульная система X-PrePower 3.0 включает блоки питания и распределения энергии с эффективностью 98,5 %. В ChinData подчеркнули, что такие блоки выгоднее немодульных и занимают на 20 % меньше места. Более того, время доставки снижается с двух месяцев до одной недели. Наконец, платформа Kunpeng обеспечивает эксплуатацию, управление, мониторинг и контроль новых модульных решений.

В итоге новый комплекс решений позволяет формировать стойки мощностью до 35 кВт. Упрощённая конструкция с повышенной надёжностью, по данным компании, способна обеспечить годовой показатель Cooling Load Factor (CLF) на уровне 0,08 на севере Китая и 0,15 в Малайзии.