Дата-центры выбрасывают немало горячего воздуха, и в IBM Japan и NTT Comware надеются, что смогут анализировать эти выбросы с большой пользой. Как сообщает The Register, новый подход поможет учитывать энергопотребление и выбросы углекислого газа, чтобы в конечном итоге снизить и то и другое. Технология использует температурные датчики вокруг ЦОД, поэтому внутреннюю инфраструктуру для получения данных переделывать не придётся.

Технологию уже протестировали в прошлом году в японском ЦОД NTT Comware. Предсказуемо выяснилось, что температура уже использованного для охлаждения воздуха пропорциональна энергопотреблению. Корреляцию между этими показателями выявили с помощью модели машинного обучения, о способностях которой стороны пока предпочитают не рассказывать. Дополнительно используется пакет приложений IBM Maximo для управления активами и бизнес-процессами.

Известно, что партнёры намерены организовать точный контроль систем охлаждения на основе оценки коллективного энергопотребления серверов. Операторы ЦОД являются первоочередными пользователями разрабатываемой технологии, поскольку охлаждение составляет одну из ключевых статей расходов дата-центров, причём для полноценной работы оборудования необходимо обеспечить оптимальную температуру.

Источник изображения: Walkerssk/pixabay.com

Хотя серверы и сами могут передавать данные о своей производительности, изоляция и конфиденциальность являются основой хорошего хостинга. При этом технология оценки тепловых выбросов позволяет получать данные по косвенным признакам, не отпугивая клиентов, а также потенциально снизить себестоимость эксплуатации, в том числе энергопотребление и даже углеродный выброс. Технология уже демонстрируется в новой японской штаб-квартире IBM в Toranomon Hills Station Tower.

Тайваньское подразделение корпорации Intel и Научно-исследовательский институт промышленных технологий Тайваня (ITRI) сообщили об открытии совместной лаборатории по сертификации систем охлаждения для HPC-платформ. Новая структура получила название ITRI-Intel.

О планах по запуску лаборатории стороны объявили в конце 2023 года. Тогда говорилось, что Intel расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, включая ЦОД, ориентированные на задачи ИИ.

По данным Международного энергетического агентства (IEA), в 2022 году потребление энергии дата-центрами по всему миру колебалось от 0,9 % до 1,3 % от общих энергозатрат. При этом выбросы углекислого газа в сегменте ЦОД составили 0,3 % от глобального объёма. Ожидается, что внедрение новых технологий, включая системы иммерсионного (погружного) охлаждения, поможет поднять энергоэффективность дата-центров и сократить выбросы СО₂ в соответствующем сегменте на 45 %.

Источник изображения: ITRI-Intel

Лаборатория ITRI-Intel будет предлагать комплексные услуги по сертификации технологий охлаждения НРС-систем на соответствие международным стандартам. Это, в частности, тестирование свойств материалов, оценка совместимости с серверными компонентами и анализ жизненного цикла. Отмечается также, что ITRI разрабатывает однофазную технологию погружного охлаждения с очень низким энергопотреблением. При этом не используются фторированные растворители (PFAS), которые, как считается, могут оказывать негативное влияние на здоровье людей.

Компания Danfoss заключила с Google соглашение о внедрении в ЦОД последней новых систем охлаждения. Как сообщает пресс-служба Danfoss, решения компании помогут утилизировать избыточное тепло дата-центров, а Google в рамках партнёрства обеспечит доступ к своим ИИ-сервисам. Это позволит оптимизировать взаимодействие Danfoss с с клиентами, внутренние рабочие процессы и поднять производительность в целом.

Danfoss разрабатывает системы охлаждения, отопления, преобразования энергии, управления двигателями и иное промышленное оборудование. В дата-центрах Google компания намерена внедрить малошумные безмасляные компрессоры Turbocor с магнитными подшипниками, применяемые в системах воздушного или водяного охлаждения. Дополнительно будут использоваться модули Danfoss для повторного использования тепла, которые обеспечат «зелёный» обогрев не только помещений самой Google, но и расположенных поблизости коммерческих и жилых строений.

Источник изображения: Danfoss

Применение ИИ-решений Google позволит Danfoss оптимизировать внутренние операции и пользовательский опыт. Например, ИИ можно применять для сбора информации, автоматизации базы знаний, а также создания описаний продуктов и использования чат-ботов в электронной коммерции.

Как заявляют в Google, речь идёт о сотрудничестве с лидером в создании энергоэффективных систем, именно такие решения помогут выполнить цель техногиганта по полному переводу ЦОД на «безуглеродную» энергию к 2030 году. В Danfoss также подчеркнули, что ИИ поможет произвести революцию в строительстве и декарбонизации ЦОД. Ранее Google и Danfoss совместно с Schneider Electric и Danish Data Center Industry учредители в Дании платформу Net Zero Innovation Hub, основной целью которой является ускорение «зелёной трансформации» дата-центров.

Компания Shell, по сообщению ресурса Datacenter Dynamics, установила резервуары иммерсионного (погружного) охлаждения GRC в своём техасском ЦОД в Хьюстоне. Они используются для отвода тепла от кластерного оборудования Penguin Solutions на основе процессоров AMD.

Установки GRC S10 Duo смонтированы в ЦОД Skybox компании Element Critical. Каждый из модулей S10 Duo может вмещать оборудование мощностью до 200 кВт (100 кВт на стойку стандарта 42U) с использованием тёплой воды с температурой около +32 °C. При снижении температуры воды до +7 °C производительность каждой системы GRC может быть увеличена практически в два раза.

По имеющейся информации, Shell установила в техасском дата-центре 864 двухпроцессорных сервера (судя по логотипам, это системы Penguin Solutions) с 96-ядерными чипами AMD Epyc 9654 Genoa. Таким образом, в общей сложности задействованы 1728 процессоров и 165 888 ядер. В ЦОД используются как минимум шесть погружных модулей S10 Duo.

Источник изображения: GRC via Datacenter Dynamics

Сама Shell, как и многие другие нефтяные компании, разрабатывает специальные жидкости для систем погружного охлаждения, предназначенных для применения вместе с вычислительным оборудованием высокой плотности. Например, состав Shell S3 X производится из природного газа.

Ещё в конце 2022 года Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Речь идёт о диэлектрических составах, которые должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности.

Modine Manufacturing решила диверсифицировать свои активы, вложившись в иммерсионное охлаждение. Как сообщает Datacenter Dynamics, компания приобрела активы стартапа TMGcore, предлагавшего однофазные и двухфазные системы иммерсионного охлаждения для HPC-систем. Сейчас Modine принадлежит производитель чиллеров Airedale.

TMGcore ещё в 2019 году представила роботизированную двухфазную иммерсионную платформу OTTO, а позже показал мобильную платформу OTTO EdgeBox. Также в портфолио компании есть компактная (2,4 м²) однофазная 200-кВт 48U-платформа ComputeCore и аналогичная платформа CryptoCore для тех, кто занимается майнингом.

Источник изображения: TMGcore

Modine приобрела как интеллектуальную собственность, так и другие активы TMGcore, заявив, что это укрепит позиции компании в качестве провайдера комплексных решений для охлаждения вычислительной техники. При этом само юридическое лицо, стоящее за TMGcore, не приобреталось. По словам представителя Modine, покупка активов поможет компании предлагать системы воздушного, жидкостного и гибридного охлаждения.

Хотя иммерсионные системы пока считаются нишевой технологией для майнинга и высокопроизводительных вычислений, давно предсказывается, что рост плотности размещения вычислительных мощностей позволит таким СЖО выйти на более широкий рынок, а катализатором станет развитие ИИ-платформ. В Modine ссылаются на оценки экспертов, которые прогнозируют, что рынок систем иммерсионного охлаждения к 2028 году вырастет до $7,8 млрд.

Оператор дата-центров Stack Infrastructure, по сообщению ресурса Datacenter Dynamics, планирует размещать на своих площадках, ориентированных на задачи ИИ, стойки для оборудования высокой плотности с поддержкой общей мощности до 300 кВт или даже больше.

Stack намерена применять конфигурируемые решения, которые смогут поддерживать мощность до 30 кВт на стойку с традиционным воздушным охлаждением или до 50 кВт на стойку с теплообменниками на задней двери. При переходе на прямое жидкостное охлаждение мощность будет достигать 100 кВт на стойку. Stack также заявляет, что в дальнейшем намерена обеспечить мощность 300 кВт на стойку или выше благодаря внедрению погружного охлаждения.

Заявленный показатель — это весьма большое значение, и в настоящее время лишь несколько компаний объявили о подобных проектах. Так, CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ: он также предусматривает мощность до 300 кВт на стойку при использовании погружного охлаждения. Digital Realty готовит колокейшн-площадки со стойками на 70 кВт. В свою очередь, Equinix намерена использовать СЖО в более чем 100 ЦОД по всему миру.

Источник изображения: Stack

Stack в Северной Америке оперирует площадками в Атланте, Калгари, Чикаго, Далласе-Форт-Уэрте, Нью-Олбани, Северной Вирджинии, Фениксе, Портленде, Кремниевой долине и Торонто. В регионе EMEA компания работает в Копенгагене, Франкфурте, Женеве, Милане, Осло, Стокгольме и Цюрихе. В Азиатско-Тихоокеанском регионе у неё есть ЦОД в Канберре, Мельбурне, Осаке, Перте, Сеуле и Токио. В дальнейшем Stack намерена активно расширяться, для чего недавно было привлечено долговое финансирование на сумму более $290 млн.

Корпорация Intel, по сообщениям сетевых источников, расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, поддерживающих ресурсоёмкие задачи, в частности, приложения ИИ.

В проекте принимают участие компании Kenmec и Auras Technology. Кроме того, Intel сотрудничает с Тайваньским институтом промышленных исследований (ITRI): стороны намерены сформировать новую лабораторию для сертификации технологий охлаждения НРС-систем на соответствие международным стандартам.

Источник изображения: Intel

Инициатива Intel предусматривает создание первого в отрасли открытого решения для развёртывания полноценных систем иммерсионного (погружного) охлаждения. Кроме того, будет предложен эталонный дизайн такой платформы. Предполагается, что технология поможет поднять производительность ЦОД. Intel говорит о разработке модульной системы охлаждения на основе сверхтекучей жидкости, которая обеспечит возможность отвода тепла от компонентов мощностью 1500 Вт и более.

Новая СЖО, как ожидается, будет внедряться в тайваньских и международных дата-центрах. Отмечается, что ЦОД, ориентированные на задачи ИИ, требуют всё большей плотности размещения компонентов при повышении энергоэффективности и надёжности. Во многом достижение этих показателей зависит от возможностей систем охлаждения.

Kenmec уже предлагает ряд продуктов для жидкостного охлаждения — от блоков распределения охлаждающей жидкости (CDU) до специализированных стоек Open Rack version 3 (ORv3). Причем некоторые такие решения уже сертифицированы Intel.

Как заявили представители подающего надежды австралийского облачного провайдера ResetData, владельцам зданий стоит рассмотреть не только постепенно распространяющиеся технологии вроде обогрева помещений за счёт тепла ЦОД, но и более необычные варианты. Как сообщает The Register, собственный дата-центр в здании может стать очередным предложением для арендаторов. ResetData как раз и намеревается предлагать такие микро-ЦОД.

Компания разработала модули Hiperdrive с погружной СЖО для снижения энергопотребления и повышения теплоотдачи. Стартап дорабатывает Intel-серверы Dell таким образом, чтобы те могли работать с иммерсионным охлаждением Submer с сохранением гарантии производителя, причём у него, как сообщается, соответствующая сертификация. Как и прочие стартапы такого профиля, ResetData обеспечивает отдачу тепла на нагрев воды, в том числе для систем отопления.

Фото: Submer

Погружные системы охлаждения обычно тяжелее традиционных, иногда они чересчур тяжелы даже традиционных ЦОД. Поэтому ResetData оптимизировала конструкцию модулей и предложила размещать их в подвалах — там обычно прохладно, а рядом находятся все коммуникации, от канализации и водопровода до электричества. В компании считают, что владельцы бизнес-центров и офисных кампусов могут рассмотреть установку таких микро-ЦОД и сдавать вычислительные мощности и/или хранилища данных арендаторам.

Преимуществом размещения ЦОД в подвале будет минимальная задержка доступа к данным. Кроме того, СЖО обеспечивают высокую плотность размещения аппаратных мощностей, что позволяет даже небольшому модулю обслуживать нескольких клиентов. ResetData предлагает законченное решение на базе OpenStack или AzureStack HCI. В скором будущем ожидается поддержка решений Red Hat, Citrix и VMware. Если арендаторам понадобятся ИИ-вычисления или 3D-графика, Hyperdrive может предоставить серверы с ускорителями NVIDIA A40.

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий в том числе услуги колокации и объединения сетей, объявила о планах по расширению поддержки передовых СЖО на своих площадках по всему миру. Речь, в частности, идёт о применении прямого жидкостного охлаждения Direct-to-chip с размещением водоблоков на чипах внутри серверов.

Equinix обеспечит возможность использования СЖО в более чем 100 своих ЦОД в составе сети International Business Exchange (IBX). Эти площадки располагаются в более чем 45 городах по всему миру, включая Лондон, Сингапур и Вашингтон. Благодаря внедрению СЖО клиенты смогут использовать мощное оборудование с высокой плотностью компоновки для поддержания ресурсоёмких рабочих нагрузок, связанных с ИИ и пр.

Источник изображения: Equinix

Equinix предлагает независимый от поставщика подход, позволяющий заказчикам применять необходимое оборудование любых производителей. Отмечается, что переход на СЖО даёт возможность поднять производительность при одновременной экономии энергии. Кроме того, улучшается отказоустойчивость и надёжность критически важной цифровой инфраструктуры.

Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.