Корпорация Intel, по сообщениям сетевых источников, расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, поддерживающих ресурсоёмкие задачи, в частности, приложения ИИ.

В проекте принимают участие компании Kenmec и Auras Technology. Кроме того, Intel сотрудничает с Тайваньским институтом промышленных исследований (ITRI): стороны намерены сформировать новую лабораторию для сертификации технологий охлаждения НРС-систем на соответствие международным стандартам.

Источник изображения: Intel

Инициатива Intel предусматривает создание первого в отрасли открытого решения для развёртывания полноценных систем иммерсионного (погружного) охлаждения. Кроме того, будет предложен эталонный дизайн такой платформы. Предполагается, что технология поможет поднять производительность ЦОД. Intel говорит о разработке модульной системы охлаждения на основе сверхтекучей жидкости, которая обеспечит возможность отвода тепла от компонентов мощностью 1500 Вт и более.

Новая СЖО, как ожидается, будет внедряться в тайваньских и международных дата-центрах. Отмечается, что ЦОД, ориентированные на задачи ИИ, требуют всё большей плотности размещения компонентов при повышении энергоэффективности и надёжности. Во многом достижение этих показателей зависит от возможностей систем охлаждения.

Kenmec уже предлагает ряд продуктов для жидкостного охлаждения — от блоков распределения охлаждающей жидкости (CDU) до специализированных стоек Open Rack version 3 (ORv3). Причем некоторые такие решения уже сертифицированы Intel.

Как заявили представители подающего надежды австралийского облачного провайдера ResetData, владельцам зданий стоит рассмотреть не только постепенно распространяющиеся технологии вроде обогрева помещений за счёт тепла ЦОД, но и более необычные варианты. Как сообщает The Register, собственный дата-центр в здании может стать очередным предложением для арендаторов. ResetData как раз и намеревается предлагать такие микро-ЦОД.

Компания разработала модули Hiperdrive с погружной СЖО для снижения энергопотребления и повышения теплоотдачи. Стартап дорабатывает Intel-серверы Dell таким образом, чтобы те могли работать с иммерсионным охлаждением Submer с сохранением гарантии производителя, причём у него, как сообщается, соответствующая сертификация. Как и прочие стартапы такого профиля, ResetData обеспечивает отдачу тепла на нагрев воды, в том числе для систем отопления.

Фото: Submer

Погружные системы охлаждения обычно тяжелее традиционных, иногда они чересчур тяжелы даже традиционных ЦОД. Поэтому ResetData оптимизировала конструкцию модулей и предложила размещать их в подвалах — там обычно прохладно, а рядом находятся все коммуникации, от канализации и водопровода до электричества. В компании считают, что владельцы бизнес-центров и офисных кампусов могут рассмотреть установку таких микро-ЦОД и сдавать вычислительные мощности и/или хранилища данных арендаторам.

Преимуществом размещения ЦОД в подвале будет минимальная задержка доступа к данным. Кроме того, СЖО обеспечивают высокую плотность размещения аппаратных мощностей, что позволяет даже небольшому модулю обслуживать нескольких клиентов. ResetData предлагает законченное решение на базе OpenStack или AzureStack HCI. В скором будущем ожидается поддержка решений Red Hat, Citrix и VMware. Если арендаторам понадобятся ИИ-вычисления или 3D-графика, Hyperdrive может предоставить серверы с ускорителями NVIDIA A40.

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий в том числе услуги колокации и объединения сетей, объявила о планах по расширению поддержки передовых СЖО на своих площадках по всему миру. Речь, в частности, идёт о применении прямого жидкостного охлаждения Direct-to-chip с размещением водоблоков на чипах внутри серверов.

Equinix обеспечит возможность использования СЖО в более чем 100 своих ЦОД в составе сети International Business Exchange (IBX). Эти площадки располагаются в более чем 45 городах по всему миру, включая Лондон, Сингапур и Вашингтон. Благодаря внедрению СЖО клиенты смогут использовать мощное оборудование с высокой плотностью компоновки для поддержания ресурсоёмких рабочих нагрузок, связанных с ИИ и пр.

Источник изображения: Equinix

Equinix предлагает независимый от поставщика подход, позволяющий заказчикам применять необходимое оборудование любых производителей. Отмечается, что переход на СЖО даёт возможность поднять производительность при одновременной экономии энергии. Кроме того, улучшается отказоустойчивость и надёжность критически важной цифровой инфраструктуры.

Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.

В ходе 28-й Конференции ООН по изменению климата (COP28), которая проходит в Дубае (ОАЭ) с 30 ноября по 12 декабря 2023 года, 63 государства, включая США и Канаду, подписали обязательство сократить выбросы парниковых газов в сфере охлаждения примерно на две трети до 2033 года.

Отмечается, что охладительные установки, такие как системы кондиционирования воздуха, не только приносят людям облегчение во время жары, но также критически важны для целого ряда областей. Холодильное оборудование применяется для обеспечения сохранности продуктов питания, при доставке лекарственных препаратов и пр. Одним из крупнейших секторов использования охладительных установок является сегмент дата-центров.

Источник изображения: Google

Традиционные методы охлаждения провоцируют изменение климата. По данным ООН, на такие системы приходится более 7 % от общего объёма глобальных выбросов парниковых газов. Эксперты говорят, что при сохранении нынешних тенденций к 2050 году потребность в энергии для охлаждения помещений возрастёт в три раза. А это спровоцирует рост вредных выбросов в атмосферу. Ситуация ухудшается из-за быстрорастущей плотности и мощности ЦОД на фоне стремительного развития сервисов ИИ и НРС. Если не предпринять необходимые меры, затраты на охлаждающее оборудование к 2050 году, как ожидается, увеличатся более чем в два раза.

В соответствии с подписанным обязательством страны должны сократить выбросы парниковых газов в сфере охлаждения на 68 % к 2033-му, а также повысить энергоэффективность такого оборудования.

Сообщается также, что высокому риску воздействия экстремальной жары из-за отсутствия доступа к охлаждению подвергаются более 1 млрд жителей планеты, подавляющее большинство из которых проживают в Африке и Азии. Более того, почти треть населения Земли сталкивается со смертельно опасными тепловыми волнами более 20 дней в году. Поэтому охлаждение имеет важное значение для защиты здоровья. Между тем принятие мер по снижению энергопотребления холодильного оборудования не только поможет уменьшить вредные выбросы, но и позволит снять нагрузку с энергосетей и сэкономить триллионы долларов.

Управление генерального инспектора (OIG) Министерства энергетики США провело проверку ЦОД Национальной лаборатории Ок-Ридж, на базе которой работают передовые суперкомпьютеры, в том числе — первая в мире экзафлопсная система Frontier. Как сообщает The Register, результаты оставляют желать лучшего.

В сентябре прошлого года в OIG поступило заявление о необходимости проверки качества обслуживания и калибровки оборудования (в первую очередь речь температурных датчиках и автоматике систем охлаждения) на площадке лаборатории, расположенной в Теннеси. Лаборатория занимается проектами в области атомной энергетики и обеспечения национальной безопасности. Доклад по результатам проверки связан с ЦОД на площадке Ок-Ридж. В одном из кампусов находится центр Oak Ridge Leadership Computing Facility (OLCF), управляющий суперкомпьютером Frontier.

Фото: ORNL

Инспекция проводилась с января по сентябрь 2023 года и подтвердила данные поступившего регулятору заявления. Согласно докладу OIG, в заявлении сообщалось, что программа калибровки не соответствовала нормам, а предохранительные клапаны (PRV) в ЦОД или совсем не обслуживались, или обслуживались недобросовестно. Сбой работы клапанов мог привести к повышению давления выше допустимых пределов, что потенциально могло нанести вред как оборудованию, так и персоналу. Как сообщают в OIG, поскольку инфраструктура не обслуживалась должным образом, этом могло ограничить доступность вычислительных ресурсов и поставить под угрозу выполнение целей миссии лаборатории.

Управление вычислительными мощностями лаборатории выполняет некоммерческая организация UT-Battelle, созданная в 2000 году исключительно для контроля над площадкой Ок-Ридж в интересах Министерства энергетики при сотрудничестве с Университетом Теннесси и некоммерческим Мемориальным институтом Баттеля.

Фото: ORNL

В OIG заявляют, что программа обслуживания UT-Battelle не соответствовала необходимым требованиям. В самой UT-Battelle сообщили регулятору, что регулярная калибровка не нужна, поскольку каждый элемент оборудования калибруется при установке, а позже системы ЦОД постоянно контролируются субподрядчиком с помощью ПО, уведомляющего об инцидентах. В OIG подчёркивают, что хотя такая практика разрешена, всё ПО должно контролироваться с помощью специальной программы обеспечения качества, описывающей, каким именно образом соблюдаются требования к безопасности.

Однако лаборатория не смогла предоставить таких документов — в UT-Battelle фактически не знают, предоставляет ли ПО корректные данные. Кроме того, UT-Battelle не проверяла вовремя все воздушные клапаны, а почти половина клапанов для воды и теплоносителя не была протестирована и/или обследована в соответствиями с инструкциями. В некоторых случаях тесты проводили в соответствии с рекомендациями производителя, а не принятыми в лаборатории правилами. UT-Battelle заявляет, что процедура проверки сейчас пересматривается.

Изображение: AMD

В отчёте OIG подчёркивается, что в 2020 году уже проводилась аналогичная проверка, выявившая буквально те же проблемы. Хотя в некоторых аспектах положение улучшилось, требуются дальнейшие меры для приведения дел в порядок. При этом в UT-Battelle полностью признали правомерность рекомендаций и согласились разработать план обеспечения качества для мониторингового ПО и обеспечить работу и обслуживание PRV-клапанов в соответствии с актуальными процедурами и требованиями.

Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.

Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.

Серверы прошлого поколения (Источник изображений: Cloudflare)

Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.

Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.

Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:

• Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
• Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
• Меньшее сопротивление воздушным потокам внутри корпуса;
• Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.

Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.

Индийский технологический гигант Infosys, специализирующийся на разработке ПО, консалтинге и аутсорсинге, объявил о заключении соглашения о сотрудничестве с международной энергетической компанией Shell New Energies UK с целью ускорения внедрения систем погружного охлаждения в дата-центрах.

По оценкам, на ЦОД приходится до 1,5 % мирового потребления электроэнергии и 1 % глобальных выбросов углекислого газа. Повсеместное внедрение ИИ, как отмечается, увеличит эти показатели. Вместе с тем технологии погружного охлаждения потенциально могут обеспечить снижение выбросов CO₂ на 30 % и сокращение энергопотребления на 48 %.

Infosys намерена использовать синтетическую охлаждающую жидкость Shell Immersion Cooling Fluid для однофазных систем погружного охлаждения вместе со своей ИИ-платформой Topaz. Она включает набор услуг для генеративного ИИ. Это, в частности, более 150 предварительно обученных моделей и всевозможные ресурсы для ИИ.

Источник изображения: Shell

После пилотного тестирования нового решения для охлаждения ЦОД на своих площадках компании намерены предлагать технологию корпоративным заказчикам по всему миру. Жидкости Shell, как ожидается, помогут клиентам сократить расходы и повысить производительность своих дата-центров, а также снизить негативное воздействие на окружающую среду.

Около года назад Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Составы Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Такие жидкости предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов.

Хотя многие знают, что на операции с биткоинами тратится очень много электроэнергии, не всем известно, что соответствующая экосистема требует для работы и существенных объёмов воды. Как сообщает The Register, основатель Digiconomist и эксперт Амстердамского свободного университета Алекс де Врис (Alex de Vries) предполагает, что экосистема биткоина только в 2023 году потратит 2237 гигалитров пресной воды (1 гигалитр = 1 млн м³).

В США на добычу этой криптовалюты за год ушло 39–120 гигалитров воды, примерно столько же потребляют 300 тыс. домохозяйств или город размером с Вашингтон. В прошлом году биткоин подешевел, что привело к некоторому спаду использования энергии и воды, но в текущем году его цена снова выросла, а в марте 2023 года потребление энергии взлетело до рекордных значений. По итогам года на биткоин уйдёт 141,9 ТВт·ч, т.е. на треть выше в сравнении с 2021 годом. В 2021 году на биткоины во всём мире было потрачено почти 1600 гигалитров — примерно 16 тыс. литров на каждую транзакцию, т.е. в 6,2 млн раз больше, чем обходится обработки транзакции банковской карты.

Источник: Alex de Vries / Cell.com

По мнению эксперта, способы снизить расход воды и энергии имеются, но, похоже, никто не намерен ими воспользоваться, поскольку биткоин-сообщество весьма консервативно. Переход на более эффективные механизмы, как это произошло с Ethereum, не предвидится. Более того, держатели и майнеры во многом видят залог относительной надёжности и стабильности биткоина в том, что никаких изменений и не будет. Эксперт отмечает, что огромный урон окружающей среде может привести к серьёзным проблемам, особенно на фоне острой нехватки воды в мире.

Например, в Казахстане, ставшем крупной площадкой для майнинга биткоинов после запрета аналогичной деятельности в Китае, нехватка воды приведёт к настоящему кризису. Ожидается, что с учётом климатических изменений дефицит воды в стране к 2030 году составит 75 гигалитров. В 2021 году на майнинг биткоинов в Казахстане ушло около 1 тыс. гигалитров воды. При этом, как утверждает учёный, нет никаких свидетельств того, что тревожные новости вызывают какую-либо озабоченность в биткоин-сообществе. На этом фоне затраты воды на обучение и запуск нейросетей уже не кажутся такими уж большими.

Облачная платформа Amazon Web Services (AWS), по сообщению ресурса Datacenter Dynamics, переводит системы охлаждения в своих ЦОД на сточные воды. Технология уже используется примерно на 20 площадках компании, а в перспективе её внедрение расширится.

Дата-центры обычно расходуют воду из питьевых источников, которая многократно циркулирует в контурах охлаждения. Из-за накопления бактерий и известкового налёта воду обрабатывают специальными химическими веществами, что делает её непригодной для дальнейшего использования в обычных бытовых целях. Точное количество питьевой воды, используемой индустрией ЦОД, неизвестно, но, по оценкам, оно исчисляется миллиардами литров в год.

Новая технология AWS предполагает повторное применение сточных вод, которые проходят трехэтапный процесс очистки: при этом удаляются 99 % всех примесей и бактерий. После того, как такая вода проходит через систему охлаждения, она снова попадает на станцию очистки для прохождения следующего цикла фильтрации.

Источник изображения: AWS

На сегодняшний день AWS применят комплекс очистки сточных вод в 16 дата-центрах в Вирджинии и на нескольких объектах в Санта-Кларе (Калифорния). В целом, компания управляет более чем 100 площадками по всему миру, а ещё десятки находятся в разработке. В конце 2022 года AWS заявила о намерении добиться положительного водного баланса к 2030 году: компания будет отдавать больше чистой воды, чем потреблять.

Аналогичные инициативы реализуют и другие гиперскейлеры. Так, Google ранее заявляла, что использует очищенную или непитьевую воду более чем в 25 % кампусов ЦОД. Microsoft также пообещала добиться положительного водного баланса к 2030-му: корпорация использует оборотную воду в своих дата-центрах в Сан-Хосе (Калифорния), Куинси (Вашингтон), Техасе и Сингапуре. К концу десятилетия отдавать больше чистой воды, чем расходовать рассчитывает и Meta✴. А европейские дата-центры планируют снизить потребление воды до 400 мл/кВт·ч к 2040 году.