Стартап Qarnot, известный как поставщик «цифровых бойлеров», использующих для нагрева воды тепло от встроенных в них серверов, а также провайдер HPC-услуг, объявил о получении финансирования на сумму €35 млн. В нём приняли участие Société Générale Ventures, фонд Demeter, ADEME Investissement, Colam Impact и La Banque des Territoires. Сейчас в число клиентов Qarnot входят социальные арендодатели, застройщики, местные органы власти, плавательные бассейны и операторы тепловых сетей.

В результате раунда Qarnot привлёк €12,5 млн, а также договорился о кредитной линии в размере €22,5 млн. Стартап сообщил, что средства позволят привлечь в команду 50 новых сотрудников в 2023 году. В настоящее время в компании работает около 70 человек. Ранее компания суммарно привлекла около $9 млн инвестиций. В число инвесторов вошли Data4 Group, Société Générale и Banque des Territoires/Caisse des Dépôts, Королевский технологический институт KTH и анимационный дом Illumination. Кроме того, Société Générale также является клиентом компании.

Фото: Qarnot (via TechCrunch)

Согласно последним данным, Qarnot развернула на 25 площадках во Франции и Финляндии 100 «цифровых бойлеров», содержащих в общей сложности около 70 000 высокопроизводительных вычислительных ядер. Как сообщает ресурс TechCrunch, компания развернула пилотный центр обработки данных в Финляндии с вычислительной мощностью 100 кВт. Планы Qarnot включают размещение нескольких ЦОД во Франции и Европе с вычислительными блоками QBx мощностью от «сотен кВт до нескольких МВт». Система QBx, в которой используется восстановленное OCP-оборудование от ITRenew, позволяет нагревать воду до температуры выше +60° C.

Фото: Qarnot (via TechCrunch)

Масштабируемые «цифровые бойлеры» Qarnot объединяют до 12 OCP-серверов с процессорами AMD EPYC и Intel Xeon. Такой модуль подключается к системе отопления и до 95 % отработанного тепла серверов направляется на нагрев воды. «Идея состоит в том, что мы должны иметь возможность развёртывать ЦОД в местах, где люди потребляют тепло. Это совершенно другой подход по сравнению с традиционными ЦОД», — сообщил ресурсу TechCrunch соучредитель и гендиректор Qarnot Пол Бену (Paul Benoit).

Французская компания Qarnot предоставляет услуги высокопроизводительных вычислений компаниям вроде Adobe, Societe Generale, Illumination и Fix Studio. Изюминкой её деятельности является акцент на использовании тепла серверов в разных целях — на этот раз его применили для приготовления ужина.

Фото: Clément Pellegrini/LinkedIn

Вычислительные кластеры Qarnot OBx, по данным компании, позволяют использовать до 96 % выделяемого серверами тепла для нагрева, например, воды. Один из них и использовала Qarnot, подойдя к вопросу использования тепла с кулинарной изобретательностью. Так, в ёмкости c циркулирующей горячей водой появились утка, говядина и лосось. Чтобы охлаждающая жидкость не превратилась в бульон, продукты разместили в вакуумированной упаковке.

Пока система занималась 3D-рендерингом, температура в ёмкости поддерживалась на уровне +55 °C. Этого вполне достаточно, чтобы использовать французскую технологию приготовления мяса sous vide — она предусматривает приготовление блюд при относительно невысоких температурах. Правда, процесс приготовления в этом случае затягивается. Разумеется, в данном случае речь идёт лишь о демонстрации возможностей решений Qarnot.

Компания активно продаёт отработанное тепло, но оно обычно применяется более традиционными способами, преимущественно для отопления жилых и коммерческих зданий. По словам технического директора компании, её решения снижают энергозатраты на отопление на 65 %, а сопутствующие выбросы углерода — на 81 %. В 2018 году компания представила «криптообогреватели», представляющие собой комбинацию вычислительного устройства и обогревателя для дома, а в 2020 году предложила отапливать дома с помощью б/у серверов.

Разработчик СЖО GRC (Green Revolution Cooling) сообщил о том, что компания Shell Lubricants (Shell) присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем иммерсионного (погружного) охлаждения. Инициатива GRC предусматривает возможность использования диэлектрических жидкостей разного типа для СЖО в дата-центрах. Такие жидкости должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности. При этом отстуствие унификации и потверждения совместимости усложняет массовое внедрение таких решений в ЦОД.

Источник изображения: GRC

Отмечается, что сейчас системы иммерсионного охлаждения занимают небольшую нишу в сегменте ЦОД, но становятся всё более распространёнными в связи с развитием новых платформ, которым требуются большие вычислительные ресурсы. Ассортимент GRC ElectroSafe включает в себя широкий спектр высокоэффективных и безопасных для окружающей среды синтетических охлаждающих жидкостей, прошедших тщательные испытания. При этом партнёрская программа предоставляет платформу для совместной работы по повышению эффективности однофазных охлаждающих жидкостей.

Жидкости Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Исследования показали, что они предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов и более высокие диэлектрические показатели по сравнению с другими коммерчески доступными жидкостями. Кроме того, говорится о высокой точке кипения.

«Shell рада стать участником партнёрской программы GRC ElectroSafe. Поскольку однофазное иммерсионное охлаждение предлагает преимущества в плане производительности и стоимости, мы считаем, что сочетание передовых систем охлаждения GRC с разработками Shell обеспечит отличное решение для ЦОД по всему миру», — заявляет компания.

Компания Meta✴ намерена пересмотреть концепцию ряда проектов по созданию новых ЦОД с целью их адаптации под ИИ-нагрузки, сообщает DataCentre Dynamics. Это подразумевает расторжение контрактов с некоторыми нынешними подрядчиками и изменение сроков строительства дата-центров.

В начале февраля 2022 года сообщалось, что Meta✴ продолжит увеличивать инвестиции в ЦОД и сетевую инфраструктуру. В частности, компания намеревалась потратить €1 млрд на строительство дата-центра в Испании для обслуживания метавселенной. Позднее стало известно, что Meta✴ была вынуждена отказаться от планов по развёртыванию в Нидерландах крупнейшего в Европе кампуса ЦОД. Тем не менее, в отчёте за III квартал компания подтвердила намерение и далее инвестировать средства в развитие инфраструктуры.

Источник изображения: Meta✴

Теперь же говорится, что компания намерена кардинально изменить подход к строительству ряда новых дата-центров. Речь идёт об 11 проектах, находящихся на стадии разработки и планирования. Сообщается, что для поддержки масштабных ИИ-нагрузок требуется другой подход к архитектуре ЦОД, нежели тот, который использовался для поддержки работы обычных онлайн-сервисов Meta✴. Речь, в частности, идёт о применении СЖО для повышения энергетической эффективности и снижения уровня шума.

Meta✴ уже приостановила работы над двумя объектами в своем кампусе в Оденсе (Дания). Контракт с генеральным подрядчиком Aarsleff в рамках этого проекта расторгнут. Соответствующий договор стоимостью $343 млн был подписан 3 августа 2022 года с запланированным сроком исполнения в 2025 году. Уже были выполнены земляные и бетонные работы, а также проложены километры кабельных траншей. Как теперь сложится дальнейшая судьба проекта, не ясно. Но специалисты говорят, что Meta✴, вероятно, сосредоточит усилия на ЦОД нового поколения с жидкостным охлаждением.

UPD: Meta✴ временно приостановила начатое весной этого строительство ещё одного крупного дата-центра (83,6 тыс м²) в Темпле (Техас, США), сообщив, что проект отменён не будет, но дизайн ЦОД будет пересмотрен. Также компания остановила уже начатые работы по расширению кампуса ЦОД в Алабаме до 325 тыс. м² и строительство $800-млн ЦОД в Айдахо.

Исследование, проведённое компанией Omdia, говорит о том, что на мировом рынке систем жидкостного охлаждения (СЖО) в ближайшие годы будет наблюдаться стремительный рост. Этому должны способствовать операторы дата-центров и крупных облачных платформ.

Аналитики говорят, что мощное оборудование в современных ЦОД становится всё сложнее охлаждать исключительно при помощи воздуха. Поэтому провайдеры внедряют СЖО, а также присматриваются к технологиям иммерсионного (погружного) охлаждения. Так, согласно прогнозам Omdia, к 2026 году глобальные затраты на СЖО могут достичь $3 млрд (без учёта майнинговых ферм). Если эти ожидания оправдаются, показатель CAGR (среднегодовой темп роста в сложных процентах) составит 50,4 %.

Источник изображения: Robert Anderson/unsplash.com

Среди ключевых преимуществ внедрения СЖО в дата-центрах аналитики называют повышение энергоэффективности, снижение уровня шума, устранение необходимости в сложном управлении воздушными потоками, тщательный контроль температуры, возможность повторного использование тепла и достижение целей устойчивого развития. В то же время необходимо учитывать ряд факторов, включая местоположение ЦОД, климатические условия, удельную мощность, рабочие нагрузки, эффективность и доступность физического пространства.

В целом, полагают эксперты, комбинация систем на основе воздушного и жидкостного охлаждения, вероятно, станет обычным явлением в дата-центрах в ближайшем будущем. Большинство поставщиков облачных услуг уже внедряют СЖО в той или иной форме — от тестирования концепции до фактического развёртывания.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

Источник изображения: Meta/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о разработке системы гибридного иммерсионного (погружного) охлаждения серверов в центрах обработки данных (ЦОД). Технология призвана повысить эффективность расхода электроэнергии и высвободить площади, занимаемые традиционным оборудованием.

Суть метода сводится к использованию двух типов СЖО. На центральных процессорах и ускорителях монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещают в резервуар со специальной нелетучей диэлектрической углеводородной жидкостью. Для каждого сервера применяется собственный резервуар, что, по словам создателей, обеспечивает хорошую масштабируемость, гибкость развёртывания и удобство мониторинга.

Изображения: OVHcloud

Для системы предусмотрено применение трёхуровневой стойки библиотечного типа с возможностью монтажа 48 серверов формата 1U или 24 серверов стандарта 2U. Сами стойки имеют пассивный дизайн, то есть не содержат ни помп, ни вентиляторов, а значит, не затрачивают энергию на охлаждение. Потребление электроэнергии и капитальные затраты дополнительно снижаются за счёт исключения системы испарительного охлаждения в ЦОД, расположенных в регионах с температурой окружающего воздуха ниже +43 °С.

Утверждается, что новое решение позволяет сократить энергетические затраты дата-центра на охлаждение на 20,7 % по сравнению с обычным жидкостным охлаждением. Энергопотребление серверов снижается на 20 % в год по сравнению с воздушными системами охлаждения. Частичный коэффициент PUE (pPUE) заявлен на отметке 1,004, а коэффициент WUE — 0 для климатических зон с температурой окружающего воздуха ниже +43 °С. Отметим, что похожую систему охлаждения ранее представила Iceotope.

Как сообщает DataCenter Dynamics, американская продовольственная компания Cargill разработала жидкость NatureCool 2000 для погружных СЖО, которая является более экологичной альтернативой для составов, полученных в результате перегонки углеводородов, поскольку на 90 % состоит из растительных масел. Разработчики подчёркивают, что, поскольку она получена из растений с естественным образом «связанным» углеродом, её можно назвать углеродно-нейтральной. Кроме того, новинка является биоразлагаемой.

Источник изображения: Robert Anderson/unsplash.com

При этом показатели NatureCool 2000 не только не уступают самым передовым синтетическим альтернативам, но и превосходят их по теплоотдаче на 10 %. Кроме того, жидкость соответствует всем необходимым стандартам безопасности. В частности, говорится о том, что температура вспышки составляет 325°C, а сама жидкость гаснет после устранения источника высокой температуры, тогда как традиционные синтетические жидкости в этом случае могут продолжать гореть.

Источник: Cargill

Известно, что Cargill уже присоединилась к инициативе Open Compute Project, причём члены команды продовольственной компании принимают активное участие в развитии спецификаций погружных СЖО. Cargill постепенно осваивает нишу продуктов для ЦОД, хотя пока подобный профиль деятельности не является основным для компании.

Группа компаний РСК, ведущий российский разработчик суперкомпьютеров и систем для высокопроизводительных вычислений (HPC), дата-центров, облачных платформ и систем хранения данных (СХД) показала на выставке Иннопром-2022 обновлённую версию своей платформы для автономных периферийных вычислений, которая позволяет оперативно, в течение часа силами двух человек, развернуть HPC-кластер практически в любом месте.

«РСК Мобильный ЦОД»

Решение упаковано в несколько контейнеров (0,7 × 0,7 × 1,1 м), которые можно транспортировать независимо друг от друга и собирать уже на месте. Один контейнер вмещает собственно вычислительную часть, второй — полностью интегрированный модуль распределения теплоносителя с узлом управления, а третий, опциональный — ИБП с инвертором. Дополняет их компактный внешний модуль охлаждения. Вся система имеет весьма солидный запас по возможности отвода тепла — до 60 кВт.

Правда, сейчас столько и не требуется. Вычислительный блок фактически является уменьшенной копией платформы «РСК Торнадо»: 2 колонны по 10 слотов. Поэтому мобильная платформа позволяет совмещать в одной системе серверы «Торнадо» с процессорами x86-64 (AMD EPYC и Intel Xeon) и «Эльбрус» (сейчас 8С/8СВ, в перспективе 16С) с любым уровнем TDP, GPGPU-серверы (по два PCIe-ускорителя на сервер, без ограничений по TDP) и серверы хранения (до 12 × M.2 All-Flash).

В текущем варианте платформы каждый слот рассчитан на 2 кВт тепловой нагрузки (и столько же по питанию), хотя нынешние серверы укладываются в среднем в 700–800 Вт, а серверы следующего поколения потребуют чуть больше 1 кВт. Подсистема питания имеет два домена, по одному на колонну, и требует однофазный ввод AC 230 В/50 Гц, хотя фактически может работать в диапазоне 105–280 В. Запитать систему можно от генератора, а подстраховать — ИБП. Но возможно и специсполнение с поддержкой 48 В DC.

Сервер «РСК Торнадо» с «Эльбрус-8СВ»

Сетевая подсистема может быть представлена ToR-коммутаторами как двойной (на обе колонны) ширины, так и одиночной. В том числе есть варианты с жидкостным охлаждением. Доступен даже InfiniBand — у Mellanox есть коммутаторы в подходящем форм-факторе, рассчитанные на промышленное применение. Также предоставляется 1 GbE-коммутатор для развёртывания служебной сети.

Самая интересная часть — это охлаждение. Как и в «большой» версии платформы здесь используется фирменная СЖО, которая покрывает все компоненты серверов, так что вычислительная часть не требует активного воздушного охлаждения и способна работать даже с закрытыми крышками контейнера. Защиты по какому-либо классу IP в стандартном варианте не предусмотрено, но опять-таки по заказу возможно специсполнение.

СЖО всё так же поддерживает охлаждение горячей водой, причём на всех компонентах температура не превышает +45 °C. Для запуска вычислительного модуля необходимо, чтобы он находился в помещении с плюсовой температурой и чтобы не было образования конденсата. А вот внешний контур охлаждения менее прихотлив и способен работать при температурах от -65 °C. Верхний же предел — не менее +40 °C. Требования по питанию у него те же, что и у серверов.

«РСК Мобильный ЦОД»

Узел управления автоматически отслеживает и регулирует параметры всех компонентов системы во время запуска и работы. По умолчанию используется сценарий защиты оборудования, так что при неблагоприятных условиях серверы могут выключаться. Но возможны и другие сценарии, например, «работа до последнего», когда потеря данных оказывается дороже потери оборудования.

Управляется мобильная платформа фирменной системой оркестрации «РСК БазИС», которая позволяет задействовать все возможности компонуемой, программно определяемой инфраструктуры, в том числе для реализации HCI-платформы. «РСК БазИС» предлагает GUI, CLI, открытые API и SDK для интеграции с другими приложениями. Таким образом, заказчик получает полностью интегрированное программно-аппаратное решение, готовое к быстрому развёртыванию и использованию.

Изначально платформа создавалась для нужд добывающего сектора, но этой сферой её возможности не ограничиваются. Она также подходит для научных экспедиций и промышленных предприятий (срочная обработка больших массивов данных), медиасферы и обслуживания массовых мероприятий (рендеринг, стриминг с множества камер) и т.д. В общем, везде, где на время требуется действительно мощная, но компактная и удобная в доставке, развёртывании и эксплуатации вычислительная платформа.

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.