Компания Supermicro анонсировала рабочую станцию SYS-751GE-TNRT-NV1, предназначенную для ИИ- и HPC-нагрузок. Устройство, как утверждается, обладает высокой производительностью, хорошими показателями энергоэффективности и низким уровнем шума.

Применена материнская плата Super X13DEG-QT с парой Intel Xeon 6444Y (16C/32T; 3,6–4,0 ГГц; 270 Вт). В базовую комплектацию входят 512 Гбайт DDR5-4800 в виде 16 модулей по 32 Гбайт. В оснащение включены четыре ускорителя NVIDIA A100 (80 Гбайт, PCIe), попарно соединённых мостиками NVLink и оснащённых водоблоками, и 25GbE-адаптер NVIDIA ConnectX-6 Dx. Кроме того, есть два сетевых порта 10GbE (Intel X550-AT2) и выделенный 1GbE-порт для BMC ASPEED AST2600. Подсистема хранения данных объединяет шесть 1,92-Тбайт NVMe SSD, два из которых объединены в массив RAID 1. Для вывода изображения используется NVIDIA RTX A4000.

Источник изображения: Supermicro

Для всех CPU и GPU предусмотрено использование СЖО. Станция также наделена тремя вентиляторами — двумя на 120 мм и одним диаметром 80 мм. Задействованы два блока питания мощностью 2200 Вт каждый. Упомянуты семь слотов расширения PCIe 5.0 x16 FHFL, последовательный порт, разъёмы USB 3.2 Gen1, USB 3.2 Gen2 Type-C и D-Sub. Габариты составляют 218,4 × 454,7 × 701 мм, вес — 44 кг. Диапазон рабочих температур — от +10 до +25 °C. Установлена операционная система Ubuntu 22.04 LTS. В комплекте поставляется подписка на NVIDIA AI Enterprise на 3 года.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Компания Equinix, один из крупнейших операторов ЦОД, по сообщению ресурса Datacenter Dynamics, открыла городскую ферму на крыше своего дата-центра в Париже. Уникальный проект реализован в сотрудничестве со специалистами Reid Brewin Architects (RBA). Комплекс на объекте PA10 в Сен-Дени (коммуна в 9 км к северу от центра Парижа) включает теплицу площадью 430 м².

Источник изображения: RBA

Оптимальная температура здесь поддерживается за счёт датчиков и теплообменников, подключённых к системе охлаждения ЦОД. В теплице будут выращиваться сезонные фрукты и овощи с использованием гидропонной системы: это даст возможность максимально эффективно использовать пространство и свести к минимуму расход воды. Предусмотрены автоматические солнцезащитные панели, системы орошения и вентиляции для обеспечения идеального микроклимата в течение всего года.

Источник изображения: Equinix

Кроме того, на крыше дата-центра PA10 развёрнуты сады площадью 570 м², окружающие теплицу. Они будут засажены растениями, опыляемыми насекомыми. Предполагается максимальное потребление дождевой воды, что в числе прочего поможет снизить нагрузку на ливневые каналы. Сады приспособлены для маломобильных граждан. Есть естественно затенённые места отдыха для посетителей и персонала.

Equinix и RBA утверждают, что подобный проект реализован во Франции впервые. Однако сама идея вторичного использования тепла, выделяемого дата-центрами, далеко не нова. К примеру, ещё в 2020 году было предложено использовать б/у-серверы гиперскейлеров для обогрева теплиц с помидорами. Существует также проект использования тепла ЦОД для обогрева теплиц или рыбных ферм, где разводят форель и угорь, а также выращивают омаров.

Британская Deep Green эффективно использует микро-ЦОД мощностью 28 кВт для перифейриынх вычислений, одновременно обеспечивая теплом бассейн в британском Эксмуте (Девон) на юго-западе Англии. По данным DataCenter Dynamics, хотя проектов обогрева домов и офисов с помощью ЦОД немало, стартап пошёл своим путём.

Изображение: Deep Green

Если крупные операторы обычно делятся теплом больших ЦОД, то Deep Green разместила небольшой кластер, прозванный «цифровым бойлером», в помещении плавательного бассейна центра Exmouth Leisure Centre и бесплатно подогревает воду для пловцов. В Deep Green уже заявили, что их микро-ЦОД позволил на 62 % снизить затраты на газ — более, чем на $24 тыс. в год, одновременно снизив углеродный выброс бассейна на 25,8 т. Если в норме Exmouth Leisure Centre тратит 222 тыс. кВт·ч на обогрев воды ежегодно, то стартап позволяет сэкономить до 139,3 тыс. кВт·ч.

Изображение: Deep Green (via The Next Web)

В 2023 году компания намерена оснастить своими «цифровыми бойлерам» сразу двадцать бассейнов. Тепло они будут получать бесплатно, а расходы на установку и содержание оборудования Deep Green возьмёт на себя. От инициативы могут выиграть более 1500 бассейнов — около 79 % подобных центров в Англии оказались на грани закрытия из-за резко выросших в последние годы цен на энергию. Потенциальными заказчикам вычислительных мощностей Deep Green видит компании, которым нужны распределённые периферийные узлы, в том числе для формирования CDN.

Изображение: Deep Green (via The Next Web)

Deep Green пока сама занимается выпуском резервуаров (до 40 кВт), использующих в качестве теплоносителя минеральное масло, но уже ведёт переговоры с GRC и Submer. Тестовый микро-ЦОД включает узлы с одним процессором AMD EPYC, четырьмя ускорителями NVIDIA A100 и 4-Тбайт SSD. 12 серверов в Эксмуте используются для тренировки ИИ-моделей и машинного обучения, но их можно перепрофилировать для предоставления облачных услуг или обработки видео.

В Великобритании есть похожий проект — производитель «цифровых бойлеров» Heata и облачный оператор Civo уже предложили устанавливать серверы для отопления домов. Аналогичные решения уже несколько лет предлагает французская Qarnot, недавно привлёкшая €35 млн инвестиций. А в 2020 году ITRenew предложила задействовать микро-ЦОД для обогрева теплиц. Возможно, такие малые проекты окажутся эффективнее попыток обязать крупные ЦОД отдавать тепло на нужды общества, как предлагают Германия и Норвегия.

Словенская компания EK Water Blocks, известный разработчик систем жидкостного охлаждения, анонсировала водоблоки серии EK-Pro CPU WB SP5, предназначенные для серверных процессоров AMD EPYC Genoa. Решения уже доступны для заказа на европейском рынке по цене около €155.

Одна из новинок, модель EK-Pro CPU WB SP5 Ni + Acetal, ориентирована на рабочие станции. Используются три стандартных фитинга G1/4", которые расположены в верхней части. Основание изготовлено из чистейшей меди с никелевым покрытием. Верхняя часть выполнена из полиформальдегида (ацеталь).

Источник изображений: EK Water Blocks

Второй водоблок, EK-Pro CPU WB SP5 Rack Ni + Acetal, предназначен для серверов формата 1U. Четыре фитинга стандарта G1/8" расположены в боковых частях. Решение спроектировано таким образом, чтобы полностью покрывать теплораспределяющую пластину процессора в исполнении SP5. Микроребристая структура обеспечивает высокую эффективность отвода тепла. Как и в случае с первой новинкой, основание выполнено из меди с никелевым покрытием, а верхняя часть — из полиформальдегида.

Оба водоблока наделены специальным механизмом, исключающим вероятность некорректного монтажа. Благодаря шести подпружиненным винтам обеспечивается оптимальное прижимное усилие. Данный тип крепления позволяет осуществлять установку водоблока без необходимости извлечения материнской платы из корпуса.

Компания Equinix, один из крупнейших операторов дата-центров в мире, по сообщению ресурса Datacenter Dynamics, оборудовала одну из площадок Equinix Metal высокоэффективной системой двухфазного жидкостного охлаждения. Сервис Equinix Metal предоставляет оборудование bare-metal по запросу: доступны ресурсы CPU, GPU и ИИ-ускорители.

Отмечается, что Equinix в течение года тестировала СЖО ZutaCore. Она использует в качестве теплоносителя жидкость 3M Novec с температурой кипения всего 33 ºC при стандартном давлении. Впрочем, в конце прошлого года 3M заявила о сворачивании производства Novec. Кроме того, сейчас Equinix экспериментирует с повышением температуры в машинных залах для сокращения энергозатрат, поэтому СЖО для неё актуальны.

Источник: ZutaCore / Equinix

После первичного тестирования в июне 2022 года Equinix оснастила новой СЖО серверы платформы Metal IaaS. Конфигурация включает 6U-теплообменник в нижней части стойки, который способен обслуживать не менее 20 1U-серверов. Система стабильно функционирует уже в течение шести месяцев в дата-центре NY5 в США. Для проведения эксперимента были выбраны односокетные серверы с 200-Вт процессорами AMD. Утверждается, что применённое решение при любых нагрузках поддерживает температуру CPU ниже 52 ºC, что «значительно меньше по сравнению с любыми системами воздушного охлаждения в 1U-серверах».

Система охлаждения была испытана под давлением для выявления возможных утечек. Коллектор и его быстроразъёмные соединения имеют герметичную конструкцию, что исключает возможные проблемы с утечками жидкости. Говорится, что прямое жидкостное охлаждение процессоров по большей части устраняет необходимость в серверных вентиляторах, что позволяет повысить показатель PUE при одновременном снижении общего энергопотребления.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания Castrol, производитель моторных масел и смазочных материалов, по сообщению The Register, объединила усилия с Государственным научно-исследовательским институтом Швеции (RISE) для разработки диэлектрических жидкостей нового поколения. Предполагается, что жидкости нового типа будут применяться в системах иммерсионного (погружного) охлаждения для дата-центров.

Castrol, принадлежащая группе BP, активно развивает соответствующее направление. Так, ранее компания объединила усилия с фирмой Submer для создания иммерсионных СЖО, а позднее сообщила о формировании специализированной площадки для разработки и тестирования подобных решений. Shell, ещё одна нефтегазовая компания, уже сотрудничает с другим производителем погружных СЖО, компанией Asperitas.

Источник изображения: Submer

Партнёрство с RISE, как ожидается, позволит ускорить разработку новых диэлектрических жидкостей. Castrol планирует привлечь к исследованиям шведских специалистов в области материаловедения. Кроме того, компания получит доступ к передовому оборудованию и испытательным стендам, которыми располагает RISE. Стороны также намерены сообща развивать решения для «задач, связанных с разработкой вычислительных систем следующего поколения».

«Погружное охлаждение — это быстро развивающаяся область, интерес к которой вызван глобальной потребностью в оптимизации эффективности и энергопотребления самых мощных в мире дата-центров», — отметила вице-президент BP по передовым смазочным материалам Ребекка Йейтс (Rebecca Yates).

Отметим, что осенью 2022 года инновационную жидкость для иммерсионных СЖО представила американская продовольственная компания Cargill: NatureCool 2000 на 90 % состоит из растительных масел. Кроме того, новинка является биоразлагаемой.

Компания CryptoBlox Technologies, которая является одним из участников «зелёных» инициатив в области майнинга,приобретает CryptoTherm, специализирующуюся на жидкостных системах охлаждения. Как сообщает DataCenter Dynamics, это должно укрепить позиции компании на рынке добычи криптовалют — CryptoTherm разрабатывает контейнерные ЦОД с погружным охлаждением. Ранее аналогичный шаг сделала Crusoe, поглотившая собственного подрядчика по производству модульных ЦОД Easter-Owens.

Сделка предусматривает выпуск 400 млн акций CryptoTherm общей стоимостью $20 млн, которые полностью перейдут покупателю. Технологии CryptoTherm придутся весьма кстати для CryptoBlox, поскольку компания расширяет подразделение, занимающееся блокчейн-проектами. Дополнительно она намерена развивать и купленный бизнес. Для этого будут выделены ресурсы для расширения парка решений CryptoTherm, связанных с погружным охлаждением, ASIC-майнерами, теплоносителями и т.д.

Источник: CryptoTherm

По данным DataCenter Dynamics, компания занимается реализацией проекта на одном из нефтеносных полей в Альберте (Канада). Проект будет получать энергию за счёт использования попутного природного газа, обычно попросту сжигаемого в факелах при добыче нефти. Планируемая мощность ЦОД составит 3,5–5 МВт, со временем планируется увеличить её до 10 МВт. Подобные проекты получают всё большее распространение. Например, летом появилась информация о том, что ОАЭ и Оман намерены закупить малые ЦОД, работающие на попутном природном газе.

Провайдер облачных услуг Civo сообщил о сотрудничестве с компанией Heata с целью обеспечения горячей водой домов в Великобритании за счёт отвода тепла от размещённых локально серверов, подключённых к системам отопления. Heata позиционирует себя как разработчик инновационной экологически чистой распределённой вычислительной сети, которая использует «мусорное» тепло, генерируемое при обработке вычислительных нагрузок, для нагрева воды.

Компании планируют запустить совместный пилотный проект, в рамках которого клиентам Civo будет предоставлена возможность опробовать облачные нагрузки в сети Heata. Компании заявили, что это позволит клиентам Civo обеспечить тех, кто столкнулся с нехваткой топлива, бесплатной горячей водой.

Источник изображения: Heata

Компактные серверы Heata (36 × 28 см) устанавливаются на внутридомовых бойлерах. Заказчики платят Heata за обработку своих облачных нагрузок на этих серверах (в пакетном режиме), а отводимое от них тепло используется для нагрева воды в бойлере. Работа системы увязана с существующими системами отопления. Бойлеры были протестированы в сотрудничестве с British Gas. Один такой блок позволяет сократить выбросы углекислого газа на 1 т в год.

В настоящее время Heata вместе с Innovate UK занимается определением домов, где будет установлено вычислительное оборудование. Концепция «цифровых бойлеров» не нова. Наиболее известна такими решениями компания Qarnot из Франции, которая недавно привлекла €35 млн инвестиций. А вот компания Nerdalize, занимавшаяся производством «вычислительных» радиаторов, обанкротилась в 2019 году.