Материалы по тегу: погружное охлаждение

10.12.2019 [16:44], Алексей Степин

Schneider Electric, Avnet и Iceotope выпустили новую систему с гибридным жидкостным охлаждением

Компания Schneider Electric заключила союз с Avnet и Iceotope с целью разработки систем для рынка машинного обучения, использующих жидкостное охлаждение. На конференции Gartner IT они анонсируют уже готовое решение, способное вместить 14 серверов с ускорителями ИИ.

Новый комплекс весьма интересен с технической точки зрения: он использует гибридный подход к охлаждению, но за словом «гибридный» в данном случае кроется не «водо-воздушный», как обычно. Речь идёт о совмещении классических систем жидкостного охлаждения с замкнутым контуром и погружных (immersive).

Поддон с установленным сервером

Поддон с установленным сервером

Каждый вычислительный сервер в шасси высотой 1U размещается в специальном герметичном поддоне Iceotope. По сути, он наполовину погружён в охлаждающую жидкость, хотя имеется и принудительная подача теплоносителя к водоблокам центральных процессоров и модулям вычислительных ускорителей. Протечки за пределами поддона исключены.

Такой шкаф благодаря новой системе охлаждения может быть почти бесшумным

Такой шкаф благодаря новой системе охлаждения может быть почти бесшумным

К сожалению, анонс не очень информативен, но на приведённых снимках видно, что каждый гибридный модуль охлаждения с сервером внутри занимает 2U, а всего в стойку помещается 14 таких модулей. На передние панели модулей герметично выведены разъёмы Ethernet, USB и VGA. В верхней части расположена пара коммутаторов ‒ управляющий и главный сетевой.

Передняя часть поддона

Передняя часть поддона

Разработчики говорят о более высокой эффективности охлаждения и практически полной бесшумности, но конкретных цифр, к сожалению, пока не приводят.

Постоянный URL: http://servernews.ru/999446
25.11.2019 [16:29], Андрей Созинов

SC19: TMGcore OTTO — автономный роботизированный микро-ЦОД с иммерсионной СЖО

Компания TMGcore представила в рамках прошедшей конференции SC19 свою весьма необычную систему OTTO.

Новинка является модульной платформой для создания автономных ЦОД, которая характеризуется высокой плотностью размещения аппаратного обеспечения, использует двухфазную иммерсионную систему жидкостного охлаждения, а также обладает роботизированной системой замены серверов.

Версия OTTO на 600 кВт

Версия OTTO на 600 кВт

Первое, что отмечает производитель в системе OTTO — это высокая плотность размещения аппаратного обеспечения. Система состоит из довольно компактных серверов, которые размещены в резервуаре с охлаждающей жидкость. Собственно, использование двухфазной иммерсионной системы жидкостного охлаждения и позволяет размещать «железо» с максимальной плотностью.

Версия OTTO на 60 кВт

Версия OTTO на 60 кВт

Всего OTTO будет доступна в трёх вариантах, рассчитанных на 60, 120 и 600 кВт. Системы состоят из одного или нескольких резервуаров для размещения серверов. Один такой резервуар имеет 12 слотов высотой 1U, в десяти из которых располагаются сервера, а ещё в двух — блоки питания. Также каждый резервуар снабжён шиной питания с рабочей мощностью 60 кВт. Отметим, что площадь, занимаемая самой большой 600-кВт системой OTTO составляет всего 14,9 м2.

В состав системы OTTO могут входить как эталонные серверы HydroBlades от самой TMGcore, так и решения от других производителей, прошедшие сертификацию «OTTO Ready». В последнем случае серверы должны использовать корпуса и компоновку, которые позволяют использовать их в иммерсионной системе охлаждения. Например, таким сервером является Dell EMC PowerEdge C4140.

В рамках конференции SC19 был продемонстрирован и фирменный сервер OTTOblade G1611. При высоте всего 1U он включает два процессора Intel Xeon Scalable, до 16 графических процессоров NVIDIA V100, до 1,5 Тбайт оперативной памяти и два 10- или 100-гигабитных интерфейса Ethernet либо одиночный InfiniBand 100G. Такой сервер обладает производительность в 2000 Тфлопс при вычислениях на тензорных ядрах.

Мощность описанной абзацем выше машины составляет 6 кВт, то есть в системе OTTO может работать от 10 до 100 таких машин. И охладить столь компактную и мощную систему способна только двухфазная погружная система жидкостного охлаждения. Он состоит из резервуара, заполненного охлаждающей жидкостью от 3M и Solvay, и теплообменника для конденсации испарившейся жидкости.

Для замены неисправных серверов система OTTO оснащена роботизированной рукой, которая способна производить замены в полностью автоматическом режиме. В корпусе OTTO имеется специальный отсек с резервными серверами, а также отсек для неисправных систем. Такой подход позволяет производить замену серверов без остановки всей системы, и позволяет избежать контакта человека с СЖО во время работы.

Изначально TMGcore специализировалась на системах для майнинга с иммерсионным охлаждением, а после перенесла свои разработки на обычные системы. Поэтому, в частности, описанный выше OTTOblade G1611 с натяжкой можно отнести к HPC-решениям, так как у него довольно слабый интерконнект, не слишком хорошо подходящий для решения классических задач. Впрочем, если рассматривать OTTO как именно автономный или пограничный (edge) микро-ЦОД, то решение имеет право на жизнь.

Постоянный URL: http://servernews.ru/998356
04.10.2019 [08:03], Владимир Мироненко

Schneider Electric с Iceotope будут разрабатывать иммерсионные СЖО для ЦОД

Schneider Electric объявила в четверг о заключении соглашения о сотрудничестве с Avnet и Iceotope с целью совместной разработки инновационных решений для иммерсионного жидкостного охлаждения для центров обработки данных (ЦОД).

Объявленное партнёрство объединяет трех крупных игроков: Avnet — в сфере сервисов по интеграции технологий, Iceotope — в разработке иммерсионных технологий охлаждения и Schneider Electric — в создании инфраструктурных решений для ЦОД.

«Приложения, требующие значительных вычислительных ресурсов, такие как искусственный интеллект и Интернет вещей, требуют более высокой производительности чипов. Наш количественный анализ методов жидкостного охлаждения свидетельствуют о его значительных преимуществах для рынка, — заявил Кевин Браун, технический директор и старший вице-президент по инновациям Secure Power, Schneider Electric. — Это партнёрство является следующим шагом в разработке решений, и мы рады сотрудничеству с Avnet и Iceotope».

У Schneider Electric уже имеется опыт сотрудничества с Iceotope в области исследований и разработок жидкостного охлаждения. Iceotope получила в 2014 году инвестиции в размере $10 млн в ходе раунда финансирования серии А во главе с Aster Capital. Эта сделка также способствовала установлению партнёрских отношений между Schneider Electric и Iceotope.

Партнёры говорят о том, что иммерсионное жидкостное охлаждение обеспечивает экономию капиталовложений и эксплуатационных расходов. 

Согласно предварительным расчётам Schneider Electric, решение с иммерсионным охлаждением с полным погружением в жидкость шасси по сравнению с традиционным решением с воздушным охлаждением требует на 15 % меньше капвложений и обеспечивает как минимум 10 % экономии электроэнергии, что приводит к экономии совокупной стоимости владения (TCO) на 20 лет в размере более 11 %.

Постоянный URL: http://servernews.ru/995069
26.09.2019 [23:23], Сергей Юртайкин

Серверы HPE получат иммерсионные СЖО GRC

Производитель иммерсионных СЖО для ЦОД GRC, ранее известный как Green Revolution Cooling, и корпорация Hewlett Packard Enterprise (HPE) объявили о сотрудничестве, в рамках которого технология GRC ICEraQ будет интегрирована с серверами HPE. Клиенты смогу получить комплексное, гибко настраивамое решение. 

Как отметили в GRC, совместное предложение компаний позволит заказчикам легко интегрировать оборудование HPE высокой плотности в любой существующий дата-центр без дополнительных затрат времени и расходов на изменение инфраструктуры ЦОД.

Владельцы серверов HPE с системами иммерсионного охлаждения GRC могут развёртывать оборудование с тепловой нагрузкой 2000 Вт на один юнит. Благодаря этому можно создавать вычислительные зоны высокой плотности практически без тепловых ограничений, которые есть у ЦОДов с воздушным охлаждением, сообщил архитектор GRC Брендон Мур (Brandon Moore).

HPE стала очередным OEM-партнёром GRC. Ранее было начато сотрудничество, например, с Supermicro.

Постоянный URL: http://servernews.ru/994720
16.11.2017 [08:51], Иван Грудцын

SC17: серверы Gigabyte, включая «подводный»

В экспозиции Gigabyte на выставке SC17 основное внимание было уделено серверам компании. Ассортимент систем для ресурсоёмких вычислений у Gigabyte Technology весьма широк, что и было продемонстрировано на стенде Colorado Convention Center.

Одним из прототипов оказался DO60-MR0 — универсальный корпус размером 735,7 × 600 × 1067 мм для серверных узлов, накопителей, блоков питания и элементов сетевой инфраструктуры. При проектировании корпуса был использован стандарт OU (Open U), обеспечивающий гибкость в размещении комплектующих. В число совместимых с DO60-MR0 серверных узлов вошли TO22-C20 и TO22-C21 на базе процессоров Intel Xeon Scalable (Skylake-SP), GPU-ориентированные T180-G23 и T180-G20 (до четырёх графических ускорителей в каждом), а также сетевое хранилище на 45 жёстких дисков T280-S3S.

Представленный на стенде Gigabyte двухузловой 2U-сервер H231-G20 на основе материнских плат MH61-HD3 с чипсетом C621 поддерживает процессоры Xeon Platinum, Gold, Silver и Bronze в конструктиве LGA3647 (всего четыре разъёма), установку двух двухслотовых графических адаптеров, 32 модулей оперативной памяти RDIMM/LRDIMM DDR4-2133/2400/2666 и 24 накопителей типоразмера 2,5 дюйма (20 × SATA/SAS, 4 × U.2). Источников питания в составе H231-G20 два — оба номиналом 2,2 кВт, с сертификатом 80 PLUS Platinum и внушительными 178,1 А по линии +12 В. Из остальных характеристик обращает на себя внимание наличие четырёх контроллеров Intel X550-AT2 (10-Гбит Ethernet). В комплект поставки включены четыре процессорных кулера, монтажный набор и модуль VROC. В упаковке сервер весит около 30 кг.

О соседнем продукте Gigabyte H261-N80 также известно немало, и, как и H231-G20, в продажу он пока не поступил. Данный сервер состоит из четырёх узлов, аналогичных тем, что используются в вышеописанной модели. Соответственно, почти все детали присутствуют в двойном количестве. Исключение составляют посадочные места для SAS/SATA и U.2-накопителей, которых в сумме по-прежнему 24, и блоки питания. Согласно спецификации H261-N80, уровень TDP каждого из восьми устанавливаемых процессоров Intel Xeon Scalable не должен превышать 165 Вт. Сервер занимает не так уж много пространства (820 × 440 × 87 мм) и весит 35 кг с комплектными аксессуарами.

Упоминаний о продукте H281-PE0 мы в Сети не обнаружили, и вполне возможно, что на SC17 он дебютировал впервые. Перед нами 2U-сервер, состоящий из четырёх узлов, как и H261-N80. У данной модели в сумме восемь разъёмов LGA3647, 96 слотов для оперативной памяти RDIMM/LRDIMM DDR4 (в полтора раза больше, чем у H261-N80), восемь 2,5-дюймовых отсеков для HDD/SSD, такое же количество каналов 10-Гбит Ethernet и целых шестнадцать разъёмов PCI Express 3.0 x16 для графических ускорителей.

Из трио серверов Gigabyte H231-G20/H261-N80/H281-PE0 последний почти наверняка будет дороже остальных. Системы могут решать совершенно разные задачи и комплектоваться исходя из потребностей конкретного заказчика. Впрочем, соотношение количества разъёмов для процессоров и ускорителей на базе GPU говорит о том, что перед нами точно не подобие AI-сервера NVIDIA DGX-1, где роль CPU вторична.

Серверные системы R181-340 и G291-280 рассчитаны на заказчиков с ограниченным бюджетом, исчисляющимся тысячами долларов, а не десятками тысяч. Бюджетный (кавычки по вкусу) 1U-сервер Gigabyte R181-340 на матплате MR91-FS0 с чипсетом C621 позволяет устанавливать два процессора Skylake-SP в 3647-контактные разъёмы и такое же количество графических ускорителей (с помощью адаптера можно добавить ещё две карты). Тепловыделение CPU допускается на уровне 205 Вт. Шестиканальный контроллер памяти Xeon Scalable сообщается с 24 слотами для оперативной памяти RDIMM/LRDIMM DDR4-2133/2400/2666. Для SATA/SAS-накопителей предусмотрены четыре 3,5-дюймовых отсека, также совместимые с 2,5-дюймовыми HDD/SSD. Сетевые возможности R181-340 представлены тремя портами Gigabit Ethernet, один из которых выделен для удалённого управления ресурсами системы. Питание сервера обеспечивается двумя 1200-Вт источниками с сертификатом 80 PLUS Platinum.

Gigabyte G291-280 предлагает более широкие возможности. Пространства в нём, в рамках форм-фактора 2U, значительно больше. Тайваньский производитель подчёркивает, что данная система прошла процедуру валидации NVIDIA и рекомендуется в качестве платформы для HPC-ускорителей Tesla — для них предусмотрены восемь разъёмов PCI Express 3.0 x16. Ещё два таких же слота можно занять другими, более компактными (HHHL) картами расширения. Основой G291-280 служит материнская плата MG51-G21 с двумя разъёмами LGA3647 для процессоров Xeon Scalable с TDP вплоть до 205 Вт. На PCB распаяны 24 разъёма RDIMM/LRDIMM DDR4, совместимых с ёмкими (до 64 Гбайт) модулями памяти, порты для подключения восьми 2,5-дюймовых жёстких дисков или твердотельных накопителей, два 10-Гбит Ethernet-контроллера и другие узлы. Мощность дуэта серверных блоков питания составляет 2200 Вт.

Всеобщее внимание привлекла система на основе матплаты MW51-HP0 с погружным охлаждением комплектующих. Для отвода тепла с поверхности процессора Intel семейства Xeon W (LGA2066) и пяти карт расширения оказалось достаточно жидкости 3M Novec. Циклически переходя из жидкого в парообразное состояние и наоборот, она позволяет экономить до 97 % электроэнергии, затрачиваемой на воздушное охлаждение аналогичного сервера. Это далеко не первая демонстрация возможностей 3M Novec и, вероятнее всего, предельная температура жидкости не превышает 60–65 °C, а компоненты системы не прогреваются под нагрузкой выше 80–85 °C.

Постоянный URL: http://servernews.ru/961545
19.01.2017 [17:44], Иван Грудцын

Для охлаждения сервера Gigabyte G250-S88 использована погружная СО

Одним из многочисленных направлений разработок инновационно-производственной компании 3M является создание жидкостей с диэлектрическими свойствами для охлаждения электронных схем. В частности, американские новаторы предлагают клиентам серию жидкостей 3M Novec, применяемую в том числе производителями серверов. Для последних погружное охлаждение систем является панацеей от перегрева узлов, высокого уровня шума в серверных и высоких счетов за электроэнергию.

Погружное охлаждение - 3M и Gigabyte

Для демонстрации возможностей одного из составов Novec инженеры 3M использовали систему Gigabyte G250-S88 класса HPC, подразумевающую одновременную установку двух процессоров Intel Xeon E5-2600 v4 (Broadwell-EP) или Xeon E5-2600 v3 (Haswell-EP), 24 модулей оперативной памяти DDR4 типов RDIMM, LRDIMM или 3DS LRDIMM с частотой от 800 (1600) МГц до 1200 (2400) МГц и максимум восьми HPC-ускорителей на основе ядер NVIDIA, AMD или Intel (Xeon Phi).

Gigabyte G250-S88

Как удалось выяснить ресурсу AnandTech, сервер был погружён в жидкость Novec 72DA, состоящую на 68 % из транс-1,2-дихлорэтилена, 20 % этил нонафторбутил эфира, 10 % метил нонафторбутил эфира и 2 % изопропанола. Температура кипения 72DA составляет всего 44 °C, что приводит к интенсивному образованию пузырьков газа при её нагреве. В роли «кипятильников» выступили пара центральных процессоров LGA2011-3 и восемь GPU. Залитая жидкостью 3M Novec 72DA ёмкость с сервером после включения питания закипает за три минуты.

На кристаллах CPU и GPU установлены медные пластины

На кристаллах CPU и GPU установлены медные пластины

Температура процессоров, измеренная утилитой Intel Power Thermal, составила 78 °C у CPU0 и 73 °C у CPU1 при их мощности в 122,8 и 114,1 Вт соответственно.

Погружное охлаждение - 3M и Gigabyte

Возвращаясь к системе Gigabyte G250-S88, стоит отметить, что она, среди прочего, оборудована двумя 1600-ваттными блоками питания с резервированием, имеющими сертификат 80 PLUS Platinum, восемью вентиляторами типоразмера 80 × 80 × 38 мм (15 000 об/мин) и поставляется с двумя радиаторами для процессоров Intel Xeon LGA2011-3. В сервере также можно разместить восемь твердотельных накопителей или жёстких дисков формата 2,5 дюйма, а в качестве операционной системы могут использоваться Windows Server 2008 R2/2012/2012 R2, Red Hat Enterprise Linux 6.7/7.2, SUSE Linux Enterprise Server 11.4/12, Ubuntu 12.04 LTS/14.04 LTS или VMware ESXi 5.1 U2/5.5 U2/6.0 U1.

Gigabyte G250-S88
Постоянный URL: http://servernews.ru/946164
Система Orphus