Выгоды от использования жидкостного охлаждения очевидны. Оно открывает путь к более плотному размещению вычислительных узлов, и сама эффективность охлаждения существенно выше. Но существуют у таких систем и серьезные недостатки.

Главной опасностью систем СЖО является возможность протечки теплоносителя. Такой сценарий может вывести из строя весьма дорогостоящее оборудование. Компания Chilldyne утверждает, что данную проблему ей удалось решить, и демонстрирует на SC19 систему охлаждения Cool-Flo с «отрицательным давлением».

Принципиальная схема Chilldyne Cool-Flo. Обратите внимание на направление движения жидкости

Главный принцип можно сравнить с вентилятором, работающим не на обдув, а на откачку воздуха из корпуса системы. Если в классическом контуре СЖО насосы нагнетают холодную жидкость в водоблоки, то насосы Cool-Flo, напротив, откачивают горячую. Если герметичность контура будет нарушена, то произойдёт не классический «залив» системной платы, а наоборот, вся жидкость будет выкачана, и вслед за ней в систему попадет воздух.

Модуль распределения теплоносителя (CDU) Cool-Flo

В таком сценарии возможен простой, но не повреждение драгоценного оборудования, поскольку контакт с жидкостью практически исключён. К тому же, сама вероятность разгерметизации серьёзно уменьшена из-за «отрицательного давления», снижающего механическую нагрузку на элементы контура. Давление в нем составляет менее 1 атмосферы, что исключает выдавливание жидкости наружу.

Двухпроцессорное лезвие Xeon Scalable с водоблоками Cool-Flo

Из прочих преимуществ системы Cool-Flo можно назвать низкую стоимость развёртывания и совместимость с существующей инфраструктурой воздушного охлаждения. Серьёзные монтажные работы с привлечением сторонних специалистов требуются только для установки CDU (системы распределения теплоносителя) и внешней башни-градирни, а монтаж стоек и серверов может осуществляться техническим персоналом ЦОД.

Комплект водоблоков Cool-Flo для процессоров Intel в исполнении LGA2011-3. Справа ‒ разъём No-Drip

Технически же в качестве водоблоков Cool-Flo может использовать модернизированные радиаторы воздушного охлаждения ЦП либо версии с теплоотводной пластиной; последний вариант идеально подходит для плотного размещения ускорителей на базе GPU и других чипов с высоким уровнем тепловыделения. В первом случае вентиляторы серверов могут работать на пониженной скорости, создавая дополнительный обдув элементов системы.

Графический ускоритель с дополнительной пластиной охлаждения. Ни одной протечки на более чем 6 тысяч плат

На выставке SC19 Chilldyne продемонстрировала как OEM-комплекты для процессоров Xeon, так и варианты для ускорителей AMD Radeon и NVIDIA Tesla. Переделка сервера, по сути, заключается в установке водоблоков и специальной заглушки с фирменным разъёмом No-Drip, напоминающим двухконтактную силовую розетку и допускающим «горячее» подключение или отключение сервера от главного контура системы.

Стойка с ускорителями, оснащённая системой Cool-Flo

Система распределения теплоносителя Cool-Flo CDU300 выполнена в виде стандартного шкафа, имеющего на передней панели экран с сенсорным управлением. Она рассчитана на температуру жидкости в районе 15‒30 градусов и при разнице температур 15 градусов способна отвести 300 киловатт тепла. Производительность водяных насосов составляет 300 литров в минуту при давлении в главном контуре менее 0,5 атмосфер.

Комплект Cool-Flo для Radeon Fury X. Охлаждается не только GPU, но и силовая часть

Предусмотрена полная система мониторинга (включая контроль качества теплоносителя) и удалённого управления, один шкаф может обслуживать до шести контуров охлаждения. Имеется возможность резервирования: резервный модуль CDU находится в активном режиме, но потребляет минимум энергии, а при необходимости мгновенно включается в работу.

Компания-разработчик считает, что при использовании Cool-Flo в ЦОД можно избавиться от так называемых «горячих рядов», снизить затраты на вентиляцию и кондиционирование воздуха практически до нуля и на 75% снизить мощность, потребляемую вентиляторами серверов. Chilldyne оценивает стоимость 1 мегаватта охлаждения в $580 тысяч, в то время как классическая воздушная реализация может обойтись более чем в $1,2 миллиона.

За четыре года эксплуатации ЦОД, оснащённого системой Cool-Flo экономия может составить почти $100 тысяч, и это не считая вышеупомянутых сниженных затрат на оснащение. С учётом пониженного риска повреждения оборудования в результате возможных протечек выигрыш может быть даже более серьёзным.

С проектом плавающих дата-центров компании Nautilus всё не слава богу. ЦОД на барже едва не заработал в Ирландии, но арендаторы порта в Лимерике, где планировалось причалить баржу с серверами, воспротивились решению и начали чинить ему судебные препятствия. С проектами в США тоже не заладилось, хотя формально компания Nautilus получила предварительное разрешение на размещение двух плавающих ЦОД в Калифорнии: одного возле законсервированной военно-морской базы возле Аламеда (Alameda Naval Air Station), а другого возле города Стоктон (Stockton).

Баржа с ЦОД в Аламеда должна была быть спущена на воду ещё в прошлом году, но один из членов местного совета проголосовал против проекта, мотивируя отказ опасением за жизнь группы морских котиков, облюбовавших место для жизни недалеко от места прикола баржи Nautilus. По словам противника проекта, морская вода после охлаждения серверов на барже будет слишком тёплая для выброса обратно в море. Также он опасается, что это приведёт к токсическому отравлению водорослей в зоне обитания тюленей.

Глава компании Nautilus, в свою очередь, заверяет, что плавающий ЦОД не нарушает установленных норм на превышение температуры воды для выброса. Превышение температуры воды для проекта Nautilus составляет доли градуса, что существенно ниже, чем при работе тепловых электростанций или даже в случае размещения обычных судов в акваториях. Что касается возможного загрязнения воды, то система охлаждения ЦОД на баржах Nautilus двухконтурная и внутренний контур, который циркулирует в системе охлаждения ЦОД не пересекается с внешним ― с морской водой. Поэтому угроза загрязнения отсутствует.

Наоборот, плавающий ЦОД предложен в качестве экологически дружественной системы, которая имеет меньше негативных влияний на окружающую среду, чем традиционные дата-центры. Для наземных систем требуется масса полезной для решения других задач воды, много электроэнергии на охлаждение и просто ценная территория. Плавающие ЦОД во всех трёх случаях демонстрируют лучшие решения, но, к сожалению, сталкиваются с косностью мышления отдельных представителей власти или бизнеса.

Кстати, проект Nautilus является частью курса по использованию ставших ненужными военных объектов. Вместо консервации и медленного разрушения такие объекты могли бы получить вторую жизнь. База в Аламеда была законсервирована в 1997 году. Её территорию и строения можно было бы задействовать для интересных проектов. Из других решений можно отметить стартовавшее в апреле строительство дата-центра в швейцарском Люцерне в неиспользуемом бункере с защитой от ядерного поражения, или использование закрытых баз НАТО в Исландии и Норвегии, и даже проект по размещению ЦОД в шахтах для баллистических ракет. Строили на века, так почему бы этим не воспользоваться?

Компании Nokia, Elisa и Efore объявили о вводе в эксплуатацию базовой станции с жидкостным охлаждением, которая установлена на здании жилого дома в столице Финляндии Хельсинки. Утверждается, что это первое в мире устройство подобного типа, которое задействовано в сотовых сетях.

Особенностью базовой станции является технология рециркуляции: тепло, которое вырабатывает устройство, направляется в систему отопления жилого здания, что сокращает расход традиционной энергии в этой системе.  В ходе испытаний данного решения экспертами Nokia наблюдалось сокращение выбросов двуокиси углерода на 80 % и сокращение энергопотребления на 30 %. «Это весьма существенная экономия как для операторов связи, так и для владельцев зданий», — заверяют разработчики, подчёркивающие, что отказ от воздушного охлаждения не только сокращает энергопотребление, но и делает базовые станции практически бесшумными.

Базовая станция с жидкостным охлаждением была разработана специалистами лаборатории Nokia Bell Labs и изготовлена на фабрике Nokia в Оулу (Финляндия).  Система жидкостного охлаждения была создана энергетической компанией Efore. Установку базовой станции в Хельсинки выполнил телекоммуникационный оператор Elisa. Финский центр технических исследований (VTT Technical Research Centre of Finland) провёл оценку экологических и энергетических параметров новой базовой станции и сравнил их с аналогичными параметрами традиционных базовых станций, использующих воздушное охлаждение.

«Мы провели тщательные исследования и испытания базовых станций с жидкостным охлаждением в операторской сети. Первое коммерческое внедрение такой базовой станции позволит на практике оценить преимущества этих станций для Elisa и других компаний, которые переходят на технологию 5G. Мы также увидим, в какой мере широкое распространение этих базовых станций поможет снизить отрицательное влияние информационных и коммуникационных технологий на живую природу. Мы будем и впредь рассматривать все возможности для повышения эффективности и экологичности своих продуктов и услуг. Данный проект является важным шагом в этом направлении», — отметил представитель компании Nokia Пекка Сандстрём (Pekka Sundström).

Материалы по теме:

• Эксперты Xelent: «Изменение структуры мирового трафика окажет позитивное влияние на отрасль ЦОД»;
• Количество базовых станций сетей сотовой связи в России продолжает расти;
• Мировой рынок Ethernet-коммутаторов демонстрирует рост.

Источник:

• nokia.com

Три года назад молодая калифорнийская компания Nautilus Data Technologies выступила с предложением размещать центры по обработке данных на плавающих баржах, точнее, на баржах, стоящих на приколе у тех или иных причалов. Это освобождает от необходимости подводить к ЦОД для охлаждения систем дефицитные водные ресурсы. Уж под баржей в воде недостатка в этом ресурсе нет от слова совсем. К сожалению, тогда в заливе Сан-Франциско удалось запустить только пилотный проект, который так и не вышел на коммерческую орбиту.

В прошлом году компания Nautilus в рамках сбора третьего раунда инвестиций получила от компании Keppel Telecommunications & Transportation $10 млн на новый проект — развёртывание ЦОД на специальной барже в районе военно-морской верфи Mare Island Naval Shipyard. Всего в этом раунде компания собрала $25 млн и собиралась спустить ЦОД на воду в январе 2018 года. Увы, этого тоже не произошло.

Новый проект Nautilus обещает оказаться жизнеспособным. Это спуск баржи-ЦОД на воду в районе доков в ирландском Лимерике (Limerick Docks). Этот проект помогает реализовать регулятор доков и порта компания Shannon Foynes Port Company. Стоимость проекта оценивается в $35 млн (40 млн евро). Проект поможет создать 124 рабочих места и расширит вид деятельности управляющей компании новыми предложениями, а не только услугами в перевалке грузов.

ЦОД на барже будет иметь двухэтажную надстройку с четырьмя помещениями для компьютерной техники. Ниже палубы будет размещена система забора воды для охлаждения вторичной системы циркуляции. В первичной системе, очевидно, будет использован специальный хладагент. Решение по проекту должно быть принято к концу следующего месяца. Если это произойдёт, в мире появится первый коммерческий ЦОД на плавающей барже.

Космос холодный. Почему бы это природное явление не использовать для отвода тепла от холодильников, кондиционеров или от систем охлаждения центров по обработке данных? Тепло можно собрать и в виде инфракрасного излучения в заданном диапазоне, которое не поглощается Землёй, прямо излучить в околоземное пространство, где оно без следа рассеется. Это новый пока подход для утилизации «паразитного» тепла, генерируемого различными системами охлаждения. Реализовать технологию взялись выходцы из Стэнфордского университета, которые в прошлом году для этих целей создали стартап SkyCool.

Холодный Космос (Mar Perez/DCD)

Практическая разработка SkyCool — это многослойная панель из тонкого слоя серебра, покрытого слоем диоксида кремния и оксида гафния. Тепло к панели подводит хладагент в виде водно-гликолевой жидкости. Прокачкой жидкости занимаются обычные помпы систем отвода тепла. Тепло от панели в виде инфракрасного излучения с длинами волн от 8 до 13 мкм излучается в открытое небо. В течение дня под прямыми солнечными лучами температура панели не превышает 4,9 ˚C вне зависимости от температуры воздуха или интенсивности падающих на неё солнечных лучей. С каждого квадратного метра панели можно отводить 40,1 Вт «тепловой энергии».

Ещё в 2014 году разработчики разместили опытную панель по отводу тепла в космос на крыше одного из офисов в Лас-Вегасе. В рамках деятельности компании ещё до окончания лета планируется запустить ещё пару установок в Калифорнии. Отводить таким образом тепло планируется от холодильных установок в коммерческом секторе. В частности, были контакты с владельцами центров по обработке данных. Но для этого требуется создать более эффективные панели, поскольку для ЦОД с 5-МВт потреблением 40 Вт отвода тепла с каждого метра панели — это крайне мало. Также необходимо уделить внимание вопросам эффективности всего комплекса по подводу и циркуляции хладагента, поскольку затраты энергии на прокачку жидкости остаются выше уровня сброса.

Буквально вчера мы рассказали читателям о новой системе серверного жидкостного охлаждения Rack DCLC AHx10, представленной компанией CoolIT Systems. Этот удобный модуль имеет стандартные стоечные габариты и способен отводить до 7 киловатт тепловой энергии, а с расширениями — до 10 киловатт. Но к серверным СЖО предъявляются особые требования. Их необходимо тщательнейшим образом тестировать ещё перед отправкой к потребителям, а для этого производителю требуется сложная и развитая инфраструктура.

Но CoolIT сумела упростить и этот процесс, не потеряв в его качестве. В числе прочих продуктов на предстоящей конференции SC17 она будет демонстрировать тестовый водовоздушный модуль теплоотвода Rack DCLC AHx2. В отличие от описанного ранее AHx10, модуль AHx2 предназначен для ручной транспортировки, он имеет форму чемоданчика и даже оснащён ручкой для переноски. Как и было сказано, назначение новинки — тестирование серверов, оснащённых средствами охлаждения CoolIT DCLC.

Модули CoolIT Systems имеют развитые средства интеграции и мониторинга. На снимке водоводяной теплообменник мощностью 40 киловатт

Корпус AHx2 оснащён четырьмя «холодными» и четырьмя «горячими» терминалами, так что возможно одновременное тестирование до четырёх серверных систем, оснащённых жидкостными модулями на ЦП и платах ускорителей. Мощность теплоотвода у данной модели невелика, всего 2 киловатта, но ведь ей и не требуется работать в режиме 24/7, будучи установленной в стойку. Это специализированный инструмент для тестирования и обкатки средств СЖО. И в данном качестве Rack DCLC AHx2 выглядит незаменимым.

В потребительском сегменте компактные необслуживаемые СЖО уже превзошли в эффективности даже лучшие воздушные суперкулеры и практически сравнялись с ними в простоте и удобстве эксплуатации. Активно используются жидкостные системы и в серверном сегменте, однако чаще всего они либо централизованные, что требует прокладки отдельной сети труб, по которым циркулирует теплоноситель, либо погружные, использующие специальные высокомолекулярные жидкости. А как быть в том случае, если охлаждение требуется одной стойке со стандартными корпусами? Компания CoolIT Systems даёт ответ на этот вопрос.

На международной конференции SC17, посвящённой высокопроизводительным вычислениям, компания будет демонстрировать свою последнюю новинку: модуль охлаждения Rack DCLC AHx10. Генетически корни такого решения восходят к некоторым потребительским системам Zalman с внешним довольно крупным блоком теплообменника, но, разумеется, в AHx10 всё стандартизировано, и сама система гораздо мощнее. Монтируется главный теплообменник в обычную стойку, занимает высоту 5U и в этой конфигурации обеспечивает рассеивание 7 киловатт тепловой мощности при температуре окружающего воздуха 25 градусов. В том случае, если этого недостаточно, доступны будут опциональные модули: нарастив систему до высоты 6 или 7U, можно будет получить кулер, способный справиться и с 10 киловаттами нагрузки.

Один из стоечных теплообменников CoolIT внутри. Судя по маркировке CHx40, эта модель способна отвести до 40 киловатт тепловой мощности

Как справедливо отмечает представитель CoolIT Systems, новая система имеет ряд преимуществ перед классическими решениями жидкостного охлаждения для серверных комнат. Она не требует переделки всего помещения, прокладки десятков или сотен метров труб, установки многочисленных клапанов и датчиков протечки, а также позволяет избежать необходимости установки погружных бассейнов и солидных расходов на специальный теплоноситель. AHx10 полностью отвечает концепции Plug and Play, и при установке этой системы достаточно, чтобы остальные компоненты в стойке были оснащены портами для включения в контур СЖО. Новинка совместима с уже имеющимися решениями CoolIT, в её состав входят резервные помпы, а направление воздушного потока стандартное: нагретый воздух выбрасывается назад, в «горячий коридор». На SC17, которая откроется уже 12 ноября, познакомиться с новинками компании можно будет в павильоне под номером 1601.

Последние вести с выставочных полей не оставляют никаких сомнений, что «водянки» прочно и надолго прописались в серверах и суперкомпьютерах. Компания Asetek, например, утверждает о наличии в списке TOP500 и Green500 как минимум 9 суперкомпьютеров, охлаждаемых её решениями. Кстати, чуть больше недели назад СЖО Asetek RackCDU Direct-to-Chip с прямым контактом для отвода тепла в новом ЦОД в Японии выбрала компания NEC, а сейчас о подобном выборе сообщает компания Acer.

Acer Altos

Тайваньский производитель компьютерных систем выбрал компанию Asetek в качестве OEM-производителя жидкостных систем охлаждения для своей фирменной платформы Acer Altos. Это стоечный (полочный) двухпроцессорный модуль на решениях Intel Xeon поколения Skylake (W2200h-W670h F4). Он представляет собой высокоплотное решение с высоким уровнем выделения тепла, эффективно отводить которое может только жидкостная система охлаждения.

Asetek RackCDU D2C

По данным Asetek, система RackCDU D2C с прямым контактом с процессором позволяет до 50 % сэкономить на электроэнергии, необходимой на охлаждение системы, и даёт возможность от 2,5 до 5 раз увеличить плотность размещения компонентов в составе серверной стойки. Компания Acer воспользовалась вторым преимуществом и намерена предложить первое из них своим непосредственным клиентам.

С именем Huawei у обычного пользователя обычно ассоциируются недорогие смартфоны, однако, на самом деле эта компания — один из крупнейших производителей коммуникационного и серверного оборудования, присутствующий на рынке уже 30 лет. Спектр производимого оборудования очень широк: от базовых станций мобильной связи и смартфонов до высокопроизводительных платформ класса HPC. Неудивительно, что она присутствовала со своими новыми решениями и на конференции ISC 2017.

В частности, компания показала новые блейд-серверы FusionServer E9000. На первый взгляд, в новинке нет ничего особенного: такие системы насчитывают уже не первый год, их преимущества очевидны —  данная компоновка позволяет увеличить плотность упаковки вычислительных мощностей. Но вместе с этим в полный рост встаёт проблема охлаждения, так как современные многоядерные процессоры имеют теплопакеты под 165 ватт, а новые модели EPYC, представленные AMD, достигнут отметки 180 ватт.

Когда процессор один, проблемы нет, но каждое «лезвие» может иметь два или четыре процессора, а значит, система в сборе может легко выделять единицы или даже десятки киловатт тепловой энергии, причём, в весьма ограниченном пространстве. Huawei подошла к проблеме просто: новая платформа использует жидкостное охлаждение. Каждый модуль снабжен системой шлангов и водоблоков, в задней части расположены специальные клапаны, предотвращающие утечку теплоносителя при установке или демонтаже «лезвия».

Интересен тот факт, что жидкость, циркулирующая в контуре охлаждения, отводит тепло не только от процессоров, но и от модулей памяти, для чего предусмотрены характерные решётчатой формы водоблоки с жёлтыми термопрокладками, хорошо различимые на снимках. Память DDR4 не выделяет много тепла, но, когда модулей много, их вклад в общую тепловую картину оказывается весомым. Предусмотрены также варианты и с обычным воздушным охлаждением.

У новой платформы два типа «лезвий»: CH121L класса 2S и CH140L класса 4S, вмещающие два или четыре процессора, соответственно. В обоих случаях поддерживаются модели Xeon с тепловыделением до 165 ватт. Первая модель поддерживает установку 24 модулей памяти, вторая только 16, каждый модуль оснащается двумя жёсткими дисками или SSD формата 2,5″. Сетевые опции представлены широко и включают в себя GbE, 10GbE, а также Fibre Channel и InfiniBand. Вес каждого модуля составляет всего 7,2 килограмма.

На проходящей в эти дни выставке-конференции ISC 2017 (г. Франкфурт-на-Майне, Германия) российская группа компаний РСК представила ряд инновационных продуктов, в частности универсальное высокоплотное решение «РСК Торнадо» с СЖО на «горячей воде», коммутаторы Intel Omni-Path с жидкостным охлаждением и обновленный программный стек «РСК БазИС» для управления кластерами.

Сверхплотное масштабируемое кластерное решение «РСК Торнадо» оборудовано системой прямого жидкостного охлаждения, которая охватывает все элементы вычислительного шкафа, в том числе коммутаторы высокоскоростной сети. Вычислительная система использует потенциал 72-ядерного процессора Intel Xeon Phi 7290, и именно ей принадлежит мировой рекорд вычислительной плотности для архитектуры x86 — 1,41 Пфлопс на шкаф или свыше 490 Тфлопс/м³. В состав узлов «РСК Торнадо» входят 16-ядерные процессоры Intel Xeon E5-2697А v4 (Broadwell-EP), серверные платы Intel S7200AP для Xeon Phi и Intel S2600KPR для Xeon, твердотельные накопители Intel SSD DC S3520, DC P3520 Series и Optane DC P4800X.

В одном стандартном шкафу типоразмера 19" 42U (800 × 800 мм) можно разместить до 153 узлов «РСК Торнадо». Для их охлаждения достаточно СЖО, работающей в режиме «горячая вода»: температура хладоносителя на входе в вычислительные узлы и коммутаторы может достигать 65 °C. Отсутствие потребности во фреоновом контуре и чиллерах позволяет уменьшать затраты на охлаждение до 6 % в структуре общих затрат на электроэнергию.

Отметим, что следующее поколение кластеров «РСК Торнадо» готово к поддержке серверных процессоров Intel Xeon семейства Skylake-SP, дебют которых ожидается во второй половине текущего года.

Помимо «Торнадо», специалисты РСК продемонстрировали на ISC 2017 первый в мире охлаждаемый с помощью жидкости в режиме «горячая вода» 48-портовый коммутатор Intel Omni-Path Edge Switch 100. Устройство предназначено для построения высокоскоростных межузловых соединений со скоростью неблокируемой коммутации до 100 Гбит/c на порт.

Архитектура Intel Omni-Path (OPA) является комплексным решением для высокоскоростной коммутации и передачи данных. С её помощью достигается значительный рост производительности приложений в HPC при минимальных затратах. При одинаковом бюджете Intel OPA позволяет подключать на 26 % больше серверов по сравнению с существующими решениями, а также снизить энергопотребление вплоть до 60 %.

Анонсированный на ISC 2017 обновлённый интегрированный программный стек «РСК БазИС» предназначен для управления и мониторинга кластерных систем. «БазИС» — открытая и легко расширяемая платформа на основе ПО с открытым исходным кодом и микроагентной архитектуры. Она позволяет управлять центрами обработки данных и их отдельными элементами — вычислительными узлами, коммутаторами, инфраструктурными компонентами, задачами и процессами. На стенде РСК на ISC 2017 демонстрировались новые функции «БазИС» по мониторингу и управлению территориально распределённых ЦОД.

Напомним, что в начале июня решения РСК были представлены на конференции IXPUG Russia 2017.