Джек Донгарра (Jack Dongarra), заслуженный профессор университета Теннесси, известный исследователь, работающий в лаборатории Ок-Ридж (Oak Ridge National Laboratory, ORNL), один из отцов-создателей кластерной системы Summit, в докладе, сделанном на мероприятии SC17, подробно осветил тему экономичности суперкомпьютеров, и как в этом помогает новое поколение ускорителей NVIDIA Volta.

Сам по себе доклад также весьма интересен — хотя бы графиком роста производительности кластерных систем с 1994 года по настоящее время. Если в начале пути суперкомпьютеры могли похвастаться мощностями порядка 1,17 терафлопс, и это в лучшем случае, то сегодня мы вплотную приближаемся к отметке 1 экзафлопс, что на шесть порядков выше (10¹² против 10¹⁸). Петафлопсный масштаб освоен нашей цивилизацией полностью: по состоянию на 2017 год в мире действует 181 система с таким порядком производительности.

Что касается Volta, то в тесте MAGMA 2.3 LU (факторизация, двойная точность), V100 демонстрирует десятикратное превосходство над классическими процессорами (Haswell E5-2650 v3, 2×10 ядер, 2,3 ГГц) при равном уровне энергопотребления. Не стоит и говорить, насколько это важно при масштабах энергопотребления и тепловыделения суперкомпьютеров. Помогают V100 и тензорные ядра: на задачах с математикой смешанной точности в режиме FP16 чип выдает 120 терафлопс, в то время, как без них этот показатель составляет лишь 30 терафлопс. В целом, всё звучит вполне логично: время обычных ЦП ушло, а на их место пришли специализированные решения с особой архитектурой и высокой степенью параллелизма.

На прошлой неделе к консорциуму OpenCAPI присоединился ещё один игрок — компания Cavium, которая занимается разработкой серверных ARM-процессоров. Решениями компании заинтересовался производитель суперкомпьютеров Atos, а недавно Аргоннская национальная лаборатория изъявила желание развернуть кластер из серверов на базе этих процессоров. Всё вместе это закладывает основу для создания полноценной альтернативы x86-платформе и нынешнему лидеру списка TOP500, которая будет включать и CPU различных архитектур, и универсальную открытую шину.

Очевидно, что шина PCI Express в текущем виде неспособна обеспечить уровень производительности, необходимый для подключения между собой процессоров и различных ускорителей. Текущая версия далека от идеала, а недавно представленный стандарт PCI-E 4.0 пока что весьма далёк от внедрения. Собственно говоря, пока что его поддерживают только процессоры IBM POWER9. Но они же предлагают и другой, более совершенный, по мнению создателей, стандарт OpenCAPI, или просто CAPI (Coherent Accelerator Processor Interface). Текущая третья версия совместима с NVLink 2.0, а ведь самые быстрые ускорители NVIDIA используют именно эту шину. Нельзя сказать, что стандарт развивался быстро, но в 2017 году он уже имеет весьма солидную армию последователей.

Ускоритель Alpha Data подключён к процессорному разъёму POWER9 посредством кабеля OpenCAPI

Целый ряд имён имеет свои решения для новой платформы. Mellanox располагает «умными» сетевыми адаптерами Innova-2 с поддержкой OpenCAPI, Molex Electronic Solutions демонстрировала на SC 17 прототип флеш-хранилища с пропускной способностью порядка 200 Гбайт/с. Alpha Data уже предлагает свои платы ускорителей на базе ПЛИС Xilinx UltraScale+, подключаемые непосредственно к процессору POWER9 специальным кабелем. О самой Xilinx нечего и говорить — один из крупнейших разработчиков ПЛИС предлагает целый спектр платформ разработчика OpenCAPI. Скоростная шина требует специальных кабелей, и они есть у Amphenol Corporation.

Прототип Zaius/Barreleye G2

Такой гигант в мире накопителей как Western Digital внимательно следит за развитием OpenCAPI и занимается исследованиями в этой области, тестируя прототипы CAPI-памяти и ускорителей. Micron возлагает на OpenCAPI огромные надежды в области создания новой технологии энергонезависимой памяти. Компания Rackspace работает совместно с Google над созданием двухсокетных серверов Zaius/Barreleye G2 на базе POWER9. А где POWER9, там и OpenCAPI, а где Google — там и ускорители различного рода. Tektronix предлагает решения, способные полноценно тестировать решения OpenCAPI, работающие на скоростях 25 Гбит/с и выше. Полноценная отладка поддерживается для скорости 32 Гбит/с.

Сила OpenCAPI в его универсальности и единообразии

Toshiba также заинтересована в новом стандарте. Она уже работает над созданием собственного кремния, использующего OpenCAPI. По словам представителей компании, решения Toshiba вскоре смогут помочь быстро развернуть инфраструктуру на базе CAPI любому желающему и для любого рода задач. Компания Wistron успешно продемонстрировала на том же мероприятии SC 17 дизайны систем на базе процессоров IBM POWER9. Представитель компании считает OpenCAPI действительно универсальным стандартом, отвечающим задачам, которые будут поставлены перед ИТ-инфраструктурой грядущим десятилетием. Inventec также представила своё видение POWER9, но она концентрирует усилия в направлении внедрения нового стандарта питания с напряжением 48 вольт.

Иными словами, список компаний, интересующихся OpenCAPI, вызывает уважение, начиная с самого «голубого гиганта» и NVIDIA. Можно считать, что поезд тронулся, и в мире появилась серьёзная многопроцессорная, многопоточная и универсальная платформа, способная справиться с любым спектром задач.

Имя Molex у всех на слуху — так чаще всего называют четырёхконтактный разъём питания в ПК. Впрочем, это название ошибочно: сама пара разъёмов действительно разработана компанией Molex, но имеет модельные номера 8980 (розетка) и 8981 (вилка), а сам производитель выпускает гораздо более широкую гамму разъёмов и соединителей. Надо ли говорить, что эти компоненты играют важную роль в современных сетях, особенно с повсеместным переходом на скорости 50, 100 и даже 200 Гбит/с. На выставке-конференции SC17 Molex демонстрирует множество новых решений, как на базе оптических, так и классических медных технологий. Так, новая система соединителей Impel Plus Backplane Connector System гарантирует устойчивую передачу данных со скоростью до 56 Гбит/с при частоте сигнала более 30 ГГц. Система создана с прицелом на будущее и является полностью модульной.

Impel Plus System

Представляют существенный интерес и новые пассивные медные кабели: они отвечают стандарту zQSFP+ и поддерживают скорости до 100 Гбит/с. Обеспечена полная совместимость с рядом индустриальных стандартов, включая IEEE 802.3bj, InfiniBand EDR и SAS 3.0. Совместно с Intel компания намеревается продемонстрировать новый коммутатор стандарта Omni-Path, в котором эти решения будут широко использоваться. Система zCD Interconnect нацелена на будущее: она позволяет добиться скоростей до 400 Гбит/с на последовательную пару Ethernet. Разъёмы zCD в настоящее время проходят проверку и сертификацию консорциумом CDFP MSA, они обещают стать самым «плотным» и быстрым решением на рынке сетей. Другая система, Impulse Orthogonal Direct Backplane Connector System, нацелена на снижение стоимости и обеспечение качественного охлаждения, но при этом может работать на скоростях 56 и 112 Гбит/с.

Новые разъёмы и кабели zCD

Иногда расстояние между узлами суперкомпьютера или зданиями ЦОД составляет несколько десятков километров. В этом случае уместна окажется новая серия трансиверов Molex Oplink 10-100G. Мощная начинка позволяет им передавать сигнал со скоростью от 10 до 100 Гбит/с на расстояние до 80 километров, чего в большинстве случаев вполне достаточно. А система соединителей Quad Small Form-factor Pluggable Double Density, напротив, предназначена для достижения максимальной плотности и компактности. Восемь линий её электрического интерфейса могут работать на скорости до 25 Гбит/с при модуляции NRZ или до 50 Гбит/с с модуляцией PAM-4. Общая производительность на один порт QSFP-DD составляет 200 или 400 Гбит/с, поддерживаются трансиверы мощностью до 12 ватт. Всё богатство своих новых решений Molex демонстрирует в павильоне 1263, а в павильоне 1587 можно увидеть флеш-ускоритель SawMill FSA, поддерживающий стандарт OpenCAPI.

В экспозиции Gigabyte на выставке SC17 основное внимание было уделено серверам компании. Ассортимент систем для ресурсоёмких вычислений у Gigabyte Technology весьма широк, что и было продемонстрировано на стенде Colorado Convention Center.

Одним из прототипов оказался DO60-MR0 — универсальный корпус размером 735,7 × 600 × 1067 мм для серверных узлов, накопителей, блоков питания и элементов сетевой инфраструктуры. При проектировании корпуса был использован стандарт OU (Open U), обеспечивающий гибкость в размещении комплектующих. В число совместимых с DO60-MR0 серверных узлов вошли TO22-C20 и TO22-C21 на базе процессоров Intel Xeon Scalable (Skylake-SP), GPU-ориентированные T180-G23 и T180-G20 (до четырёх графических ускорителей в каждом), а также сетевое хранилище на 45 жёстких дисков T280-S3S.

Представленный на стенде Gigabyte двухузловой 2U-сервер H231-G20 на основе материнских плат MH61-HD3 с чипсетом C621 поддерживает процессоры Xeon Platinum, Gold, Silver и Bronze в конструктиве LGA3647 (всего четыре разъёма), установку двух двухслотовых графических адаптеров, 32 модулей оперативной памяти RDIMM/LRDIMM DDR4-2133/2400/2666 и 24 накопителей типоразмера 2,5 дюйма (20 × SATA/SAS, 4 × U.2). Источников питания в составе H231-G20 два — оба номиналом 2,2 кВт, с сертификатом 80 PLUS Platinum и внушительными 178,1 А по линии +12 В. Из остальных характеристик обращает на себя внимание наличие четырёх контроллеров Intel X550-AT2 (10-Гбит Ethernet). В комплект поставки включены четыре процессорных кулера, монтажный набор и модуль VROC. В упаковке сервер весит около 30 кг.

О соседнем продукте Gigabyte H261-N80 также известно немало, и, как и H231-G20, в продажу он пока не поступил. Данный сервер состоит из четырёх узлов, аналогичных тем, что используются в вышеописанной модели. Соответственно, почти все детали присутствуют в двойном количестве. Исключение составляют посадочные места для SAS/SATA и U.2-накопителей, которых в сумме по-прежнему 24, и блоки питания. Согласно спецификации H261-N80, уровень TDP каждого из восьми устанавливаемых процессоров Intel Xeon Scalable не должен превышать 165 Вт. Сервер занимает не так уж много пространства (820 × 440 × 87 мм) и весит 35 кг с комплектными аксессуарами.

Упоминаний о продукте H281-PE0 мы в Сети не обнаружили, и вполне возможно, что на SC17 он дебютировал впервые. Перед нами 2U-сервер, состоящий из четырёх узлов, как и H261-N80. У данной модели в сумме восемь разъёмов LGA3647, 96 слотов для оперативной памяти RDIMM/LRDIMM DDR4 (в полтора раза больше, чем у H261-N80), восемь 2,5-дюймовых отсеков для HDD/SSD, такое же количество каналов 10-Гбит Ethernet и целых шестнадцать разъёмов PCI Express 3.0 x16 для графических ускорителей.

Из трио серверов Gigabyte H231-G20/H261-N80/H281-PE0 последний почти наверняка будет дороже остальных. Системы могут решать совершенно разные задачи и комплектоваться исходя из потребностей конкретного заказчика. Впрочем, соотношение количества разъёмов для процессоров и ускорителей на базе GPU говорит о том, что перед нами точно не подобие AI-сервера NVIDIA DGX-1, где роль CPU вторична.

Серверные системы R181-340 и G291-280 рассчитаны на заказчиков с ограниченным бюджетом, исчисляющимся тысячами долларов, а не десятками тысяч. Бюджетный (кавычки по вкусу) 1U-сервер Gigabyte R181-340 на матплате MR91-FS0 с чипсетом C621 позволяет устанавливать два процессора Skylake-SP в 3647-контактные разъёмы и такое же количество графических ускорителей (с помощью адаптера можно добавить ещё две карты). Тепловыделение CPU допускается на уровне 205 Вт. Шестиканальный контроллер памяти Xeon Scalable сообщается с 24 слотами для оперативной памяти RDIMM/LRDIMM DDR4-2133/2400/2666. Для SATA/SAS-накопителей предусмотрены четыре 3,5-дюймовых отсека, также совместимые с 2,5-дюймовыми HDD/SSD. Сетевые возможности R181-340 представлены тремя портами Gigabit Ethernet, один из которых выделен для удалённого управления ресурсами системы. Питание сервера обеспечивается двумя 1200-Вт источниками с сертификатом 80 PLUS Platinum.

Gigabyte G291-280 предлагает более широкие возможности. Пространства в нём, в рамках форм-фактора 2U, значительно больше. Тайваньский производитель подчёркивает, что данная система прошла процедуру валидации NVIDIA и рекомендуется в качестве платформы для HPC-ускорителей Tesla — для них предусмотрены восемь разъёмов PCI Express 3.0 x16. Ещё два таких же слота можно занять другими, более компактными (HHHL) картами расширения. Основой G291-280 служит материнская плата MG51-G21 с двумя разъёмами LGA3647 для процессоров Xeon Scalable с TDP вплоть до 205 Вт. На PCB распаяны 24 разъёма RDIMM/LRDIMM DDR4, совместимых с ёмкими (до 64 Гбайт) модулями памяти, порты для подключения восьми 2,5-дюймовых жёстких дисков или твердотельных накопителей, два 10-Гбит Ethernet-контроллера и другие узлы. Мощность дуэта серверных блоков питания составляет 2200 Вт.

Всеобщее внимание привлекла система на основе матплаты MW51-HP0 с погружным охлаждением комплектующих. Для отвода тепла с поверхности процессора Intel семейства Xeon W (LGA2066) и пяти карт расширения оказалось достаточно жидкости 3M Novec. Циклически переходя из жидкого в парообразное состояние и наоборот, она позволяет экономить до 97 % электроэнергии, затрачиваемой на воздушное охлаждение аналогичного сервера. Это далеко не первая демонстрация возможностей 3M Novec и, вероятнее всего, предельная температура жидкости не превышает 60–65 °C, а компоненты системы не прогреваются под нагрузкой выше 80–85 °C.

Ассортимент компании ASUSTeK Computer богат материнскими платами не только для настольных ПК, но и более производительных систем — рабочих станций и серверов. В рамках выставки-конференции SC17 в городе Денвер (штат Колорадо, США) на стенде ASUS был продемонстрирован ряд новых матплат для процессоров Intel Xeon в конструктиве LGA2066 и LGA3647.

Модель ASUS Z11PA-D8 на чипсете C621 предназначена для сборки 2P-серверов и рабочих станций на базе процессоров семейства Skylake-SP — Xeon Platinum (4–28 ядер), Xeon Gold (4–22 ядра), Xeon Silver (4–12 ядер) и Xeon Bronze (6–8 ядер). Устройство выполнено в форм-факторе SSI CEB — его габариты составляют 305 × 267 мм. Плату Z11PA-D8 можно размещать во многих просторных корпусах форматов Full-Tower и Mid-Tower, а в качестве источника питания использовать ATX-совместимый БП с большим запасом прочности. На текстолите распаяны восемь слотов для оперативной памяти DIMM DDR4, поровну распределённые между гнёздами LGA3647 (процессоры Xeon Scalable содержат шестиканальный контроллер RAM, но места на плате немного). Кроме того, наличествуют два разъёма M.2 для SSD длиной до 110 мм, такое же количество PCI Express 3.0 x16, единичные PCI-E 3.0 x8 (или PCI-E 3.0 x8@x4) и PCI-E 3.0 x1. Посредством кабелей Mini-SAS HD к Z11PA-D8 можно подключить до шестнадцати SATA-накопителей. Сетевых контроллеров Gigabit Ethernet целых четыре, также имеются гигабитный интерфейс IPMI и контроллер удалённого управления ресурсами ASUS ASMB9-iKVM (ASPEED AST2500).

Соседняя плата на стенде — ASUS Z11PA-U12 — является упрощённой версией представленной ранее модели Z11PA-U12/10G-2S. Как нетрудно догадаться, новинка обходится без «10G» — двух 10-гигабитных контроллеров проводной сети, но всё равно предлагает широкие возможности в рамках своего форм-фактора (ATX, 305 × 244 мм). Устройство позиционируется ASUSTeK Computer как «идеальная платформа для разработки приложений в областях глубинного обучения и образования». Компанию разъёму LGA3647 для процессоров Intel Xeon Scalable составляют двенадцать слотов для оперативной памяти DDR4-2400/2666 (до 384 Гбайт RAM при использовании модулей RDIMM, до 768 Гбайт LRDIMM и до 1,5 Тбайт 3DS LRDIMM), два PCI Express 3.0 x16, единичные PCI-E 3.0 x8 и PCI-E 3.0 x8@x4. Кроме того, на плате присутствуют один разъём M.2 для SSD-накопителей длиной до 80 мм и два слота OCuLINK для минимизации задержек и ускоренного обмена данными с NVMe SSD, а также поддерживается подключение тринадцати SATA-накопителей (большинство — через кабели Mini-SAS HD). Для обмена данными и управления ресурсами сервера предусмотрены независимые друг от друга сетевые контроллеры и порты. Две из трёх микросхем Gigabit Ethernet носят маркировку Intel I210-AT.

О материнских платах WS X299 Sage (форм-фактор SSI CEB, 305 × 267 мм) и WS C621E Sage (SSI EEB, 305 × 330 мм) мы рассказывали в предыдущих заметках. Модель на базе чипсета Intel X299 выделяется своими системами питания и охлаждения, наличием двух разъёмов U.2 для скоростных накопителей, а также поддержкой графических конфигураций NVIDIA 4-Way SLI и AMD 4-Way CrossFire. В свою очередь, матплата на чипсете C621 позволяет одновременно использовать в составе сервера или рабочей станции два процессора Intel Xeon Scalable (LGA3647) с тепловым пакетом до 205 Вт, как минимум четыре графических адаптера на ядрах NVIDIA или AMD, до 768 Гбайт оперативной памяти RDIMM/LRDIMM DDR4-2400/2666 и максимум пятнадцать накопителей с разъёмами подключения SATA 6 Гбит/с (10 шт.), U.2 (4 шт.) и M.2 (1 шт.).

Показанный на SC17 прототип модели ASUS WS C422 PRO SE для рабочих станций начального уровня (в рамках платформы) базируется на сочетании гнезда LGA2066 для процессоров Xeon W и чипсета C422. Плата во многом напоминает настольную, однако аналога в семействе ASUS X299 у неё на данный момент нет. Устройство позволяет установить процессор Xeon с количеством ядер от 4 до 18 шт., восемь модулей оперативной памяти DIMM DDR4 с четырёхканальным доступом, три-четыре графических ускорителя NVIDIA или AMD, карту расширения PCI Express x4 (слот PCI-E 3.0 посередине), по крайней мере два M.2 SSD (разъёмы в нижней части PCB, накрыты радиаторами) и не менее шести SATA-накопителей. Обращает на себя внимание большое количество разъёмов питания (единичные ATX и PCI-E Power 6-pin, два EPS12V) и портов USB версий 2.0, 3.0 и 3.1. Радиаторы цепей питания гнезда Intel LGA2066 соединены тепловой трубкой.

Опираясь на данные ресурса Geizhals, специализирующегося на отслеживании цен в западноевропейских магазинах, приведём расценки на некоторые из вышеописанных продуктов. Все предложения пока доступны только по предварительному заказу и в ограниченном количестве точек продаж:

• ASUS Z11PA-U12: €372;
• ASUS Z11PA-D8: €521;
• ASUS WS C621E Sage: €565.

Группа компаний РСК, ведущий разработчик и интегратор инновационных решений для сегмента высокопроизводительных вычислений (HPC) и центров обработки данных (ЦОД), демонстрирует на суперкомпьютерной выставке SC17 в Денвере (Колорадо) новое поколение решения «РСК Торнадо» с жидкостным охлаждением, которое построено на базе процессоров Intel Xeon Scalable.

RSC Group также объявила о присоединении к программе Intel Select Solutions для HPC — компания хочет предложить решения Intel Select Solution for Simulation and Modeling. Эта новая программа ориентирована на внедрение самых современных решений в инфраструктуру дата-центров и упрощения процесса выбора, развертывания и оптимизации конкретных рабочих нагрузок, включая HPC.

Intel Select Solutions — это портфолио оптимизированных, проверенных решений на базе процессоров Intel Xeon Scalable, предназначенных для использования в современных вычислительных центрах и обеспечивающих упрощённое, ускоренное развертывание центров обработки данных и сетевой инфраструктуры. РСК является единственной российской компанией на сегодняшний день, которая объявила о присоединении к программе Intel Select Solutions для HPC.

На стенде РСК демонстрируется полный набор компонентов для современных вычислительных систем HPC различного масштаба со 100-% непосредственным жидкостным охлаждением горячей водой, включая высокопроизводительные вычислительные узлы «РСК Торнадо» на базе процессоров Intel Xeon Platinum и Intel Xeon Gold (относятся к платформе Intel Xeon Scalable) и серверной платы Intel S2600BP с высокоскоростными твердотельными M.2-накопителями с интерфейсом NVMe, а также новейшим Intel Optane SSD DC P4800X Series. Для связи вычислительных узлов РСК предлагает коммутатор Intel Omni-Path Edge Switch 100 Series, который также снабжён фирменной СЖО.

Базирующееся на процессорах Intel Xeon Scalable решение «РСК Торнадо» установило отраслевые рекорды для основанных на Intel Xeon платформ. В частности, оно установило новый мировой рекорд производительности для высокопроизводительных решений — 685,44 ТФЛОПС в стандартном вычислительном шкафу 42U (80x80x200 см). Также был установлен рекорд вычислительной плотности — 535 ТФЛОПС на м³ — и зафиксирована рекордная энергетическая плотность: до 100 кВт на 42U-шкаф.

«РСК Торнадо» характеризуется рекордной вычислительной плотностью — до 153 базовых расширяемых вычислительных узлов архитектуры x86 в стандартном 42U вычислительном шкафу (80 × 80 × 200 см), отличается высокой энергоэффективностью и обеспечивает стабильную работу вычислительных узлов в режиме «горячая вода» с температурой хладоносителя до + 65° C (149° F) на входах всей вычислительной стойки (включая узлы и межсоединительные переключатели). Показатель эффективности использования электроэнергии PUE (Power Usage Effectiveness) у системы составляет не более 1,06.

Компания Mellanox — один из признанных лидеров рынка высокоскоростных сетевых решений. В своё время при упоминании технологии InfiniBand первое имя, которое с ней ассоциировалось, — именно Mellanox. Сейчас InfiniBand по-прежнему используется, но, скорее, является нишевой технологией на фоне повсеместного проникновения Ethernet. Mellanox, однако, уже давно работает и с гибридными решениями типа InfiniBand over IP, а также создает сетевые процессоры, изначально ориентированные на работу с Ethernet. Конференция SC17 посвящена суперкомпьютерам и кластерным системам, а сетевые соединения являются очень важной их частью, поэтому неудивительно, что Mellanox демонстрирует свои новые решения, в частности, серию сетевых адаптеров Innova-2 на базе ПЛИС (FPGA) и платформу для построения мощных коммутаторов класса 200G.

Размер ПЛИС на борту Innova-2 внушает уважение, как и её характеристики

Серия Innova-2 отличается большой гибкостью благодаря использованию ПЛИС Xilinx Kintex UltraScale. По сути, это не сетевой адаптер, а «заготовка», которая может быть прошита по желанию клиента на выполнение любых требуемых им операций, например, в области криптографии. Сердцем новой серии выступает чип ConnectX-5, а ПЛИС, как уже понятно из описания, работает в роли программируемого ускорителя. По оценкам разработчиков, Innova-2 в шесть раз производительнее аналогичных по возможностям решений других компаний, и при этом стоимость владения соответствующей инфраструктуры ниже в 10 раз. Поддерживают эти сетевые ускорители как Ethernet (вплоть до 100 Гбит/с), так и InfiniBand. Чтобы системная шина не стала узким местом, внедрена поддержка интерфейсов PCI Express 4.0 и OpenCAPI, хотя, разумеется, для раскрытия их потенциала потребуются соответствующие системные платы. Форм-фактор сервера не столь важен — при габаритах HHHL (половинная длина, половинная высота) двухпортовый адаптер Innova-2 без проблем установится практически в любой корпус.

Сетевой адаптер — это одна из конечных точек инфраструктуры. На другой неизбежно находится коммутатор, от которого во многом зависит пропускная способность и эффективность работы сети в целом. Есть у Mellanox что предложить и в этой сфере. Новая серия коммутаторов Quantum поддерживает скорости до 200 Гбит/с на порт и является первой в индустрии, использующей ядро Linux в качестве базовой ОС в комплексе с драйвером Switchdev. Даже младшая модель, Quantum QM8700, может предоставить в распоряжение проектировщика сети 40 портов со скоростью 200 Гбит/с (или вдвое больше портов 100 Гбит/с), а модульные масштабируемые Quantum CS8510 и Quantum CS8500 и вовсе оперируют цифрами 200 и 800 портов класса 200G. Любопытно, что новая связка Linux + Switchdev доступна и для серии Mellanox Spectrum. Но семейство Quantum, по мнению компании, не имеет аналогов: оно в 4 раза дешевле, в 2 раза быстрее и экономичнее, нежели сопоставимые по классу решения конкурентов. Ознакомиться с достижениями Mellanox можно на SC17 в павильоне 653.

До открытия международной конференции SC17, целиком посвящённой теме высокопроизводительных вычислений и всему, что с ней связано, остается буквально один день. Стартует это мероприятие 12 ноября, а выставочная зона откроется на день позже, 13 ноября. Местом проведения выбран конференц-центр Колорадо, знаменитый CCC (Colorado Convention Center), расположенный в городе Денвер, США. Поскольку конференция посвящена ИТ-тематике, да ещё и высокопроизводительным решениям, ей потребуется пусть временная, но быстрая и надёжная сеть. В прошлом году на SC16 в Солт-Лейк-Сити наличие более 11 тысяч участников потребовало прокладки более чем ста миль оптического волокна. Аналогичная работа ведётся и в эти дни, предшествующие открытию SC17.

Волокно, оставшееся с SC16, проходит проверку на пригодность к повторному использованию

Обычно сети такого класса делаются стационарными и прокладываются в специальных кабель-каналах под полом или потолком, либо в стенах, а кабели имеют соответствующую пылевлагозащиту. Но это непозволительная роскошь для мероприятия, которое проходит в одном здании только один раз. Поэтому сеть на SC17 тоже будет временной. Более 180 добровольцев собрались в Денвере, чтобы проложить SCinet — сеть, которая не просто снабдит конференцию доступом в Интернет, но и позволит демонстрировать в работе уникальное высокоскоростное оборудование, привезённое участниками конференции.

Хотя сеть и временная, её разработка заняла целый год, а готовиться к SC17 участники проекта SCinet начали за месяц до начала мероприятия. Оптоволокнные кабели будут прикрыты лишь ковровыми покрытиями и тонкими древесно-волоконными плитами, а перед началом выставки и вовсе примут на себя удары многочисленных тележек и погрузчиков.

Из этого следует простой факт: вопрос быстрого ремонта стоит очень остро, да и закупка катушек нового волокна каждый год — удовольствие не из дешёвых. Поэтому на SC17 широко используются старые и переработанные отрезки кабелей. Из 84 катушек 24 имеют статус «refurbished», а выжившие в этом году отрезки планируется использовать и на SC18 в Далласе. Перед монтажом волокно проверяется с помощью оптического рефлектометра (TDR), а для сварки и установки разъёмов применяется сварочная станция Swift F1.

К сожалению, оптоволокно, превосходя во всём медь, существенно уступает последней в простоте ремонта кабельных соединений и требует довольно высокой квалификации. Как отмечают лидеры «кабельной команды», редко когда удаётся обойтись без срочного ремонта, а иногда приходится работать и прямо на выставке. Кроме того, 17 ноября, по завершении SC17, сеть будет демонтирована менее, чем за 24 часа, и в этом процессе часть кабелей неизбежно пострадает. Остаётся пожелать создателям SCinet удачи и надеяться, что сеть не подведёт и в этом году.

Буквально вчера мы рассказали читателям о новой системе серверного жидкостного охлаждения Rack DCLC AHx10, представленной компанией CoolIT Systems. Этот удобный модуль имеет стандартные стоечные габариты и способен отводить до 7 киловатт тепловой энергии, а с расширениями — до 10 киловатт. Но к серверным СЖО предъявляются особые требования. Их необходимо тщательнейшим образом тестировать ещё перед отправкой к потребителям, а для этого производителю требуется сложная и развитая инфраструктура.

Но CoolIT сумела упростить и этот процесс, не потеряв в его качестве. В числе прочих продуктов на предстоящей конференции SC17 она будет демонстрировать тестовый водовоздушный модуль теплоотвода Rack DCLC AHx2. В отличие от описанного ранее AHx10, модуль AHx2 предназначен для ручной транспортировки, он имеет форму чемоданчика и даже оснащён ручкой для переноски. Как и было сказано, назначение новинки — тестирование серверов, оснащённых средствами охлаждения CoolIT DCLC.

Модули CoolIT Systems имеют развитые средства интеграции и мониторинга. На снимке водоводяной теплообменник мощностью 40 киловатт

Корпус AHx2 оснащён четырьмя «холодными» и четырьмя «горячими» терминалами, так что возможно одновременное тестирование до четырёх серверных систем, оснащённых жидкостными модулями на ЦП и платах ускорителей. Мощность теплоотвода у данной модели невелика, всего 2 киловатта, но ведь ей и не требуется работать в режиме 24/7, будучи установленной в стойку. Это специализированный инструмент для тестирования и обкатки средств СЖО. И в данном качестве Rack DCLC AHx2 выглядит незаменимым.

В потребительском сегменте компактные необслуживаемые СЖО уже превзошли в эффективности даже лучшие воздушные суперкулеры и практически сравнялись с ними в простоте и удобстве эксплуатации. Активно используются жидкостные системы и в серверном сегменте, однако чаще всего они либо централизованные, что требует прокладки отдельной сети труб, по которым циркулирует теплоноситель, либо погружные, использующие специальные высокомолекулярные жидкости. А как быть в том случае, если охлаждение требуется одной стойке со стандартными корпусами? Компания CoolIT Systems даёт ответ на этот вопрос.

На международной конференции SC17, посвящённой высокопроизводительным вычислениям, компания будет демонстрировать свою последнюю новинку: модуль охлаждения Rack DCLC AHx10. Генетически корни такого решения восходят к некоторым потребительским системам Zalman с внешним довольно крупным блоком теплообменника, но, разумеется, в AHx10 всё стандартизировано, и сама система гораздо мощнее. Монтируется главный теплообменник в обычную стойку, занимает высоту 5U и в этой конфигурации обеспечивает рассеивание 7 киловатт тепловой мощности при температуре окружающего воздуха 25 градусов. В том случае, если этого недостаточно, доступны будут опциональные модули: нарастив систему до высоты 6 или 7U, можно будет получить кулер, способный справиться и с 10 киловаттами нагрузки.

Один из стоечных теплообменников CoolIT внутри. Судя по маркировке CHx40, эта модель способна отвести до 40 киловатт тепловой мощности

Как справедливо отмечает представитель CoolIT Systems, новая система имеет ряд преимуществ перед классическими решениями жидкостного охлаждения для серверных комнат. Она не требует переделки всего помещения, прокладки десятков или сотен метров труб, установки многочисленных клапанов и датчиков протечки, а также позволяет избежать необходимости установки погружных бассейнов и солидных расходов на специальный теплоноситель. AHx10 полностью отвечает концепции Plug and Play, и при установке этой системы достаточно, чтобы остальные компоненты в стойке были оснащены портами для включения в контур СЖО. Новинка совместима с уже имеющимися решениями CoolIT, в её состав входят резервные помпы, а направление воздушного потока стандартное: нагретый воздух выбрасывается назад, в «горячий коридор». На SC17, которая откроется уже 12 ноября, познакомиться с новинками компании можно будет в павильоне под номером 1601.