Вычислительная плотность в ЦОД растёт и продолжит расти в обозримом будущем. Вместе с ней растёт и уровень тепловыделения. Производители серверов и разработчики ЦОД всё чаще приходят к выводу о необходимости использования более эффективных методов охлаждения.

Одним из наиболее доступных является переход на использование жидкостного охлаждения. В этой сфере решил попробовать себя известный производитель аппаратных компонентов, компания GIGABYTE.

Источник вдохновения нового проекта: трековые детекторы LHC с фазовой системой охлаждения

GIGABYTE объявила о начале сотрудничества с разработчиком и производителем технологий жидкостного охлаждения, компанией Incooling. Целью совместной деятельности является разработка нового класса двухфазных серверных систем жидкостного охлаждения. В качестве тестовой платформы будет использоваться GIGABYTE R161, допускающая разгон процессоров. Эти платформы используются там, где на счету каждый мегагерц, например, в системах высокочастотной торговли.

Принцип действия разработки Incooling

Технология, предлагаемая Incooling, позволяет снизить температуру комплектующих до существенно более низкой отметки, нежели та, на которой находится температура воздуха в помещении ЦОД. Достигается это с помощью системы охлаждения, основанной на эффекте фазового перехода.

Такая система чем-то напоминает обычный современный компрессорный холодильник: в испарительных камерах, установленных на процессорах, происходит фазовый переход нагнетаемого туда хладагента, после чего получившаяся газово-жидкостная смесь отдаёт тепло в конденсаторе.

GIGABYTE уже использовала эффект перехода фазы в погружной системе, продемонстрированной на SC19

Уже первые предварительные тесты показали на 20 градусов более низкую температуру на процессоре, а тактовую частоту удалось поднять на дополнительные 10%. Совместные исследования GIGABYTE и Incooling должны обеспечить расширение этих лимитов, а также привести к созданию аналогичных систем для других серверов GIGABYTE: H-Series и G-Series. Интересно, что источником вдохновения для Incooling послужила фазовая система охлаждения 2-PACL на основе сжиженного углекислого газа. Она использовалась для охлаждения трековых детекторов Большого Адронного Коллайдера.

Помимо платы MU71-SU0 для производительных рабочих станций или серверов начального уровня, компания GIGABYTE сегодня представила модель MD71-HB1, предназначенную для построения двухпроцессорных систем.

Изделие соответствует типоразмеру E-ATX: габариты составляют 305 × 330 мм. Задействован чипсет Intel C622 Express; возможна установка двух процессоров Intel Xeon Scalable второго поколения (LGA 3647) с величиной TDP до 205 Вт.

Для карт расширения и GPU-акселераторов доступны два слота PCIe x8 Gen3 и пять слотов PCIe x16 Gen3. Для модулей оперативной памяти DDR4-2933/2666/2400 предусмотрены в общей сложности 12 разъёмов: поддерживается до 1,5 Тбайт ОЗУ в конфигурации 12 × 128 Гбайт.  Также есть поддержка Intel Optane DCPMM.

Системная плата снабжена тремя интерфейсами SlimSAS (двенадцать портов SATA 3.0), парой разъёмов SATA 3.0, двумя коннекторами M.2 для твердотельных модулей формата 22110/2280 с интерфейсом PCIe Gen3 x4.

Новинка получила два сетевых порта Gigabit LAN и два порта 10 Gigabit LAN. Плюс к этому предусмотрен дополнительный сетевой порт управления. Набор разъёмов на интерфейсной панели невелик: помимо гнёзд для сетевых кабелей, есть только два порта USB 3.0 и аналоговый порт D-Sub. Заявлена совместимость с Windows Server, Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu, VMware ESXi, Citrix XenServer/Hypervisor.

В ассортименте GIGABYTE появилась материнская плата MU71-SU0, предназначенная для построения высокопроизводительных рабочих станций и простых серверов на аппаратной платформе Intel.

Новинка выполнена в формате ATX (305 × 254 мм) с применением набора логики Intel C621 Express. Поддерживается установка одного процессора Xeon W-3200 поколения Cascade Lake-SP в исполнении LGA 3647 с максимальным TDP до 205 Вт.

Для модулей оперативной памяти DDR4-2933/2666/2400/2133, несмотря на поддержку процессорами только шести каналов, есть восемь разъёмов: в системе можно задействовать до 1 Тбайт ОЗУ. Имеется поддержка Intel Optane DCPMM. Доступны два интерфейса SlimSAS (восемь портов SATA 3.0) и коннектор М.2 для высокопроизводительного твердотельного модуля PCIe Gen3 x4. 

Для установки различных акселераторов предусмотрены шесть слотов PCIe x16 Gen3. Кроме того, имеется один разъём PCIe x4 Gen3 для дополнительной карты расширения. В оснащение входят двухпортовый гигабитный сетевой контроллер Intel I210-AT и дополнительный сетевой порт управления 10/100/1000 Management LAN.

Набор разъёмов включает четыре порта USB 3.0, последовательный порт, аналоговый коннектор D-Sub, гнёзда для сетевых кабелей. Гарантирована совместимость с платформами Windows Server, Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu, VMware ESXi, Citrix Xenserver/Hypervisor. Имеется поддержка GIGABYTE Server Management и GIGABYTE Management Console. Цена не называется. 

Сфера машинного обучения и ИИ-сервисов переживает бурный расцвет. Неудивительно, что разработчики новых ИИ-процессоров и производители серверного оборудования наперебой спешат представить свои новинки на проходящей сейчас конференции SC19.

Одним из таких производителей стала компания GIGABYTE ‒ она, как и большинство других производителей игрового «железа», имеет в своём составе и серверное подразделение. На выставку GIGABYTE привезла множество новых систем, которые пополнят серию серверов G-Series.

Второе поколение процессоров AMD EPYC позволило существенно уплотнить вычислительные мощности благодаря наличию новых 64-ядерных моделей. GIGATYTE воспользовалась этим и в числе прочего представила модели серверов G292-Z22 и G292-Z42 с одним и двумя процессорными разъёмами соответственно. Системы компактны, они используют корпуса высотой всего 2U, но при этом поддерживают установку до восьми ускорителей, таких, как NVIDIA Tesla V100. Имеется также 8 дисковых отсеков формата 2,5″, часть из которых поддерживает 2 либо 4 накопителя с интерфейсом NVMe.

GIGABYTE G292-Z20: один EPYC, восемь ускорителей в боковых тоннелях. Поддерживается PCIe 4.0

Несмотря на компактность, эти системы имеют очень продуманную систему охлаждения. Процессоры в серверах такого класса вырабатывают отнюдь не основную долю тепла, а главным источником являются ускорители, будь то GPU или специализированные чипы. Поэтому платы ускорителей размещаются в двух параллельных и прекрасно продуваемых тоннелях слева и справа от системной платы.

GIGABYTE G242-Z10: вид вблизи

Пока речь идёт о поддержке PCIe 3.0, но в начале следующего года GIGABYTE представит модели G292-Z20 и G292-Z40, в которых будет задействована шина PCIe 4.0. Но на выставке SC19 эти новинки уже демонстрируются, как и совсем компактная модель G242-Z10, также с поддержкой нового стандарта. Несмотря на малые габариты, эта модель может вместить в себя четыре полноразмерных ускорителя. Выставочный экземпляр был оснащён платами Radeon Instinct.

GIGABYTE G242-Z10: самый компактный вариант с четырьмя полноразмерными Radeon Instinct с интерфейсом PCIe 4.0

Следующие новинки, серверы G482-Z50 и G482-Z51, уже нельзя назвать компактными: они используют корпуса высотой 4U. Первая модель интересна тем, что поддерживает установку уже 10 плат-ускорителей, причём, каждые 5 из них общаются с процессором через коммутатор PCIe, поддерживающий прямую передачу данных от GPU к GPU. Развита здесь и подсистема хранения данных: имеется 12 полноразмерных отсеков SATA/SAS и 10 отсеков формата 2,5″ с поддержкой SATA/SAS либо NVMe. По сути, это готовая универсальная платформа, отлично подходящая и для задач машинного обучения.

GIGABYTE G482-Z51: отличная платформа для машинного обучения. До 8 ускорителей Radeon Instinct, поддержка PCIe 4.0

А вот в модели G482-Z51 возможности, на первый взгляд, несколько скромнее: мест для установки плат-ускорителей тут всего 8, но зато этот сервер является одним из первых на рынке x86-серверов с «родной» поддержкой PCIe 4.0 ‒ здесь карты подключаются напрямую к центральным процессорам. Эту систему GIGABYTE считает идеально подходящей для комплектации ускорителями AMD Radeon Instinct MI50, которые как раз поддерживают новый стандарт PCIe и при установке восьми карт могут обеспечить производительность до 216 Тфплос в задачах обучения, использующих формат FP16.

GIGABYTE G482-Z51, вид сверху. 16 слотов DIMM на процессор не оставят систему без памяти. В левом нижнем углу - скоростной сетевой адаптер

Компания также представила в новой серии «лезвие» T181-Z70. Оно выполнено в форм-факторе, разработанном в рамках инициативы Open Compute Project и устанавливается в OCP-стойку с габаритами 21″ и собственным блоком питания. В итоге в корпус высотой 1U удалось вместить два процессора AMD EPYC второго поколения и до четырёх полноразмерных плат-ускорителей. Нашлось здесь место и для четырёх дисковых отсеков формата 2,5″ и даже для дополнительного слота расширения ‒ он предназначен для установки высокоскоростных сетевых карт нового поколения. Новинка совместима с прочими продуктами GIGABYTE RACKLUTION-OP, использующими новый форм-фактор OCP.

GIGABYTE T181-Z70: вклад компании в развитие открытых стандартов. Фото GIGABYTE

Демонстрирует компания также новую модульную гиперконвергентную систему ‒ H262-Z61. Каждый её модуль очень компактен, шасси высотой 2U может вместить сразу четыре таких модуля. При этом конфигурация его очень серьёзна: два процессорных разъёма c поддержкой AMD EPYC второго поколения и два слота PCIe 4.0 x16 для установки ускорителей. Кроме того, возможна установка мезаниновых плат формата OCP 2.0 и шести накопителей NVMe формата 2,5″.

GIGABYTE H262-Z61, один модуль из четырёх

Несмотря на активный натиск со стороны AMD EPYC, не забыла GIGABYTE и о процессорах Intel Xeon Scalable второго поколения. На их основе построены системы G241-G40 и G591-HS0. Первая модель выглядит достаточно обычно, она выполнена в корпусе высотой 2U и может нести на борту до четырёх полноразмерных ускорителей. Воздухообмен хорошо продуман, и сервер поддерживает установку даже карт с пассивными радиаторами. Имеется четыре полноразмерных дисковых отсека и два слота M.2 для установки твердотельных накопителей NVMe.

GIGABYTE G241-G40. Фото GIGABYTE

Система G591-HS0 относится к совсем иному классу: это огромный сервер высотой 5U, имеющий в задней части корпуса два специальных выдвижных отсека. Каждый из таких отсеков может принять в себя по 20 карт расширения половинной высоты. Используются специальные коммутаторы PCIe 3.0, поскольку даже два процессора Xeon Scalable просто не могут дать нужного количества линий.

G591-HS0: уникальные возможности расширения. Фото GIGABYTE

Ввиду того, что сейчас активно развиваются альтернативные ускорители на базе ПЛИС или специальных ASIC, которые могут быть достаточно компактными, данный сервер является идеальной платформой для организации мощной системы на базе таких ускорителей. К примеру, это может быть система анализа видео в реальном времени. Более того, с помощью дополнительного модуля расширения к G591-HS0 можно подключить ещё 32 однослотовых, но полноразмерных ускорителя.

G591-HS0: вид со стороны корзин расширения. Фото GIGABYTE

Все новые системы GIGABYTE поддерживают систему удалённого управления GIGABYTE Management Console, в основе которой лежит веб-платформа AMI MegaRAC SP-X. Новое поколение iKVM использует стандарт HTML5 и полностью отвечает стандартам Redfish API, оно также полностью бесплатно и не требует приобретения каких-либо дополнительных лицензий. Имеется также сервисная утилита GIGABYTE Server Management в версии как для обычных ПК, так и для мобильных устройств.

На днях NVIDIA анонсировала новое программно-аппаратное решение на базе платформы EGX для 5G-сетей и периферийных (edge) вычислений. Одновременно с этим собственные EGX-решения представили и производители серверного оборудования. 

К примеру, GIGABYTE обновила конфигурацию своего сервера G191-H44. Это компактное шасси формата 1U, способное нести на борту до четырёх ускорителей, поддерживает и карты NVIDIA T4.

GIGABYTE G191-H44: компактность не мешает производительности

Напомним, что T4 построены на чипах с архитектурой Turing, они располагают 2560 ядрами CUDA и 320 тензорными ядрами. Производительность одной такой карты оценивается в 65 Тфлопс в смешанном режиме FP16/32. Мощность вычислений в режимах INT8 и INT4 составляет 130 и 260 Топс, соответственно.

Объём набортной памяти GDDR6 ‒ 16 Гбайт, скорость передачи данных 300 Гбайт/с. Охлаждение пассивное, обеспечивается средствами сервера, тем более что теплопакет не превышает 70 ватт. Платы выполнены в низкопрофильном форм-факторе, что позволяет им легко уместиться в таких корпусах, как у G191-H44.

Обновлённые серверы G191-H44 предназначены для работы в составе гибридных облаков NVIDIA NGC, благо, поддерживается установка новейших сетевых 100GbE-карт Mellanox. Система уже прошла все квалификационные тесты и имеет официальный статус NGC Ready.

Tyan Thunder SX TN76-B7102: простор дискового хранилища

Аналогичное решение предлагает другой игрок на рынке серверных систем, компания Tyan. Её сервер Thunder SX TN76-B7102 также поддерживает установку до четырёх ускорителей NVIDIA T4, но упакован он не столь плотно, как GIGABYTE G191-H44.

Корпус здесь имеет высоту 2U, что, помимо прочего, позволяет улучшить тепловой режим. К тому же для задач, требующих хранения существенного объёма данных, этот корпус подходит лучше, поскольку имеет 12 полноразмерных отсеков формата 3,5″ с поддержкой горячей замены накопителей. Это могут быть как 12 дисков с интерфейсом SATA, так и комбинация 8 дисков SATA и 4 накопителей NVMe.

Компания GIGABYTE представила системную плату небольшого форм-фактора GA-PICO3350, рассчитанную на использование во встраиваемых решениях. 

Изделие соответствует типоразмеру Pico-ITX: габариты составляют 100 × 72 мм. Плата оборудована процессором Intel Celeron N3350 поколения Apollo Lake. Этот чип содержит два вычислительных ядра и графический ускоритель Intel HD Graphics 500. Номинальная тактовая частота составляет 1,1 ГГц, форсированная — 2,4 ГГц.

Есть один слот для модуля оперативной памяти DDR3L SO-DIMM ёмкостью до 8 Гбайт. Предусмотрены порт SATA для накопителя, слот Mini-PCIe, коннектор М.2 для модуля беспроводной связи и коннектор mSATA. На плате есть выводы LVDS, FPD, SMBUS и GPIO, а также колодка для последовательных портов и гнездо для подключения внешней батареи питания.

Новинка несёт на борту звуковой кодек Realtek ALC887, сетевой контроллер Realtek GbE LAN и модуль TPM 2.0. Набор разъёмов на интерфейсной панели невелик: есть коннектор HDMI, два порта USB 3.0, гнездо для сетевого кабеля и гнездо для внешнего источника питания 12 В DC. 

Говорится о совместимости с операционной системой Windows 10. Информации о цене пока нет. 

Компания GIGABYTE пополнила свою серию стоечных серверов на платформе AMD EPYC Rome.

В общей сложности дебютировали шесть моделей. Все они допускают установку одного процессора EPYC 7002 Series (на систему/узел). Серверы могут использоваться в центрах обработки данных и в составе пограничных платформ.

В частности, дебютировали модели R162-Z10 / Z11. Эти устройства типоразмера 1U допускают установку до трёх ускорителей NVIDIA Tesla PCIe. Во фронтальной части предусмотрены отсеки для десяти накопителей 2,5" U.2 с возможностью «горячей» замены. Для модулей оперативной памяти доступны восемь слотов.

Кроме того, представлен сервер G242-Z10 формата 2U. Эта система может быть оборудована четырьмя акселераторами NVIDIA Tesla PCIe. Спереди есть четыре отсека для 3,5-дюймовых накопителей с интерфейсом SATA/SAS.

Ещё одна новинка — модель H252-Z10 — также соответствует типоразмеру 2U. Это четырёхузловой сервер с доступом с задней стороны. Особенность решения заключается в наличии 24 фронтальных посадочных мест для накопителей формата 2,5 дюйма с возможностью «горячей» замены. Допускается установка восьми модулей оперативной памяти в расчёте на узел.

Наконец, анонсированы серверы H242-Z10 / Z11, также содержащие четыре узла. Эти системы имеют форм-фактор 2U. Есть четыре отсека для 2,5-дюймовых накопителей. Решения предназначены для пограничных (edge) платформ. 

Компания GIGABYTE анонсировала материнскую плату MZ32-AR0, предназначенную для построения мощных рабочих станций на новейшей аппаратной платформе AMD EPYC Rome 7002 Series.

Решение выполнено в формате E-ATX с размерами 305 × 330 мм. Допускается установка одного процессора в исполнении Socket SP3 с максимальным значением рассеиваемой тепловой энергии до 225 Вт.

Для модулей оперативной памяти DDR4-3200 есть 16 разъёмов; в системе можно задействовать до 2 Тбайт ОЗУ. Допускается подключение накопителей с интерфейсом SATA. Кроме того, предусмотрены два коннектора М.2 для твердотельных модулей.

Плата располагает шестью слотами PCIe x16 и одним слотом PCIe x8. Таким образом, в систему можно установить, скажем, несколько высокопроизводительных графических ускорителей.

Среди прочего стоит выделить два сетевых порта 1GbE LAN и дополнительный порт управления 10/100/1000 management LAN. На интерфейсную панель, помимо гнёзд для сетевых кабелей, выведены три порта USB 3.0, аналоговый разъём D-Sub и последовательный порт.

Информации о цене системной платы GIGABYTE MZ32-AR0 пока нет. 

GIGABYTE анонсировала серверы следующего поколения, выполненные на новейшей аппаратной платформе EPYC 7002 Series, разработанной компанией AMD.

С решениями GIGABYTE, рассчитанными на монтаж в стойку, познакомились корреспонденты ServerNews. В частности, демонстрируется система H242-Z11 высокой плотности. Это сервер формата 2U, допускающий установку четырёх процессоров AMD EPYC 7002 Series. Для модулей оперативной памяти доступны 32 разъёма. Решение позволяет задействовать четыре 2,5-дюймовых SSD-накопителя с «горячей» заменой, восемь твердотельных модулей М.2, а также восемь низкопрофильных карт расширения PCIe x16.

Ещё одна новинка — система G482-Z50, предназначенная для высокопроизводительных вычислений на базе GPU. Этот сервер рассчитан на два процессора AMD EPYC 7002 Series и десять графических ускорителей с интерфейсом PCIe. Могут быть установлены 12 накопителей формата 3,5 дюйма и два накопителя типоразмера 2,5 дюйма. Есть по два сетевых порта 10GbE и 1GbE.

Компания GIGABYTE также готовит к выпуску серверы R-Series общего назначения на платформе EPYC 7002 Series, которые будут предлагаться в форматах 1U и 2U. 

Исследование компании Eclypsium, занимающейся вопросами обеспечения безопасности программно-аппаратных средств, выявило, что контроллер управления системной платой (BMC), поставляемый с серверами производства Lenovo, GIGABYTE и ещё шести компаний, содержит потенциально серьёзные уязвимости.

Исследователи Eclypsium изначально обнаружили бреши в прошивке BMC при анализе сервера Lenovo ThinkServer RD340, но, как  потом оказалось, это не единственная уязвимая серия оборудования.

Дальнейший анализ показал, что уязвимая прошивка была приобретена в качестве готового продукта стороннего производителя под названием MergePoint EMS от Vertiv (ранее Avocent), который также используется во многих корпоративных серверах GIGABYTE. 

Уязвимости также попали в прошивку материнских плат, поставляемых GIGABYTE другим компаниям для их собственных серверов, включая Acer, Amax, Bigtera, Ciara, Penguin Computing и sysGen. Lenovo и  GIGABYTE уже выпустили обновления прошивки, поэтому информация о проблеме стала публичной только сейчас, спустя год после обнаружения. Пользователям рекомендуется проверить версию прошивки на серверах и при необходимости обновить её как можно быстрее. 

«Этот случай выявил важную проблему для отрасли. Большинство производителей аппаратного обеспечения не создаёт свои собственные прошивки, полагаясь вместо этого на своих партнёров в цепочке поставок, — объяснили в Eclypsium. — Прошивка довольно часто лицензируется у стороннего производителя и используется с небольшими изменениями, что позволяет распространять уязвимости на различные бренды и продукты. Для адаптации производители должны тщательно протестировать любую прошивку, которую они лицензируют, на наличие уязвимостей».

Исследователи Eclypsium выявили два типа уязвимостей прошивки BMC. Одна из них связана с тем, что в процессе обновления прошивки не проверяется криптографическая подпись обновления, прежде чем принять его и записать во флеш-память SPI. Вторая проблема заключается в том, что код, отвечающий за процесс обновления прошивки, содержит уязвимость, которую можно использовать для внедрения команд.

Злоумышленник с повышенными привилегиями на хосте может использовать эти баги для выполнения вредоносного кода в BMC от имени администратора и изменения содержимого памяти BMC. Это позволяет сохранять брешь при переустановке операционной системы и предотвращать другие обновления прошивки. По словам Eclypsium, единственный способ избавиться от бреши после атаки — физическая перепрошивка чипа SPI.