Компания Inspur анонсировала высокопроизводительный сервер NF5488LA5, предназначенный для решения задач, связанных с искусственным интеллектом и глубоким машинным обучением. Особенность устройства заключается в использовании эффективной системы жидкостного охлаждения.

Данная 4U-система построена на базе решения NVIDIA HGX, состоящей из двух процессоров AMD EYPC 7003 и восьми ускорителей NVIDIA A100, объединённых NVSwitch. Система жидкостного охлаждения охватывает все ключевые компоненты, включая коммутатор NVSwitch, центральные процессоры и акселераторы NVIDIA A100. Устройство может быть подключено к мобильному блоку распределения теплоносителя (CDU).

Модель NF5488A5 / Inspur

Благодаря мобильному CDU-блоку RACKCDU-F008 заказчики смогут устанавливать серверы непосредственно в шкафах общего назначения с воздушным охлаждением. При этом не придётся модернизировать всю систему охлаждения в серверной комнате. Отмечается также, что благодаря жидкостному охлаждению сервер может использовать ускорители с максимальным значением TDP 500 Вт.

Президент США Джо Байден подписал указ о расширении запрета на инвестиции в китайские компании. Теперь в «чёрном» списке значатся почти 60 компаний, ведущих свою деятельность на территории КНР. Санкции касаются тех фирм, которые, как полагает американское правительство, могут иметь отношение к вооружённым силам и разведке.

В перечень, в частности, входят China Mobile, Hikvision, SMIC и Huawei. Последняя уже сильно пострадала в связи с ограничениями со стороны США: мобильный бизнес Huawei рухнул буквально за несколько месяцев, и компании пришлось выделить бренд Honor в самостоятельное подразделение.

Как теперь сообщается, в новый «чёрный» список также включена компания Inspur. Её основными направлениями деятельности являются облачные вычисления, выпуск серверов, а также создание центров обработки данных. По мнению властей США, Inspur была тесно связана с китайскими вооружёнными силами, о чём сообщалось ещё год назад. Тогда компания бувально на пару дней лишилась поставок процессоров Intel.

И вот теперь этот крупный производитель серверов и сопутствующих решений попал под санкции. Запрет вступит в силу примерно через два месяца — 2 августа. После этого у инвесторов будет один год, чтобы избавиться от доли в китайских компаниях, включённых в «чёрный» список. Inspur является третьим по величине игроком на рынке серверного оборудования после Dell и HPE/New H3C Group. Компания является одним из лидеров в Китае и Азиатско-Тихоокеанском регионе.

Компания Inspur Information анонсировала семейство серверов M6, в которое вошли 16 моделей разного класса, предназначенных для применения в центрах обработки данных и в составе облачных платформ. Системы подходят для решения задач, связанных с большими данными и искусственным интеллектом.

Новинки могут работать с процессорами Intel Xeon Scalable третьего поколения, которые были официально представлены на этой неделе. Чипы, также известные как Xeon Ice Lake-SP, объединяют до 40 вычислительных ядер. Реализована поддержка оперативной памяти DDR4-3200 и интерфейса PCI Express 4.0 (до 64 линий на разъём).

Серверы Inspur M6 рассчитаны на монтаж в стойку. В зависимости от модели используется форм-фактор 1U, 2U или 4U. Некоторые устройства (например, NF8260M6) дают возможность сформировать систему хранения данных класса All-Flash на основе твердотельных накопителей NVMe.

В семейство также входит сервер NF5468M6: он допускает установку до 20 ускорителей с интерфейсом PCIe для организации высокопроизводительных вычислений.

Кроме того, в серию вошли серверы i24M6 и i48M6 с высокой плотностью компоновки: конструкция первого предполагает использование четырёх узлов, второго — восьми. Более подробную информацию о представленных системах можно найти на этой странице.

Когда говорят о противостоянии серверных процессоров, как правило, называют AMD и Intel, а с недавних пор ещё и ARM. Некогда крупный игрок, IBM со своими процессорами серии POWER, упоминается существенно реже, и на то есть причины — за прошедшее десятилетие дела у компании шли не слишком хорошо. Но, если верить аналитикам IT Jungle, ситуация с POWER не так проста и не так плоха.

Если верить отчётам самой IBM, доходы снизились на рекордную величину за последние пять лет, упали даже продажи мейнфреймов. Доходы в сегменте аппаратного обеспечения за прошедший год у IBM упали на 18% относительно 2019 года, а у подразделения Power Systems называют даже цифру 43,3%. Однако как считают некоторые аналитики, дела в секторе серверов на базе процессоров POWER могут обстоять не так плохо, как это может показаться на первый взгляд.

Платформа IBM POWER самобытна и весьма интересна сама по себе: так, уже не новые процессоры POWER9 поддерживают четыре потока на ядро против традиционных двух у x86, а в некоторых вариантах способны работать даже в режиме SMT8. Более новые POWER10 также поддерживают восьмипоточный режим; кроме того, они работают с прогрессивным форматом оперативной памяти OMI и имеют контроллер PCI Express 5.0.

Планы развития архитектуры POWER

Здесь следует немного углубиться в историю. Китайская компания Inspur, один из крупнейших среднеазиатских производителей серверного оборудования, всегда мечтала о «большом железе». В 2014 году ей удалось добиться договорённости с IBM о праве запускать фирменное ПО последней (в частности, базы данных DB2 и сервер приложений WebSphere) на 32-процессорных Itanium-системах. А месяцем позднее Inspur присоединилась к консорциуму OpenPower с целью создания серверов уже на базе архитектуры POWER.

В 2017 начинается «война санкций», при этом приличного самостоятельного открытого клона POWER-процессора консорциум так и не создал. Известно, что китайская Suzhou PowerCore Technology, входящая в OpenPower, занималась адаптацией POWER под более «толстые» техпроцессы. Сейчас компания активно нанимает сотрудников и открывает новое подразделение в США. Однако чем именно она занимается и связан ли этот рост с полным открытием POWER ISA, не до конца ясно.

Структура продаж POWER-систем по мнению ресурса IT Jungle

До ввода санкций IBM и Inspur успевают создать совместное предприятие (51% Inspur + 49% IBM), которое, что интересно, тоже называется IBM — Inspur Business Machines. Цель новой компании, в которую вложили порядка 1 млрд юаней ($150 млн) — создание мощных серверных систем на базе архитектуры POWER для крупного бизнеса. Поставками же POWER-процессоров для Inspur занималась, в частности, всё та же Suzhou.

Судя по косвенным данным, сделка для Inspur оказалась весьма успешна. Кроме того, компания вообще чувствует себя отлично, поставляя также x86-серверы как малому и среднему бизнесу, так и китайским гигинтам Alibaba, Baidu и Tencent. К сентябрю 2020 года продажи Inspur составят $7,71 млрд, что на 43% больше, нежели у IBM с её $5,4 млрд.

С учётом поставок Inspur общий объём продаж POWER-серверов может выглядеть так по мнению IT Jungle

К настоящему моменту IBM публикует только свои цифры продаж систем на базе POWER, и графики выглядят достаточно удручающе. Из-за санкций IBM не может продавать POWER-системы в КНР напрямую, а Inspur Business Machines — может. Из $8 млрд продаж Inspur примерно 10-12% может приходиться на системы с процессорами POWER, а это от $800 до $960 млн, и эти цифры сопоставимы с продажами серверов самой IBM.

Иными словами, платформа POWER, скорее всего, отнюдь не находится в процессе вымирания. Более того, после неудачных 2016 и 2017 годов объёмы продаж таких серверов могли, как минимум, вернуться к показателям 2015 года. Также вполне вероятно, что и Google производит для себя серверы на базе POWER — соответствующие предложения появились в Google Cloud уже достаточно давно. Похожее решение есть и в Microsoft Azure.

На мероприятии OCP Virtual Summit 2020 Inspur представила две новинки: коммутатор доступа SC5630EL и коммутатор агрегации SC8661SL. Обе модели построены на ASIC Broadcom в паре с Intel Xeon D-1527 (4 ядра с базовой частотой 2,2 ГГц) и имеют скорость портов до 100 Гбит/с.

Коммутатор доступа SC5630EL в форм-факторе 1U имеет 48 портов 10/25 Гбит/с и 8 портов 40/100 Гбит/с. Общая пропускная способность коммутатора достигает 4 Тбит/с. Для обработки сетевых пакетов используется отдельный процессор ASIC Broadcom Trident3 с буфером 32 Мбайт. Для управления есть выделенные порты: один RJ-45 10/100/1000 Мбит/с, один RJ-45 Serial Console Port и один USB 3.0 порт. 

Для работы ОС доступно от 16 до 32 Гбайт оперативной памяти и 240 Гбайт на встроенном накопителе. Два блоки питания с возможностью «горячей замены» могут работать при входном напряжении от 90 до 265 В переменного тока, также существует версия для работы от постоянного тока напряжением от 164 до 300 В. Максимальная потребляемая мощность коммутатора составляет всего 296 Вт. Рабочая температура от 0 до 40 градусов Цельсия. 

Коммутатор агрегации SC8661SL представляет собой модульное шасси форм-фактора 4U с 4 слотами для модулей расширения. Каждый модуль может иметь 32 100GbE-порта — таким образом, максимальное количество портов достигает 128. Общая пропускная способность коммутатора составляет 25,6 Тбит/с.

Ресурсы для работы ОС коммутатор имеет аналогичные предыдущей модели, но процессор для обработки сетевых пакетов установлен уже более производительный — ASIC Broadcom Tomahawk 3 с буфером 64 Мбайт. Максимальная потребляемая мощность составляет 2148 Вт, а за питание отвечают четыре (2+2) блока с возможностью «горячей замены».

Работают коммутаторы под управлением открытой ОС SONIC. Оба коммутатора могут поставляться как отдельно, так и в составе комплексного решения OCP Rack Solution for AI.

Система хранения данных китайской компании Inspur сегодня заняла второе место в рейтинге теста производительности SPC (Storage Performance Council). Тем самым она сместила на третье место СХД другой китайской компании — Huawei.

На первом же месте по-прежнему располагается хранилище от японской Fujitsu.

В тестировании приняла участие All-Flash система хранения данных на базе массивов твердотельных накопителей Inspur AS5600G2. Всего было использовано 16 массивов, на которые в сумме пришлось 400 твердотельных накопителей объёмом 1,92 Тбайт каждый. То есть общий объём хранилища составил 768 Тбайт. За работу СХД отвечало восемь двухконтроллерных систем.

Бенчмарк SPC-1 оценивает производительность систем хранения данных в рабочих нагрузках бизнес-класса со случайным доступом к данным, которые могут быть сжаты и/или дедуплицированы. Система Inspur AS5600G2 смогла продемонстрировать производительность в 7 520 358 IOPS. Тем самым она более чем на полмиллиона IOPS опередила Huawei OceanStor 1800 V3, которая теперь расположена на третьем месте. В свою очередь Fujitsu Eternus DX8900 S4, располагающаяся на первом месте, набрала в SPC-1 более 10 млн IOPS.

Однако обе вышеупомянутые китайские системы имеют куда лучшее соотношение производительности к их стоимости. В системе Fujitsu одна тысяча IOPS обошлась в $644,16, тогда как в Inspur AS5600G2 — всего в $386,50. Идущая следом система Huawei предлагает 1000 IOPS ещё дешевле — за $376,96.

Заметим также, что рейтинг SPC-1 стал площадкой для борьбы китайских производителей, ведь они занимают в нём восемь позиций в Топ-10. Из китайских систем больше всего среди лидеров оказалось решений от Huawei. Неделю назад компания выложила результаты тестирования СХД OceanStor 5310 V5 с SSD. 

Ещё на выставке SC19 компания Inspur продемонстрировала весьма богатую экспозицию — от различных ускорителей и адаптеров до сверхмощных вычислительных платформ.

Но компания производит также системы хранения данных, и 19 декабря она выпустила анонс, в котором заявила о выпуске новых моделей СХД.

Новая серия AS5000G5-F включает в себя четыре модели: AS5300G5-F, AS5500G5-F, AS5600G5-F и AS5800G5-F. Все системы хранения в этой серии относятся к классу all-flash, механические жёсткие диски в них не используются. Благодаря сотрудничеству с Intel, в новых массивах в качестве кеширующей прослойки используются двухпортовые накопители Optane.

Уровней хранения данных (tier) в новых СХД четыре — «холодный», «тёплый», «горячий» и «кипящий» (boiling). К примеру, метаданные классифицируются как «кипящие» и хранятся на накопителях Optane. Благодаря этому новые СХД могут развивать производительность до 8 миллионов IOPS и поддерживать латентность на уровне 0,1 мс.

Серия AS5000G5 также включает в себя четыре модели: AS5300G5, AS5500G5, AS5600G5 и AS5800G5. Эти системы гибридные — в них вместе с NAND и Optane применяются и традиционные жёсткие диски. Поколение G5 пришло на смену поколению G2, в котором поддержки NVMe-over-Fabrics или Ethernet на скоростях выше 10 Гбит/с не было. Новые системы гарантируют доступность класса «четыре девятки» (99,9999%), фирменная технология AIOPS может предсказывать неполадки накопителей за 14 дней с точностью до 95%.

Также были анонсированы новые распределённые системы хранения данных серий P, H и X. Cерия P, нацеленная на достижение максимальной производительности, базируется на процессорах IBM POWER9. Это гарантирует поддержку PCI Express 4.0 и SMT4. Точных цифр Inspur не приводит, но существует информация о линейных скоростях на уровне 12 Гбайт/с. Системы серии H ориентированы на достижение максимальной плотности хранения данных; по словам Inspur, один узел AS13000G5-H может вместить почти 1 Пбайт.

Серия Х предназначена для облачных хранилищ. В ней гибко конфигурируется «ярустность» (tiering) хранения данных, вплоть до «архивного» уровня. Наконец, была представлена и полностью программно-определяемая AS23000G5, поддерживающая обычные однопортовые накопители Optane.

Нашим читателям уже знакомо имя Inspur ‒ ранее она анонсировала на саммите OCP Regional Summit платформу для ускорителей в новом формате Open Accelerator Module (OAM).

Эти довольно компактные «кубики», похожие на SXM2, избавлены от недостатков, свойственных обычным ускорителям в формате PCI Express, легко монтируются и обладают развитой системой охлаждения. На выставку SC19 компания привезла уже готовые образцы таких ускорителей и платформ для них. 

Продемонстрированные ранее платформы других разработчиков, решивших использовать ускорители Intel Nervana NNP-T, реализованы с использованием PCIe-версии NNP-T, а вот Inspur стала первой, кто продемонстрировал и сам модуль OAM NNP-T, и платформу на его основе. В ней поддерживаются модули как с привычным напряжением питания 12 вольт, так и более прогрессивные, имеющие 54-вольтовую шину питания.

Система Inspur MX1 выполнена в достаточно компактном корпусе высотой 2U, но благодаря форм-фактору OAM, разработчику удалось разместить в системе сразу 8 ускорителей NNP-T. А поскольку основой платформы являются процессоры AMD EPYC 7002, поддерживается шина PCI Express 4.0 с более высокой скоростью передачи данных, нежели могут предложить решения на базе Xeon Scalable. Заявлено 112 Гбайт/с в двунаправленных соединениях «точка-точка».

Целиком отказываться от традиционных плат расширения компания не стала и показала также классические ускорители Intel Nervana L-1000: всё-таки инфраструктура OAM ещё весьма молода, а слоты PCI Express имеются практически в любом сервере, лишь бы хватило места и мощности системы охлаждения.

Другая новая система Inspur, NF5468M5, выглядит гораздо более громоздкой, нежели описанная выше версия с поддержкой OAM, но она относится к другому классу и возможности её шире: здесь поддерживается установка 16 новых тензорных ускорителей NVIDIA T4 и до 8 классических NVLink-модулей Tesla V100.

Система поистине универсальна, позволяет переключать топологию ускорителей буквально на лету и предназначена для широкого круга задач, от машинного обучения до применения в медицине и финансовых структурах. Емкость набортной подсистемы хранения данных составляет 384 Тбайт ‒ вполне неплохо для столь универсальной платформы.

Широко на выставке были представлены и другие новые платформы Inspur, например, NF5280M5 может похвастаться четырьмя ускорителями V100 PСIe в корпусе высотой всего 2U.  Система NF5488M5 вообще является первым в индустрии стандартным сервером, использующем коммутаторы NVIDIA NVSwitch и поддерживающим не только текущее поколение NVIDIA Volta, но и следующее (SXM3).

Для сравнения, NVIDIA DGX-1 при том же числе ускорителей использует менее производительную топологию соединений P2P, а DGX-2, хотя и несёт на борту 16 ускорителей и использует NVSwitch, но весьма громоздка и не слишком дружелюбна к подсистемам питания серверных, поскольку потребляет под нагрузкой 10 киловатт. В это же время NF5488M5 может потреблять менее 5 киловатт, обладая всеми преимуществами NVSwitch.

Имеется в арсенале компании и сервер AGX-5. Он базируется на партнёрском дизайне NVIDIA HGX-2. В корпусе высотой 8U расположены 2 процессора Xeon Scalable второго поколения и 16 ускорителей Tesla V100 с топологией NVSwitch. Поддерживаются модули SXM3 (Volta Next).

Более компактная Inspur AGX-2 также предназначена для создания систем класса HPC. При высоте всего 2U в системе размещается 8 ускорителей NVIDIA Tesla P100 или P40, но имеется и возможность расширения до 16 ускорителей за счет дополнительной «ускорительной полки» (JBOG). Система обладает поддержкой NVLink 2.0 и имеет 4 порта InfiniBand EDR со скоростью 100 Гбит/с.

Inspur уделяет внимание и другим процессорным архитектурам. Так, 4U-сервер FP5466G2 использует в качестве процессоров IBM POWER9 (Sforza) с частотой 2,75 ГГц. Максимальное количество ядер составляет всего 22 на процессор, но с учётом поддержки SMT4, система может предложить 176 тредов. Имеется 8 слотов PCI Express 4.0. Дисковая система вмещает до 40 накопителей формата 3,5″ ‒ 24 во фронтальных отсеках горячей замены и 16 в задних отсеках, причём, в последнем случае 4 отсека из 16 могут поддерживать NVMe.

Модель FP5280G2 имеет меньшую высоту, но использует те же процессоры POWER9. Количество слотов PCIe 4.0 аналогично более крупному собрату. А вот подсистема накопителей модульная: сервер можно сконфигурировать как 12 × 3,5″, так и как 24 × 2,5″. Возможна установка четырёх накопителей NVIDIA Tesla V100.

На базе POWER9 представлен также модульный сервер гетерогенных вычислений FP5468G2. Его модуль ускорителей может содержать как 16 однослотовых PCIe-плат NVIDIA T4, так и 8 блоков Tesla V100 с интерфейсом NVLink. Дисковые полки поддерживают до 24 накопителей формата 3,5″, 6 отсеков при этом могут содержать SSD с разъёмом U.2 NVMe.

Экспозиция Inspur вообще очень богата на различного рода экзотические решения. Так, помимо серверов с архитектурой POWER9, компания показала уникальный ускоритель F37X. Выглядит он как обычная двухслотовая карта расширения PCIe половинной длины, но под радиатором здесь установлена высокопроизводительная ПЛИС Xilinx Virtex UltraScale+ с более чем 2,8 миллионами ячеек системной логики и 9024 модулями DSP.

Это не просто ПЛИС, впервые в мире микросхеме самой матрицы сопутствует и 8 Гбайт памяти HBM2 с пропускной способностью 460 Гбайт/с. Новинка может обеспечить 28,1 тераопс (триллионов операций в секунду) на вычислениях формата INT8, потребляя при этом менее 75 ватт. Имеется также два порта 100GbE (QSFP28+). Спектр применения такого ускорителя весьма широк, от транскодирования видео до секвенирования генома.

Ускоритель Insupr F10A компактнее своего собрата F37X, а братьями их можно назвать постольку, поскольку эта новинка также использует ПЛИС, правда, другую ‒ Intel Arria 10 GX1150. Это 1,5 миллиона логических ячеек и свыше 427 тысяч модулей адаптивной логики, а также два порта 10GbE SFP+.  Объём оперативной памяти изменяемый, стандартная комплектация включает в себя 16 Гбайт DDR4 SODIMM. При потреблении всего 45 ватт данный ускоритель развивает примерно 1,37 терафлопс (FP32) и может работать даже в режиме пассивного охлаждения.

Компания Inspur анонсировала 26 сентября на саммите OCP Regional Summit в Амстердаме новую референсую платформу с UBB-платой (Universal Baseboard) для ускорителей в форм-факторе Open Accelerator Module (OAM). 

OAM был представлен Facebook в марте этого года. Он очень похож на слегка увеличенный (102 × 165 мм) модуль NVIDIA SXM2: «плиточка» с группами контактов на дне и радиатором на верхней крышке. 

Ключевые спецификации модуля OAM:

• Линии питания 12 В (до 350 Вт) и 48 В (до 700 Вт )
• Поддержка модулем одной или нескольких ASIC
• Хост-подключение: 1 или 2 PCI-E x16
• Межмодульное соединение: до 7 x16 или x20
• Поддержка систем как воздушного, так жидкостного охлаждения
• Объединение до 8 модулей в одной системе

OAM, в отличие от классических карт PCI-E, позволяет повысить плотнсть размещения ускорителей в системе без ущерба их охлаждению, а также увеличить скорость обмена данными между модулями, благодаря легко настраиваемой топологии соединений между ними. В числе поддержавших проект OCP Accelerator Module такие компании, как Intel, AMD, NVIDIA, Google,Microsoft, Baidu и Huawei. 

Inspur приступил к разработке референс-системы для ускорителей OAM в связи растущими требованиями, предъявляемыми к приложениям ИИ и необходимостью обеспечения взаимодействия между несколькими модулями на основе ASIC или GPU.

Данная платформа представляет собой 21" шасси стандарта Open Rack V2 с BBU для восьми модулей OAM. Плата BBU снабжена восемью коннекторами QSFP-DD для прямого подключения к другим BBU. 

Система Inspur OAM позволяет создавать кластеры из 16, 32, 64 и 128 модулей OAM и имеет гибкую архитектуру для поддержки инфраструктур с несколькими хостами. По требованию заказчика Inspur также может поставлять 19-дюймовые системы OAM. 

Одной из первых преимущества новинки для задач, связанных с ИИ и машинным обучением, оценила китайская Baidu, продемонстрировавшая собственное серверное решение X-Man 4.0 на базе платформы Inspur и восьми ускорителей.

Компания Inspur на выставке-конференции ISC 2017 (г. Франкфурт-на-Майне, Германия) представила систему GX4-AI BOX — одно из первых в портфолио компании решений, созданных специально для задач ИИ. Похожие продукты есть и у других компаний, но для китайского производителя серверов это шаг вперёд. 

Комплекс предназначен для реализации проектов в области искусственного интеллекта (ИИ). Решение имеет форм-фактор 2U — оно предназначено для монтажа в серверную стойку.

В составе Inspur GX4 могут применяться четыре ускорителя с интерфейсом PCI-E. Это могут быть GPGPU-карты или многоядерные ускорители вычислений Intel Xeon Phi.

Кроме того, могут быть задействованы перепрограммируемые вентильные матрицы (FPGA). В отличие от традиционных процессоров с «жёсткой» архитектурой, конфигурацию FPGA можно менять, используя программные средства. Это позволяет адаптировать систему для решения конкретного типа задач. В данном случае речь идёт о системах облачного искусственного интеллекта, платформах глубокого обучения и пр.

Система Inspur GX4 может быть оснащена твердотельными накопителями NVMe. Напомним, что спецификация NVMe (NVM Express) описывает доступ к SSD с помощью шины PCI Express — это обеспечивает более высокие показатели скорости чтения и записи, а также позволяет снизить задержки.