HPE анонсировала Superdome Flex 280 с поддержкой процессоров Intel Xeon третьего поколения, которые вышли недавно. Данная модель дополняет портфель HPE Superdome Flex и ориентирована на средние предприятия, для которых избыточна масштабируемость до 32 сокетов. Оптимально данная модель подойдет для больших баз Oracle, SAP HANA или SQL-сервера.

Новинка выпускается в форм-факторе 5U и поддерживает установку 2 или 4 процессоров Intel Xeon Gold или Intel Xeon Platinum. Это выгодно отличает Superdome Flex от других подобных систем, в которых можно использовать только Intel Xeon Platinum, который стоит значительно дороже.

Недавно анонсировали новые процессоры Intel Xeon третьего поколения, в которых не только добавили функции ускорения ИИ, но и поддержку более быстрой памяти DDR4-3200, что должно положительным образом сказаться на производительности. Максимально в одну платформу можно установить до 24 Тбайт оперативной памяти, а если и этого недостаточно, то можно использовать Intel Optane PMem 200 .

Слотов расширения PCIe тоже достаточно для большинства задач — до 32 на одну платформу, при этом можно установить до 16 графических ускорителей NVIDIA. Для локального хранилища можно использовать до 20 накопителей SAS/SATA/NVMe. Масштабируется платформа Superdome Flex 280 до 8 процессоров с шагом в 2 CPU, что позволяет работать с большими базами данных и моделями для ИИ, для которых требуется большой объем оперативной памяти. Суммарно можно получить до 224 ядер и до 24 Тбайт общей памяти.

HPE Superdome Flex 280 будет доступен в 4 квартале 2020 года.

В понятие «платформа» как таковое входят три компонента: процессор, память и устройства хранения данных, хотя с появлением Optane DCPMM грань между последними двумя понятиями и стала размываться. Вместе с анонсом Xeon Scalable Cooper Lake Intel представила второе поколение памяти Optane DCPMM, которе и предназначено для новых CPU.

Рост популярности систем машинного интеллекта и периферийной обработки данных приводит и к тому, что от подсистем памяти требуются большие, нежели ранее, объёмы. DRAM, однако, всё ещё очень дорогое удовольствие, когда речь заходит о терабайтах и десятках терабайт, а обычная флеш-память NAND не может похвастаться высокой производительностью на мелкоблочных и случайных операциях в силу своей структуры.

Intel не первый год продвигает концепцию Optane DCPMM: сам тип микросхем Optane (3D XPoint) хорошо подходит в качестве «продолжения» системной памяти, порой не критически уступая DRAM в производительности. При этом модули DCPMM энергонезависимы и могут быть весьма солидных объёмов, заведомо превышающих объёмы, достигаемые «чистой» DRAM.

DCPMM позволяет снизить стоимость владения при увеличении объёмов памяти и лучшей производительности

В прошлом году мы опубликовали заметку, рассказывающую о том, насколько хорошо смешанные системы на базе Optane DCPMM + DRAM показывают себя в научно-технических расчётах. И они доказали свою полезность, хотя речь шла о первом поколении модулей DCPMM. А сейчас компания Intel представила модули на базе Optane второго поколения, обладающие улучшенными техническими характеристиками.

Они носят название Optane 200 и, по замыслу разработчика, эти модули должны составить компанию платформе Cooper Lake-SP, третьему поколению Xeon Scalable. Максимальная ёмкость модуля по-прежнему составляет 512 Гбайт.

Эффективность новой DCPMM в сравнении с серверами трёхлетней давности

Общий объём смешанной памяти у систем на базе Cooper Lake может достигать внушительной цифры 4,5 Тбайт на процессорный разъём, хотя для этого и требуется процессор Xeon с суффиксом HL в названии. Отличный выбор для нагрузок вроде баз данных in-memory, аналитики в реальном времени, да и системы виртуализации от такого только выиграют — один сервер сможет вместить больше инстансов.

Новые модули имеют невысокий теплопакет, остающийся в рамках 12 ‒ 15 Ватт, но при этом они могут быть на четверть производительнее Optane DCPMM предыдущего поколения. По разным оценкам надёжность новинок варьируется в пределах 75 — 363 Пбайт, записанных в течение пятилетнего гарантийного срока. Поддерживаются частоты DDR4 1866, 2133, 2400 и 2666 МГц, тогда как сами процессоры Cooper Lake-SP получили поддержку и более быстрой DDR4-3200.

Вместе с новой памятью и процессорами компания также анонсировала накопители Intel D7-P5500 и D7-5600 с интерфейсом PCIe 4.0 и новую FPGA Intel Stratix 10 NX.

Крупнейший в мире производитель процессоров с архитектурой x86, компания Intel, представила новую платформу, нацеленную на быстро растущий рынок машинного обучения, аналитики и периферийных вычислений. Хотя платформа состоит из нескольких компонентов, главным из них являются новые процессоры Intel Xeon Scalable — это уже третье поколение серии Scalable.

Первое поколение Xeon Scalable (Skylake) отличалось наличием поддержки векторных расширений с длиной 512 бит, хотя эта поддержка была наиболее полной в других процессорах с разъёмом LGA 3647, ныне почивших Xeon Phi 72xx. Во втором поколении Xeon Scalable, известном под кодовым именем Cascade Lake, появились расширения AVX-512 VNNI (Vector Neural Network Instructions, они же DL Boost), и это был первый реверанс в сторону машинного обучения со стороны Intel — расширения позволялил работать с INT8 и подходили для инференса.

Третье поколение, получившее имя Cooper Lake, ещё больше продвинулось в сторону поддержки нетипичных для традиционной архитектуры x86 форматов вычислений. Главным нововведением здесь является поддержка формата bfloat16, который часто используется в комплексах машинного обучения и системах принятия решений (инференс). Он требует меньше вычислительных мощностей, нежели традиционные форматы FP32/64, но при этом в большинстве случаев обеспечивает достаточную точность вычислений, а итоговый выигрыш в производительности может быть почти двухкратным.

Популярные фреймворки, такие как TensorFlow и Pytorch, уже давно поддерживают bfloat16, а Intel-оптимизированные версии доступны в комплекте Intel AI Analytics Toolkit. Компания также оптимизировала среды OpenVINO и ONNX с учётом возможностей новых процессоров Xeon Scalable. Собственно говоря, самое главное в Cooper Lake то, что их теперь можно использовать и для обучения нейронных сетей, а не только для инференса. Intel отдельно подчёркивает универсальность новых CPU.

Что касается самих процессоров, то максимальное количество ядер сохранилось, их в серии Xeon Gold 53xx/63xx и Xeon Platinum 83xx по-прежнему 28 при поддержке SMT2. Однако улучшения есть, и достаточно серьёзные. Серия Xeon Platinum поддерживает память до DDR4-3200 (1DPC) и DDR4-2933 (2DPC), хотя младшие пяти- и шеститысячники так же ограничены 2666 и 2933 MT/с. Зато все они поддерживают память Intel Optane DCPMM 2-го поколения. Число каналов память осталось прежним, их шесть.

Существенное отличие от Cascade Lake в том, что теперь у всех CPU есть 6 линий UPI — они могут может «бесшовно» устанавливаться в системы с четырьмя или восемью процессорными разъёмами. Другое важное отличие — серия 53xx теперь имеет два FMA-порта для AVX-512, а не один как раньше. Часть новинок поддерживает Intel Speed Select.

У «ёмких» моделей с суффиксом HL максимальный объём оперативной памяти достиг 4,5 Тбайт, а у базовых H — до 1,12 Тбайт. Несколько подросли тактовые частоты, в серии есть модели с частотной формулой 2,9 ‒ 4,3 ГГц, причём большая часть новинок имеет частоту в турборежиме более 4 ГГц. Исключение — модели с пониженным энергопотреблением.

Всё это делает новые процессоры привлекательными для крупных предприятий, облачных провайдеров и гиперскейлеров вообще. Если даже на секунду забыть все новововведения для ИИ, Cooper Lake всё равно останется многосокетной платформой, а это значит, что он подходит для работы с большими СУБД, анализа больших объёмов данных в реальном времени, OLTP и виртуализации. В области 4S/8S-платформ у Intel давно крепкие позиции, так что новинки наверняка приглянутся определённому кругу заказчиков. Но массовыми Cooper Lake в текущем виде не станут.

Основной системный чипсет — Intel C620A, то есть обновлённый Lewisburg. В серию пока входит всего три модели, две из которых поддерживают технологию Intel QAT, ускоряющую работы по компресии и шифрованию. Так это обновление уже имеющихся чипсетов, поддержки PCI Express 4.0 нет. Сами процессоры Xeon Scalable третьего поколения по-прежнему могут предоставить в распоряжение системы до 48 линий PCIe 3.0. С учётом того, что ориентированы они на 4-сокетные системы, этого может быть вполне достаточно.

Однако другие процессоры Xeon Scalable «Ice Lake», для одно-двухсокетных платформ Whitley, которые Intel планирует представить позднее в этом году, уже получат поддержку PCI Express 4.0. Также известно, что четвёртое поколение Xeon Scalable под именем Sapphire Rapids получит набор новых матричных расширений (Advanced Matrix Extensions, AMX), которые, вероятно, буду напоминать тензорные ядра. Она увидит свет уже в 2021 году. Для массовых одно- и двухсокетных платформ пока предлагается использовать Cascade Lake Refresh.

Вместе с Intel Xeon Cooper Lake компания также анонсировала второе поколение памяти Intel Optane DCPMM 200, накопители Intel D7-P5500 и D7-5600 с интерфейсом PCIe 4.0 и новую FPGA Intel Stratix 10 NX.

На прошлой неделе мы писали о решении ITRenew Sesame, которое позволит небольшим компаниями получить недорогое, но производительное б/у «железо» от Facebook✴ и других гигантов. Особенность такого оборудования в том, что оно имеет OCP-исполнение.

И самый простой способ познакомиться с миром OCP — посмотреть на новые решения самой Facebook✴. Среди них есть одноюнитовое шасси Sonora Pass, но это не единственная новинка, использующая самые свежие CPU Intel Xeon Cooper Lake. Есть и специфичные для OCP платформы Yosemite v3 и Delta Lake.

Привычные нам стоечные форм-факторы серверов создавались в те времена, когда вопрос упаковки вычислительных мощностей не стоял столь остро, как сейчас. В лучшем случае, стандартный 19-дюймовый корпус может содержать системную плату с четырьмя процессорами, но чаще ограничен двухсокетными конфигурациями.

Facebook✴ использует стандарт стоек Open Rack, главное в которых — возможность более плотного размещения серверов (21"), увеличение воздушного потока и единая шина питания (12 В DC). Yosemite v3 являет собой уже третье поколение серверных систем в этом стандарте.

В третьей версии 4 юнита вертикального пространства стойки вмещает в себя три модуля Yosemite v3. Каждый из этих модулей может включать в себя до четырёх сверхкомпактных серверов Delta Lake на базе новых процессоров Intel Cooper Lake-SP. Предусматриваются разные варианты модулей: классический «вычислительный» с четырьмя системными платами, вариант с собственным флеш-хранилищем, версия с акселераторами и модель с интегрированным сетевым коммутатором. В зависимости от решаемой задачи, стойка может включать различные сочетания Yosemite v3.

Два последних варианта предусматривают два процессорных гнезда вместо четырёх, но в них предусмотрено пространство для размещения ГП-ускорителей или собственной сетевой подсистемы, включающей в себя выделенные сетевые адаптеры и коммутатор. Все четыре варианта базируются на шасси высотой 4U и шириной в треть стойки, в верхней части которого размещается базовая плата с общим сетевым адаптером, а в задней — платы питания Medusa Board.

«Лезвия» с системными платами быстросъёмные. Основная модель «лезвия» носит название Delta Lake. Она представляет собой компактную системную плату с процессором Intel Xeon Scalable третьего поколения (Cooper Lake). Эти платы изначально создавались с прицелом на повышенный уровень производительности в системах машинного интеллекта и принятия решений.

За отвод тепла отвечает компактная, но мощная система охлаждения с четырьмя тепловыми трубками и дополнительными секциями радиаторов. Поддерживаются расширенные возможности удалённого управления и администрирования, имеется пара набортных разъёмов для накопителей типа M.2. Также платы Delta Lake поддерживают новый стандарт модулей Intel Optane DCPMM под кодовым названием Barlow Pass.

Помимо Yosemite v3, Facebook✴ представила также новую платформу для запуска нейронных сетей (инеференс). Каждый модуль этой платформы состоит из системного модуля Yosemite v2.50 и модуля расширения Glacier Point v2, общающегося с ЦП посредством 16 линий PCI Express 3.0; особенный интерес представляет именно последний.

В этом модуле реализована возможность установки как стандартных одинарных модулей M.2 (теплопакет до 14 Ватт), так и двойных, с теплопакетом 25 Ватт. Всего модуль расширения может содержать до шести двойных или двенадцати одинарных плат с интерфейсом M.2. Два таких блока с модулями GPv2 устанавливаются в шасси Yosemite v2.50.

В сравнении с Yosemite v2 с 600 до 720 Ватт увеличена мощность подсистем питания, реализована поддержка 100GbE, сетевой контроллер подключён к процессору, а не к мосту PCH, как ранее.

Новая платформа для инференс-систем

В данном решении особый интерес вызывает поддержка M.2 двойной ширины. Сам по себе стандарт M.2 достаточно компактен, но ширина одинарной платы означает и ограничение по габаритам чипа ускорителя. Двойная ширина позволяет это ограничение преодолеть и оснащать ускорители более мощными и крупными ASIC, но не терять при этом электрической и механической совместимости.

Такой модульный дизайн обеспечивает сочетанию Yv2.50 и GPv2 непревзойдённую гибкость, ведь в единой системе могут уживаться различные ускорители на базе разных чипов. А благодаря единой системе BMC и поддержке стандартных протоколов SMBUS, UART, JTag и I2C, обеспечивается полный спектр средств удаленного управления и мониторинга. Ограничение по ширине интерфейса к основному ЦП нивелируется тем, что GPv2 имеет собственный коммутатор PCIe, так что ускорители, в нём установленные, могут общаться и в режиме «точка-точка».

Платформа Yv2.50 + GPv2 имеет свои недостатки, но компания-разработчик их осознаёт. В частности, в будущих версиях, возможно, каждый сервер будет иметь собственный контроллер BMC и сетевой процессор, а модуль расширения получит поддержку PCI Express 4.0, что снимет возможные проблемы с нехваткой пропускной способности.

При этом необходимо отметить, что Facebook✴ является участником проекта OCP и платформа Yv2.50 + GPv2 имеет открытые спецификации. Подробнее о них можно узнать на wiki-странице проекта. Отдельно опубликованы спецификации на ускорительные модули M.2 обычной и двойной ширины.