В понятие «платформа» как таковое входят три компонента: процессор, память и устройства хранения данных, хотя с появлением Optane DCPMM грань между последними двумя понятиями и стала размываться. Вместе с анонсом Xeon Scalable Cooper Lake Intel представила второе поколение памяти Optane DCPMM, которе и предназначено для новых CPU.

Рост популярности систем машинного интеллекта и периферийной обработки данных приводит и к тому, что от подсистем памяти требуются большие, нежели ранее, объёмы. DRAM, однако, всё ещё очень дорогое удовольствие, когда речь заходит о терабайтах и десятках терабайт, а обычная флеш-память NAND не может похвастаться высокой производительностью на мелкоблочных и случайных операциях в силу своей структуры.

Intel не первый год продвигает концепцию Optane DCPMM: сам тип микросхем Optane (3D XPoint) хорошо подходит в качестве «продолжения» системной памяти, порой не критически уступая DRAM в производительности. При этом модули DCPMM энергонезависимы и могут быть весьма солидных объёмов, заведомо превышающих объёмы, достигаемые «чистой» DRAM.

DCPMM позволяет снизить стоимость владения при увеличении объёмов памяти и лучшей производительности

В прошлом году мы опубликовали заметку, рассказывающую о том, насколько хорошо смешанные системы на базе Optane DCPMM + DRAM показывают себя в научно-технических расчётах. И они доказали свою полезность, хотя речь шла о первом поколении модулей DCPMM. А сейчас компания Intel представила модули на базе Optane второго поколения, обладающие улучшенными техническими характеристиками.

Они носят название Optane 200 и, по замыслу разработчика, эти модули должны составить компанию платформе Cooper Lake-SP, третьему поколению Xeon Scalable. Максимальная ёмкость модуля по-прежнему составляет 512 Гбайт.

Эффективность новой DCPMM в сравнении с серверами трёхлетней давности

Общий объём смешанной памяти у систем на базе Cooper Lake может достигать внушительной цифры 4,5 Тбайт на процессорный разъём, хотя для этого и требуется процессор Xeon с суффиксом HL в названии. Отличный выбор для нагрузок вроде баз данных in-memory, аналитики в реальном времени, да и системы виртуализации от такого только выиграют — один сервер сможет вместить больше инстансов.

Новые модули имеют невысокий теплопакет, остающийся в рамках 12 ‒ 15 Ватт, но при этом они могут быть на четверть производительнее Optane DCPMM предыдущего поколения. По разным оценкам надёжность новинок варьируется в пределах 75 — 363 Пбайт, записанных в течение пятилетнего гарантийного срока. Поддерживаются частоты DDR4 1866, 2133, 2400 и 2666 МГц, тогда как сами процессоры Cooper Lake-SP получили поддержку и более быстрой DDR4-3200.

Вместе с новой памятью и процессорами компания также анонсировала накопители Intel D7-P5500 и D7-5600 с интерфейсом PCIe 4.0 и новую FPGA Intel Stratix 10 NX.

StorOne представила флеш-массив S1: Optane, объединяющий накопители на базе Intel Optane и NAND QLC. Новинка представлена в 2U-шасси, имеет два контроллера (Active-Active) с процессорами Intel Xeon SP, а общая емкость системы составляет 40 Тбайт.

Optane Flash Array (OFA) работает под управлением ОС StorOne S1 Enterprise Storage Platform, которая написана специально для использования новых типов флеш-накопителей. Основная идея нового массива — предоставить пользователям быстродействие на уровне Intel Optane, но без существенного повышения стоимости.

StorONE OFA поддерживает конфигурации с 3,4,6 или 8 накопителями Intel Optane и от 4 до 16 накопителей QLC. Варианты конфигураций позволяют выбрать необходимое соотношение производительность/емкость для клиентов. Базовая конфигурация OFA следующая: три накопителя Intel Optane DC P4800X 750 Мбайт как уровень кеша и «горячих данных», пять твердотельных накопителей Intel D5-P4320 NVMe 7,68 Тбайт для хранения данных.

При использовании Intel Optane отпадает необходимость выделять большой объем памяти на контроллере под кеш. ПО массива анализирует рабочие нагрузки и собирает данные в стандартные блоки для последовательной записи, оптимизированные по размеру страниц памяти на QLC-накопители. Такая схема работы повышает быстродействие массива и снижает износ твердотельных накопителей.

StorONE приводит в своем отчете следующие данные замеров производительности:

• 1,05 млн IOPS на случайном чтении при задержке не более 0,14 мс
• 310 тыс. IOPS на случайной записи при задержке не более 0,6 мс
• Пропускная способность последовательного чтения 10 Гбайт/с
• Пропускная способность последовательной записи 2,0 Гбайт/с

Показатели производительности впечатляют, однако если вам и этого мало, то OFA может горизонтально масштабироваться, обеспечивая до 3 миллионов операций ввода-вывода в секунду со скоростью последовательного чтения до 30 Гбайт/с. StorONE OFA будут доступны в ближайшие несколько недель, о ценах информация пока не доступна.

Системами хранения данных, которые используют только флеш-память и не используют традиционных механических накопителей, уже никого не удивишь. Но даже флеш-память может нуждаться в кешировании.

Подобно тому, как флеш-накопители используются для кеширования HDD, в новых массивах Pure Storage FlashArray//X R3 применена память Optane.

Со стороны Pure Storage это логичный шаг вперёд, ведь Optane показывает себя великолепно на мелкоблочных и случайных операциях — ему не приходится работать с целыми страницами ячеек и не нужно подготавливать сами ячейки к записи.

В новой серии представлены модели различного объема — от 22 до 878 Тбайт, отдельно доступны полки расширения Direct Flash ёмкостью до 521 Тбайт. Расширение осуществляется с помощью проприетарных модулей Pure Storage DirectMemory, их объём может варьироваться от 1 до 18,3 Тбайт. В старших моделях доступно кеширование на базе Optane.

Поддерживаемые протоколы и возможности FlashArray//X

В качестве процессоров третье поколение FlashArray//X использует Intel Xeon-SP (Cascade Lake). Компания заявляет, что новая серия способна гарантированно обеспечивать время отклика в пределах 100 ‒ 150 микросекунд и в целом быстрее серии второго поколения на 25%. Полностью поддерживается технология NVMe-over-Fabrics, реализованы эффективные технологии сжатия и дедупликации данных, обеспечивающие эффективность от 5:1 до 10:1. О надёжности говорит класс «четыре девятки». Массивы работают под управлением фирменного программного обеспечения Purity for FlashArray.

Несмотря на высочайший уровень производительности и пригодность к использованию в таких сложных сценариях, как SAP HANA, новые системы Pure Storage очень просты в эксплуатации: ввод в строй нового массива занимает порядка 30 минут.

Ещё весной прошлого года Intel анонсировала новый тип модулей памяти на базе технологии 3D XPoint — Optane DCPMM. Технология заинтересовала всех, кому нужны большие объемы оперативной памяти, и кто готов при этом мириться с некоторой потерей производительности.

Японский национальный институт передовых технических наук и технологии (AIST) опубликовал результаты сравнительного тестирования DCPMM, в котором эти модули сравнивались с традиционной памятью DRAM.

Модуль DCPMM объёмом 128 Гбайт. Фото StorageReview.

В отличие от блочных накопителей Optane, существует не так уж много доступных результатов тестирования DCPMM, вот почему данные AIST представляют существенную ценность, о чём говорят и сами авторы проекта.

Для тестирования они использовали инструментарий собственной разработки и вот каких результатов им удалось достичь: при чтении латентность DCPMM составила порядка 374 наносекунд, в режиме случайной записи write-back она возросла до примерно 390 наносекунд.

Пропускная способность при этом составила 38 и 3 Гбайт/с, соответственно. Иными словами, задержки DCPMM примерно в четыре раза выше, нежели у DRAM, однако при этом такие модули способны обеспечить 37% пропускной способности обычной памяти. Это не так уж мало и, во всяком случае, на операциях чтения — намного быстрее любых традиционных блочных накопителей. Также подтвердилась польза от включения чередования (interleaving).

Любопытно, что для точного измерения задержек японским учёным пришлось пойти на ряд ухищрений, поскольку, по их словам, большинство современных архитектур используют предвыборку (prefetch) и внеочередное исполнение (out-of-order execution), что позволяет минимизировать негативные последствия, вызываемые задержками при обращении к оперативной памяти. Полностью ознакомиться с методикой и результатами тестирования можно по этой ссылке.

Огромные объёмы данных генерируют не только пользователи социальных сетей; как мы уже рассказывали читателям, сервис «ВКонтакте» вынужден прибегать к использованию новых технологий Intel Optane, чтобы справиться с такой нагрузкой.

Не меньших, а то и сопоставимых ресурсов требуют некоторые научные задачи. Некоторые из них просто нуждаются в чудовищных объёмах оперативной памяти. Использование гибридных решений на базе памяти Intel Optane позволяет решить данную проблему.

Оценка сравнительной эффективности таких решений была представлена в докладе на SC19, сделанным c.н.с. к.ф.-м.н. химического факультета МГУ имени М. В. Ломоносова Владимиром Мироновым. Работа подготовлена при участии зав. лаб. Суперкомпьютерного моделирования ИВМИМГ СО РАН, к.ф.-м.н. Игоря Черных.

Традиционный ответ на задачу заключается в использовании гибридных систем хранения данных или, в случае массивных параллельных вычислений, систем распределённой памяти. Но оба варианта ответа имеют свои недостатки: СХД, даже гибридные, могут оказаться недостаточно быстры, а работа с распределённой памятью существенно усложняет программное обеспечение и, опять-таки, в некоторых случаях приводит к неприемлемому проседанию производительности.

Технология IMDT позволяет расширять память за счёт накопителей Optane

Кроме того, затраты на создание подобных инфраструктур бывают весьма велики ‒ достаточно сравнить стоимость гигабайта DRAM и флеш-памяти. Существует третий ответ, который заключается в применении гибридной памяти на базе микросхем Intel Optane. Сама технология Optane позволяет говорить об априори более высокой производительности, нежели у SSD, и тем более, HDD, а стоимость гигабайта продолжает оставаться ниже аналогичного показателя для DRAM.

Принципы функционирования IMDT

Одно из предлагаемых Intel решений носит название IDMT (Intel Memory Drive Technology), причём, оно вовсе не обязательно требует применения модулей NVDIMM Optane DC Persistent Memory. Благодаря развитым средствам виртуализации, которые могут быть доступны ещё на этапе инициализации UEFI, становится возможным расширять объём оперативной памяти с помощью классических PCIe-накопителей Optane DC P4800X. 

Другой вариант базируется на применении модулей Optane DC PMM, он тоже позволяет расширять память за счет нового типа энергонезависимой памяти. Однако реализация DCPMM проще: она не требует установки накопителей с интерфейсом PCIe и лишена потенциального узкого места в виде пропускной способности PCI Express.

Вычисление полиномов. По мере роста интенсивности вычислений эффективность решений на базе Intel Optane приближается к уровню DRAM

В обоих сценариях память выглядит для рабочей задачи единым пространством; переделка программного обеспечения не требуется. Конечно, даже чипы Optane не столь быстры, как DRAM, но, как показывают результаты проведённых исследований, даже на задачах, чувствительных к пропускной способности подсистемы памяти, можно получить 25 ‒ 40% от производительности «только DRAM». В своей работе российский учёный использовал обе схемы, IMDT и DCPMM. Он оценил их эффективность в различных научных задачах и сравнил с показателями эталонной системы, использующей только классическую память DRAM.

Результаты тестирования: дискретные преобразования Фурье. IMDT справляется со сложными схемами доступа к памяти лучше, нежели DCPMM

В тех случаях, когда приложение не критично к ПСП, но чувствительно к объёмам, потери могут быть совсем незначительными, а выигрыш за счёт упрощения ПО ‒ весьма существенным. Обычно это задачи со сложными, но предсказуемыми схемами доступа к памяти. Есть свои выгоды и у схемы с использованием модулей Optane DCPMM ‒ она лучше всего показывает себя при простых алгоритмах доступа к данным.

Результаты тестирования: квантовая химия. Эффективность DCPMM выше, нежели IMDT

Для проведения экспериментов, доказавших надёжность и преимущества решений на базе Intel Optane, были использованы двухпроцессорные системы на базе Xeon Gold 6254. В конфигурации IMDT в системе присутствовало 192 Гбайт DDR4 и 4 накопителя Optane DC P4800X ёмкостью 375 Гбайт каждый (суммарно 1,5 Тбайт).

Результаты тестирования: моделирование динамики астрофизических объектов. Код не оптимален, потеря эффективности у обеих систем Optane

Сценарий DCPMM предусматривал установку 12 модулей DDR4 ECC по 16 Гбайт (192 Гбайт суммарно) и 12 модулей Optane DC PMM по 128 Гбайт (1,536 Тбайт суммарно); можно представить себе стоимость системы с таким объёмом памяти, построенной полностью на DRAM. «Контрольный» сервер использовал конфигурацию с 24 модулями объёмом 64 Гбайт ‒ те же 1,536 Тбайт суммарно.

Создано в России: программный комплекс HydroBox3D позволяет моделировать астрофизические феномены

В числе прочего стоит упомянуть использование отечественной разработки ‒ программного комплекса HydroBox3D для моделирования сложных гидродинамических процессов на базе технологии вложенных свёрток, применяющегося в астрофизике (проект AstroPhi). Авторство принадлежит сотрудникам Института вычислительной математики и математической геофизики СО РАН.

Сочетание неоптимального кода и плохой балансировки между NUMA-узлами. Оптимизация кода или политик NUMA улучшают ситуацию

По итогам проведённого эксперимента становится очевидно, что использование технологий Intel Optane в научных расчётах полностью оправдано как с точки зрения достигаемой ёмкости подсистемы памяти, так и с точки зрения затрат на оборудование. В настоящий момент доступны модули Optane объёмом до 512 Гбайт и производительностью в районе 2,3 Гбайт/с при записи и 6,8 Гбайт/с при чтении данных. Массовые DIMM пока ограничены значением 64 Гбайт, хотя и более производительны.

Весной вместе с анонсом процессоров Intel Xeon Scalable под кодовым названием Cascade Lake компания также выпустила память Optane DCPMM в форм-факторе DIMM-модулей, которая способна ускорить работу, например, баз данных без лишних трат на закупку обычной DRAM. 

А на днях Intel выпустила первый релиз эталонного стека ПО для баз данных, заранее оптимизированного для использования в системах с Optane DCPMM.

Intel Database Reference Stack 1.0 представляет собой ещё одну инициативу с использованием ОС Linux. В качестве операционной системы применяется ОС Clear Linux собственной разработки, которая «из коробки» оптимизирована для аппаратных решений Intel. 

Первый релиз стека поддерживает только Apache Cassandra и Redis. Kubernetes применяется для оркестрации и управления системой. А для упрощения развёртывания экземпляры баз данных  и сопутствующий набор ПО запускаются в контейнерах Kata или Docker. 

Компания HPE, по сообщениям сетевых источников, займётся производством и поставками сверхбыстрой системы хранения данных Apeiron.

Речь идёт о платформе Apeiron ADS1000. Новинка, выполненная в формате 2U, допускает установку 24 NVMe-накопителей типоразмера 2,5 дюйма.

Важно отметить, что в составе хранилища применяются накопители Intel Optane. Это обеспечивает, как заявляет производитель, пропускную способность до 96 Гбайт/с в расчёте на один сервер 2U, а показатель IOPS (операций ввода/вывода в секунду) достигает 20,4 млн. Впрочем, никто не мешает использовать и обычные NAND SSD, и набор из NAND + Optane. 

Платформа предусматривает использование технологию NVMe-over-Ethernet. Правда, это проприетарное решение. Помимо обеспечения сетевой инфраструктуры 40 GbE для подключения к СХД придётся использовать HBA-карты, снабжённые FPGA Altera.

Утверждается, что решение Apeiron ADS1000 обладает отличной масштабируемостью. В целом, могут использоваться десятки тысяч накопителей: в этом случае общая величина IOPS будет исчисляться миллиардами.

Платформа ориентирована на корпоративных заказчиков, которым требуется наиболее производительное хранилище информации для решения задач, скажем, в области искусственного интеллекта или обработки объёмных баз данных. 

На крупнейшей суперкомпьютерной выставке SC18 в Далласе состоялась премьера HPC-решений на базе новых дисков Intel Optane SSD DC P4801X M.2 Series. Партнёром Intel стала российская группа компаний РСК, представившая узлы собственной архитектуры «Торнадо». 

Новые твердотельные диски Intel обеспечивают высокую ёмкость, производительность и энергоэффективность, что позволяет создавать самые современные центры обработки данных. Optane с технологией Intel Memory Drive (IMDT) обеспечивает операционной системе прозрачный доступ к гибридной памяти большего объема. 

Вычислительный узел «РСК Торнадо» включает до 12 твердотельных дисков Intel  Optane SSD DC P4801X M.2 Series или Intel SSD DC P4511 (NVMe, M.2), процессор семейства Intel Xeon Scalable (в следующем году ожидаются решения с Cascade Lake) и серверную плату Intel Server Board S2600BP. Сегодня на базе одного узла может быть создана система хранения данных объемом до 24 Тбайт с показателями производительности на уровне 1,1 Тбайт/с на стойку с более чем 495 млн IOPS.

Жидкостное охлаждение в режиме «горячей воды» обеспечивает возможность круглогодичной стабильной работы вычислительных узлов при температуре хладоносителя до +65 °С на входе. Среднегодовой показатель PUE, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06, что является выдающимся результатом для HPC.

Решение «РСК Торнадо» на базе серверных процессоров Intel обладает передовыми показателями вычислительной плотности: до 153 узлов в одном стандартном шкафу 42U. Конструктив шкафа позволяет на горячую заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) без прерывания работоспособности комплекса.

Топология связей и другие параметры высокоскоростных распределённых систем хранения данных РСК в гиперконвергентной среде настраиваются программным стеком «РСК БазИС» в автоматическом и непрерывном режиме. Эта система является легко расширяемой платформой с открытым исходным кодом и микроагентной архитектурой. В составе имеются функциональные возможности по мониторингу и управлению территориально распределёнными центрами обработки данных. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и прочее) имеют встроенный модуль, обеспечивающий широкие возможности для детальной телеметрии и гибкого управления. 

«РСК Торнадо» предоставляет широкие возможности работы с различными конфигурациями на основе Intel Optane SSD и обычных Intel SSD. Использование гиперконвергентного решения позволяет определять архитектуру системы хранения данных на лету после установки оборудования, адаптируя комплекс к разнообразным нагрузкам. Поддерживаются различные типы систем хранения, формируемые по требованию, включая создание разделов на базе файловой системы Lustre и интеграцию с планировщиками HPC-задач.

В июне в Объединенном институте ядерных исследований в Дубне был запущен суперкомпьютер на базе гиперконвергентного решения «РСК Торнадо» с системой хранения данных на основе Intel SSD. Эта система летом заняла 9-е место в мировом рейтинге IO500 для систем хранения данных HPC-класса.

Компания Intel поделилась своими планами по выпуску 14-нм серверных процессоров Cascade Lake-AP. Помимо старших моделей серии AP ожидаются и более простые CPU с индексом SP, а также X-процессоры для энтузиастов. Полноценный запуск всего семейства намечен на первый квартал 2019 года, а часть информации будет представлена на SC18, хотя поставки новинок заказчикам начнутся уже в этом квартале. На текущий момент в Санта-Кларе подтвердили, что 48-ядерные Cascade Lake-AP будут иметь MCP-компоновку — «склейку» из нескольких процессоров под одной крышкой. Впервые мультичиповая сборка (в виде MCM) появилась в Xeon семейства Paxville, то есть более 10 лет назад, но со временем от неё отказались. Более того, во время продвижения CPU Skylake Intel отдельно подчёркивала преимущества монолитной компоновки в сравнении с CCX-модулями Zen. Что же, в данном случае для связи между кристаллами старших Cascade Lake, как и между сокетами, будет использоваться шина UPI. EMIB-упаковка применяться не будет.

Cascade Lake-AP получат обещанные ранее аппаратные заплатки против некоторых уязвимостей класса Spectre/Meltdown и им подобных. Относительно Skylake-SP в новых CPU оптимизирована структура кеш-памяти, повышены рабочие частоты и внедрены инструкции AVX-512/VNNI (vector neural network instructions). Последние предназначены для ускорения вычислений в рамках глубинного обучения и приложений с использованием искусственного интеллекта (ИИ).

Область применения 48-ядерного процессора Cascade Lake ограничена только 2S-серверами. Масштабирование до 4- и 8-сокетных систем будет доступно для других представителей семейства. Учитывая потенциальные размеры и тепловыделение новых «монстров», можно смело предположить, что AP- и SP-модели (вместе с -X) получат разные сокеты. Ранее проскальзывала информация о возможном использовании 5903-контактной площадки наряду с привычным разъёмом LGA3647.

Контроллер памяти также изменился — теперь у каждого CPU есть 12 каналов, причём имеется нативная поддержка модулей Optane DC Persistent Memory в отличие от Skylake-SP, который требует дополнительной программной прослойки для совместной работы классической DRAM и Optane. Новые модули доступны для избранных партнёров Intel с августа этого года. На днях Microsoft продемонстрировала преимущества новой гибридной памяти на примере запуска 312 ВМ на 12 узлах под управлением бета-версии Windows Server 2019. В целом Intel акцентирует внимание потенциальных заказчиков на существовании целой экосистемы «интерфейс — хранилище данных — процессор», и в каждом её сегменте чипмейкеру есть, что предложить покупателю.

Кроме того, компания напомнила о Xeon-E для недорогих однопроцессорных серверов и рабочих станций. Это семейство CPU было представлено летом и может предложить только шестиядерные модели. Все они используют архитектуру Coffee Lake, возможности которой хорошо изучены. Intel особо подчёркивает наличие расширений SGX, поскольку у процессоров Coffee Lake отсутствует нативная защита от Meltdown и Spectre. Упомянутую на слайде поддержку 128 Гбайт RAM вместо текущих 64 Гбайт эти чипы получат в начале 2019 года путём обновления BIOS.

Intel объявила о начале коммерческих поставок модулей NVDIMM на базе энергонезависимой памяти 3D XPoint избранным клиентам. Модули Optane DC Persistent Memory предназначены для установки в слоты для оперативной памяти и используют протокол работы памяти DDR4 с целью максимизировать производительность находящегося в непосредственной близости от микропроцессора накопителя данных. Клиенты, получившие модули, уже сообщают об их рекордной производительности.

«Мы осуществили наши первые коммерческие поставки накопителей Optane DC Persistent Memory компаниям Google, Microsoft и Alibaba, получив отличные отзывы», — сказал Роберт Суон (Robert Swan) финансовый директор Intel, временно исполняющий обязанности исполнительного директора, в ходе телеконференции с инвесторами и финансовыми аналитиками. «Microsoft уже сообщила о рекордной производительности [сервера на базе Xeon Scalable и Optane DC Persistent Memory] в 13,7 млн IOPS, уровень, которого они никогда не достигали ни на какой другой платформе».

Сервер на базе Intel Xeon Scalable поколения Cascade Lake

Как сообщалось ранее в этом году, семейство модулей Optane DC Persistent Memory будет включать в себя накопители ёмкостью 128, 256 и 512 Гбайт. По сообщению AnandTech, накопитель Optane DC Persistent Memory 512 Гбайт несёт на борту 10 многослойных микросхем памяти 3D XPoint, таким образом используя 640 Гбайт памяти и имея вдвое больше «избыточной» памяти, чем модули DDR4 SDRAM с ECC (коррекцией ошибок).

Компания Intel не раскрывает точные характеристики своих продуктов до их официального выпуска. Однако уровень производительности сервера с несколькими накопителями Optane DC Persistent Memory в том, что касается случайных операций чтения и записи, впечатляет. Для сравнения, типичный серверный SSD с шиной PCI Express имеет производительность в 550–750 тысяч IOPS. Таким образом, несколько накопителей Optane DC Persistent Memory могут предложить не меньшую скорость, чем несколько серверных SSD, при этом предлагая куда более высокую надежность.

Основные преимущества памяти 3D XPoint

Руководство Intel предпочитает не распространяться о том, когда именно компания начнёт продажи модулей Optane DC Persistent Memory, но, судя по всему, поставки данных устройств начнутся одновременно с продажами серверов на базе процессоров Intel Xeon Scalable поколения Cascade Lake.