Hitachi Vantara обновила свои гиперконвергентные системы, добавив поддержку новых процессоров и памяти Intel Optane: изменения коснулись линеек HC и RS Unified Compute Platform (UCP). Ключевой аспект обновленного набора HCI-решений — повышение скорости работы.

Все новые платформы поддерживают Intel Optane в форм-факторе DIMM, кроме V225G (решение с поддержкой графических ускорителей поддерживает Intel Optane только в форм-факторе SSD).

Линейка UCP HC включает в себя кластеры до 64 узлов 1U и 2U (серверы Hitachi Vantara с процессорами Cascade Lake Xeon Refresh). Можно выбрать разные модели: all-flash NVMe, all-flash и гибридные модели. Все модели поддерживают vSphere vSAN.

Линейка RS позиционируется как программно-определяемый центр обработки данных (SDDC), поддерживает масштабируемость до 4256 узлов (до 8 стандартных серверных стоек). Решение включает в себя встроенные коммутаторы Cisco Nexus и поддержку общедоступных облаков, работает с VMware Cloud Foundation и Nutanix (который недавно тоже стал мультиоблачным).

Hitachi также обновила свое программное обеспечение для управления HCI. Обновление позволяет более быстро и гибко выделять необходимые ресурсы и имеет сертифицированную поддержку SAP HANA.

Устройства на базе энергонезависимой памяти 3D XPoint по брендом Optane уже достаточно давно занимают на рынке SSD уникальную нишу решений. Они особенно хорошо проявляют себя на мелкоблочных случайных операциях, и по этой причине снискали популярность в высокопроизводительных СХД в качестве кеш-накопителей. Цены на Optane не отличаются гуманностью и в 2020 году, но так ли уж выгодны они Intel?

Как говорит статистика, о прибыльности Optane корпорация Intel, точнее, её подразделение Non-volatile Solution Group (NSG), сложно было говорить очень долго. Начиная с 2016 года, каждый квартал, если верить аналитикам, NSG вынуждена была рапортовать об убытках, причём, иной раз достигающих 30-40%. Некоторые исключения можно было наблюдать в 2017 и 2018 годах, но лишь в отдельных кварталах и уже в начале 2019 подразделение было вынуждено вновь сообщить о существенных убытках.

Зарубежные источники сообщают, что в целом, производство и продажи устройств NAND в течение полугода, до второго квартала 2020, приносили Intel прибыль, однако именно Optane тянули общие показатели «на дно», сводя усилия компании не просто к нулям, а в область отрицательных значений. Но во втором квартале ситуация изменилась и NSG сообщила о прибыли на уровне $322 миллионов и доходности 19%. Это сопоставимо с финансовыми показателями таких конкурентов Intel NSG, как SK Hynix и Micron, хотя и ниже, чем, например, у Samsung или Western Digital.

Такие показатели свидетельствуют о том, что Optane, судя по всему, уже не является для NSG «якорем». Как утверждается, это произошло благодаря наращиванию объёмов выпуска таких устройства, что привело к срабатыванию эффекта масштаба и стоимость производства одной единицы продукции снизилась в достаточной степени. Ожидается, что тенденция останется положительной и в будущем.

Intel Optane в исполнении M.2 — подходящий вариант для высокоплотных СХД

Однако не исключается и возможность отказа Intel от выпуска Optane под собственным крылом — ранее компания уже отказалась от работ над многими типами энергонезависимой памяти, кроме NAND. В этот печальный список входят самые разные технологии, от SRAM и DRAM до экзотики вроде пузырьковой памяти и PCM.

Напомним, что в разработке 3D XPoint участвовал альянс Micron и Intel, и последняя в настоящий момент закупает кристаллы именно у бывшего партнёра. В свете тенденций Intel к концентрации усилий вокруг различных «сопроцессоров», включая ПЛИС, а также разработки программного обеспечения, существует некоторая вероятность того, что «синие» оставят в своём производстве лишь 3D NAND, особенно в набирающем популярность четырёхбитном варианте QLC.

В рамках Intel Architecture Day компания в очередной раз обновила своё видение иерархии памяти в серверных системах. К промежуточному слою в виде Optane DCPMM мы уже привыкли, замене HDD на ёмкие и дешёвые SSD с QLC NAND не удивляемся, а к появлению Rambo Cache начали готовить ещё в прошлом году.

Теперь вместо привычного стека из кеша CPU, RAM и SSD/HDD c LTO где-то на периферии в представлении Intel структура памяти включает аж 7 слоёв:

• Кеш CPU (SRAM): порядка сотни/сотен мегабайт и задержка на уровне 1 нс;
• Набортная память (Rambo Cache, HBM): единицы гигабайт, ~ 10 нс;
• Оперативная память (DRAM): десятки гигабайт, < 100 нс;
• Память SCM (Optane DCPMM): сотни гигабайт, < 1 мкс;
• Быстрое первичное хранилище (Optane SSD): единицы терабайт, < 10 мкс;
• Вторичное хранилище (QLC NAND SSD): десятки терабайт, < 100 мкс;
• Третичное хранилище (HDD): десятки терабайт, < 10 мс.

Начнём с «нижнего этажа». О том, что компания не станет выпускать 128-слойную флеш-память NAND, а сразу займётся 144-слойной QLC, стало известно ещё в прошлом году. Летом Intel напомнила о своём решении, сообщив, что массовый выпуск будет начат во втором полугодии 2020 года, а первые продукты должны появиться к концу года. Массовый перевод основных серий SSD на новый тип памяти состоится в первой половине 2021-го.

Несмотря на то, что формально новый тип памяти по характеристикам будет хуже предыдущих поколений, она тоже выиграет от перехода на PCIe 4.0 — переход к новым форм-факторам EDSFF, U.3 и другим даст возможность задействовать больше каналов, а рост плотности увеличит ёмкость накопителей. Так что они действительно смогут полностью вытеснить HDD в ряде сценариев использования.

Память 3D XPoint следующего поколения перейдёт с двухслойной компоновки на четырёхслойную, что приведёт к увеличению плотности и скорости работы. Первыми её получат NVMe-накопители Alder Stream. Новая память в сочетании с новым же контроллером PCIe 4.0 даст удвоение пропускной способности накопителей, миллионы IOPS и стабильно низкую задержку. Отдельно отмечается, что новая память оптимизирована для случайных мелкоблочных операций. Любопытно, что производиться новая 3D XPoint будет всё так же на заводах Micron и лишь потом закупаться Intel.

А вот модули Optane DCMM (или PMem) новую память, судя по всему, пока не получат. Анонсированные несколько месяцев назад «плашки» 200-ой серии под кодовым именем Barlow Pass по сравнению с первым поколением стали примерно на четверть быстрее, но остались в рамках прежнего теплопакета. Они ориентированы на работу с Intel Xeon Cooper Lake, их поддержку получат и грядущие Ice Lake-SP. Обе серии процессоров работают с DDR4, так что им, видимо, достаточно и текущих решений. А вот будущим Sapphire Rapids в связи с переездом на DDR5 уже точно понадобятся новые модули Optane: и SSD, и DCPMM.

Наконец, ещё один «кирпичик» в иерархии памяти — это Rambo Cache. Напомним, что он, в частности, будет использоваться в составе шины-фабрики X^e Memory Fabric с поддержкой когерентности, которая будет объединять CPU, GPU и другие ускорители в единое целое. Rambo Cache будет мостиком между непосредственно вычислительными блоками и набортной памятью ускорителей.

Все эти новые уровни иерархии нужны потому, что разрыв в плотности и производительности уже имеющихся слоёв хранения слишком велик, поэтому приходится закрывать эти «дыры» между ними. Это, в свою очередь, ускорит обработку данных и упростит масштабирование. Если, конечно, правильно распределять данные между всеми этими слоями.

В понятие «платформа» как таковое входят три компонента: процессор, память и устройства хранения данных, хотя с появлением Optane DCPMM грань между последними двумя понятиями и стала размываться. Вместе с анонсом Xeon Scalable Cooper Lake Intel представила второе поколение памяти Optane DCPMM, которе и предназначено для новых CPU.

Рост популярности систем машинного интеллекта и периферийной обработки данных приводит и к тому, что от подсистем памяти требуются большие, нежели ранее, объёмы. DRAM, однако, всё ещё очень дорогое удовольствие, когда речь заходит о терабайтах и десятках терабайт, а обычная флеш-память NAND не может похвастаться высокой производительностью на мелкоблочных и случайных операциях в силу своей структуры.

Intel не первый год продвигает концепцию Optane DCPMM: сам тип микросхем Optane (3D XPoint) хорошо подходит в качестве «продолжения» системной памяти, порой не критически уступая DRAM в производительности. При этом модули DCPMM энергонезависимы и могут быть весьма солидных объёмов, заведомо превышающих объёмы, достигаемые «чистой» DRAM.

DCPMM позволяет снизить стоимость владения при увеличении объёмов памяти и лучшей производительности

В прошлом году мы опубликовали заметку, рассказывающую о том, насколько хорошо смешанные системы на базе Optane DCPMM + DRAM показывают себя в научно-технических расчётах. И они доказали свою полезность, хотя речь шла о первом поколении модулей DCPMM. А сейчас компания Intel представила модули на базе Optane второго поколения, обладающие улучшенными техническими характеристиками.

Они носят название Optane 200 и, по замыслу разработчика, эти модули должны составить компанию платформе Cooper Lake-SP, третьему поколению Xeon Scalable. Максимальная ёмкость модуля по-прежнему составляет 512 Гбайт.

Эффективность новой DCPMM в сравнении с серверами трёхлетней давности

Общий объём смешанной памяти у систем на базе Cooper Lake может достигать внушительной цифры 4,5 Тбайт на процессорный разъём, хотя для этого и требуется процессор Xeon с суффиксом HL в названии. Отличный выбор для нагрузок вроде баз данных in-memory, аналитики в реальном времени, да и системы виртуализации от такого только выиграют — один сервер сможет вместить больше инстансов.

Новые модули имеют невысокий теплопакет, остающийся в рамках 12 ‒ 15 Ватт, но при этом они могут быть на четверть производительнее Optane DCPMM предыдущего поколения. По разным оценкам надёжность новинок варьируется в пределах 75 — 363 Пбайт, записанных в течение пятилетнего гарантийного срока. Поддерживаются частоты DDR4 1866, 2133, 2400 и 2666 МГц, тогда как сами процессоры Cooper Lake-SP получили поддержку и более быстрой DDR4-3200.

Вместе с новой памятью и процессорами компания также анонсировала накопители Intel D7-P5500 и D7-5600 с интерфейсом PCIe 4.0 и новую FPGA Intel Stratix 10 NX.

StorOne представила флеш-массив S1: Optane, объединяющий накопители на базе Intel Optane и NAND QLC. Новинка представлена в 2U-шасси, имеет два контроллера (Active-Active) с процессорами Intel Xeon SP, а общая емкость системы составляет 40 Тбайт.

Optane Flash Array (OFA) работает под управлением ОС StorOne S1 Enterprise Storage Platform, которая написана специально для использования новых типов флеш-накопителей. Основная идея нового массива — предоставить пользователям быстродействие на уровне Intel Optane, но без существенного повышения стоимости.

StorONE OFA поддерживает конфигурации с 3,4,6 или 8 накопителями Intel Optane и от 4 до 16 накопителей QLC. Варианты конфигураций позволяют выбрать необходимое соотношение производительность/емкость для клиентов. Базовая конфигурация OFA следующая: три накопителя Intel Optane DC P4800X 750 Мбайт как уровень кеша и «горячих данных», пять твердотельных накопителей Intel D5-P4320 NVMe 7,68 Тбайт для хранения данных.

При использовании Intel Optane отпадает необходимость выделять большой объем памяти на контроллере под кеш. ПО массива анализирует рабочие нагрузки и собирает данные в стандартные блоки для последовательной записи, оптимизированные по размеру страниц памяти на QLC-накопители. Такая схема работы повышает быстродействие массива и снижает износ твердотельных накопителей.

StorONE приводит в своем отчете следующие данные замеров производительности:

• 1,05 млн IOPS на случайном чтении при задержке не более 0,14 мс
• 310 тыс. IOPS на случайной записи при задержке не более 0,6 мс
• Пропускная способность последовательного чтения 10 Гбайт/с
• Пропускная способность последовательной записи 2,0 Гбайт/с

Показатели производительности впечатляют, однако если вам и этого мало, то OFA может горизонтально масштабироваться, обеспечивая до 3 миллионов операций ввода-вывода в секунду со скоростью последовательного чтения до 30 Гбайт/с. StorONE OFA будут доступны в ближайшие несколько недель, о ценах информация пока не доступна.

Системами хранения данных, которые используют только флеш-память и не используют традиционных механических накопителей, уже никого не удивишь. Но даже флеш-память может нуждаться в кешировании.

Подобно тому, как флеш-накопители используются для кеширования HDD, в новых массивах Pure Storage FlashArray//X R3 применена память Optane.

Со стороны Pure Storage это логичный шаг вперёд, ведь Optane показывает себя великолепно на мелкоблочных и случайных операциях — ему не приходится работать с целыми страницами ячеек и не нужно подготавливать сами ячейки к записи.

В новой серии представлены модели различного объема — от 22 до 878 Тбайт, отдельно доступны полки расширения Direct Flash ёмкостью до 521 Тбайт. Расширение осуществляется с помощью проприетарных модулей Pure Storage DirectMemory, их объём может варьироваться от 1 до 18,3 Тбайт. В старших моделях доступно кеширование на базе Optane.

Поддерживаемые протоколы и возможности FlashArray//X

В качестве процессоров третье поколение FlashArray//X использует Intel Xeon-SP (Cascade Lake). Компания заявляет, что новая серия способна гарантированно обеспечивать время отклика в пределах 100 ‒ 150 микросекунд и в целом быстрее серии второго поколения на 25%. Полностью поддерживается технология NVMe-over-Fabrics, реализованы эффективные технологии сжатия и дедупликации данных, обеспечивающие эффективность от 5:1 до 10:1. О надёжности говорит класс «четыре девятки». Массивы работают под управлением фирменного программного обеспечения Purity for FlashArray.

Несмотря на высочайший уровень производительности и пригодность к использованию в таких сложных сценариях, как SAP HANA, новые системы Pure Storage очень просты в эксплуатации: ввод в строй нового массива занимает порядка 30 минут.

Ещё весной прошлого года Intel анонсировала новый тип модулей памяти на базе технологии 3D XPoint — Optane DCPMM. Технология заинтересовала всех, кому нужны большие объемы оперативной памяти, и кто готов при этом мириться с некоторой потерей производительности.

Японский национальный институт передовых технических наук и технологии (AIST) опубликовал результаты сравнительного тестирования DCPMM, в котором эти модули сравнивались с традиционной памятью DRAM.

Модуль DCPMM объёмом 128 Гбайт. Фото StorageReview.

В отличие от блочных накопителей Optane, существует не так уж много доступных результатов тестирования DCPMM, вот почему данные AIST представляют существенную ценность, о чём говорят и сами авторы проекта.

Для тестирования они использовали инструментарий собственной разработки и вот каких результатов им удалось достичь: при чтении латентность DCPMM составила порядка 374 наносекунд, в режиме случайной записи write-back она возросла до примерно 390 наносекунд.

Пропускная способность при этом составила 38 и 3 Гбайт/с, соответственно. Иными словами, задержки DCPMM примерно в четыре раза выше, нежели у DRAM, однако при этом такие модули способны обеспечить 37% пропускной способности обычной памяти. Это не так уж мало и, во всяком случае, на операциях чтения — намного быстрее любых традиционных блочных накопителей. Также подтвердилась польза от включения чередования (interleaving).

Любопытно, что для точного измерения задержек японским учёным пришлось пойти на ряд ухищрений, поскольку, по их словам, большинство современных архитектур используют предвыборку (prefetch) и внеочередное исполнение (out-of-order execution), что позволяет минимизировать негативные последствия, вызываемые задержками при обращении к оперативной памяти. Полностью ознакомиться с методикой и результатами тестирования можно по этой ссылке.

Огромные объёмы данных генерируют не только пользователи социальных сетей; как мы уже рассказывали читателям, сервис «ВКонтакте» вынужден прибегать к использованию новых технологий Intel Optane, чтобы справиться с такой нагрузкой.

Не меньших, а то и сопоставимых ресурсов требуют некоторые научные задачи. Некоторые из них просто нуждаются в чудовищных объёмах оперативной памяти. Использование гибридных решений на базе памяти Intel Optane позволяет решить данную проблему.

Оценка сравнительной эффективности таких решений была представлена в докладе на SC19, сделанным c.н.с. к.ф.-м.н. химического факультета МГУ имени М. В. Ломоносова Владимиром Мироновым. Работа подготовлена при участии зав. лаб. Суперкомпьютерного моделирования ИВМИМГ СО РАН, к.ф.-м.н. Игоря Черных.

Традиционный ответ на задачу заключается в использовании гибридных систем хранения данных или, в случае массивных параллельных вычислений, систем распределённой памяти. Но оба варианта ответа имеют свои недостатки: СХД, даже гибридные, могут оказаться недостаточно быстры, а работа с распределённой памятью существенно усложняет программное обеспечение и, опять-таки, в некоторых случаях приводит к неприемлемому проседанию производительности.

Технология IMDT позволяет расширять память за счёт накопителей Optane

Кроме того, затраты на создание подобных инфраструктур бывают весьма велики ‒ достаточно сравнить стоимость гигабайта DRAM и флеш-памяти. Существует третий ответ, который заключается в применении гибридной памяти на базе микросхем Intel Optane. Сама технология Optane позволяет говорить об априори более высокой производительности, нежели у SSD, и тем более, HDD, а стоимость гигабайта продолжает оставаться ниже аналогичного показателя для DRAM.

Принципы функционирования IMDT

Одно из предлагаемых Intel решений носит название IDMT (Intel Memory Drive Technology), причём, оно вовсе не обязательно требует применения модулей NVDIMM Optane DC Persistent Memory. Благодаря развитым средствам виртуализации, которые могут быть доступны ещё на этапе инициализации UEFI, становится возможным расширять объём оперативной памяти с помощью классических PCIe-накопителей Optane DC P4800X. 

Другой вариант базируется на применении модулей Optane DC PMM, он тоже позволяет расширять память за счет нового типа энергонезависимой памяти. Однако реализация DCPMM проще: она не требует установки накопителей с интерфейсом PCIe и лишена потенциального узкого места в виде пропускной способности PCI Express.

Вычисление полиномов. По мере роста интенсивности вычислений эффективность решений на базе Intel Optane приближается к уровню DRAM

В обоих сценариях память выглядит для рабочей задачи единым пространством; переделка программного обеспечения не требуется. Конечно, даже чипы Optane не столь быстры, как DRAM, но, как показывают результаты проведённых исследований, даже на задачах, чувствительных к пропускной способности подсистемы памяти, можно получить 25 ‒ 40% от производительности «только DRAM». В своей работе российский учёный использовал обе схемы, IMDT и DCPMM. Он оценил их эффективность в различных научных задачах и сравнил с показателями эталонной системы, использующей только классическую память DRAM.

Результаты тестирования: дискретные преобразования Фурье. IMDT справляется со сложными схемами доступа к памяти лучше, нежели DCPMM

В тех случаях, когда приложение не критично к ПСП, но чувствительно к объёмам, потери могут быть совсем незначительными, а выигрыш за счёт упрощения ПО ‒ весьма существенным. Обычно это задачи со сложными, но предсказуемыми схемами доступа к памяти. Есть свои выгоды и у схемы с использованием модулей Optane DCPMM ‒ она лучше всего показывает себя при простых алгоритмах доступа к данным.

Результаты тестирования: квантовая химия. Эффективность DCPMM выше, нежели IMDT

Для проведения экспериментов, доказавших надёжность и преимущества решений на базе Intel Optane, были использованы двухпроцессорные системы на базе Xeon Gold 6254. В конфигурации IMDT в системе присутствовало 192 Гбайт DDR4 и 4 накопителя Optane DC P4800X ёмкостью 375 Гбайт каждый (суммарно 1,5 Тбайт).

Результаты тестирования: моделирование динамики астрофизических объектов. Код не оптимален, потеря эффективности у обеих систем Optane

Сценарий DCPMM предусматривал установку 12 модулей DDR4 ECC по 16 Гбайт (192 Гбайт суммарно) и 12 модулей Optane DC PMM по 128 Гбайт (1,536 Тбайт суммарно); можно представить себе стоимость системы с таким объёмом памяти, построенной полностью на DRAM. «Контрольный» сервер использовал конфигурацию с 24 модулями объёмом 64 Гбайт ‒ те же 1,536 Тбайт суммарно.

Создано в России: программный комплекс HydroBox3D позволяет моделировать астрофизические феномены

В числе прочего стоит упомянуть использование отечественной разработки ‒ программного комплекса HydroBox3D для моделирования сложных гидродинамических процессов на базе технологии вложенных свёрток, применяющегося в астрофизике (проект AstroPhi). Авторство принадлежит сотрудникам Института вычислительной математики и математической геофизики СО РАН.

Сочетание неоптимального кода и плохой балансировки между NUMA-узлами. Оптимизация кода или политик NUMA улучшают ситуацию

По итогам проведённого эксперимента становится очевидно, что использование технологий Intel Optane в научных расчётах полностью оправдано как с точки зрения достигаемой ёмкости подсистемы памяти, так и с точки зрения затрат на оборудование. В настоящий момент доступны модули Optane объёмом до 512 Гбайт и производительностью в районе 2,3 Гбайт/с при записи и 6,8 Гбайт/с при чтении данных. Массовые DIMM пока ограничены значением 64 Гбайт, хотя и более производительны.

Весной вместе с анонсом процессоров Intel Xeon Scalable под кодовым названием Cascade Lake компания также выпустила память Optane DCPMM в форм-факторе DIMM-модулей, которая способна ускорить работу, например, баз данных без лишних трат на закупку обычной DRAM. 

А на днях Intel выпустила первый релиз эталонного стека ПО для баз данных, заранее оптимизированного для использования в системах с Optane DCPMM.

Intel Database Reference Stack 1.0 представляет собой ещё одну инициативу с использованием ОС Linux. В качестве операционной системы применяется ОС Clear Linux собственной разработки, которая «из коробки» оптимизирована для аппаратных решений Intel. 

Первый релиз стека поддерживает только Apache Cassandra и Redis. Kubernetes применяется для оркестрации и управления системой. А для упрощения развёртывания экземпляры баз данных  и сопутствующий набор ПО запускаются в контейнерах Kata или Docker. 

Компания HPE, по сообщениям сетевых источников, займётся производством и поставками сверхбыстрой системы хранения данных Apeiron.

Речь идёт о платформе Apeiron ADS1000. Новинка, выполненная в формате 2U, допускает установку 24 NVMe-накопителей типоразмера 2,5 дюйма.

Важно отметить, что в составе хранилища применяются накопители Intel Optane. Это обеспечивает, как заявляет производитель, пропускную способность до 96 Гбайт/с в расчёте на один сервер 2U, а показатель IOPS (операций ввода/вывода в секунду) достигает 20,4 млн. Впрочем, никто не мешает использовать и обычные NAND SSD, и набор из NAND + Optane. 

Платформа предусматривает использование технологию NVMe-over-Ethernet. Правда, это проприетарное решение. Помимо обеспечения сетевой инфраструктуры 40 GbE для подключения к СХД придётся использовать HBA-карты, снабжённые FPGA Altera.

Утверждается, что решение Apeiron ADS1000 обладает отличной масштабируемостью. В целом, могут использоваться десятки тысяч накопителей: в этом случае общая величина IOPS будет исчисляться миллиардами.

Платформа ориентирована на корпоративных заказчиков, которым требуется наиболее производительное хранилище информации для решения задач, скажем, в области искусственного интеллекта или обработки объёмных баз данных.