Огромные объёмы данных генерируют не только пользователи социальных сетей; как мы уже рассказывали читателям, сервис «ВКонтакте» вынужден прибегать к использованию новых технологий Intel Optane, чтобы справиться с такой нагрузкой.

Не меньших, а то и сопоставимых ресурсов требуют некоторые научные задачи. Некоторые из них просто нуждаются в чудовищных объёмах оперативной памяти. Использование гибридных решений на базе памяти Intel Optane позволяет решить данную проблему.

Оценка сравнительной эффективности таких решений была представлена в докладе на SC19, сделанным c.н.с. к.ф.-м.н. химического факультета МГУ имени М. В. Ломоносова Владимиром Мироновым. Работа подготовлена при участии зав. лаб. Суперкомпьютерного моделирования ИВМИМГ СО РАН, к.ф.-м.н. Игоря Черных.

Традиционный ответ на задачу заключается в использовании гибридных систем хранения данных или, в случае массивных параллельных вычислений, систем распределённой памяти. Но оба варианта ответа имеют свои недостатки: СХД, даже гибридные, могут оказаться недостаточно быстры, а работа с распределённой памятью существенно усложняет программное обеспечение и, опять-таки, в некоторых случаях приводит к неприемлемому проседанию производительности.

Технология IMDT позволяет расширять память за счёт накопителей Optane

Кроме того, затраты на создание подобных инфраструктур бывают весьма велики ‒ достаточно сравнить стоимость гигабайта DRAM и флеш-памяти. Существует третий ответ, который заключается в применении гибридной памяти на базе микросхем Intel Optane. Сама технология Optane позволяет говорить об априори более высокой производительности, нежели у SSD, и тем более, HDD, а стоимость гигабайта продолжает оставаться ниже аналогичного показателя для DRAM.

Принципы функционирования IMDT

Одно из предлагаемых Intel решений носит название IDMT (Intel Memory Drive Technology), причём, оно вовсе не обязательно требует применения модулей NVDIMM Optane DC Persistent Memory. Благодаря развитым средствам виртуализации, которые могут быть доступны ещё на этапе инициализации UEFI, становится возможным расширять объём оперативной памяти с помощью классических PCIe-накопителей Optane DC P4800X. 

Другой вариант базируется на применении модулей Optane DC PMM, он тоже позволяет расширять память за счет нового типа энергонезависимой памяти. Однако реализация DCPMM проще: она не требует установки накопителей с интерфейсом PCIe и лишена потенциального узкого места в виде пропускной способности PCI Express.

Вычисление полиномов. По мере роста интенсивности вычислений эффективность решений на базе Intel Optane приближается к уровню DRAM

В обоих сценариях память выглядит для рабочей задачи единым пространством; переделка программного обеспечения не требуется. Конечно, даже чипы Optane не столь быстры, как DRAM, но, как показывают результаты проведённых исследований, даже на задачах, чувствительных к пропускной способности подсистемы памяти, можно получить 25 ‒ 40% от производительности «только DRAM». В своей работе российский учёный использовал обе схемы, IMDT и DCPMM. Он оценил их эффективность в различных научных задачах и сравнил с показателями эталонной системы, использующей только классическую память DRAM.

Результаты тестирования: дискретные преобразования Фурье. IMDT справляется со сложными схемами доступа к памяти лучше, нежели DCPMM

В тех случаях, когда приложение не критично к ПСП, но чувствительно к объёмам, потери могут быть совсем незначительными, а выигрыш за счёт упрощения ПО ‒ весьма существенным. Обычно это задачи со сложными, но предсказуемыми схемами доступа к памяти. Есть свои выгоды и у схемы с использованием модулей Optane DCPMM ‒ она лучше всего показывает себя при простых алгоритмах доступа к данным.

Результаты тестирования: квантовая химия. Эффективность DCPMM выше, нежели IMDT

Для проведения экспериментов, доказавших надёжность и преимущества решений на базе Intel Optane, были использованы двухпроцессорные системы на базе Xeon Gold 6254. В конфигурации IMDT в системе присутствовало 192 Гбайт DDR4 и 4 накопителя Optane DC P4800X ёмкостью 375 Гбайт каждый (суммарно 1,5 Тбайт).

Результаты тестирования: моделирование динамики астрофизических объектов. Код не оптимален, потеря эффективности у обеих систем Optane

Сценарий DCPMM предусматривал установку 12 модулей DDR4 ECC по 16 Гбайт (192 Гбайт суммарно) и 12 модулей Optane DC PMM по 128 Гбайт (1,536 Тбайт суммарно); можно представить себе стоимость системы с таким объёмом памяти, построенной полностью на DRAM. «Контрольный» сервер использовал конфигурацию с 24 модулями объёмом 64 Гбайт ‒ те же 1,536 Тбайт суммарно.

Создано в России: программный комплекс HydroBox3D позволяет моделировать астрофизические феномены

В числе прочего стоит упомянуть использование отечественной разработки ‒ программного комплекса HydroBox3D для моделирования сложных гидродинамических процессов на базе технологии вложенных свёрток, применяющегося в астрофизике (проект AstroPhi). Авторство принадлежит сотрудникам Института вычислительной математики и математической геофизики СО РАН.

Сочетание неоптимального кода и плохой балансировки между NUMA-узлами. Оптимизация кода или политик NUMA улучшают ситуацию

По итогам проведённого эксперимента становится очевидно, что использование технологий Intel Optane в научных расчётах полностью оправдано как с точки зрения достигаемой ёмкости подсистемы памяти, так и с точки зрения затрат на оборудование. В настоящий момент доступны модули Optane объёмом до 512 Гбайт и производительностью в районе 2,3 Гбайт/с при записи и 6,8 Гбайт/с при чтении данных. Массовые DIMM пока ограничены значением 64 Гбайт, хотя и более производительны.

Весной вместе с анонсом процессоров Intel Xeon Scalable под кодовым названием Cascade Lake компания также выпустила память Optane DCPMM в форм-факторе DIMM-модулей, которая способна ускорить работу, например, баз данных без лишних трат на закупку обычной DRAM. 

А на днях Intel выпустила первый релиз эталонного стека ПО для баз данных, заранее оптимизированного для использования в системах с Optane DCPMM.

Intel Database Reference Stack 1.0 представляет собой ещё одну инициативу с использованием ОС Linux. В качестве операционной системы применяется ОС Clear Linux собственной разработки, которая «из коробки» оптимизирована для аппаратных решений Intel. 

Первый релиз стека поддерживает только Apache Cassandra и Redis. Kubernetes применяется для оркестрации и управления системой. А для упрощения развёртывания экземпляры баз данных  и сопутствующий набор ПО запускаются в контейнерах Kata или Docker. 

Компания HPE, по сообщениям сетевых источников, займётся производством и поставками сверхбыстрой системы хранения данных Apeiron.

Речь идёт о платформе Apeiron ADS1000. Новинка, выполненная в формате 2U, допускает установку 24 NVMe-накопителей типоразмера 2,5 дюйма.

Важно отметить, что в составе хранилища применяются накопители Intel Optane. Это обеспечивает, как заявляет производитель, пропускную способность до 96 Гбайт/с в расчёте на один сервер 2U, а показатель IOPS (операций ввода/вывода в секунду) достигает 20,4 млн. Впрочем, никто не мешает использовать и обычные NAND SSD, и набор из NAND + Optane. 

Платформа предусматривает использование технологию NVMe-over-Ethernet. Правда, это проприетарное решение. Помимо обеспечения сетевой инфраструктуры 40 GbE для подключения к СХД придётся использовать HBA-карты, снабжённые FPGA Altera.

Утверждается, что решение Apeiron ADS1000 обладает отличной масштабируемостью. В целом, могут использоваться десятки тысяч накопителей: в этом случае общая величина IOPS будет исчисляться миллиардами.

Платформа ориентирована на корпоративных заказчиков, которым требуется наиболее производительное хранилище информации для решения задач, скажем, в области искусственного интеллекта или обработки объёмных баз данных. 

На крупнейшей суперкомпьютерной выставке SC18 в Далласе состоялась премьера HPC-решений на базе новых дисков Intel Optane SSD DC P4801X M.2 Series. Партнёром Intel стала российская группа компаний РСК, представившая узлы собственной архитектуры «Торнадо». 

Новые твердотельные диски Intel обеспечивают высокую ёмкость, производительность и энергоэффективность, что позволяет создавать самые современные центры обработки данных. Optane с технологией Intel Memory Drive (IMDT) обеспечивает операционной системе прозрачный доступ к гибридной памяти большего объема. 

Вычислительный узел «РСК Торнадо» включает до 12 твердотельных дисков Intel  Optane SSD DC P4801X M.2 Series или Intel SSD DC P4511 (NVMe, M.2), процессор семейства Intel Xeon Scalable (в следующем году ожидаются решения с Cascade Lake) и серверную плату Intel Server Board S2600BP. Сегодня на базе одного узла может быть создана система хранения данных объемом до 24 Тбайт с показателями производительности на уровне 1,1 Тбайт/с на стойку с более чем 495 млн IOPS.

Жидкостное охлаждение в режиме «горячей воды» обеспечивает возможность круглогодичной стабильной работы вычислительных узлов при температуре хладоносителя до +65 °С на входе. Среднегодовой показатель PUE, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06, что является выдающимся результатом для HPC.

Решение «РСК Торнадо» на базе серверных процессоров Intel обладает передовыми показателями вычислительной плотности: до 153 узлов в одном стандартном шкафу 42U. Конструктив шкафа позволяет на горячую заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) без прерывания работоспособности комплекса.

Топология связей и другие параметры высокоскоростных распределённых систем хранения данных РСК в гиперконвергентной среде настраиваются программным стеком «РСК БазИС» в автоматическом и непрерывном режиме. Эта система является легко расширяемой платформой с открытым исходным кодом и микроагентной архитектурой. В составе имеются функциональные возможности по мониторингу и управлению территориально распределёнными центрами обработки данных. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и прочее) имеют встроенный модуль, обеспечивающий широкие возможности для детальной телеметрии и гибкого управления. 

«РСК Торнадо» предоставляет широкие возможности работы с различными конфигурациями на основе Intel Optane SSD и обычных Intel SSD. Использование гиперконвергентного решения позволяет определять архитектуру системы хранения данных на лету после установки оборудования, адаптируя комплекс к разнообразным нагрузкам. Поддерживаются различные типы систем хранения, формируемые по требованию, включая создание разделов на базе файловой системы Lustre и интеграцию с планировщиками HPC-задач.

В июне в Объединенном институте ядерных исследований в Дубне был запущен суперкомпьютер на базе гиперконвергентного решения «РСК Торнадо» с системой хранения данных на основе Intel SSD. Эта система летом заняла 9-е место в мировом рейтинге IO500 для систем хранения данных HPC-класса.

Компания Intel поделилась своими планами по выпуску 14-нм серверных процессоров Cascade Lake-AP. Помимо старших моделей серии AP ожидаются и более простые CPU с индексом SP, а также X-процессоры для энтузиастов. Полноценный запуск всего семейства намечен на первый квартал 2019 года, а часть информации будет представлена на SC18, хотя поставки новинок заказчикам начнутся уже в этом квартале. На текущий момент в Санта-Кларе подтвердили, что 48-ядерные Cascade Lake-AP будут иметь MCP-компоновку — «склейку» из нескольких процессоров под одной крышкой. Впервые мультичиповая сборка (в виде MCM) появилась в Xeon семейства Paxville, то есть более 10 лет назад, но со временем от неё отказались. Более того, во время продвижения CPU Skylake Intel отдельно подчёркивала преимущества монолитной компоновки в сравнении с CCX-модулями Zen. Что же, в данном случае для связи между кристаллами старших Cascade Lake, как и между сокетами, будет использоваться шина UPI. EMIB-упаковка применяться не будет.

Cascade Lake-AP получат обещанные ранее аппаратные заплатки против некоторых уязвимостей класса Spectre/Meltdown и им подобных. Относительно Skylake-SP в новых CPU оптимизирована структура кеш-памяти, повышены рабочие частоты и внедрены инструкции AVX-512/VNNI (vector neural network instructions). Последние предназначены для ускорения вычислений в рамках глубинного обучения и приложений с использованием искусственного интеллекта (ИИ).

Область применения 48-ядерного процессора Cascade Lake ограничена только 2S-серверами. Масштабирование до 4- и 8-сокетных систем будет доступно для других представителей семейства. Учитывая потенциальные размеры и тепловыделение новых «монстров», можно смело предположить, что AP- и SP-модели (вместе с -X) получат разные сокеты. Ранее проскальзывала информация о возможном использовании 5903-контактной площадки наряду с привычным разъёмом LGA3647.

Контроллер памяти также изменился — теперь у каждого CPU есть 12 каналов, причём имеется нативная поддержка модулей Optane DC Persistent Memory в отличие от Skylake-SP, который требует дополнительной программной прослойки для совместной работы классической DRAM и Optane. Новые модули доступны для избранных партнёров Intel с августа этого года. На днях Microsoft продемонстрировала преимущества новой гибридной памяти на примере запуска 312 ВМ на 12 узлах под управлением бета-версии Windows Server 2019. В целом Intel акцентирует внимание потенциальных заказчиков на существовании целой экосистемы «интерфейс — хранилище данных — процессор», и в каждом её сегменте чипмейкеру есть, что предложить покупателю.

Кроме того, компания напомнила о Xeon-E для недорогих однопроцессорных серверов и рабочих станций. Это семейство CPU было представлено летом и может предложить только шестиядерные модели. Все они используют архитектуру Coffee Lake, возможности которой хорошо изучены. Intel особо подчёркивает наличие расширений SGX, поскольку у процессоров Coffee Lake отсутствует нативная защита от Meltdown и Spectre. Упомянутую на слайде поддержку 128 Гбайт RAM вместо текущих 64 Гбайт эти чипы получат в начале 2019 года путём обновления BIOS.

Intel объявила о начале коммерческих поставок модулей NVDIMM на базе энергонезависимой памяти 3D XPoint избранным клиентам. Модули Optane DC Persistent Memory предназначены для установки в слоты для оперативной памяти и используют протокол работы памяти DDR4 с целью максимизировать производительность находящегося в непосредственной близости от микропроцессора накопителя данных. Клиенты, получившие модули, уже сообщают об их рекордной производительности.

«Мы осуществили наши первые коммерческие поставки накопителей Optane DC Persistent Memory компаниям Google, Microsoft и Alibaba, получив отличные отзывы», — сказал Роберт Суон (Robert Swan) финансовый директор Intel, временно исполняющий обязанности исполнительного директора, в ходе телеконференции с инвесторами и финансовыми аналитиками. «Microsoft уже сообщила о рекордной производительности [сервера на базе Xeon Scalable и Optane DC Persistent Memory] в 13,7 млн IOPS, уровень, которого они никогда не достигали ни на какой другой платформе».

Сервер на базе Intel Xeon Scalable поколения Cascade Lake

Как сообщалось ранее в этом году, семейство модулей Optane DC Persistent Memory будет включать в себя накопители ёмкостью 128, 256 и 512 Гбайт. По сообщению AnandTech, накопитель Optane DC Persistent Memory 512 Гбайт несёт на борту 10 многослойных микросхем памяти 3D XPoint, таким образом используя 640 Гбайт памяти и имея вдвое больше «избыточной» памяти, чем модули DDR4 SDRAM с ECC (коррекцией ошибок).

Компания Intel не раскрывает точные характеристики своих продуктов до их официального выпуска. Однако уровень производительности сервера с несколькими накопителями Optane DC Persistent Memory в том, что касается случайных операций чтения и записи, впечатляет. Для сравнения, типичный серверный SSD с шиной PCI Express имеет производительность в 550–750 тысяч IOPS. Таким образом, несколько накопителей Optane DC Persistent Memory могут предложить не меньшую скорость, чем несколько серверных SSD, при этом предлагая куда более высокую надежность.

Основные преимущества памяти 3D XPoint

Руководство Intel предпочитает не распространяться о том, когда именно компания начнёт продажи модулей Optane DC Persistent Memory, но, судя по всему, поставки данных устройств начнутся одновременно с продажами серверов на базе процессоров Intel Xeon Scalable поколения Cascade Lake.

На протяжении уже довольно продолжительного времени компания Intel не упускает возможности напомнить о подготовке модулей памяти Optane DC Persistent Memory. На недавнем мероприятии Intel Datacenter Summit 2018, где были обнародованы планы компании на будущее в серверном сегменте, было объявлено о начале поставок модулей Optane DC компании Google.

Однако актуальные серверные процессоры Intel Xeon Skylake-SP не поддерживают работу с новыми модулями, несмотря на полную их совместимость со слотами DDR4 DIMM на уровне контактов. Данная возможность будет только у будущих Cascade Lake-SP, которые пока что даже не были представлены. Поэтому зачем Google память, которую негде использовать, пока что неясно. Хотя, возможно, Google уже имеет на руках образцы процессоров Cascade Lake-SP и как раз занимается их тестированием в реальных условиях.

Также Intel пока что не раскрывает все подробности о новых модулях памяти. Неизвестна ни их латентность, ни точная скорость, ни цена, ни надёжность, ни безопасность, ни множество других особенностей. В Intel предпочитают ограничиваться лишь общими фразами, например, что модули Optane DC обладают более высокой скоростью, нежели традиционные твердотельные накопители. То есть в иерархии памяти занимают место как раз между ними.

Эти модули построены на твердотельной памяти 3D XPoint. Несмотря на проигрыш в скорости традиционной оперативной памяти, у модулей Optane DC есть несколько важных преимуществ. В частности, куда больший объём за меньшую стоимость, а также наличие возможности сохранить данные даже в отсутствие питания. На данный момент Intel производит модули Optane DC объёмом до 512 Гбайт, а один процессор способен работать с шестью такими модулями.

На выставке Computex 2018 компания Intel наделала много шума своим настольным 28-ядерным процессором Cascade Lake-X, который она заставила работать с частотой 5,0 ГГц. Однако изначально Intel выпустит серверные процессоры Xeon на основе тех же кристаллов с архитектурой Cascade Lake, которые уже находятся на финальной стадии подготовки.

Одним из флагманов новой линейки Cascade Lake-SP станет как раз 28-ядерный процессор, обладающий шестью каналами памяти DDR4. Его контроллер памяти будет поддерживать подключение сразу трёх слотов DIMM на каждый канал, что в сумме позволит подключить до 18 модулей памяти к одному процессору. Контроллер теоретически поддерживает до 3,84 Тбайт оперативной памяти. И что самое лучшее, модули памяти не обязательно должны быть построены на чипах DRAM.

Новые процессоры будут поддерживать работу с Optane DC Persistent Memory — недавно представленными модулями DIMM на базе энергонезависимой памяти 3D XPoint. Данная твердотельная память в разы превосходит память NAND как по скорости, так и по срокам службы, что позволяет использовать её как своеобразную альтернативу привычной оперативной памяти DRAM.

Ключевой особенностью Optane DC Persistent Memory является способность сохранить данные при отключении питания, что должно быть особенно полезно для крупных центров обработки данных. Также новые модули предлагают куда больший объём — до 512 Гбайт, на данный момент. Для корректной работы на каждом модуле Optane DC Persistent Memory имеется специальный контроллер, который и связывает память 3D XPoint с контроллером памяти процессора.

Российская группа компаний РСК представила на суперкомпьютерной выставке ISC 2018 во Франкфурте-на-Майне (Германия) гиперконвергентное HPC-решение на основе серверной архитектуры «РСК Торнадо» и накопителей Intel SSD DC P4511 и Optane SSD DC P4800X. Новый серверный узел призван стать основой высокоэффективных систем хранения данных различного масштаба. Конкурентоспособность решения в числе прочего обеспечивается использованием кластерной архитектуры, процессоров Intel Xeon Gold, системы жидкостного охлаждения, работающей в режиме «горячая вода», 100-Гбит сетевого интерфейса и относительно компактным исполнением.

«Мы рады работать со специалистами РСК над развитием их инновационной гиперковергентной HPC-платформы "РСК Торнадо". Решения РСК, благодаря использованию преимуществ и расширенной функциональности продуктов на базе технологий Intel Optane и 3D NAND, обеспечивают бóльшую гибкость, — отметил Джеймс Майерс (James Myers), директор подразделения Storage Solutions Architect компании Intel. — Технология Intel Optane с IMDT в сочетании с Intel 3D NAND помогает предлагать заказчикам решения для более эффективной работы с различными приложениями и задачами, обеспечивая при этом более высокую плотность и энергетическую эффективность».

Габариты «РСК Торнадо» достаточно малы для того, чтобы разместить 153 масштабируемых узла в одном шкафу типоразмера 42U. Производительность компонентов одного узла оценивается в 3,46 Тфлопс. Основой HPC-решения являются два 18-ядерных процессора Xeon Gold 6154 (Skylake-SP) с TDP-рейтингом 200 Вт, материнская плата семейства Intel S2600BP, 256 Гбайт оперативной памяти DDR4-2666 с контролем ошибок (ECC), играющие роль буферной памяти накопители Optane SSD DC P4800X и максимум двенадцать M.2/NVMe-накопителей Intel SSD DC P4511 общим объёмом 12 Тбайт.

Сетевой коммутатор Intel Omni-Path Edge Switch содержит два порта с пропускной способностью 100 Гбит/с. Система жидкостного охлаждения не использует чиллеры и может работать в режиме 24/7 при температуре окружающей среды до +50 °C и температуре жидкости на входе до +63 °C. Современное охлаждение обеспечивает высокий коэффициент эффективности использования электроэнергии — 1,06, что особенно важно для HPC-индустрии.

Высокая доступность, отказоустойчивость и простота использования вычислительных систем «РСК Торнадо» HPC-класса в том числе обеспечивается применением продвинутой системой управления и мониторинга на базе интегрированного программного стека «РСК БазИС». Она представляет собой открытую и легко расширяемую платформу, созданную на базе ПО с открытым исходным кодом и микроагентной архитектуры.

Накопители на базе флеш-памяти давно стали привычным атрибутом любого мало-мальски производительного ПК или рабочей станции, активно проникают они и в серверную сферу. В сравнении с традиционными жёсткими дисками они всем хороши, однако есть и недостаток — ресурс памяти типа NAND конечен и напрямую зависит как от количества уровней записи, так и от «толщины» техпроцесса. На этом фоне настоящим прорывом выглядит технология 3D XPoint, не столь давно представленная альянсом Intel и Micron. Память, основанная на этом принципе, работает совсем иначе, нежели классическая NAND — в ней используется некий материал, способный изменять и сохранять своё сопротивление. Что это за материал и как именно он работает — пока остаётся коммерческой тайной. Главное, что такая память не просто на порядки надёжнее, но и может похвастаться существенно меньшим уровнем задержек; также 3D XPoint не страдает от падения производительности в режиме записи. Накопители на базе данной технологии Intel поставляет на рынок под брендом Optane, и пара моделей таких SSD уже побывала в нашей тестовой лаборатории.

Общие принципы работы 3D XPoint

Если кеширующие недорогие модели Intel Optane Memory оставили неоднозначное впечатление, то тесты Intel Optane SSD 900P показали, что 3D XPoint очень сильна там, где подавляющее большинство традиционных SSD испытывает затруднения, а именно, в сценариях смешанной нагрузки, а также при чтении малыми блоками. Ни один из существующих SSD, даже новейший Samsung 970 PRO, не может противостоять Optane просто в силу иного принципа действия энергонезависимой памяти. На линейных операциях же первые модели серьёзных накопителей Intel Optane лидерами не стали в силу использования сравнительно простого контроллера, который не имеет даже буфера DRAM. Форм-фактор PCI Express подходит не всем, но из-за сравнительно невысокой ёмкости чипов 3D XPoint до недавнего времени создать более-менее ёмкую версию накопителя в формате M.2 компании не удавалось, а представленная модель 800P была доступна в ёмкостях всего 58 и 118 Гбайт. К тому же, она использовала только 2 линии PCIe 3.0, что ограничивало скоростной потенциал.

Новое семейство Intel Optane предназначено для высокоскоростных СХД

Но Intel не собирается сидеть на месте. На мероприятии ISC High Performance 2018, которое проходит сейчас во Франкфурте и продлится до 28 июня, компания показала новинки, правда, пока только серверные. Начать следует с новых моделей серии SSD DC — новые накопители P4801X теперь доступны и в формате M.2, хотя форм-фактор используется и не совсем привычный, 22110 вместо классического 2280. Но при этом задействованы все 4 линии PCI Express, а максимальная ёмкость увеличена до 375 Гбайт (имеются также модели ёмкостью 100 и 200 Гбайт). Это уже достаточно много для использования в серьёзных приложениях, требующих низкой латентности и высокой производительности при запросах с малой глубиной очереди. Интересно, что версия U.2 в корпусе формата 2,5″ будет иметь максимальную ёмкость всего 100 Гбайт. Вероятно, это вызвано тем, что Intel активно продвигает в серверной сфере новый форм-фактор твердотельных накопителей, так называемую «линейку», она же EDSFF.

EDSFF на бумаге...

...в жизни...

...и в составе новых систем Supermicro

Выглядят новые Optane достаточно любопытно. Они унаследовали от 800P синий цвет печатной платы, но в отличие от предшественников, «заселены» куда более плотно. Контроллер используется тот же, что и в серии 905P, анонсированной на Computex 2017. Он отличается от установленного в 900P типом упаковки —  открытый кристалл против чипа с защитной крышкой. По всей видимости, и уровень производительности предполагается аналогичный, порядка 2,6 Гбайт/с при чтении и 2,2 Гбайт/с при записи, то есть, рекордов на линейных операциях P4801X явно ставить не собирается, но это и не является его целевой задачей. Параметр наработки на отказ, вероятнее всего, не ниже, нежели у потребительских моделей серии 905P, а у них он заявлен на уровне 1,6 миллиона часов. Сколько циклов перезаписи способна выдержать сама 3D XPoint, пока неизвестно; мы пытаемся это выяснить эмпирическим путем — накопитель 900P ёмкостью 280 Гбайт уже успел перевалить за отметку 6 Пбайт и по-прежнему демонстрирует статус «good», хотя официальный ресурс для этой модели с 20-нм памятью 3D XPoint составляет 5,11 Пбайт. Ресурс резерва израсходован на 77 %, но память нового типа выдержала уже более 20 тысяч циклов перезаписи, что намного выше показателей любой современной «тонкой» NAND.

У Intel SSD DC P4801X развитая система питания

У Intel SSD DC P4801X по-прежнему нет DRAM-кеша, в котором накопители этого типа не очень-то и нуждаются, но весьма развитой выглядит подсистема питания. Несколько крупных танталовых конденсаторов, расположенных на обратной стороне печатной платы даже заставляют предположить наличие некоей защиты от случайного отключения питания, хотя 3D XPoint в такой защите и не нуждается. Имеются и другие элементы, наличие которых не позволило накопителю уместиться в формат 2280. Чипов памяти на борту P4801X семь, по числу каналов контроллера; эта особенность была описана ещё в обзоре Optane SSD 900P. Прогресс, однако, велик: если в P4800X использовалась старая однокристальная версия 3D XPoint, то здесь установлены новые сборки с четырьмя кристаллами, что и позволило создать достаточно ёмкий накопитель формата M.2. Напоминаем, ранее при том же объёме требовалось 28 чипов памяти, что, конечно, не позволяло использовать данный форм-фактор.

Intel SSD DC P4801X (внизу) и новый ёмкий DC P4511

Также на ISC 2018 были представлены новые модели более традиционных твердотельных накопителей серии DC P4511. В них применена новейшая 64-слойная память типа 3D TLC, созданная альянсом Intel и Micron. Главное достоинство новых накопителей — низкий уровень энергопотребления при высоких ёмкостях, что позволит снизить и общее энергопотребление крупных ЦОД и ЦХД. Здесь защита по питанию выглядит более чем оправданной, как, впрочем, и наличие выделенного DRAM-кеша. На снимке фигурирует модель типа M.2 22110 ёмкостью 1 Тбайт, но семейство DC P4511 этой цифрой не ограничится. Intel планирует представить на рынке в первой половине текущего года модели и с более высокой ёмкостью в вышеупомянутом формате EDSFF, как в длинной, так и в короткой версии. В стандартном 19-дюймовом стоечном корпусе высотой 1U максимальная ёмкость подсистемы хранения данных за счёт установки 32 накопителей может достигнуть 1 Пбайт — невиданный ранее показатель для столь компактной системы.

Intel SSD DC P4511, вид сзади

Группа РСК, о которой мы уже рассказывали нашим читателям, российский разработчик производительных платформ и суперкомпьютеров, активно приветствует новые технологии Intel. Надо сказать, что энтузиазм в отношении Optane и 3D XPoint РСК демонстрирует ничуть не меньший, а может быть, даже и больший, нежели зарубежные разработчики систем того же класса — на ISC 2018 были продемонстрированы вполне работоспособные прототипы новых вычислительных модулей Tornado. Один такой узел в новой версии теперь сможет приютить до 12 накопителей. Для этого пришлось пожертвовать габаритами, и модули стали двойной высоты. В случае с P4801X итоговая ёмкость сравнительно невелика, всего 4,5 Тбайт, но производительность в соответствующих сценариях нагрузки обещает быть великолепной, тем более, что накопители подключены напрямую к процессорам, без использования коммутаторов. Планируются к выпуску модели с накопителями EDSFF, итоговая ёмкость, соответственно, будет выше.

Модуль RSC Tornado вмещает до 12 накопителей Optane

Также любые модули RSC теперь будут поставляться и в версии с накопителями Optane. Для систем, у которых одним из главных преимуществ заявлена поддержка NVMe Over Fabric это логично: быстрым накопителям — быстрые сетевые технологии. Вычислительная мощь у RSC Tornado вполне солидная для модуля, предназначенного к использованию в гиперкорвергентных системах: до 3,46 Тфлопс. Каждый модуль может вместить два процессора серии Xeon Gold 6154. Новинки RSC Tornado используют интегральную систему жидкостного охлаждения, причём, поддерживается и «горячий» режим с температурой теплоносителя до 63 градусов. На снимках хорошо видны стандартные фитинги с подключёнными шлангами контура СЖО. С учётом тепловыделения порядка 10 ватт на накопитель (формата M.2) жидкостное охлаждение приходится весьма к месту. Сетевая подсистема, столь важная для кластерных систем, представлена двумя портами InfiniBand 100G или OmniPath, так что с межузловой связью проблем быть не должно.

Коммутатор OmniPath класса 100G

Очевидно, что новый тип твердотельной памяти с нами надолго. Он уже демонстрирует ряд непревзойдённых характеристик. Если сегмент рынка, требующий максимальной ёмкости, останется за традиционными SSD, то приложения, требующие минимальных задержек, лучше всего будут чувствовать себя именно в паре с памятью типа 3D XPoint, альтернатив которой пока не видно. Существующие технологии, такие, как STT-MRAM, обладают слишком малой удельной ёмкостью, всего 32 Мбайт на корпус. Кеширующие накопители на базе этой памяти быстрее Optane (1,5 миллиона IOPS против 550 тысяч) и обладают практически тем же уровнем латентности, но пока могут похвастаться объёмом всего 2 Гбайт, что на два порядка меньше, нежели у решений Intel. Память типа SOT-MRAM уже возможно выпускать в промышленных масштабах, но проблема с удельной ёмкостью ещё не решена.