Современные твердотельные накопители хороши всем, но сами принципы, на которых строится NAND-память, наделяют их конечным ресурсом перезаписи, что в некоторых сценариях весьма критично. Специально для таких сценариев предназначен новый SSD Solidigm D7-P5810, анонсированный буквально на днях.

Большая часть современных SSD использует многослойную память 3D TLC NAND, а в погоне за ёмкостью и плотностью упаковки данных практическими всеми производителями NAND-устройств и самих SSD активно осваиваются технологии QLC и PLC, с четырьмя и пятью битами на ячейку, соответственно.

Но это означает пониженный ресурс записи и для использования в качестве устройств strorage class memory (SCM) такие SSD подходят не лучшим образом. Новый Solidigm D7-P5810, однако, использует 144-слойную память 3D NAND в режиме SLC, с одним битом на ячейку. За исключением экзотических технологий, вроде MRAM или почившего в бозе Optane это самый надёжный на сегодня вариант энергонезависимой памяти.

Источник изображений здесь и далее: Solidigm

Именно использование SLC-памяти позволяет компании-производителю заявлять для P5810 общий ресурс записи в 73 Пбайт и 50 полных перезаписей в день в течение пятилетнего гарантийного срока. Наработка на отказ заявлена на уровне 2 млн часов, а показатель UBER не превышает 1 сектор на 10¹⁷ бит. Ёмкость при этом не слишком высока, что характерно для всех SLC-устройств: новинка представлена в вариантах 800 Гбайт и 1,6 Тбайт (появится в первой половине 2024 года).

Solidigm D7-P5810 использует форм-фактор U.2 с интерфейсом NVMe (PCI Express 4.0 x4), что позволяет ему развивать линейные скорости 6400 и 4000 Мбайт/с при чтении и записи соответственно. На случайных операциях при максимальной глубине запроса накопитель обеспечивает 865 тысяч IOPS при чтении и 495 тысяч IOPS при записи. Латентность при этом находится в пределах 10–15 мкс, при случайном чтении она не превышает 53 мкс.

Solidigm D7-P5810 в сравнении с соперниками. Конкурент A — Micron XTR, конкурент B — Kioxia FL6. Источник: Solidigm

Устройство достаточно экономично: в активном состоянии новый SSD потребляет не более 12 Вт, а в режиме простоя — не более 5 Вт. В качестве сценариев использования Solidigm называет кеширование в системах на базе QLC NAND, также он отлично подойдет для HPC-систем или систем сбора данных и логов.

Правда, новый накопитель не уникален: на рынке ему придётся конкурировать с Kioxia FL6 или Micron XTR, также использующими SLC 3D NAND. Оба конкурента имеют варианты с большей ёмкостью (3,2 Тбайт у Kioxia, 1,92 Тбайт у Micron), но заметно уступают Solidigm D7-P5810 в производительности на случайных операциях записи.

Компания Micron Technology анонсировала SSD семейств 6500 ION и XTR, предназначенные для применения в ЦОД. Изделия используют для обмена данными интерфейс PCIe 4.0 x4 (спецификация NVMe 2.0), благодаря чему достигаются высокие скоростные показатели. При этом решения серии XTR отличаются улучшенной долговечностью.

Накопители Micron 6500 ION выполнены на основе чипов памяти TLC NAND (Micron 232L Performance TLC). Разработчик утверждает, что по стоимости эти устройства сравнимы с SSD на базе QLC NAND. Вместимость составляет 30,72 Тбайт. Таким образом, операторы дата-центров получат эффективное решение для построения массивов хранения большой ёмкости.

Заявленная скорость последовательного чтения данных достигает 6,8 Гбайт/с, скорость последовательной записи — 5,0 Гбайт/с. Показатель IOPS при произвольных чтении и записи информации блоками по 4 Кбайт — до 1 млн и 200 тыс. соответственно. Накопители могут выдерживать до одной полной перезаписи в сутки (показатель DWPD). Предусмотрены два варианта исполнения: SFF U.3 толщиной 15 мм и E1.L толщиной 9,5 мм.

Источник изображений: Micron

Решения Micron XTR, в свою очередь, используют чипы памяти Micron 176L SLC. SSD доступны в формате SFF U.3 толщиной 15 мм. Вместимость составляет 960 Гбайт и 1,92 Тбайт. Скорость последовательного чтения в обоих случаях достигает 6,8 Гбайт/с, скорость последовательной записи — 5,3 и 5,6 Гбайт/с соответственно. Величина IOPS при чтении — до 900 тыс., при записи — до 250 тыс. и 350 тыс. Эти накопители обеспечивают высочайшую надёжность: значение DWPD равно 60 при последовательной записи и 35 при произвольной записи.

По мере внедрения новых версий PCI Express растут и линейные скорости SSD. Не столь давно 3-4 Гбайт/с было рекордно высоким показателем, но разработчики уже штурмуют вершины за пределами 10 Гбайт/с. Компания Kioxia, крупный производитель флеш-памяти и устройств на её основе, объявила на конференции 2023 China Flash Market о новом поколении серверных накопителей, способных читать данные со скоростью 13,5 Гбайт/с.

Новые высокоскоростные SSD будут построены на базе технологии XL-FLASH второго поколения. Первое поколение этих чипов компания (тогда Toshiba) представила ещё в 2019 году. В основе лежат наработки по BiCS 3D в однобитовом варианте, что позволяет устройствам на базе этой памяти занимать нишу Storage Class Memory (SCM) и служить заменой ушедшей с рынка технологии Intel Optane.

Источник здесь и далее: Twitter@9550pro

Как уже сообщалось ранее, XL-FLASH второго поколения использует двухбитовый режим MLC, но в любом случае новые SSD Kioxia в полной мере раскроют потенциал PCI Express 5.0. Они не только смогут читать данные на скорости 13,5 Гбайт/с и записывать их на скорости 9,7 Гбайт/с, но и обеспечат высокую производительность на случайных операциях: до 3 млн IOPS при чтении и 1,06 млн IOPS при записи. Время отклика для операций чтения заявлено на уровне 27 мкс, против 29 мкс у XL-FLASH первого поколения.

Kioxia полагает, что PCI Express 5.0 и CXL 1.x станут стандартами для серверных флеш-платформ класса SCM надолго — господство этих интерфейсов продлится минимум до конца 2025 года, лишь в 2026 году следует ожидать появления первых решений с поддержкой PCI Express 6.0. Активный переход на более новую версию CXL ожидается в течение 2025 года. Пока неизвестно, как планирует ответить на активность Kioxia другой крупный производитель флеш-памяти, Samsung Electronics, которая также располагает высокопроизводительной разновидностью NAND под названием Z-NAND.

В связи с активным развитием всевозможных ускорителей и новых подходов к работе с памятью острее встаёт вопрос стандартизации процедур перемещения крупных объёмов данных между подобными устройствами. Консорциум SNIA предлагает в качестве решения новый стандарт Smart Data Accelerator Interface (SDXI), призванный заменить устоявшиеся методы работы с памятью, равно как и всевозможные проприетарные DMA-движки.

На днях SNIA опубликовала первые «чистовые» спецификации SDXI, имеющие версию 1.0. В них описывается следующий набор возможностей:

• Перемещение данных между разными адресными пространствами, включая пространства нескольких ВМ;
• Перемещение данных после установления соединения без использования специфического ПО;
• Интерфейс и инфраструктуру, которые могут быть абстрагированы для обеспечения лучшей совместимости различных нагрузок, ВМ и серверов;
• Возможность управления состоянием адресных пространств для «живой» миграции рабочих нагрузок и ВМ между серверами;
• Механизм обеспечения прямой и обратной совместимости для будущих ревизий SDXI;
• Поддержку совместной работы ПО и оборудования, разработанных с учётом разных версий SDXI;
• Возможность внедрения новых механизмов ускорения и разгрузки в будущем;
• Модель конкурентного прямого доступа к памяти с поддержкой параллелизма;
• Описание модели устройства с интерфейсом PCIe с возможностью его расширения на другие модели устройств.

Также следует отметить, что SDXI изначально разрабатывается, как технология, не зависящая от конкретных технологий интерконнекта, но изначально во многом подразумевается использование CXL.

SDXI упрощает процедуру перемещения содержимого памяти и поддерживает многоуровневые пулы (Изображения: SNIA)

Поддержка DMA гарантирует высокую производительность механизмов SDXI

Стандарт SDXI находится в разработке с сентября 2020 года. Первая публичная предварительная версия за номером 0.9 была опубликована в июле 2021. В настоящее время в состав рабочей группы SNIA SDXI Technical Work Group входят представители 23 компаний. Со спецификациями SDXI 1.0 можно ознакомиться в соответствующем разделе сайта SNIA.

Несмотря на то, что страница истории, посвящённая созданию энергонезависимой памяти Optane, официально закрыта Intel, третье поколение модулей DCPMM всё-таки увидит свет и дополнит собой платформы Sapphire Rapids и Emerald Rapids (если к этому моменту они останутся в наличии). Об этом стало известно благодаря слайду, опубликованному в Twitter. Несмотря на принадлежность модулей PMem 300 (Crow Pass) к третьему поколению, в них испоьзуются кристаллы второго поколения, четырёхслойные Barlow Pass.

В Crow Pass применён новый контроллер Crow Valley с интерфейсом DDR-T2. Этот интерфейс позволяет создавать пулы Optane PMem объёмом до 4 Тбайт на сокет (8 × 512 Гбайт). Кроме того, DDR-T2 шина функционирует на вдвое более высокой частоте, нежели у ячеек памяти. И если PMem 200 предлагали интерфейс 3200 МТ/с, то в PMem 300 будут реализованы скорости 4000-4400 МТ/с, что более-менее соответствует параметрам модулей DDR5 DRAM, которые в серверных системах обычно имеют скорость 4800 МТ/с.

Источник: Twitter/9550pro

Соответствующим образом возрастёт производительность. Данные приводятся для режима 2RW1 (две операции чтения на одну операцию записи), и если первое поколение PMem ограничивается 4 Гбайт/с, а второе останавливается на отметке 4,83 Гбайт/с, то третье сможет развивать линейные скорости в районе 6 Гбайт/с. Ещё сильнее вырастет производительность в случайных операциях, с 1–1,2 Гбайт/с до 3 Гбайт/с.

Кроме того, в Crow Pass будут дополнены протоколы сохранения данных в случае потери питания — в дополнение к обычному режиму ADR появится FastADR. Как и предыдущие поколения PMem, Optane PMem 300 смогут работать в режиме App Direct, в качестве дополнения обычной DRAM и в смешанном режиме. Теплопакет у новинок, к слову, не изменился и составляет те же 15 Вт с возможностью кратковременного увеличения для повышения производительности, если есть запас по охлаждению.

На днях Intel устроила похороны Optane — быстрая, но не слишком технологичная в производстве память обошлась «синим» в полмиллиарда долларов убытков. Однако Optane хоть и был самым заметным и распространённым представителем SCM-решений (Storage Class Memory), но всё же не единственным. Вслед за Optane на рынок вышли Samsung Z-SSD, всё ещё крайне редкие.

Тем не менее, накопители с подобными характеристиками востребованы и рынок, как и природа, не терпит пустоты: сразу две компании, Kioxia и Everspin Technologies объявили о выпуске новых продуктов, способных заменить решения на базе 3D XPoint. Это XL-Flash и STT-MRAM соответственно.

Источник: Kioxia

Продукт Kioxia построен на тех же принципах, что и технология Z-SSD у Samsung: в основе лежит флеш-память, в данном случае это BiCS 3D-NAND, но работающая с меньшим количеством уровней на ячейку. В первом поколении XL-Flash фактически был реализован режим SLC (как и у Samsung), что делало такую память малоёмкой и дорогой. Сейчас Kioxia представила второе поколение, поддерживающее режим MLC, с двумя битами на ячейку.

При этом было увеличено количество слоёв, могущих работать параллельно, так что производительность не пострадала, а по имеющимся на момент анонса данным, даже возросла. Новое поколение XL-Flash будет доступно в чипах объёмом 256 Гбит, что вдвое больше показателя аналогичной памяти первого поколения. Kioxia справедливо считает, что её память найдёт применение в пулах CXL-памяти при построении ЦОД нового поколения.

Ячейка STT-MRAM. Источник: Everspin Technologies

Решение Everspin иное, хотя тоже принципиально не новое — магниторезистивная памяь (spin-transfer torque, STT) существует довольно давно. Она обладает крайне низкой латентностью, высокой энергоэффективностью, может хранить данные более 10 лет и практически не изнашивается, но обладает и серьёзным недостатком: низкой плотностью хранения данных. До недавних пор на основе STT-MRAM производились лишь кеширующие или встраиваемые в другие решения модули крайне ограниченного объёма, не превышающего 1–2 Гбайт.

Новое поколение, EM128LX, представленное Everspin Technologies, имеет ёмкость 128 Мбит на чип, что вдвое больше предыдущего EM064LX. Производительность записи составляет до 233 Мбайт/с. Новинка предназначена, в основном, для встраиваемых систем, в том числе на базе FPGA. Она будет поставляться на рынок в двух вариантах исполнения: 24-контактном BGA и 8-контактном DFN. В обоих случаях используется интерфейс xSPI. Массовые поставки Everspin планирует начать в начале следующего года.

В рамках мероприятия Intel FPGA Technology Day, которое прошло в конце 2021 года, компания Intel и её партнёры рассказали о последних достижениях в области разработки продуктов на базе FPGA, а также показали свои новейшие программные и аппаратные решения. Среди последних оказался и модуль Kestral от SMART Modular Technologies, который был анонсирован ещё весной.

Модули памяти Optane PMem продвигаются Intel достаточно давно, и это действительно уникальная по ряду параметров разработка. Такая память обладает достаточно высокой производительностью, чтобы работать в качестве «расширителя» обычной DRAM, но вместе с тем располагает основным свойством флеш-памяти — энергонезависимостью. При этом Optane PMem в пересчёте на единицу объёма стоят дешевле DRAM и позволяют набрать более объёмный пул памяти.

Изображения: SMART Modular Technologies

Но у Optane PMem есть один существенный недостаток — если SSD с этой памятью универсальны, то для PMem требуется система на базе Intel, причём процессоры Xeon Scalable первого поколения не поддерживается. Это резко ограничивает сферу применимости удачной в целом технологии. И модуль Kestral призван решить данную проблему.

Kestral, в целом, занимает некое промежуточное положение между накопителем и памятью. Это универсальное решение в виде FHHL-платы PCIe 4.0, сочетающее в себе сразу несколько полезных технологий. Kestral может включать SoC Cortex Arm-A53 с DDR4 ECC объёмом 2 Гбайт и eMMC-накопителем на 8 Гбайт. Собственно говоря, SoC является частью FPGA Intel Stratix 10 DX. А раз есть ПЛИС, есть и ряд готовых IP-блоков для ускорения различных задач.

Архитектура расширения памяти, предлагаемая SMART

Наконец, на плате Kestral имеется четыре DIMM-разъёма с поддержкой DDR4 и Optane PMem. Каналов памяти у Kestral два, они поддерживают смешанную работу DRAM и Optane, но максимальный объём в 2 Тбайт достигается при установке четырёх 512-Гбайт PMem-модулей. Латентность заявлена в районе менее 350 нс — выше, чем у подключаемых напрямую к CPU модулей (около 100 нс), но это искупается универсальностью Kestral.

Ограничений на тип процессора в хост-системе нет — разработчики говорят о поддержке любых систем с любыми архитектурами, лишь бы только те располагали стандартной шиной PCIe 3.0/4.0. При этом плата обходится стандартным пассивным радиатором и охлаждается за счёт вентиляторов сервера, имея теплопакет не выше 150 Вт. Аналогичный модуль, продемонстрированный Intel и Meta✴ (Facebook✴), сейчас используется для практического тестирования CXL-памяти.

Интерес к программно определяемым решениям в наши дни высок, как никогда, поскольку такой подход обеспечивает максимальную гибкость и требует минимум затрат на поддержание инфраструктуры. Вслед за Kioxia с её программно-определяемыми SSD своё видение представила компания VMware с фирменной технологией Project Capitola.

VMware является одним из крупнейших игроков на рынке виртуализации и вполне естественно, что компания заинтересована в продвижении своей платформы vSphere. Для этого она должна соответствовать современным требованиям и обеспечивать как можно меньшую стоимость владения, чего можно добиться унификацией программной и аппаратной инфраструктуры.

Project Capitola был анонсирован на мероприятии VMworld 2021. В двух словах его суть заключается в агрегации всех ресурсов памяти, будь то DRAM, SCM (Optane, Z-SSD или, например, XL-Flash), CXL-модули, NVMe или даже СХД с RoCE в единый пул, с которым виртуальные машины смогут работать прозрачно. Отдельно отметим, что в качестве аппаратной инфраструктуры предполагается использовать в первую очередь именно CXL.

VMware Capitola объединит под одной крышей самые разные типы памяти

Разумеется, разные виды памяти в этом списке имеют существенно различающиеся линейные скорости, времена отклика и производительность на случайных операциях. Но разработчики подумали об этом, и в Project Capitola предусмотрен механизм многоуровневой иерархии (tiering) таких неоднородных массивов.

В настоящий момент VMware продвигает Project Capitola, сотрудничая с множеством компаний. В этот список входят производители памяти и накопителей (Intel, Samsung и Micron), крупные поставщики серверного оборудования (Dell, HPE, Cisco и Lenovo), а также провайдеры ЦОД-услуг, например, Equinix. Отзывы партнёров весьма положительны и, вероятно, Project Capitola сможет стать новым стандартом в индустрии.

В апреле 2020 года компания Micron анонсировала свой собственный механизм хранения с открытым исходным кодом, предназначенный для совместного использования SSD, SCM и DRAM. А теперь компания показала вторую версию системы — HSE 2.0 (Heterogeneous-Memory Storage Engine).

HSE, согласно изначальной задумке, позволил бы приложениям — СУБД в первую очередь — задействовать весь потенциал быстродействующих накопителей и памяти. В первой версии использовался модуль ядра MPool, обслуживающий хранилище, с которым напрямую работали модифицированные приложения. Таким образом обходился стандартный стек ФС, что положительно влияло на производительность из-за отсутствия накладных расходов.

Очевидный минус такого решения — для массового распространения технологии модуль MPool должен был закрепиться в основной ветке ядра Linux, чего, как теперь стало понятно, не произошло. Во второй версии от модуля MPool отказались, теперь движок «живёт» строго в пространстве пользователя, а не ядра, и задействует стандартные механизмы работы с ФС.

Первая версия движка более не поддерживается, равно как и модифицированная для него MongoDB. С другой стороны, движок стал более универсальным и простым в освоении — разработчики сделали его более удобным для интеграции с другими СУБД и движками хранения, а также добавили поддержку Python. Исходники и дополнительные сведения о HSE 2.0 доступны на GitHub.

Данные, представленные в отчёте Coughlin Associates и Objective Analysis, говорят о том, что глобальный рынок памяти новых типов ожидают светлые времена. Речь идёт о развивающихся технологиях энергонезависимых чипов, которые найдут применение в самых разных областях. Авторы документа, в частности, рассматривают память с изменением фазового состояния (PCM), магниторезистивную память (MRAM), резистивную память с произвольным доступом (ReRAM), сегнетоэлектрическую оперативную память (FRAM) и пр.

Эксперты полагают, что изделия на основе новых технологий постепенно будут вытеснять привычные решения вроде NOR Flash, SRAM и DRAM. Причём это касается как самостоятельных чипов памяти, так и памяти, интегрируемой в другие устройства — микроконтроллеры, процессоры и интегральные схемы специального назначения. В результате, к 2031 году объём глобальной отрасли развивающихся типов памяти достигнет $44 млрд.

Источник: Blocks&Files

К примеру, в сегменте энергонезависимой памяти 3D XPoint, применяемой в накопителях Intel Optane, к началу следующего десятилетия прогнозируется выручка на уровне $20 млрд. К 2031-му доход от реализации чипов памяти MRAM и STT-RAM (магниторезистивная память на основе переноса спинового момента) может достичь $1,7 млрд, увеличившись в 42 раза по сравнению с 2020-м. А встраиваемая память ReRAM и MRAM, идущая на замену NOR и SRAM соответственно, по факту займёт ещё большую долю рынка.

UPD 08.09.21: ресурс Blocks & Files опубликовал график из вышеупомянутого исследования, а также комментарий одного из авторов, который утверждает, что, согласно наиболее оптимистичному прогнозу, к 2028 году по суммарной ёмкости поставки модулей памяти Optane PMem (ранее DCPMM) на базе 3D XPoint превысят поставки обычной DRAM.