Несмотря на то, что страница истории, посвящённая созданию энергонезависимой памяти Optane, официально закрыта Intel, третье поколение модулей DCPMM всё-таки увидит свет и дополнит собой платформы Sapphire Rapids и Emerald Rapids (если к этому моменту они останутся в наличии). Об этом стало известно благодаря слайду, опубликованному в Twitter. Несмотря на принадлежность модулей PMem 300 (Crow Pass) к третьему поколению, в них испоьзуются кристаллы второго поколения, четырёхслойные Barlow Pass.

В Crow Pass применён новый контроллер Crow Valley с интерфейсом DDR-T2. Этот интерфейс позволяет создавать пулы Optane PMem объёмом до 4 Тбайт на сокет (8 × 512 Гбайт). Кроме того, DDR-T2 шина функционирует на вдвое более высокой частоте, нежели у ячеек памяти. И если PMem 200 предлагали интерфейс 3200 МТ/с, то в PMem 300 будут реализованы скорости 4000-4400 МТ/с, что более-менее соответствует параметрам модулей DDR5 DRAM, которые в серверных системах обычно имеют скорость 4800 МТ/с.

Источник: Twitter/9550pro

Соответствующим образом возрастёт производительность. Данные приводятся для режима 2RW1 (две операции чтения на одну операцию записи), и если первое поколение PMem ограничивается 4 Гбайт/с, а второе останавливается на отметке 4,83 Гбайт/с, то третье сможет развивать линейные скорости в районе 6 Гбайт/с. Ещё сильнее вырастет производительность в случайных операциях, с 1–1,2 Гбайт/с до 3 Гбайт/с.

Кроме того, в Crow Pass будут дополнены протоколы сохранения данных в случае потери питания — в дополнение к обычному режиму ADR появится FastADR. Как и предыдущие поколения PMem, Optane PMem 300 смогут работать в режиме App Direct, в качестве дополнения обычной DRAM и в смешанном режиме. Теплопакет у новинок, к слову, не изменился и составляет те же 15 Вт с возможностью кратковременного увеличения для повышения производительности, если есть запас по охлаждению.

В своё время совместная инициатива Intel и Micron, целью которой стало создание принципиально нового типа энергонезависимой памяти 3D XPoint, наделало много шума. Первые же выпущенные на основе данной технологии SSD показали великолепные результаты. Эту память сегодня мы знаем как Optane, и, увы, с надеждами на появление новых решений на её основе придётся распрощаться.

Тревожные звонки раздавались давно: в 2018 году Micron вышла из бизнеса, уступив своё производство 3D XPoint партнёру, а сама Intel отказалась от идеи выпуска потребительских накопителей на базе Optane. Но, по крайней мере, на тот момент она сосредоточила усилия на выпуске серверных решений. В их число вошёл и принципиально новый продукт: энергонезависимые модули DCPMM/PMem.

Они устанавливались в обычные слоты DIMM, не слишком сильно уступали в производительности классической оперативной памяти и позволяли кардинально нарастить объём доступной памяти за меньшую стоимость, нежели при использовании только DRAM. Казалось бы, память Optane нашла свою, пусть и довольно экзотическую нишу, что подтверждалось и многочисленными результатами тестов систем с Optane DCPMM, в том числе, в научных задачах. Но грянул гром!

По результатам II квартала 2022 года Intel сообщила, что изрядно похудевшее к этому моменту подразделение Optane принесло $559 млн убытков. Решение списать текущие запасы готовых решений и чипов по графе «убытки» окончательно доказывает то, что Intel действительно намеревается покончить с этой страницей своей истории. Равно как и с SSD — соответствующее подразделение продано компании SK Hynix.

На данный момент сама Intel официально подтвердила отказ от Optane: в рамках новой стратегии оптимизации бизнеса IDM 2.0 компания закроет подразделения, не являющиеся решающими в стратегическом отношении, либо просто недостаточно прибыльные. Впрочем, поддержка клиентов, уже вложившихся в Optane будет продолжена. Сама же Intel отметила, что переход на CXL позволит хотя бы отчасти заменить Optane PMem. Из альтернатив технологии Optane, тоже не слишком популярных, можно вспомнить Samsung Z-SSD и Toshiba/Kioxia XL-Flash.

Таким образом, приходится расстаться с мечтой о твердотельных накопителях не просто надёжных, но и лишённых традиционной медлительности NAND при операциях записи, особенно мелкоблочных. Стоимость производства чипов 3D XPoint даже во втором поколении, когда память удалось сделать четырёхслойной, всё же оказалась слишком высокой для того, чтобы устройства на её основе стали действительно выгодными для Intel.

Intel действительно анонсирует третье поколение Optane-решений, о чём было сказано ранее, однако базироваться эти продукты будут на существующей энергонезависимой памяти 3D XPoint второго поколения. Об этом, как передаёт издание Blocks&Files, сообщила Кристи Манн (Kristie Mann), вице-президент и глава группы Intel Datacenter and AI (DCAI).

Твердотельные накопители Optane первого поколения и PMem-модули (Apache Pass) с памятью 3D XPoint были представлены в 2018 году, а устройства второго поколения (P5800X и PMem 200) появились в 2020 году. В них используется память 3D XPoint второго поколения с четырьмя слоями ячеек вместо двух, как было в предыдущей версии.

Источник изображения: Blocks&Files

Манн сообщила, что ближе к концу этого года станет доступна серия Optane PMem 300, которая предназначена для грядущих Intel Xeon Sapphire Rapids, тогда как текущая серия PMem 200 (Barlow Pass) используется с процессорами Cooper Lake-SP и Ice Lake-SP. Заявление Манн о том, что в серии PMem 300 (Crow Pass) будет использоваться «старая» память, означает, что у Intel пока нет планов по разработке 3D XPoint третьего поколения, например, с восемью слоями.

А вот процессоры Intel Xeon Granite Rapids, как ожидается, будут поддерживать CXL 2.0, как и будущие Optane PMem 400 (Donahue Pass). Иными словами, PMem-модули, наконец, «отвяжутся» от Xeon и, вероятно, окажуется совместимы с процессорами других производителей, поскольку для их работы не понадобится доработка контроллера памяти в CPU. Кроме того, появление CXL 2.0 приведёт к росту производительности и новым вариантам совместного использования PMem, DRAM и SSD.

Источник изображения: Blocks&Files

Тем не менее, Манн отметила, что на данный момент новые расширения стандарта CXL все ещё находятся в разработке, поэтому она не может точно сказать, «какие типы устройств и функций будут встроены во все различные… процессоры и контроллеры». Ожидается, что с новым стандартом будут совместимы существующие приложения, исопльзующие PMem, а также изменится гранулярность доступа к памяти.

Третье поколение серверных Optane SSD под кодовым именем Lake Stream появится вместе с Sapphire Rapids и будет предназначено и для чипов Granite Rapids. Эти накопители также должны получить поддержку CXL. А поскольку это всё же обычные SSD, то нет никакой особой необходимости в синхронизации их выхода с выпуском очередной серии Xeon.

Технология 3D XPoint, даже несмотря на серьёзные убытки, понесённые Intel, продолжает развиваться. А наиболее оптимистичные аналитики прочат этой и другим перспективным типам памяти уверенный рост до конца десятилетия. Как сообщает Blocks & Files, в ближайшие недели компания собирается представить третье поколение решений Optane и уже работает над четвёртым (Donahue Pass).

В настоящее время основная часть Optane-решений — продукты второго поколения под кодовыми именами Alder Stream (SSD) и Barlow Pass (PMem-модули), но на мероприятии Storage Field Day представитель Intel рассказал о готовности компании анонсировать третье поколение, главной отличительной чертой которого станет поддержка CXL и иерархических пулов памяти.

Источник: Blocks&Files

Intel активно сотрудничает с крупными разработчиками: VMware, Microsoft, Nutanix и Red Hat. Компания не без оснований считает, что новая иерархия памяти в ближайшем будущем станет нормой: высший, нулевой уровень по-прежнему будет занимать DRAM, а следующий за ним плотно оккупирует Optane. В частности, был упомянут Project Capitola, над которым VMware трудится уже некоторое время. Однако для эффективной поддержки потребуется оптимизация гипервизоров и Intel активно работает в этом направлении.

Третье поколение Optane известно под кодовым именем Crow Pass, но, к сожалению, более подробных технических данных о нём пока нет. Впрочем, ждать осталось недолго: новинки будут анонсированы уже в этом месяце или в начале апреля. Вероятно, вместе с очередной порцией деталей о грядущих Intel Xeon Sapphire Rapids, которые должны получить как поддержку Optane PMem 300, так и новые SSD с 3D XPoint и, вероятно, PCIe 5.0.

В рамках мероприятия Intel FPGA Technology Day, которое прошло в конце 2021 года, компания Intel и её партнёры рассказали о последних достижениях в области разработки продуктов на базе FPGA, а также показали свои новейшие программные и аппаратные решения. Среди последних оказался и модуль Kestral от SMART Modular Technologies, который был анонсирован ещё весной.

Модули памяти Optane PMem продвигаются Intel достаточно давно, и это действительно уникальная по ряду параметров разработка. Такая память обладает достаточно высокой производительностью, чтобы работать в качестве «расширителя» обычной DRAM, но вместе с тем располагает основным свойством флеш-памяти — энергонезависимостью. При этом Optane PMem в пересчёте на единицу объёма стоят дешевле DRAM и позволяют набрать более объёмный пул памяти.

Изображения: SMART Modular Technologies

Но у Optane PMem есть один существенный недостаток — если SSD с этой памятью универсальны, то для PMem требуется система на базе Intel, причём процессоры Xeon Scalable первого поколения не поддерживается. Это резко ограничивает сферу применимости удачной в целом технологии. И модуль Kestral призван решить данную проблему.

Kestral, в целом, занимает некое промежуточное положение между накопителем и памятью. Это универсальное решение в виде FHHL-платы PCIe 4.0, сочетающее в себе сразу несколько полезных технологий. Kestral может включать SoC Cortex Arm-A53 с DDR4 ECC объёмом 2 Гбайт и eMMC-накопителем на 8 Гбайт. Собственно говоря, SoC является частью FPGA Intel Stratix 10 DX. А раз есть ПЛИС, есть и ряд готовых IP-блоков для ускорения различных задач.

Архитектура расширения памяти, предлагаемая SMART

Наконец, на плате Kestral имеется четыре DIMM-разъёма с поддержкой DDR4 и Optane PMem. Каналов памяти у Kestral два, они поддерживают смешанную работу DRAM и Optane, но максимальный объём в 2 Тбайт достигается при установке четырёх 512-Гбайт PMem-модулей. Латентность заявлена в районе менее 350 нс — выше, чем у подключаемых напрямую к CPU модулей (около 100 нс), но это искупается универсальностью Kestral.

Ограничений на тип процессора в хост-системе нет — разработчики говорят о поддержке любых систем с любыми архитектурами, лишь бы только те располагали стандартной шиной PCIe 3.0/4.0. При этом плата обходится стандартным пассивным радиатором и охлаждается за счёт вентиляторов сервера, имея теплопакет не выше 150 Вт. Аналогичный модуль, продемонстрированный Intel и Meta* (Facebook*), сейчас используется для практического тестирования CXL-памяти.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания MemVerge объявила о выпуске версии 1.2 программного обеспечения Memory Machine, которое используется для систем класса Big Memory. Новая версия адаптирована под процессоры Intel Xeon Scalable 3-го поколения (кодовое название Ice Lake), которые поддерживают до 6 Тбайт памяти (DDR4-3200 + Intel Optane серии 200).

Компания также объявила о вступлении в Консорциум CXL и своём участии в лабораториях Big Memory в Arrow, Intel, Penguin Computing и WWT, которые теперь оснащены необходимой техникой и доступны для демонстраций технологий Big Memory, тестирования новых разработок и адаптации программного обеспечения.

«Memory Machine v1.2 разработана, чтобы позволить поставщикам приложений и конечным пользователям в полной мере использовать преимущества новейшего процессора Intel Xeon Scalable и технологии памяти Optane. Мы начали с предоставления доступа к новым уровням производительности и ёмкости без необходимости вносить изменения в приложения», — заявил Чарльз Фэн (Charles Fan), генеральный директор MemVerge.

Как отмечается, программное обеспечение Big Memory позволяет максимально эффективно использовать доступный объем памяти, обеспечивая новые возможности для рабочих нагрузок in-memory. Memory Machine позволяет не просто задействовать весь объём памяти в системе, но и существенно ускоряет работу с ней за счёт особых алгоритмов.

На конференции Sanford C. Bernstein Operational Decisions Conference компания Micron сообщила, что у нее есть планы по развитию SSD и DIMM-модулей на базе технологии 3D XPoint. Формально это прямая заявка на конкуренцию с Intel Optane через пару лет, когда Micron запустит свою серию продуктов 3D XPoint.

По заявлениям финансового директора Micron Дэйва Зинснера, компания будет продолжать создавать портфолио для 3D XPoint, он также отметил, что данная технология будет очень востребована в области искусственного интеллекта. В настоящее время Micron производит 3D XPoint для продуктов Intel Optane PMem 200 и твердотельных накопителей Micron X100, представленных в октябре 2019 года.

В ближайшие пару лет Micron планирует начать выпуск собственных накопителей 3D XPoint второго поколения, а также модулей DIMM 3D XPoint. По словам Дэйва Зинснера, у Micron до сих пор нет значительного дохода в этом сегменте, если не считать пластин 3D XPoint, которые они продают Intel. Кроме того, производственные линии 3D XPoint недостаточны загружены, что прямо влияет на расходы Micron.

Над всеми современными компьютерными архитектурами довлеет одно проклятие — разделение всех ресурсов памяти на быструю (оперативную) и медленную (дисковую). Несмотря на весь прогресс в области микроэлектроники, сам принцип остаётся фундаментальным и по сей день, однако есть и те, кто решается бросить вызов этой системе. Компания MemVerge, летом этого года заявившая о том, что делает ставку на вычисления в памяти (in-memory), официально представила разработанное ей специально для этой цели программное обеспечение под названием Memory Machine.

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Как и все инициативы подобного рода, Memory Machine нуждается в достаточно быстром, но при этом энергонезависимом типе памяти: обычная DRAM не подходит и по цене, и по невозможности надёжно хранить данные. К счастью, сейчас такая «промежуточная» память есть, и это, разумеется, Intel Optane. Успешно доказана возможность Optane дополнять обычную память, и в тех случаях, где объём важнее пропускной способности, такие системы показывают впечатляющие результаты.

Архитектурные устои современных серверов и кластерных систем, однако, приходится преодолевать, и именно с этой целью MemVerge разработала специальную программную прослойку, существенно упрощающую построение комбинированных пулов памяти, сочетающих в себе DRAM и Optane DCPMM (PMEM, Persistent Memory). В основе Memory Machine лежит идея прослойки виртуализации между приложениями и различными API доступа к памяти и хранилищам данных.

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Благодаря этой прослойке, все имеющиеся сочетания DRAM и Optane DCPMM в пределах сервера или различных узлах кластера представляются, как единое объектное пространство памяти (Distributed Memory Objects), а приложения воспринимают это пространство как обычный объём памяти, с которым можно работать стандартными средствами. Прослойка с точки зрения приложений полностью прозрачна, а значит, приложения не нуждаются в модернизации. Для внедрения вычислений in-memory без модернизации ПО достаточно приобретения Memory Machine Standard Edition.

MemVerge Memory Machine включает в себя удобные средства мониторинга и управления

Но существует и расширенная версия, Memory Machine Advanced Edition, ещё более продвинутая и выводящая идею единого быстрого пространства памяти на новый уровень. Ключевым отличием от стандартной версии можно назвать поддержку ZeroIO, технологии моментальных снимков памяти. Если верить MemVerge, ZeroIO позволяет полностью отказаться от операций ввода-вывода с традиционными блочными накопителями (SSD и HDD) и хранить всё в пределах PMEM.

Загрузка объемных рабочих сценариев (сотни гигабайт или единицы терабайт) при этом занимает секунды против минут и часов при традиционном подходе. Поддерживается практически мгновенное клонирование объёмных баз данных, что обязательно порадует разработчиков. Также реализована функция Time Travel, позволяющая быстро откатываться к любому из сделанных ранее снимков.

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Разумеется, Memory Machine представляет собой весьма непростое программное обеспечение. При всех своих достоинствах, память Optane DCPMM всё же уступает традиционным модулям DRAM DIMM в производительности. Но Memory Machine дирижирует имеющимися в её распоряжении ресурсами интеллектуально, перемещая наиболее часто используемые, «горячие» данные в область DRAM для максимизации производительности. Общий объём DRAM и Optane при этом всё равно используется на 100%.

В основе Memory Machine лежит гипервизор на базе Linux, он-то и занимается виртуализацией всех ресурсов памяти в единый пул. Из этого пула приложения могут забирать необходимые ресурсы, а надстройка Memory Machine следит за тем, чтобы производительность была максимальной и поддерживает качество обслуживания (QoS). А в случае Advanced Edition, эта надстройка отвечает и за функции ZeroIO.

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Обе редакции MemVerge Memory Machine можно заказать уже сейчас. Список поддерживающего режим выполнения in-memory программного обеспечения достаточно широк и включает в себя такие наименования как Autodesk Maya, TensorFlow, PyTorch, MySQL, MongoDB, KVM и ряд других. Список будет постоянно пополняться, также компания принимает отдельные заказы на обеспечение поддержки пользовательского приложения.

Аппаратные ограничения проистекают из самой природы Memory Machine: к сожалению, серверы на базе AMD EPYC не подходят, как не поддерживающие Optane DPCMM. Но подойдёт любой сервер с процессорами Intel Xeon Scalable второго поколения, поддерживающими такой тип модулей памяти. Поддерживаются гипервизоры VMware ESXi и QEMU-KVM, операционные системы CentOS и Red Hat Enterprise Linux, а также платформы контейнеризации на базе Kubernetes.

Напомним, что на самих платформах Intel память Optane DCPMM тоже может работать в режиме прозрачного расширения объёма DRAM. А на более ранних платформах с Xeon Scalable первого поколения доступна технология IMDT, которая позволяет расширить объём видимой в системе оперативной памяти за счёт NVMe-накопителей (в первую очередь, на базе той же Optane).

Сегодня Intel провела небольшой виртуальный брифинг, посвящённый промежуточному отчёту об успехах и планах в области памяти и твердотельных накопителей для центров обработки данных. За год продажи в этом сегменте выросли на впечатляющие 46%.

Intel продолжает заниматься продвижением своего видения иерархии памяти, которая в представлении компании включает промежуточный слой SCM-памяти — в данном случае это Optane DCPMM + Optane SSD — между DRAM и дисковой подсистемой, а сами диски должны быть представлены исключительно накопителями на базе 3D NAND. Жёстким дискам и «ленточкам» отведена роль внешнего «холодного» хранилища. Впрочем, LTO и так им является, а на смену HDD должны прийти накопители на базе QLC-памяти, а впоследствии и PLC.

Планы относительно QLC-накопителей не поменялись — в этом году должно стартовать массовое производство 144-слойной памяти данного типа, а в следующем компания начнёт переводить на неё свои основные продукты. Intel всё так будет продвигать форм-фактор EDSFF E1.L (рулер) для компактных и ёмких хранилищ. На днях, к слову, она, наконец, выпустила в этом форм-факторе накопители «старой» серии DC P4510 ёмкостью 15,36 Тбайт. Ожидается, что в ближайшие годы крупные производители серверов и СХД начнут массово переходить на стандарт EDSFF, но конкуренцию «рулерам» составят U.3 и E3.S. Что касается SSD на базе 3D XPoint, то следующее поколение под кодовым именем Alder Stream всё так же ожидается в этом году.

Несколько слов было сказано и втором поколении Intel Optane PMem 200 (кодовое имя Barlow Pass), представленной пару недель назад. Заявленный прирост производительности на 25% был получен благодаря новому контроллеру, обновлению протокола обмена данными и некоторыми улучшениями самой памяти 3D XPoint. Также было переработано управление питанием, что привело к снижению среднего TDP. Речь идёт о нескольких ваттах, однако новая память работает с Intel Xeon Cooper Lake, которые ориентированы на плотные 4- и 8-сокетные системы с большим числом DIMM-модулей. Новая память Optane будет поддерживаться и в системах на базе следующего поколения процессоров Intel Xeon Ice Lake.

Пример расчёта стоимости платформы с Intel Optane DCPMM и RAM

А вот о клиентских решениях прямо пока ничего не говорится, хотя в этом году ожидается некий анонс для несерверных продуктов. Впрочем, формально к таковым относятся и рабочие станции на базе тех же Xeon. Сейчас Optane DCPMM позиционируется как решение для ЦОД и периферийных вычислений. Intel отмечает интерес к такой памяти: более 200 компаний из списка Fortune 500 уже тестируют её или используют в рабочих нагрузках, 30+ крупных разработчиков ПО адаптировали софт для Optane DCPMM, а из «большой семёрки» (Super 7) — Facebook* , Google, Microsoft, Amazon, Baidu, Alibaba и Tencent — её используют пять гигантов.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Китайский производитель гиперконвергентных решений SmartX выпустил решение Halo P, использующее для кеширования Optane PMem, что позволяет выдать 1,2 миллиона IOPS с задержкой не более 100 мкс и пропускную способность до 25 Гбайт/с. Стенд для демонстрации решения был построен на основе трехузловой системы Lenovo и с использованием накопителей NVMe.

Каким образом SmartX удалось снизить задержку доступа до такой малой величины? Ответ простой — использование собственной ОС SMTX и модулей Optane DCPMM в режиме App Direct (DAX).

Это решение позволяет сохранять данные любого узла в кеше из модулей памяти Optane, при этом на другие узлы данные так же реплицируются с использованием протокола RDMA, который уменьшает задержку до подтверждения записи данных. Далее данные из кеша записываются на твердотельные накопители и хранятся там, пока снова не потребуются.

OC SMTX использует 64-байтовое выравнивание для журнала блоков, вместо 4 Кбайт (для SSD), таким образом решается проблема с лишними операциями записи (когда не набирается блок в 4 Кбайта). Кроме этого, виртуализованное хранилище передается в программный стек ВМ через отдельный протокол SMTX ELF, что позволяет избежать снижения производительности, вызванного запросами ввода-вывода от виртуальных машин.

Память системы хранения и виртуальной машины разделяется, чтобы избежать репликации памяти и замедления операций ввода-вывода. RDMA over Converged Ethernet (RoCE) используется для ускорения сетевых запросов ввода-вывода через сетевые карты (работа с разными узлами хранилища).

SmartX заявляет, что это самое быстрое в мире решение с гиперконвергентной системой. SmartX позиционирует свое решение HaloP для работы с базами данных OLTP и машинного обучения.