Компания MemVerge на суперкомпьютерной конференции ISC 2023 представила, как утверждается, первую в отрасли технологию общей мультисерверной памяти на основе стандарта Compute Express Link (CXL). Проект, получивший название Gismo (Global IO-Free Shared Memory Objects), призван повысить производительность серверных платформ.

Отмечается, что сетевые операции ввода-вывода и системы хранения являются узкими местами платформ распределённых приложений, интенсивно использующих данные. Решение Gismo как раз и призвано устранить данные проблемы. Речь идёт о концепции «бесконечной памяти».

Применены технология CXL 2.0 (PCIe 5.0), программные компоненты службы MemVerge Elastic Memory и аппаратные решения SK hynix (Niagara Pooled Memory System). Платформа позволяет хост-серверам динамически перераспределять память по мере необходимости, чтобы избежать дефицита DRAM. Иными словами, если приложению требуется больше памяти, нежели доступно физически, сервер может использовать ПО MemVerge для получения доступа к дополнительным объёмам DRAM на других серверах посредством CXL.

Источник: SK hynix

Утверждается, что революционная технология MemVerge призвана изменить ландшафт распределённых вычислений, давая компаниям возможность масштабировать свои операции и максимизировать производительность. Одним из первых участников проекта Gismo стала компания Timeplus — разработчик потоковой базы данных следующего поколения. Применение технологии позволило Timeplus значительно улучшить отказоустойчивость своей системы и повысить скорость обработки запросов.

Производители серверного оборудования и разработчики специализированного программного обеспечения один за другим объявляют о поддержке новых процессоров Xeon Sapphire Rapids. Компания MemVerge, известная своей технологией виртуализации массивов памяти Memory Machine, заявила, что её разработка станет первой в своём роде программной платформой для разработки CXL-решений, поддерживающей новые Xeon.

Эти процессоры обладают рядом интересных возможностей, делающих их привлекательными в качестве новой серверной платформы. В частности, это поддержка DDR5, PCI Express 5.0, а также наличие специфических ускорителей, в частности, Data Streaming Accelerator (DSA), ускоряющего процессы перемещения данных между ядрами, кешами, подсистемами хранения данных и сетью.

Архитектура платформы MemVerge Memory Machine. Источник: MemVerge

С учётом поддержки CXL выбор MemVerge понятен: компания одной из первых поддержала инициативу, разработав унифицированное средство для виртуализации крупных массивов RAM, включая гибридные. Memory Machine позволяет создавать единое когерентное пространство памяти, включающее в себя как локальные ресурсы каждого процессора, так и CXL-экспандеры.

Напомним, что программно-определяемая платформа MemVerge работает полностью прозрачно для пользовательского ПО, вне зависимости от того, использует ли массив памяти из DRAM или же является гибридным и включает в себя CXL-модули. При этом наиболее востребованные данные автоматически размещаются в самом производительном сегменте пула Memory Machine.

Также компания объявила о поддержке новых процессоров инструментарием Memory Viewer, помогающего определять наилучшее сочетание цены и производительности при расширении памяти посредством CXL-памяти. Компания не без оснований полагает, что сочетание её технологий и платформы Sapphire Rapids идеально для сценариев HPC, в частности, в генетических исследованиях при секвенировании геномов.

Компания MemVerge, разработавшая технологию виртуализации крупных массивов памяти, в том числе гибридных, сочетающих в себе DRAM и SCM, сообщила о важной вехе: её разработка Memory Machine успешно прошла процесс сертификации Red Hat и получила сертификаты Red Hat OpenShift Operator и Container.

Это должно открыть Memory Machine дорогу в мир крупных облачных и корпоративных систем, требования к которым достаточно высоки. Так что наличие сертификатами Red Hat позволит быть уверенным в том, что решения MemVerge достигли зрелости и будут работать надёжно. Решение MemVerge входит в официальный каталог Red Hat.

Архитектура Memory Machine. Источник: MemVerge

Memory Machine позволяет сэкономить существенные средства: поскольку DRAM по-прежнему стоит дорого, прозрачное объединение в единый пул ресурсов DRAM и SCM обойдётся дешевле в сравнении с «чистой» DRAM того же объёма. Также Memory Machine обладает высокой степенью надёжности и отказоустойчивости, поскольку поддерживает автоматическое создание контрольных точек и снимков с практически мгновенным восстановлением многих терабайт данных в случае сбоя.

Для приложений память, предоставляемая Memory Machine, ничем не отличается от обычной, и, как давно доказали тесты, в ряде сценариев, для которых критичным является объём, а не время отклика, использование гибридных систем памяти на базе DRAM + Optane практически не сказывается на итоговой производительности.

Полученные сертификаты упростят для партнёров MemVerge разработку и внедрение приложений для платформы Kubernetes. Также компания опубликовала интересное выступление на саммите OpenInfra. В нём затронута тема того, как программно определяемая платформа памяти может быть использована в HPC-системах.

Технология контрольных точек (checkpoints) не нова и широко применяется в мире ИТ. Она обеспечивает подстраховку на случай сбоев ПО или «железа». Однако то, что просто реализуется для единичных приложений или серверов, весьма непросто в случае HPC-кластеров и распределённых многопоточных задачах. Но благодаря сотрудничеству MemVerge с проектом DMTCP эта технология станет более распространённой в HPC-сегменте.

Сама MemVerge, компания, разрабатывающая технологии виртуализации крупных массивов памяти на основе DRAM и Optane, до недавних пор не предполагала запуск своих решений в действительно сложных распределённых системах. Однако обойти эту проблему помог открытый проект Distributed MultiThreaded Checkpointing Project (DMTCP), с которым компания теперь сотрудничает.

MemVerge Memory Machine — технология создания крупных распределённых пулов памяти

Сложных сценариев, где контрольные точки могли бы спасти ситуацию в случае сбоя от убытков и потери многих человеко-часов, множество: это и симуляция поведения сложных микросхем, верификация схемотехники таких микросхем, сложные вычисления в области биоинформатики или физики высоких энергий, разработка систем кибербезопасности, работа с массивами bigdata и множество других.

Главное преимущество реализации DMTCP в том, что эта система полностью работает в пользовательском пространстве и не требует существенных модификаций ни в ПО, ни в ОС. Она способна прозрачно функционировать в большинстве Linux-систем и совместима с MPI, Python, Matlab, R и т.д. Корректную работу многопоточных задач обеспечивает координатор, который сохраняет состояние приложений на диск по расписанию или по заданным пользователем условиям. В случае сбоя процесс вычислений может быть восстановлен с последней контрольной точки.

Благодаря тому, что MemVerge стала активным участником проекта DMTCP, последнему должен существенно упроститься путь на рынок. MemVerge будет не только помогать в разработке DMTCP, но и отвечать за его коммерческую поддержку, а также внедрит полностью протестированную версию данного ПО в свои решения серии Big Memory. Компания уже сотрудничает с Национальным вычислительным центром энергетических исследований США (NERSC) с целью оптимизации DMTCP-решений для суперкомпьютеров Cori и Perlmutter. В дальнейшем планируется сделать DMTCP доступным и для CUDA-вычислений.

Компания MemVerge объявила о выпуске версии 1.2 программного обеспечения Memory Machine, которое используется для систем класса Big Memory. Новая версия адаптирована под процессоры Intel Xeon Scalable 3-го поколения (кодовое название Ice Lake), которые поддерживают до 6 Тбайт памяти (DDR4-3200 + Intel Optane серии 200).

Компания также объявила о вступлении в Консорциум CXL и своём участии в лабораториях Big Memory в Arrow, Intel, Penguin Computing и WWT, которые теперь оснащены необходимой техникой и доступны для демонстраций технологий Big Memory, тестирования новых разработок и адаптации программного обеспечения.

«Memory Machine v1.2 разработана, чтобы позволить поставщикам приложений и конечным пользователям в полной мере использовать преимущества новейшего процессора Intel Xeon Scalable и технологии памяти Optane. Мы начали с предоставления доступа к новым уровням производительности и ёмкости без необходимости вносить изменения в приложения», — заявил Чарльз Фэн (Charles Fan), генеральный директор MemVerge.

Как отмечается, программное обеспечение Big Memory позволяет максимально эффективно использовать доступный объем памяти, обеспечивая новые возможности для рабочих нагрузок in-memory. Memory Machine позволяет не просто задействовать весь объём памяти в системе, но и существенно ускоряет работу с ней за счёт особых алгоритмов.

MemVerge и Penguin Computing, дочерняя компания SMART Global Holdings, Inc., лидер в области решений для высокопроизводительных вычислений, ИИ и корпоративных ЦОД, объявили о партнёрстве с целью предоставления первого в мире решения Big Memory Computing Solutions. Это решение предназначено для выполнения вычислений класса Big Memory, для которых оперативная и постоянная память объединяются в виртуализированные массивные пулы программно-определяемой памяти.

Такие пулы призваны удовлетворить растущий спрос на обработку данных, получаемых в реальном времени, и способны экономично масштабироваться до многих Тбайт с обеспечением высокой доступности. По данным IDC, к 2024 году почти четверть всех созданных данных будет получено в реальном времени, а две трети корпораций из списка Global 2000 развернут хотя бы одно приложение реального времени, которое считается критически важным.

«Переход к вычислениям in-memory вызвало значительный интерес к технологии MemVerge в широком спектре наших технологических дисциплин и вертикальных рынков, — отметил Кевин Таббс (Kevin Tubbs), старший вице-президент группы стратегических решений Penguin Computing. — Мы специализируемся на разработке и компоновке важнейших новых технологий для наших клиентов в области ИИ и высокопроизводительных вычислений в хорошо настроенных эталонных архитектурах с хорошей поддержкой».

«[Подход] Big Memory изменит инфраструктуру центров обработки данных, — заявил Чарльз Фан (Charles Fan), соучредитель и генеральный директор MemVerge. — Сочетание опыта Penguin Computing в разработке приложений для высокопроизводительных вычислений, ИИ/машинного обучения и ЦОД, инновационной памяти Intel Optane [PMEM] с нашим ПО Memory Machine позволяет нашим клиентам без компромиссов пользоваться новой услугой программно-определяемой памяти».

DRAM без использования Big Memory Solutions работает быстрее, чем PMEM. А с этим решением DRAM и PMEM работают вместе так же быстро или даже быстрее, чем одна только DRAM, обеспечивая при этом высокую доступность инфраструктуры памяти. ПО Memory Machine позволяет организациям осуществлять обновление серверов с помощью постоянной памяти, которая стоит значительно дешевле, без риска потери производительности.

После виртуализации DRAM и PMEM Big Memory Computing отображает PMEM как DRAM, позволяя любому приложению подключаться к пулу памяти без дополнительной модификации кода ПО. С помощью единой оболочки виртуализации Memory Machine все приложения ЦОД будут иметь быстрый и легкий доступ к недорогому пулу DRAM и PMEM. Более подробно о технологии MemVerge рассказано в отдельной заметке.

Над всеми современными компьютерными архитектурами довлеет одно проклятие — разделение всех ресурсов памяти на быструю (оперативную) и медленную (дисковую). Несмотря на весь прогресс в области микроэлектроники, сам принцип остаётся фундаментальным и по сей день, однако есть и те, кто решается бросить вызов этой системе. Компания MemVerge, летом этого года заявившая о том, что делает ставку на вычисления в памяти (in-memory), официально представила разработанное ей специально для этой цели программное обеспечение под названием Memory Machine.

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Как и все инициативы подобного рода, Memory Machine нуждается в достаточно быстром, но при этом энергонезависимом типе памяти: обычная DRAM не подходит и по цене, и по невозможности надёжно хранить данные. К счастью, сейчас такая «промежуточная» память есть, и это, разумеется, Intel Optane. Успешно доказана возможность Optane дополнять обычную память, и в тех случаях, где объём важнее пропускной способности, такие системы показывают впечатляющие результаты.

Архитектурные устои современных серверов и кластерных систем, однако, приходится преодолевать, и именно с этой целью MemVerge разработала специальную программную прослойку, существенно упрощающую построение комбинированных пулов памяти, сочетающих в себе DRAM и Optane DCPMM (PMEM, Persistent Memory). В основе Memory Machine лежит идея прослойки виртуализации между приложениями и различными API доступа к памяти и хранилищам данных.

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Благодаря этой прослойке, все имеющиеся сочетания DRAM и Optane DCPMM в пределах сервера или различных узлах кластера представляются, как единое объектное пространство памяти (Distributed Memory Objects), а приложения воспринимают это пространство как обычный объём памяти, с которым можно работать стандартными средствами. Прослойка с точки зрения приложений полностью прозрачна, а значит, приложения не нуждаются в модернизации. Для внедрения вычислений in-memory без модернизации ПО достаточно приобретения Memory Machine Standard Edition.

MemVerge Memory Machine включает в себя удобные средства мониторинга и управления

Но существует и расширенная версия, Memory Machine Advanced Edition, ещё более продвинутая и выводящая идею единого быстрого пространства памяти на новый уровень. Ключевым отличием от стандартной версии можно назвать поддержку ZeroIO, технологии моментальных снимков памяти. Если верить MemVerge, ZeroIO позволяет полностью отказаться от операций ввода-вывода с традиционными блочными накопителями (SSD и HDD) и хранить всё в пределах PMEM.

Загрузка объемных рабочих сценариев (сотни гигабайт или единицы терабайт) при этом занимает секунды против минут и часов при традиционном подходе. Поддерживается практически мгновенное клонирование объёмных баз данных, что обязательно порадует разработчиков. Также реализована функция Time Travel, позволяющая быстро откатываться к любому из сделанных ранее снимков.

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Разумеется, Memory Machine представляет собой весьма непростое программное обеспечение. При всех своих достоинствах, память Optane DCPMM всё же уступает традиционным модулям DRAM DIMM в производительности. Но Memory Machine дирижирует имеющимися в её распоряжении ресурсами интеллектуально, перемещая наиболее часто используемые, «горячие» данные в область DRAM для максимизации производительности. Общий объём DRAM и Optane при этом всё равно используется на 100%.

В основе Memory Machine лежит гипервизор на базе Linux, он-то и занимается виртуализацией всех ресурсов памяти в единый пул. Из этого пула приложения могут забирать необходимые ресурсы, а надстройка Memory Machine следит за тем, чтобы производительность была максимальной и поддерживает качество обслуживания (QoS). А в случае Advanced Edition, эта надстройка отвечает и за функции ZeroIO.

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Обе редакции MemVerge Memory Machine можно заказать уже сейчас. Список поддерживающего режим выполнения in-memory программного обеспечения достаточно широк и включает в себя такие наименования как Autodesk Maya, TensorFlow, PyTorch, MySQL, MongoDB, KVM и ряд других. Список будет постоянно пополняться, также компания принимает отдельные заказы на обеспечение поддержки пользовательского приложения.

Аппаратные ограничения проистекают из самой природы Memory Machine: к сожалению, серверы на базе AMD EPYC не подходят, как не поддерживающие Optane DPCMM. Но подойдёт любой сервер с процессорами Intel Xeon Scalable второго поколения, поддерживающими такой тип модулей памяти. Поддерживаются гипервизоры VMware ESXi и QEMU-KVM, операционные системы CentOS и Red Hat Enterprise Linux, а также платформы контейнеризации на базе Kubernetes.

Напомним, что на самих платформах Intel память Optane DCPMM тоже может работать в режиме прозрачного расширения объёма DRAM. А на более ранних платформах с Xeon Scalable первого поколения доступна технология IMDT, которая позволяет расширить объём видимой в системе оперативной памяти за счёт NVMe-накопителей (в первую очередь, на базе той же Optane).

Наряду с ускорением вычислений (GPU, FPGA) и совершенствованием шин (NVLink, CXL), технологии класса in-memory computing станут частью высокопроизводительных систем нового поколения. Речь идёт о переносе как можно больших объёмов данных в RAM, что должно решить целый спектр проблем, вызываемый достаточно высокой латентностью традиционных накопителей.

Молодой стартап MemVerge согласен с этим видением, но полагает, что для достижения наилучшего результата потребуется соответствующая программная прослойка.

Хранить данные в оперативной памяти всегда было заманчивой идеей, поскольку такая память на порядки быстрее традиционных накопителей. Однако до недавних пор реализация этой идеи была достаточно ограниченной. С одной стороны, DRAM является достаточно дорогим удовольствием, а с другой — её объёмы ограничены и в ряде случаев их может оказаться недостаточно. С появлением новых типов энергонезависимой памяти класса SCM, главным из которых пока является Intel Optane, ситуация начинает понемногу меняться. Этого потребует и сам рост объёмов данных, получаемых в реальном времени, считает MemVerge.

Концепция in-memory computing в версии MemVerge

Согласно исследованию, проведенному IDC, в следующие пять лет четверть всех данных, обрабатываемых вычислительными системами планеты, будут составлять данные реального времени. Следовательно, от машин нового поколения потребуется не только скорость работы с памятью, но и солидные её объёмы. MemVerge полагает, что для оптимальной реализации вычислений in-memory потребуется сочетание DRAM, энергонезависимой SCM-памяти и специальной программной прослойки. Последнюю компания называет Memory Machine.

Основой, как уже было сказано, считается память Intel Optane DCPMM, поскольку пока только эта технология позволяет создавать массивы памяти нужного для воплощения концепции memory centric объёма. MemVerge надеется занять нишу первопроходца в программной части реализации Memory Machine и стать основополагателем соответствующего стандарта. На сегодняшний день Optane хотя и опробована большинством крупных владельцев ЦОД, но единого стандарта на реализацию in-memory computing нет, что сдерживает широкое распространение концепции. Однако к 2022 году ситуация может измениться и у Optane появится 3 ‒ 4 конкурирующих типа энергонезависимой памяти. Одним из них может стать MRAM — рабочие образцы такой памяти уже существуют, но по объёму пока не могут сравниться с Optane.