Материалы по тегу: memverge

12.08.2023 [00:00], Алексей Степин

2 Тбайт RAM для ИИ: Samsung, MemVerge, H3 и XConn создали компактный CXL-пул памяти

На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

 Источник изображения: Samsung

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

 Источник изображения: XConn Technologies

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

Постоянный URL: http://servernews.ru/1091377
24.05.2023 [21:41], Сергей Карасёв

MemVerge представила первую в мире «бесконечную память» на базе CXL

Компания MemVerge на суперкомпьютерной конференции ISC 2023 представила, как утверждается, первую в отрасли технологию общей мультисерверной памяти на основе стандарта Compute Express Link (CXL). Проект, получивший название Gismo (Global IO-Free Shared Memory Objects), призван повысить производительность серверных платформ.

Отмечается, что сетевые операции ввода-вывода и системы хранения являются узкими местами платформ распределённых приложений, интенсивно использующих данные. Решение Gismo как раз и призвано устранить данные проблемы. Речь идёт о концепции «бесконечной памяти».

Применены технология CXL 2.0 (PCIe 5.0), программные компоненты службы MemVerge Elastic Memory и аппаратные решения SK hynix (Niagara Pooled Memory System). Платформа позволяет хост-серверам динамически перераспределять память по мере необходимости, чтобы избежать дефицита DRAM. Иными словами, если приложению требуется больше памяти, нежели доступно физически, сервер может использовать ПО MemVerge для получения доступа к дополнительным объёмам DRAM на других серверах посредством CXL.

 Источник: SK hynix

Источник: SK hynix

Утверждается, что революционная технология MemVerge призвана изменить ландшафт распределённых вычислений, давая компаниям возможность масштабировать свои операции и максимизировать производительность. Одним из первых участников проекта Gismo стала компания Timeplus — разработчик потоковой базы данных следующего поколения. Применение технологии позволило Timeplus значительно улучшить отказоустойчивость своей системы и повысить скорость обработки запросов.

Постоянный URL: http://servernews.ru/1087245
15.01.2023 [01:54], Алексей Степин

MemVerge наделила Memory Machine поддержкой Sapphire Rapids

Производители серверного оборудования и разработчики специализированного программного обеспечения один за другим объявляют о поддержке новых процессоров Xeon Sapphire Rapids. Компания MemVerge, известная своей технологией виртуализации массивов памяти Memory Machine, заявила, что её разработка станет первой в своём роде программной платформой для разработки CXL-решений, поддерживающей новые Xeon.

Эти процессоры обладают рядом интересных возможностей, делающих их привлекательными в качестве новой серверной платформы. В частности, это поддержка DDR5, PCI Express 5.0, а также наличие специфических ускорителей, в частности, Data Streaming Accelerator (DSA), ускоряющего процессы перемещения данных между ядрами, кешами, подсистемами хранения данных и сетью.

Архитектура платформы MemVerge Memory Machine. Источник: MemVerge

С учётом поддержки CXL выбор MemVerge понятен: компания одной из первых поддержала инициативу, разработав унифицированное средство для виртуализации крупных массивов RAM, включая гибридные. Memory Machine позволяет создавать единое когерентное пространство памяти, включающее в себя как локальные ресурсы каждого процессора, так и CXL-экспандеры.

Memory Viewer Demo

Напомним, что программно-определяемая платформа MemVerge работает полностью прозрачно для пользовательского ПО, вне зависимости от того, использует ли массив памяти из DRAM или же является гибридным и включает в себя CXL-модули. При этом наиболее востребованные данные автоматически размещаются в самом производительном сегменте пула Memory Machine.

Также компания объявила о поддержке новых процессоров инструментарием Memory Viewer, помогающего определять наилучшее сочетание цены и производительности при расширении памяти посредством CXL-памяти. Компания не без оснований полагает, что сочетание её технологий и платформы Sapphire Rapids идеально для сценариев HPC, в частности, в генетических исследованиях при секвенировании геномов.

Постоянный URL: http://servernews.ru/1080292
09.07.2022 [18:30], Алексей Степин

MemVerge Memory Machine прошла сертификацию Red Hat OpenShift

Компания MemVerge, разработавшая технологию виртуализации крупных массивов памяти, в том числе гибридных, сочетающих в себе DRAM и SCM, сообщила о важной вехе: её разработка Memory Machine успешно прошла процесс сертификации Red Hat и получила сертификаты Red Hat OpenShift Operator и Container.

Это должно открыть Memory Machine дорогу в мир крупных облачных и корпоративных систем, требования к которым достаточно высоки. Так что наличие сертификатами Red Hat позволит быть уверенным в том, что решения MemVerge достигли зрелости и будут работать надёжно. Решение MemVerge входит в официальный каталог Red Hat.

 Архитектура Memory Machine. Источник: MemVerge

Архитектура Memory Machine. Источник: MemVerge

Memory Machine позволяет сэкономить существенные средства: поскольку DRAM по-прежнему стоит дорого, прозрачное объединение в единый пул ресурсов DRAM и SCM обойдётся дешевле в сравнении с «чистой» DRAM того же объёма. Также Memory Machine обладает высокой степенью надёжности и отказоустойчивости, поскольку поддерживает автоматическое создание контрольных точек и снимков с практически мгновенным восстановлением многих терабайт данных в случае сбоя.

Для приложений память, предоставляемая Memory Machine, ничем не отличается от обычной, и, как давно доказали тесты, в ряде сценариев, для которых критичным является объём, а не время отклика, использование гибридных систем памяти на базе DRAM + Optane практически не сказывается на итоговой производительности.

Полученные сертификаты упростят для партнёров MemVerge разработку и внедрение приложений для платформы Kubernetes. Также компания опубликовала интересное выступление на саммите OpenInfra. В нём затронута тема того, как программно определяемая платформа памяти может быть использована в HPC-системах.

Постоянный URL: http://servernews.ru/1069809
Система Orphus