Материалы по тегу: scm

06.10.2021 [16:07], Алексей Степин

VMware представила Project Capitola, технологию программно определяемых массивов памяти

Интерес к программно определяемым решениям в наши дни высок, как никогда, поскольку такой подход обеспечивает максимальную гибкость и требует минимум затрат на поддержание инфраструктуры. Вслед за Kioxia с её программно-определяемыми SSD своё видение представила компания VMware с фирменной технологией Project Capitola.

VMware является одним из крупнейших игроков на рынке виртуализации и вполне естественно, что компания заинтересована в продвижении своей платформы vSphere. Для этого она должна соответствовать современным требованиям и обеспечивать как можно меньшую стоимость владения, чего можно добиться унификацией программной и аппаратной инфраструктуры.

Project Capitola был анонсирован на мероприятии VMworld 2021. В двух словах его суть заключается в агрегации всех ресурсов памяти, будь то DRAM, SCM (Optane, Z-SSD или, например, XL-Flash), CXL-модули, NVMe или даже СХД с RoCE в единый пул, с которым виртуальные машины смогут работать прозрачно. Отдельно отметим, что в качестве аппаратной инфраструктуры предполагается использовать в первую очередь именно CXL.

VMware Capitola объединит под одной крышей самые разные типы памяти

VMware Capitola объединит под одной крышей самые разные типы памяти

Разумеется, разные виды памяти в этом списке имеют существенно различающиеся линейные скорости, времена отклика и производительность на случайных операциях. Но разработчики подумали об этом, и в Project Capitola предусмотрен механизм многоуровневой иерархии (tiering) таких неоднородных массивов.

В настоящий момент VMware продвигает Project Capitola, сотрудничая с множеством компаний. В этот список входят производители памяти и накопителей (Intel, Samsung и Micron), крупные поставщики серверного оборудования (Dell, HPE, Cisco и Lenovo), а также провайдеры ЦОД-услуг, например, Equinix. Отзывы партнёров весьма положительны и, вероятно, Project Capitola сможет стать новым стандартом в индустрии.

Постоянный URL: http://servernews.ru/1050662
05.10.2021 [22:52], Андрей Галадей

Micron представила движок HSE 2.0 для гибридных хранилищ данных

В апреле 2020 года компания Micron анонсировала свой собственный механизм хранения с открытым исходным кодом, предназначенный для совместного использования SSD, SCM и DRAM. А теперь компания показала вторую версию системы — HSE 2.0 (Heterogeneous-Memory Storage Engine).

HSE, согласно изначальной задумке, позволил бы приложениям — СУБД в первую очередь — задействовать весь потенциал быстродействующих накопителей и памяти. В первой версии использовался модуль ядра MPool, обслуживающий хранилище, с которым напрямую работали модифицированные приложения. Таким образом обходился стандартный стек ФС, что положительно влияло на производительность из-за отсутствия накладных расходов.

Очевидный минус такого решения — для массового распространения технологии модуль MPool должен был закрепиться в основной ветке ядра Linux, чего, как теперь стало понятно, не произошло. Во второй версии от модуля MPool отказались, теперь движок «живёт» строго в пространстве пользователя, а не ядра, и задействует стандартные механизмы работы с ФС.

Первая версия движка более не поддерживается, равно как и модифицированная для него MongoDB. С другой стороны, движок стал более универсальным и простым в освоении — разработчики сделали его более удобным для интеграции с другими СУБД и движками хранения, а также добавили поддержку Python. Исходники и дополнительные сведения о HSE 2.0 доступны на GitHub.

Постоянный URL: http://servernews.ru/1050623
20.05.2020 [08:08], Алексей Степин

Стартап MemVerge делает ставку на вычисления in-memory

Наряду с ускорением вычислений (GPU, FPGA) и совершенствованием шин (NVLink, CXL), технологии класса in-memory computing станут частью высокопроизводительных систем нового поколения. Речь идёт о переносе как можно больших объёмов данных в RAM, что должно решить целый спектр проблем, вызываемый достаточно высокой латентностью традиционных накопителей.

Молодой стартап MemVerge согласен с этим видением, но полагает, что для достижения наилучшего результата потребуется соответствующая программная прослойка.

Хранить данные в оперативной памяти всегда было заманчивой идеей, поскольку такая память на порядки быстрее традиционных накопителей. Однако до недавних пор реализация этой идеи была достаточно ограниченной. С одной стороны, DRAM является достаточно дорогим удовольствием, а с другой — её объёмы ограничены и в ряде случаев их может оказаться недостаточно. С появлением новых типов энергонезависимой памяти класса SCM, главным из которых пока является Intel Optane, ситуация начинает понемногу меняться. Этого потребует и сам рост объёмов данных, получаемых в реальном времени, считает MemVerge.

Концепция in-memory computing в версии MemVerge

Концепция in-memory computing в версии MemVerge

Согласно исследованию, проведенному IDC, в следующие пять лет четверть всех данных, обрабатываемых вычислительными системами планеты, будут составлять данные реального времени. Следовательно, от машин нового поколения потребуется не только скорость работы с памятью, но и солидные её объёмы. MemVerge полагает, что для оптимальной реализации вычислений in-memory потребуется сочетание DRAM, энергонезависимой SCM-памяти и специальной программной прослойки. Последнюю компания называет Memory Machine. 

Основой, как уже было сказано, считается память Intel Optane DCPMM, поскольку пока только эта технология позволяет создавать массивы памяти нужного для воплощения концепции memory centric объёма. MemVerge надеется занять нишу первопроходца в программной части реализации Memory Machine и стать основополагателем соответствующего стандарта. На сегодняшний день Optane хотя и опробована большинством крупных владельцев ЦОД, но единого стандарта на реализацию in-memory computing нет, что сдерживает широкое распространение концепции.  Однако к 2022 году ситуация может измениться и у Optane появится 3 ‒ 4 конкурирующих типа энергонезависимой памяти. Одним из них может стать MRAM — рабочие образцы такой памяти уже существуют, но по объёму пока не могут сравниться с Optane.

Постоянный URL: http://servernews.ru/1011336
28.04.2020 [15:56], Юрий Поздеев

Micron представила HSE — высокопроизводительный открытый движок для гибридных хранилищ

Разработанный компанией Micron движок HSE для хранилищ СУБД, теперь доступен сообществу разработчиков в виде открытого исходного кода. Движок позволяет использовать преимущества разных типов носителей — твердотельных накопителей и SCM-памяти, что позволяет повысить быстродействие и снизить задержки при доступе к данным. 

HSE отлично интегрируется с MongoDB (одной из самых популярных СУБД для NoSQL) и рассчитан на хранение пар «ключ-значение». 

Компания Micron утверждает, что благодаря новому движку и собственному аппаратному обеспечению, такому как твердотельный накопитель Micron X100 NVMe, работающий с четырьмя SSD Micron 5210 QLC, пропускная способность системы увеличится вдвое, а время задержки чтения снизится почти в четыре раза.

«Являясь единственной компанией, разрабатывающей технологии оперативной памяти, флэш-памяти и памяти класса СХД, Micron имеет уникальные возможности для создания программного стека, ускоряющего работу приложений в современных средах хранения на основе флэш-памяти, а также инфраструктуры будущего на основе памяти SCM» — сказал Дерек Дикер, генеральный менеджер подразделения хранения данных Micron.

Компания Micron утверждает, что новый движок HSE повышает производительность отдельных приложений в 6 раз, снижает задержку в 11 раз и повышает ресурс SSD в 7 раз.

Кроме того, HSE предоставляет следующие функции:

  • Помимо интеграции с MongoDB, он также может быть интегрирован с другими базами данных NoSQL и хранилищами объектов.
  • HSE идеален, когда важна производительность на больших масштабах с миллиардами ключей, высоким параллелизмом операций (тысячи), большим объёмом данных и многоуровневыми хранилищами.
  • Движок может быть расширен и адаптировани под новые интерфейсы, что позволяет использовать его с широким спектром приложений и решений, выходящих за рамки традиционных баз данных: Интернет вещей (IoT), 5G, искусственный интеллект (ИИ), высокопроизводительные вычисления (HPC) и объектное хранение.
  • HSE способен обеспечить дополнительную производительность для программно-определяемых хранилищ вроде Ceph Storage или Red Hat OpenShift, а также многоуровневую производительность для протоколов хранения файлов, блоков и объектов для несколько вариантов использования.
Постоянный URL: http://servernews.ru/1009612
Система Orphus