Компания ScaleMP объявила, что её фирменная линейка продуктов vSMP Foundation 10.0 доступна для всех. Ранее её несколько месяцев тестировали избранные клиенты и партнёры. Новая версия обзавелась поддержкой систем виртуализации. В частности, она позволяет виртуальным машинам использовать больше памяти, чем предоставляет хост-система.

С помощью vSMP MemoryONE можно расширить видимый объём ОЗУ за счёт высокоскоростных SSD. В списке поддерживаемых моделей накопителей есть решения Intel, WDC, Samsung, Micron и так далее. На данный момент новая вресия ПО уже работает с виртуальными машинами VMware ESXi, Linux KVM и в облаке AWS. Поддержка Microsoft Azure Cloud и Oracle Cloud ожидается к концу года.

vSMP Foundation 10.0 обеспечивает повышение производительности за счёт вертикального масштабирования вычислительных мощностей, памяти и каналов ввода-вывода путём объединения нескольких физических хостов в один виртуальный. В списке совместимых приложений есть масса ПО для HPC и популярных облачных и корпоративных ИТ-нагрузок, включая SAP HANA, Redis, Apache / Spark, MongoDB, MySQL и Lotus (Filecoin).

Как заявил Шай Фултхейм (Shai Fultheim), основатель и генеральный директор ScaleMP, технология программно-определяемых серверов доказала, что отвечает основным требованиям для текущих и будущих задач. Она может использоваться в облачных системах и дата-центрах, поскольку позволяет создавать масштабируемые системы на базе стандартного оборудования.

Технология vSMP MemoryONE от ScaleMP позволяет прозрачно увеличить видимый в системе объём оперативной памяти за счёт использования SSD таким образом, что никакая модификация со стороны ОС и ПО не требуется. Для этого используется отдельный гипервизор, который и распределяет данные между DRAM и дисками. Последние, естественно, должны быть как можно более быстрыми.

Именно эта технология лежит в основе Intel IMDT, которая ещё на платформах первого поколения Xeon Scalable позволяла задействовать для расширения памяти накопители Intel Optane. Впоследствии она стала доступна и для других разработчиков. Например, Western Digital ещё пару лет назад показала соответствующий продукт Ultrastar DC ME200 Memory Extension Drive. Intel теперь позволяет устанавливать модули памяти Optane непосредственно в DIMM-слоты, а ScaleMP ищет новые, более широкие рынки для своей технологии.

На этой неделе ScaleMP объявила о доступности в AWS Marketplace vSMP MemoryONE для EC2 девятой и десятой версий. v9 работает только с bare-metal инстансами с локальными же NVMe-накопителями, а предварительная версия v10 научилась работать и в виртуализированном окружении. ScaleMP предлагает собственный AMI-образ для EC2.

Как и для локальных версий, ScaleMP обещает близкий к обычной RAM уровень производительности для пула из DRAM и SSD, возможность увеличения доступного объёма памяти от 2 до 12 раз и снижение итоговых затрат на память на 50% и более. vSMP MemoryONE подойдёт для крупных in-memory баз данных Apache Sark, MongoDB, MySQL и прочих нагрузок, требующих хранения больших объёмов данных в оперативной памяти.

В августе прошлого года AMD и ScaleMP, поставщик различных систем виртуализации для HPC-решений, официально объявили о сотрудничестве, в рамках которого, в частности, была добавлена поддержка новых серверных процессоров EPYC Rome 7002 в гипервизор vSMP Foundation.

ScaleMP vSMP Foundation, напомним, позволяет объединить множество стандартных серверов x86-64 в высокопроизводительную систему, которая для ОС и ПО выглядит как единый сервер с большим числом ядер и большим же объёмом памяти.

Такой подход упрощает масштабирование нагрузки для ряда приложений и, помимо всего прочего, не требует заметных модификаций кода. В случае AMD EPYC Rome использование vSMP Foundation позволяет объединить до 128 CPU, получив таким образом машину с 8192 ядрами и 256 Тбайт RAM.

И вот, наконец, сотрудничество компаний дало значимые результаты. В бенчмарке SPEC CPU 2017 32-сокетные системы с AMD EPYC 7002 (64/128, 2,0/3,35 ГГц, 256 Мбайт L3) заняли первые места и в целочисленных вычислениях, и в расчётах с плавающей запятой, обогнав предыдущего лидера в примерно на 80%. Им была HPE Superdome Flex на базе 32 процессоров Intel Xeon Platinum 8180 (28/56, 2,5/3,8 ГГц, 38,5 Мбайт L3). Рекорд этой системы продержался ровно два года.

Для теста AMD EPYC Rome и vSMP Foundation использовались серверы Supermicro A+ Server 2123BT-HNC0R: 2U, 4 узла, 2 CPU в каждом узле.

ScaleMP, поставщик решений виртуализации для высокопроизводительных вычислений, объявил о сотрудничестве с AMD.

Теперь vSMP Foundation поддерживает процессоры EPYC Rome 7002 и позволяет объединить до 128 сокетов в рамках одной системы. Суммарно можно получить до 8192 ядер и до 256 Тбайт общей памяти. 

pixabay.com

Гипервизор vSMP Foundation позволяет объединять множество стандартных серверов x86-64 в единую виртуальную высокопроизводительную систему, которая представляется не как кластер из разрозненных машин, а как единственный, но очень мощный сервер. Такой подход позволяет упростить запуск ряда требовательных приложений и значительно облегчить масштабирование вычислительных мощностей.  При этом никаких существенных изменений в операционной системе и прикладном ПО не требуется. 

Впрочем, интереснее было бы посмотреть на другие решения ScaleMP. В частности, на реализацию vSMP MemoryONE для прозрачного расширения видимого в системе объёма RAM за счёт SSD. Напомним, что первоначальная реализация Intel Memory Drive Technology (IMDT) базировалась именно на этой технологии ScaleMP, которая перестала быть эксклюзивом. Теперь Intel предлагает в рамках Optane DC Persistent Memory (DCPMM) такое же бесшовное расширение, но уже с помощью DIMM-модулей Optane.

В прошлом году уже были представлены первые решения  vSMP MemoryONE от других производителей: SSD WD Ultrastar DC ME200 Memory Extension Drive. AMD-платформы нового поколения поддерживают PCI-E 4.0, что может благотворно сказаться на производительности «гибридной» памяти. 

Для зарождающегося рынка решений и услуг «вычислений в памяти» (in-memory computing) компания Western Digital разработала семейство накопителей Ultrastar DC ME200 Memory Extension Drive. Подчеркнём, в наименовании новинки вы не увидите привычной аббревиатуры SSD. С точки зрения Western Digital — это именно «расширитель» ОЗУ, а не привычное всем устройство для долговременного хранения данных. Внешне новинки невозможно отличить от SSD в исполнении PCIe-адаптера или накопителя в форм-фактре U.2. Но логика работы накопителей Memory Extension Drive совсем другая и требует иного подхода со стороны разработчиков программ и операционных систем.

В компании Western Digital заявляют о совместимости Memory Extension Drive с Linux 64-bit OS, RHEL 6.5, 6.6, 6.7, 6.8, 6.9, 7.0, 7.1, 7.2, 7.3, 7.4, SLES 11-SP4, 12, 12-SP1, 12-SP2, Fedora Core версии от 4 до 27, Open SuSe версий 10 и 11, Ubuntu Server версий от 16.04 до 17.10 и Debian 9.5.0. Драйверы и утилиты создают платформу для адресации к виртуальной программно-конфигурируемой памяти, где нет различия между модулями DRAM и SSD с поддержкой протокола NVMe. Тем самым условно сколь угодно большой массив данных можно загрузить и обработать в памяти, где для программного обеспечения нет различия между модулями DRAM и накопителями SSD.

Для того, чтобы накопители Memory Extension Drive работали с производительностью, близкой к производительности оперативной памяти, а в ином случае весь этот огород не имеет смысла, разработчик задействовал свыше 20 алгоритмов кеширования, предсказания ветвлений и другие механизмы для сглаживания проблем, связанных с задержками обращения к SSD. При этом Western Digital настаивает, что проблему стирания границы между SSD и DRAM в основном должны решать специальные алгоритмы машинного обучения. В одиночку компания не потянет весь круг задач и призывает сообщество развивать программную инфраструктуру для накопителей Memory Extension Drive.

Как уверены в компании, накопители Memory Extension Drive хорошо подходят для решения следующих задач: для сетевого журналируемого хранилища данных Redis, для сервиса кеширования данных Memcached в оперативной памяти на основе хеш-таблицы, для баз данных In-Memory, для хранилищ данных, для IoT-платформ, для потоковой аналитики, для Apache (Spark, Storm, Kafka), для распределённых баз в памяти, для приложений с кешированием, для распределённого контента (CDN), для услуг SaaS, для аналитики как сервиса, AI/ML и сервисов с массивным журналированием.

На момент анонса компания поставляет избранным клиентам накопители Ultrastar DC ME200 Memory Extension Drive в виде моделей объёмом 1 Тбайт, 2 Тбайт и 4 Тбайт. Полка высотой 1U вместит достаточно накопителей в форм-факторе U.2, чтобы предоставить пользователю 24 Тбайт «почти что памяти DRAM». Насколько будут велики потери от работы такой виртуальной памяти? По данным WD, если взять за чистую производительность обращение к 786 Гбайт DRAM, скорость работы которой оценивается на уровне 1,080 млн транзакций в секунду, то микс 3:1 (576 Гбайт Ultrastar и 192 Гбайт DRAM) просядет до 91 % производительности или до 983 тыс. транзакций, а при соотношении 7:1 (672 Гбайт Ultrastar и 96 Гбайт DRAM) производительность снизится до 85 % или 918 тыс. транзакций в секунду. Достаточно интересно, но как за это проголосует индустрия, пока непонятно.