Немецкая компания SAP, крупный разработчик программного обеспечения корпоративного класса, заключила сделку по приобретению фирмы ScaleMP, которая специализируется на создании средств виртуализации для платформ высокопроизводительных вычислений (HPC). Компания была основана в 2003 году.

ScaleMP является разработчиком платформы vSMP Foundation, которая позволяет объединить множество стандартных серверов x86-64 в высокопроизводительный комплекс. Для ОС и ПО такой кластер будет выглядеть как единый сервер с большим количеством вычислительных ядер и большим же объёмом памяти. Кроме того, компания известна решением vSMP MemoryONE, позволяющем прозрачно «нарастить» объём видимой в системе RAM за счёт NVMe SSD. Данный продукт лёг в основу решений Intel и WD.

Фото: Reuters

За время деятельности ScaleMP привлекла на развитие всего $18 млн. Из них $8 млн были получены в 2008 году, ещё $10 млн — в 2018-м. Как теперь выяснилось, минувшим летом SAP без лишнего шума и громких анонсов подписала соглашение о покупке ScaleMP. Информации о сумме сделки и других подробностей нет. Покупка ScaleMP позволит SAP расширить портфолио собственных решений.

Компания ScaleMP объявила, что её фирменная линейка продуктов vSMP Foundation 10.0 доступна для всех. Ранее её несколько месяцев тестировали избранные клиенты и партнёры. Новая версия обзавелась поддержкой систем виртуализации. В частности, она позволяет виртуальным машинам использовать больше памяти, чем предоставляет хост-система.

С помощью vSMP MemoryONE можно расширить видимый объём ОЗУ за счёт высокоскоростных SSD. В списке поддерживаемых моделей накопителей есть решения Intel, WDC, Samsung, Micron и так далее. На данный момент новая вресия ПО уже работает с виртуальными машинами VMware ESXi, Linux KVM и в облаке AWS. Поддержка Microsoft Azure Cloud и Oracle Cloud ожидается к концу года.

vSMP Foundation 10.0 обеспечивает повышение производительности за счёт вертикального масштабирования вычислительных мощностей, памяти и каналов ввода-вывода путём объединения нескольких физических хостов в один виртуальный. В списке совместимых приложений есть масса ПО для HPC и популярных облачных и корпоративных ИТ-нагрузок, включая SAP HANA, Redis, Apache / Spark, MongoDB, MySQL и Lotus (Filecoin).

Как заявил Шай Фултхейм (Shai Fultheim), основатель и генеральный директор ScaleMP, технология программно-определяемых серверов доказала, что отвечает основным требованиям для текущих и будущих задач. Она может использоваться в облачных системах и дата-центрах, поскольку позволяет создавать масштабируемые системы на базе стандартного оборудования.

Технология vSMP MemoryONE от ScaleMP позволяет прозрачно увеличить видимый в системе объём оперативной памяти за счёт использования SSD таким образом, что никакая модификация со стороны ОС и ПО не требуется. Для этого используется отдельный гипервизор, который и распределяет данные между DRAM и дисками. Последние, естественно, должны быть как можно более быстрыми.

Именно эта технология лежит в основе Intel IMDT, которая ещё на платформах первого поколения Xeon Scalable позволяла задействовать для расширения памяти накопители Intel Optane. Впоследствии она стала доступна и для других разработчиков. Например, Western Digital ещё пару лет назад показала соответствующий продукт Ultrastar DC ME200 Memory Extension Drive. Intel теперь позволяет устанавливать модули памяти Optane непосредственно в DIMM-слоты, а ScaleMP ищет новые, более широкие рынки для своей технологии.

На этой неделе ScaleMP объявила о доступности в AWS Marketplace vSMP MemoryONE для EC2 девятой и десятой версий. v9 работает только с bare-metal инстансами с локальными же NVMe-накопителями, а предварительная версия v10 научилась работать и в виртуализированном окружении. ScaleMP предлагает собственный AMI-образ для EC2.

Как и для локальных версий, ScaleMP обещает близкий к обычной RAM уровень производительности для пула из DRAM и SSD, возможность увеличения доступного объёма памяти от 2 до 12 раз и снижение итоговых затрат на память на 50% и более. vSMP MemoryONE подойдёт для крупных in-memory баз данных Apache Sark, MongoDB, MySQL и прочих нагрузок, требующих хранения больших объёмов данных в оперативной памяти.

В августе прошлого года AMD и ScaleMP, поставщик различных систем виртуализации для HPC-решений, официально объявили о сотрудничестве, в рамках которого, в частности, была добавлена поддержка новых серверных процессоров EPYC Rome 7002 в гипервизор vSMP Foundation.

ScaleMP vSMP Foundation, напомним, позволяет объединить множество стандартных серверов x86-64 в высокопроизводительную систему, которая для ОС и ПО выглядит как единый сервер с большим числом ядер и большим же объёмом памяти.

Такой подход упрощает масштабирование нагрузки для ряда приложений и, помимо всего прочего, не требует заметных модификаций кода. В случае AMD EPYC Rome использование vSMP Foundation позволяет объединить до 128 CPU, получив таким образом машину с 8192 ядрами и 256 Тбайт RAM.

И вот, наконец, сотрудничество компаний дало значимые результаты. В бенчмарке SPEC CPU 2017 32-сокетные системы с AMD EPYC 7002 (64/128, 2,0/3,35 ГГц, 256 Мбайт L3) заняли первые места и в целочисленных вычислениях, и в расчётах с плавающей запятой, обогнав предыдущего лидера в примерно на 80%. Им была HPE Superdome Flex на базе 32 процессоров Intel Xeon Platinum 8180 (28/56, 2,5/3,8 ГГц, 38,5 Мбайт L3). Рекорд этой системы продержался ровно два года.

Для теста AMD EPYC Rome и vSMP Foundation использовались серверы Supermicro A+ Server 2123BT-HNC0R: 2U, 4 узла, 2 CPU в каждом узле.

ScaleMP, поставщик решений виртуализации для высокопроизводительных вычислений, объявил о сотрудничестве с AMD.

Теперь vSMP Foundation поддерживает процессоры EPYC Rome 7002 и позволяет объединить до 128 сокетов в рамках одной системы. Суммарно можно получить до 8192 ядер и до 256 Тбайт общей памяти. 

pixabay.com

Гипервизор vSMP Foundation позволяет объединять множество стандартных серверов x86-64 в единую виртуальную высокопроизводительную систему, которая представляется не как кластер из разрозненных машин, а как единственный, но очень мощный сервер. Такой подход позволяет упростить запуск ряда требовательных приложений и значительно облегчить масштабирование вычислительных мощностей.  При этом никаких существенных изменений в операционной системе и прикладном ПО не требуется. 

Впрочем, интереснее было бы посмотреть на другие решения ScaleMP. В частности, на реализацию vSMP MemoryONE для прозрачного расширения видимого в системе объёма RAM за счёт SSD. Напомним, что первоначальная реализация Intel Memory Drive Technology (IMDT) базировалась именно на этой технологии ScaleMP, которая перестала быть эксклюзивом. Теперь Intel предлагает в рамках Optane DC Persistent Memory (DCPMM) такое же бесшовное расширение, но уже с помощью DIMM-модулей Optane.

В прошлом году уже были представлены первые решения  vSMP MemoryONE от других производителей: SSD WD Ultrastar DC ME200 Memory Extension Drive. AMD-платформы нового поколения поддерживают PCI-E 4.0, что может благотворно сказаться на производительности «гибридной» памяти. 

Для зарождающегося рынка решений и услуг «вычислений в памяти» (in-memory computing) компания Western Digital разработала семейство накопителей Ultrastar DC ME200 Memory Extension Drive. Подчеркнём, в наименовании новинки вы не увидите привычной аббревиатуры SSD. С точки зрения Western Digital — это именно «расширитель» ОЗУ, а не привычное всем устройство для долговременного хранения данных. Внешне новинки невозможно отличить от SSD в исполнении PCIe-адаптера или накопителя в форм-фактре U.2. Но логика работы накопителей Memory Extension Drive совсем другая и требует иного подхода со стороны разработчиков программ и операционных систем.

В компании Western Digital заявляют о совместимости Memory Extension Drive с Linux 64-bit OS, RHEL 6.5, 6.6, 6.7, 6.8, 6.9, 7.0, 7.1, 7.2, 7.3, 7.4, SLES 11-SP4, 12, 12-SP1, 12-SP2, Fedora Core версии от 4 до 27, Open SuSe версий 10 и 11, Ubuntu Server версий от 16.04 до 17.10 и Debian 9.5.0. Драйверы и утилиты создают платформу для адресации к виртуальной программно-конфигурируемой памяти, где нет различия между модулями DRAM и SSD с поддержкой протокола NVMe. Тем самым условно сколь угодно большой массив данных можно загрузить и обработать в памяти, где для программного обеспечения нет различия между модулями DRAM и накопителями SSD.

Для того, чтобы накопители Memory Extension Drive работали с производительностью, близкой к производительности оперативной памяти, а в ином случае весь этот огород не имеет смысла, разработчик задействовал свыше 20 алгоритмов кеширования, предсказания ветвлений и другие механизмы для сглаживания проблем, связанных с задержками обращения к SSD. При этом Western Digital настаивает, что проблему стирания границы между SSD и DRAM в основном должны решать специальные алгоритмы машинного обучения. В одиночку компания не потянет весь круг задач и призывает сообщество развивать программную инфраструктуру для накопителей Memory Extension Drive.

Как уверены в компании, накопители Memory Extension Drive хорошо подходят для решения следующих задач: для сетевого журналируемого хранилища данных Redis, для сервиса кеширования данных Memcached в оперативной памяти на основе хеш-таблицы, для баз данных In-Memory, для хранилищ данных, для IoT-платформ, для потоковой аналитики, для Apache (Spark, Storm, Kafka), для распределённых баз в памяти, для приложений с кешированием, для распределённого контента (CDN), для услуг SaaS, для аналитики как сервиса, AI/ML и сервисов с массивным журналированием.

На момент анонса компания поставляет избранным клиентам накопители Ultrastar DC ME200 Memory Extension Drive в виде моделей объёмом 1 Тбайт, 2 Тбайт и 4 Тбайт. Полка высотой 1U вместит достаточно накопителей в форм-факторе U.2, чтобы предоставить пользователю 24 Тбайт «почти что памяти DRAM». Насколько будут велики потери от работы такой виртуальной памяти? По данным WD, если взять за чистую производительность обращение к 786 Гбайт DRAM, скорость работы которой оценивается на уровне 1,080 млн транзакций в секунду, то микс 3:1 (576 Гбайт Ultrastar и 192 Гбайт DRAM) просядет до 91 % производительности или до 983 тыс. транзакций, а при соотношении 7:1 (672 Гбайт Ultrastar и 96 Гбайт DRAM) производительность снизится до 85 % или 918 тыс. транзакций в секунду. Достаточно интересно, но как за это проголосует индустрия, пока непонятно.