Материалы по тегу: in-memory

24.09.2020 [16:35], Владимир Мироненко

MemVerge и Penguin Computing представили решение Big Memory Computing Solutions

MemVerge и Penguin Computing, дочерняя компания SMART Global Holdings, Inc., лидер в области решений для высокопроизводительных вычислений, ИИ и корпоративных ЦОД, объявили о партнёрстве с целью предоставления первого в мире решения Big Memory Computing Solutions.  Это решение предназначено для выполнения вычислений класса Big Memory, для которых оперативная и постоянная память объединяются в виртуализированные массивные пулы программно-определяемой памяти.

Такие пулы призваны удовлетворить растущий спрос на обработку данных, получаемых в реальном времени, и способны экономично масштабироваться до многих Тбайт с обеспечением высокой доступности. По данным IDC, к 2024 году почти четверть всех созданных данных будет получено в реальном времени, а две трети корпораций из списка Global 2000 развернут хотя бы одно приложение реального времени, которое считается критически важным. 

«Переход к вычислениям in-memory вызвало значительный интерес к технологии MemVerge в широком спектре наших технологических дисциплин и вертикальных рынков, — отметил Кевин Таббс (Kevin Tubbs), старший вице-президент группы стратегических решений Penguin Computing. — Мы специализируемся на разработке и компоновке важнейших новых технологий для наших клиентов в области ИИ и высокопроизводительных вычислений в хорошо настроенных эталонных архитектурах с хорошей поддержкой».

«[Подход] Big Memory изменит инфраструктуру центров обработки данных, — заявил Чарльз Фан (Charles Fan), соучредитель и генеральный директор MemVerge. — Сочетание опыта Penguin Computing в разработке приложений для высокопроизводительных вычислений, ИИ/машинного обучения и ЦОД, инновационной памяти Intel Optane [PMEM] с нашим ПО Memory Machine позволяет нашим клиентам без компромиссов пользоваться новой услугой программно-определяемой памяти».

DRAM без использования Big Memory Solutions работает быстрее, чем PMEM. А с этим решением DRAM и PMEM работают вместе так же быстро или даже быстрее, чем одна только DRAM, обеспечивая при этом высокую доступность инфраструктуры памяти. ПО Memory Machine позволяет организациям осуществлять обновление серверов с помощью постоянной памяти, которая стоит значительно дешевле, без риска потери производительности.

После виртуализации DRAM и PMEM Big Memory Computing отображает PMEM как DRAM, позволяя любому приложению подключаться к пулу памяти без дополнительной модификации кода ПО. С помощью единой оболочки виртуализации Memory Machine все приложения ЦОД будут иметь быстрый и легкий доступ к недорогому пулу DRAM и PMEM. Более подробно о технологии MemVerge рассказано в отдельной заметке.

Постоянный URL: http://servernews.ru/1021423
24.09.2020 [16:32], Алексей Степин

MemVerge представила платформу виртуализации памяти Memory Machine

Над всеми современными компьютерными архитектурами довлеет одно проклятие — разделение всех ресурсов памяти на быструю (оперативную) и медленную (дисковую). Несмотря на весь прогресс в области микроэлектроники, сам принцип остаётся фундаментальным и по сей день, однако есть и те, кто решается бросить вызов этой системе. Компания MemVerge, летом этого года заявившая о том, что делает ставку на вычисления в памяти (in-memory), официально представила разработанное ей специально для этой цели программное обеспечение под названием Memory Machine.

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Модуль Optane DCPMM без радиатора. Виден контроллер и один из чипов Optane

Как и все инициативы подобного рода, Memory Machine нуждается в достаточно быстром, но при этом энергонезависимом типе памяти: обычная DRAM не подходит и по цене, и по невозможности надёжно хранить данные. К счастью, сейчас такая «промежуточная» память есть, и это, разумеется, Intel Optane. Успешно доказана возможность Optane дополнять обычную память, и в тех случаях, где объём важнее пропускной способности, такие системы показывают впечатляющие результаты.

Архитектурные устои современных серверов и кластерных систем, однако, приходится преодолевать, и именно с этой целью MemVerge разработала специальную программную прослойку, существенно упрощающую построение комбинированных пулов памяти, сочетающих в себе DRAM и Optane DCPMM (PMEM, Persistent Memory). В основе Memory Machine лежит идея прослойки виртуализации между приложениями и различными API доступа к памяти и хранилищам данных.

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Концепция in-memory, реализованная MemVerge. Для связи между узлами кластера используется RDMA over Converged Ethernet

Благодаря этой прослойке, все имеющиеся сочетания DRAM и Optane DCPMM в пределах сервера или различных узлах кластера представляются, как единое объектное пространство памяти (Distributed Memory Objects), а приложения воспринимают это пространство как обычный объём памяти, с которым можно работать стандартными средствами. Прослойка с точки зрения приложений полностью прозрачна, а значит, приложения не нуждаются в модернизации. Для внедрения вычислений in-memory без модернизации ПО достаточно приобретения Memory Machine Standard Edition.

MemVerge Memory Machine включает в себя удобные средства мониторинга и управления

Но существует и расширенная версия, Memory Machine Advanced Edition, ещё более продвинутая и выводящая идею единого быстрого пространства памяти на новый уровень. Ключевым отличием от стандартной версии можно назвать поддержку ZeroIO, технологии моментальных снимков памяти. Если верить MemVerge, ZeroIO позволяет полностью отказаться от операций ввода-вывода с традиционными блочными накопителями (SSD и HDD) и хранить всё в пределах PMEM.

Загрузка объемных рабочих сценариев (сотни гигабайт или единицы терабайт) при этом занимает секунды против минут и часов при традиционном подходе. Поддерживается практически мгновенное клонирование объёмных баз данных, что обязательно порадует разработчиков. Также реализована функция Time Travel, позволяющая быстро откатываться к любому из сделанных ранее снимков.

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Memory Machine состоит из гипервизора памяти и надстроек, работающих непосредственно с приложениями

Разумеется, Memory Machine представляет собой весьма непростое программное обеспечение. При всех своих достоинствах, память Optane DCPMM всё же уступает традиционным модулям DRAM DIMM в производительности. Но Memory Machine дирижирует имеющимися в её распоряжении ресурсами интеллектуально, перемещая наиболее часто используемые, «горячие» данные в область DRAM для максимизации производительности. Общий объём DRAM и Optane при этом всё равно используется на 100%.

В основе Memory Machine лежит гипервизор на базе Linux, он-то и занимается виртуализацией всех ресурсов памяти в единый пул. Из этого пула приложения могут забирать необходимые ресурсы, а надстройка Memory Machine следит за тем, чтобы производительность была максимальной и поддерживает качество обслуживания (QoS). А в случае Advanced Edition, эта надстройка отвечает и за функции ZeroIO.

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Новое ПО поддерживает зонирование памяти (tiering), снятие снэпшотов и репликацию в реальном времени

Обе редакции MemVerge Memory Machine можно заказать уже сейчас. Список поддерживающего режим выполнения in-memory программного обеспечения достаточно широк и включает в себя такие наименования как Autodesk Maya, TensorFlow, PyTorch, MySQL, MongoDB, KVM и ряд других. Список будет постоянно пополняться, также компания принимает отдельные заказы на обеспечение поддержки пользовательского приложения.

Аппаратные ограничения проистекают из самой природы Memory Machine: к сожалению, серверы на базе AMD EPYC не подходят, как не поддерживающие Optane DPCMM. Но подойдёт любой сервер с процессорами Intel Xeon Scalable второго поколения, поддерживающими такой тип модулей памяти. Поддерживаются гипервизоры VMware ESXi и QEMU-KVM, операционные системы CentOS и Red Hat Enterprise Linux, а также платформы контейнеризации на базе Kubernetes.

Напомним, что на самих платформах Intel память Optane DCPMM тоже может работать в режиме прозрачного расширения объёма DRAM. А на более ранних платформах с Xeon Scalable первого поколения доступна технология IMDT, которая позволяет расширить объём видимой в системе оперативной памяти за счёт NVMe-накопителей (в первую очередь, на базе той же Optane).

Постоянный URL: http://servernews.ru/1021442
20.05.2020 [08:08], Алексей Степин

Стартап MemVerge делает ставку на вычисления in-memory

Наряду с ускорением вычислений (GPU, FPGA) и совершенствованием шин (NVLink, CXL), технологии класса in-memory computing станут частью высокопроизводительных систем нового поколения. Речь идёт о переносе как можно больших объёмов данных в RAM, что должно решить целый спектр проблем, вызываемый достаточно высокой латентностью традиционных накопителей.

Молодой стартап MemVerge согласен с этим видением, но полагает, что для достижения наилучшего результата потребуется соответствующая программная прослойка.

Хранить данные в оперативной памяти всегда было заманчивой идеей, поскольку такая память на порядки быстрее традиционных накопителей. Однако до недавних пор реализация этой идеи была достаточно ограниченной. С одной стороны, DRAM является достаточно дорогим удовольствием, а с другой — её объёмы ограничены и в ряде случаев их может оказаться недостаточно. С появлением новых типов энергонезависимой памяти класса SCM, главным из которых пока является Intel Optane, ситуация начинает понемногу меняться. Этого потребует и сам рост объёмов данных, получаемых в реальном времени, считает MemVerge.

Концепция in-memory computing в версии MemVerge

Концепция in-memory computing в версии MemVerge

Согласно исследованию, проведенному IDC, в следующие пять лет четверть всех данных, обрабатываемых вычислительными системами планеты, будут составлять данные реального времени. Следовательно, от машин нового поколения потребуется не только скорость работы с памятью, но и солидные её объёмы. MemVerge полагает, что для оптимальной реализации вычислений in-memory потребуется сочетание DRAM, энергонезависимой SCM-памяти и специальной программной прослойки. Последнюю компания называет Memory Machine. 

Основой, как уже было сказано, считается память Intel Optane DCPMM, поскольку пока только эта технология позволяет создавать массивы памяти нужного для воплощения концепции memory centric объёма. MemVerge надеется занять нишу первопроходца в программной части реализации Memory Machine и стать основополагателем соответствующего стандарта. На сегодняшний день Optane хотя и опробована большинством крупных владельцев ЦОД, но единого стандарта на реализацию in-memory computing нет, что сдерживает широкое распространение концепции.  Однако к 2022 году ситуация может измениться и у Optane появится 3 ‒ 4 конкурирующих типа энергонезависимой памяти. Одним из них может стать MRAM — рабочие образцы такой памяти уже существуют, но по объёму пока не могут сравниться с Optane.

Постоянный URL: http://servernews.ru/1011336
25.01.2020 [14:48], Геннадий Детинич

Серверная память UPMEM показывает 10-кратное преимущество над DDR4 в ряде задач

Опытная партия памяти UPMEM была представлена летом прошлого года. Разработчик выпустил 8-Гбайт модули DDR4-2400 RDIMM (ECC), каждый из которых опирался на 4-Гбит микросхемы DRAM с 8 встроенными процессорами DPU (data processing unit). То есть каждый модуль такой памяти был вооружён 128 процессорами для первичной обработки данных прямо на кристаллах памяти.

Важно отметить, что память UPMEM полностью совместима с имеющимся оборудованием. Модификации требуют только некоторые программные библиотеки, но они не очень большие, всего несколько сотен строк кода. Зато потом штатные платформы на процессорах Intel Xeon могут получить многократный рост производительности и снижение итогового энергопотребления без увеличения объёма памяти.

Свежим пресс-релизом разработчик поделился бенчмарками работы системы с процессорами Intel Xeon на памяти UPMEM в приложении для анализа генома человека и при индексном поиске. Работа инструмента GATK (Genome Analysis Toolkit) для составления генетической карты и анализа отклонений на массиве памяти UPMEM прошла в 10 раз быстрее, чем на аналогичном по объёму массиве обычной памяти DDR4.

Поскольку фрагменты генома обрабатывались прямо в памяти, это привело к росту пропускной способности в 11 раз. Всё вместе сопровождалось снижением потребления в 6 раз в пересчёте на пропускную способность. При этом надо отметить, что модуль UPMEM потребляет в два раза больше энергии, чем обычный модуль памяти без встроенных процессоров.

Запуск индексного поиска также  показал преимущество встроенной в память первичной обработки данных. На массиве памяти UPMEM запрос распараллеливался по всем чипам и там обрабатывался встроенными процессорами вместо того, чтобы загружать данные в центральный процессор и только там их обрабатывать. Как результат, задержки в обработке снизились в 35 раз, а пропускная способность выросла в 11 раз. Потребление при выполнении этой задачи оказалось также в 6 раз меньше, чем с использованием обычной памяти.

Результаты реальных тестов памяти UPMEM оказались несколько меньше теоретически обоснованных. Ранее разработчик заявлял о 10-кратном снижении потребления, тогда как на деле потребление снизилось в 6 раз. Но даже это выглядит превосходным результатом. При этом скорость работы приложений выросла на порядок, что окажет услугу учёным и человечеству при расшифровке генома и ускорит поиск информации удалёнными клиентами.

Постоянный URL: http://servernews.ru/1002241
31.10.2019 [23:46], Алексей Степин

Selectel HyperServer: 1024 ядра и 64 Тбайт RAM в одной супер-ВМ

Облачный провайдер Selectel объявила о запуске платформы Selectel HyperServer для «вычислений в памяти» (in-memory).

Как считает руководство компании, HyperServer является альтернативой дорогим и сложным суперкомпьютерам и кластерным системам. В этом есть резон, поскольку настоящий суперкомпьютер требует затрат не только на постройку, но и на поддержание в рабочем состоянии. Сервисная модель, предлагаемая Selectel, позволит сократить расходы на супервычисления.

В основе нового сервиса лежит технология TidalScale, позволяющая объединить от двух до нескольких десятков классических серверов в единый виртуальный сервер. Комплекс серверов работает под управлением гипервизора, в реальном времени распределяющего нагрузку между физическими узлами. TidalScale является конкурентом для ScaleMP vSMP Foundation.

Пока максимальная конфигурация HyperServer может включать в себя 1024 ядра и 64 Тбайт оперативной памяти; возможно, в будущем эти цифры будут увеличены. Оплата новой услуги будет взыматься в соответствии с потреблением вычислительных мощностей. Стоимость владения таким виртуальным «суперкомпьютером» существенно ниже, нежели в случае постройки настоящего кластера сравнимой производительности.

Система HyperServer инсталлируется в течение недели, корректировка технических параметров под задачу клиента требует лишь нескольких дней. Такой подход позволяет использовать супервычисления как для регулярных задач, так и для коротких проектов, ради которых заводить настоящий кластер было бы весьма накладно.

Диапазон решаемых с помощью HyperServer задач достаточно широк: тут и базы данных SAP HANA или Oracle, и создание тестового окружения для ERP-систем, и многое другое. Более подробная информация о новой услуге есть на веб-сайте компании.

Постоянный URL: http://servernews.ru/996662
02.09.2019 [11:16], Геннадий Детинич

Baidu закупает Intel Optane DCPMM для in-memory БД Feed-Cube

Память Intel Optane DC Persistent Memory (DCPMM) в виде DIMM-модулей позволяет обойти ограничения, которые накладывают на серверные системы высокая цена и сравнительно низкая плотность оперативной памяти DRAM и относительная удалённость от процессоров классических SSD. 

Память Intel Optane DCPMM обеспечивает существенно большую ёмкость за те же деньги, чем может позволить оперативная память. Это открывает путь к росту объёмов баз данных в памяти (in-memory) и к сокращениям задержек при обращении к таким базам. 

Как сообщает нам официальный пресс-релиз компании Intel, китайский гигант электронной коммерции, компания Baidu, внедряет платформы с процессорами Intel Xeon Scalable второго поколения и памятью Intel Optane DCPMM. В частности, эти платформы Intel используются для обслуживания рекомендательных сервисов Baidu для поиска интересной пользователям информации в облачном сервисе Feed Stream.

Для этого Baidu разработала in-memory БД Feed-Cube. Проверка на практике показала, что в случае использования гибридной подсистемы памяти из DRAM и Intel Optane DCPMM поисковый запрос обрабатывается быстрее даже «под давлением одновременного доступа [к данным]».

Если вместо Intel Optane DCPMM использовать обычный пул памяти и NVMe SSD, то SSD создают «серьёзные задержки при обработке очереди команд», что снижает качество обслуживания. При размещении базы Feed-Cube только лишь в памяти DRAM этого не происходит, но высокая стоимость и сравнительная низкая плотность традиционной оперативной памяти не позволяет бесконечно наращивать объём пула. С памятью Intel Optane DCPMM масштабирование происходит намного проще.

Это не первый и не последний опыт сотрудничества Intel и Baidu. Компании являются стратегическими партнёрами во многих проектах в течение вот уже почти 10 лет. Последним значимым событием стало заключение в начале августа стратегического соглашения между Intel и Baidu на почве развёртывания ИИ-платформ с использованием решений Intel Nervana для машинного обучения (Intel NNP-T).

Постоянный URL: http://servernews.ru/993331
20.08.2019 [18:08], Геннадий Детинич

Стартуют поставки памяти UPMEM со встроенными процессорами

На конференции Hot Chips 31 французская компания UPMEM объявила о начале опытных поставок памяти со встроенными процессорами. Модули памяти в форм-факторе DDR4 RDIMM и RDIMM ECC представлены внешне обычными 8-Гбайт планками DDR4-2400 из 16 и, соответственно, 18 чипов объёмом 4 Гбит DDR4-2400 каждый. Но каждый из них ― это не просто кристалл памяти. Внутри каждой микросхемы находятся несколько интегрированных процессоров DPU (data processing unit), каждый из которых адресуется к 64 Мбайт памяти. Итого, в каждом 4-Гбит чипе находятся по 8 DPU. Всего 8-Гбайт модуль DDR4 RDIMM содержит 128 DPU.

Истончник изображения - AnandTech

Источник изображения ― AnandTech

Данное новшество, уверяют разработчики, значительно ускорит обработку данных, повысит эффективность расчётов и снизит стоимость владения вычислительными системами. Всё дело в том, что простые операции над данными будут выполняться прямо в памяти ― там, где они хранятся. Это освободит как центральный процессор, так и всю цепочку по извлечению, пересылке, кешированию, обработке и обратной отсылке данных. Модули памяти UPMEM будут потреблять в два раза больше обычных модулей без встроенных процессоров, но в пересчёте на энергозатраты по обработке каждого запроса данных они окажутся в 10 раз менее затратными по потреблению и в 20 раз производительнее с точки зрения работы приложений.

Источник изображения ― AnandTech

Источник изображения ― AnandTech

Процессоры DPU имеют простую 32-битную архитектуру и рассчитаны на простые действия с данными типа  несложных инструкций смещения со сложением, смещения с заменой, циклические сдвиги и других. Модули UPMEM можно устанавливать в обычные материнские платы со штатными разъёмами под память RDIMM.

Источник изображения ― AnandTech

Источник изображения ― AnandTech

Необходимо лишь «слегка», как утверждают в UPMEM, модифицировать программы (библиотеки C) несколькими сотнями строк кода, с чем дюжина программистов может справиться за пару-тройку недель. Зато на выходе будет платформа, весьма эффективно перерабатывающая большие данные.

Источник изображения ― AnandTech

Источник изображения ― AnandTech

Разработками UPMEM активно интересуются инвесторы. Например, в компанию UPMEM вложила деньги и силы корпорация Western Digital. Как производитель флеш-памяти, WDC интересуется решениями, которые открывают новые горизонты для систем хранения. Модули UPMEM, как нетрудно понять, можно выпустить также с памятью NAND с интегрированными DPU, что наверняка интересует Western Digital и не только. Пока же UPMEM собирается продолжать совершенствовать чипы оперативной памяти. Следующим шагом обещает стать выпуск 128-Гбайт модулей RDIMM с 2048 процессорами DPU в составе каждого. Кстати, потребление 8-Гбайт модуля уже критическое для слота памяти (свыше 20 Вт). Поэтому разработчики рассматривают также иные варианты исполнения массивов памяти со встроенными процессорами.

Источник изображения ― AnandTech

Источник изображения ― AnandTech

Постоянный URL: http://servernews.ru/992738
27.07.2013 [20:33], Андрей Крупин

Oracle начала продажи двух новых приложений линейки In-Memory Applications

Корпорация Oracle расширила список программных решений In-Memory Applications для платформы Value Chain Planning двумя новыми продуктами — Consumption-Driven Planning и Performance-Driven Planning.

Приложение Consumption-Driven Planning помогает организациям ежедневно понимать, оценивать и реагировать на реальный спрос конечных потребителей. Performance-Driven Planning в свою очередь позволяет компаниям планировать и анализировать большие объемы данных цепочки поставок и получать более точную и своевременную бизнес-информацию для моделирования различных сценариев в режиме реального времени.

Представленные компанией продукты предназначены для оптимизированных программно-аппаратных комплексов Engineered Systems, особенностью которых является высокая скорость отклика за счет использования динамической оперативной памяти DRAM, флеш-памяти и сетевого интерфейса InfiniBand. Приложения In-Memory Applications, работающие в оперативной памяти, меняют динамику бизнеса, помогая быстро находить возможности для роста, принимать более взвешенные решения, сокращать корпоративные расходы и ускорять трудоемкие рабочие IT-процессы.

Oracle начала продажи двух новых приложений линейки In-Memory Applications

Помимо Consumption-Driven Planning и Performance-Driven Planning в портфолио Oracle In-Memory Applications представлены следующие продукты: Oracle E-Business Suite Cost Management, Oracle SCM Consumption Driven Planning, Oracle SCM Performance Driven Planning, Oracle SCM Logistics Command Center, Siebel CRM Policy Analytics, Siebel CRM Next Best Action, Hyperion EPM Virtual Close, JD Edwards EnterpriseOne Sales Advisor, JD Edwards EnterpriseOne Project Portfolio Management, PeopleSoft Project Discovery, PeopleSoft Labor Rules and Monitoring, PeopleSoft Financial Allocations Analyzer и PeopleSoft Financial Position Analyzer.

Дополнительные сведения о линейке приложений In-Memory Applications можно найти на сайте oracle.com.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/597617
18.04.2013 [16:12], Андрей Крупин

Oracle анонсировала новое семейство бизнес-приложений In-Memory Applications

Корпорация Oracle представила корпоративной аудитории новые приложения In-Memory Applications для оптимизированных программно-аппаратных комплексов Engineered Systems, особенностью которых является высокая скорость отклика за счет использования динамической оперативной памяти DRAM, флеш-памяти и сетевого интерфейса InfiniBand.

В опубликованном компанией пресс-релизе подчеркивается, что критически важные бизнес-приложения и процессы - такие как закрытие финансовых периодов, управление затратами, планирование и прогнозирование - часто требуют многих часов или даже дней на выполнение. Новые приложения In-Memory Applications от Oracle, работающие в оперативной памяти, меняют динамику бизнеса, помогая быстро находить возможности для роста, принимать более взвешенные решения, сокращать корпоративные расходы и ускорять трудоемкие рабочие IT-процессы.

Oracle анонсировала новое семейство бизнес-приложений In-Memory Applications

В портфолио Oracle In-Memory Applications представлены следующие продукты: Oracle E-Business Suite In-Memory Cost Management, Oracle SCM In-Memory Consumption Driven Planning, Oracle SCM In-Memory Performance Driven Planning, Oracle SCM In-Memory Logistics Command Center, Siebel CRM In-Memory Policy Analytics, Siebel CRM In-Memory Next Best Action, Hyperion EPM In-Memory Virtual Close, JD Edwards EnterpriseOne In-Memory Sales Advisor, JD Edwards EnterpriseOne In-Memory Project Portfolio Management, PeopleSoft In-Memory Project Discovery, PeopleSoft In-Memory Labor Rules and Monitoring, PeopleSoft In-Memory Financial Allocations Analyzer и PeopleSoft In-Memory Financial Position Analyzer.

Дополнительные сведения о линейке приложений In-Memory Applications можно найти на сайте oracle.com.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/597297
Система Orphus