Материалы по тегу: субд

17.09.2020 [11:49], Андрей Крупин

Mail.ru Group инвестирует 300 млн рублей в продвижение СУБД Tarantool на зарубежном рынке

Компания Mail.Ru Group объявила о намерении вложить 300 млн рублей в развитие системы управления базами данных Tarantool. Инвестиции пойдут на повышение узнаваемости и увеличение конкурентоспособности продукта на международной арене.

Сообщается, что основной акцент будет сделан на расширении безопасности, функциональности и совместимости Tarantool с распространёнными зарубежными аналогами, а также на усилении международной команды разработчиков СУБД и запуске англоязычной поддержки.

«К концу 2020 года объем глобального рынка СУБД превысит 70 млрд долларов США. Сегмент распределённых баз данных активно растёт, и мы высоко оцениваем перспективы зарубежной экспансии», — говорится в заявлении Павла Гонтарева, управляющего директора «Mail.ru Цифровые технологии».

СУБД Tarantool — собственная разработка Mail.Ru Group, которая используется в компании около десяти лет и ориентирована на решения в области промышленного Интернета вещей (Industrial Internet of Things, IIoT). В отличие от большинства промышленных систем управления базами данных, предъявляющих высокие технические требования к компьютерным системам, Tarantool можно устанавливать даже на недорогие устройства стоимостью до $50. При этом отечественная СУБД способна обрабатывать до 50 тысяч транзакций в секунду, может собирать информацию с миллионов IIoT-датчиков и поддерживает популярные протоколы для работы с ними. Tarantool успешно внедрена в ряде крупных российских и международных компаний, среди которых «ВымпелКом», «МегаФон», Yota, Badoo, Avito, QIWI и Wallarm.

Исходный код СУБД полностью открыт.

Постоянный URL: http://servernews.ru/1020854
06.08.2020 [13:54], Юрий Поздеев

ScaleFlux SSD с набортной ПЛИС в три раза ускоряет работу Percona MySQL

СУБД MySQL в реализации от Percona работает быстрее с SSD ScaleFlux и есть замеры, подтверждающие это. В сравнительных тестах ScaleFlux CSD 2000 оказался почти в 3 раза быстрее, чем Intel DC P4610 (на определенных рабочих нагрузках, разумеется).

Основная идея ScaleFlux проста — отдельные аппаратные блоки в накопителях могут выполнять некоторые операции быстрее, чем сам сервер, где эти накопители находятся: сжатие/распаковка, перекодирование видео и тому подобное. В частности, ScaleFlux CSD 2000 поддерживает аппаратное сжатие GZIP, которое эффективно удваивает емкость и обеспечивает на 40-70 процентов больше операций ввода-вывода в секунду, чем аналогичные твердотельные NVMe-накопители при смешанных рабочих нагрузках чтения-записи OLTP.

В своих совместных тестах Percona и ScaleFlux сравнили CSD 2000 с твердотельным накопителем Intel DC P4610 емкостью 3,2 Тбайт (64-слойная TLC 3D NAND + NVMe PCIe 3.1 x4). Модель CSD 2000 во многом похожа на него: интерфейс NVMe PCIe 3.0, ёмкость 4 Тбайт, чипы памяти TLC 3D NAND. Однако у неё есть FPGA, выполняющий функции обработки данных (сжатие и кодирование) и функции ускорения для баз данных.

База данных Percona имеет буфер «DoubleWrite» для защиты от потери и повреждения данных, в котором набор страниц извлекается из буфера и хранится до тех пор, пока данные не будут окончательно записаны в базу данных. Твердотельный накопитель CSD 2000 имеет функцию «атомарной записи», которая делает двойной буфер избыточным и его можно отключить, что значительно ускоряет запись в базу данных. Intel P4610 не имеет функции атомарной записи.

Ниже представлены результаты тестов двух накопителей в Sysbench, причем CSD 2000 был протестирован как с функцией двойного буфера, так и без нее, а для накопителя Intel отдельно сделан тест со сжатием данных силами самого сервера:

По диаграммам видно, что по мере увеличения потоков от 8 до 256 преимущество ScaleFlux растет, при этом атомарная запись становится значительным фактором при 64 потоках и выше (темно-синий столбец). Отключение Percona DoubleWrite позволило CSD 2000 повысить производительность при 64 потоках с 2000 запросов в секунду до более чем 2700. При количестве потоков от 64 до 128 накопитель ScaleFlux почти в три раза быстрее, чем Intel.

Идея переноса вычислений «ближе к данным» существует уже не первый год, обычно для этого в СХД используются специализированные ускорители (ASIC), расположенные в контроллерах, однако в последние годы наметилась тенденция переноса некоторых рабочих нагрузок непосредственно в устройства хранения (накопители), что дает значительный прирост производительности, разгружая контроллер СХД и центральный процессор.

Постоянный URL: http://servernews.ru/1017543
31.07.2020 [18:37], Алексей Степин

Сопроцессор для SSD от Pliops ускорит работу с базами данных в 10 раз

Компания Pliops ещё молода: она была основана в 2017 году выходцами из Samsung, M-Systems и XtremIO; все основатели являются специалистами в области СХД и энергонезависимой памяти. В 2019 году Pliops получила существенный объём инвестиций от Mellanox. А в 2020 году компания анонсирует свой новейший продукт — сопроцессор, берущий на себя тяжёлые задачи по работе с флеш-памятью.

Подобные чипы разрабатывают многие, но Pliops обещает, что её решение ускорит работу с такого рода памятью более чем в 10 раз. Впервые технология была продемонстрирована на саммите Flash Memory 2019, и вот, наконец, концепция обратилась в реальный осязаемый продукт, доступный к приобретению.

Решение Pliops достаточно необычное: это не контроллер NAND-массива, а именно сопроцессор-ускоритель, выполненный в виде отдельной платы с разъёмом PCI Express и берущий на себя всю работу по обслуживанию массивов SSD. И делает это новый ускоритель максимально эффективно: серьёзные флеш-СХД могут нагружать хост-процессоры весьма сильно, но решение Pliops позволяет решить эту проблему.

Особенно сильно эффект проявится в системах, используемых для работы с базами данных. Pliops объясняет это тем, что СУБД, будь то реляционные или NoSQL, традиционно разделяют непосредственно данные и ключи или индексы. А отдельная единица хранения данных имеет переменный размер, и эта структура не слишком хорошо сочетатся с традиционными устройствами хранения данных, у которых размер блока фиксирован.

Если в случае с обычными HDD вычислительная нагрузка невелика, поскольку случайных операций такие устройства выдают немного (в районе сотен), то твердотельные накопители, способные выдать 500 тысяч IOPS и более, создают и серьёзную вычислительную нагрузку, «утрамбовывая» вариабельные блоки данных в свой жёсткий формат. К этому добавляет проблем использование сжатия данных, которое тоже создаёт нагрузку.

Сопроцессор, разработанный Pliops и получивший название PSP, как раз и призван взять на себя все обязанности по работе с данными в формате Key:Value (KV), что особенно важно в крупных СХД, работающих с огромными массивами БД. Немаловажно то, что сопроцессор Pliops делает свою работу полностью прозрачно и не требует модификации программного обеспечения пользователя.

Со стороны ПО он выглядит, как обычный блочный SSD, однако за счёт аппаратного акселератора работа с базами данных может ускориться более, чем в 10 раз, а время отклика — параметр также весьма немаловажный, когда речь заходит о БД — снизится еще сильнее, в 100 раз. Новинка уже прошла предварительную проверку более чем у десяти крупных провайдеров облачных и корпоративных услуг по хранению данных и запуску БД.

Сопроцессор PSP позволяет использовать обычные недорогие SSD (даже с QLC-памятью) а это уменьшает стоимость владения на величину до 90%, поскольку крупные специализированные твердотельные СХД всё ещё очень дороги. Pliops PSP ускоряет работу с MySQL, MariaDB, mogoDB, Redis, Oracle, Apache Spark и Cassandra и системы на его основе прекрасно масштабируются.

Разработчики PSP полагают, что данного рода сопроцессоры образуют отдельный популярный класс устройств, подобно тому, как это случилось с графическими процессорами и сейчас происходит с тензорными ускорителями. Что ж, у Pliops есть все шансы стать в сфере работы с All-Flash СХД тем, чем стала NVIDIA в области ускорения машинного интеллекта.

Естественно, это далеко не первый проект по ускорению работы SSD вообще и оптимизации их для СУБД в частности. Например, у Samsung есть экспериментальный продукт KV Stacks — Key:Value SSD, созданный специально для баз данных одноимённого типа. Другие проекты зачастую опираются на FPGA. Та же Samsung совместно с Xilinx представила SmartSSD, обрабатывающий часть данных непосредственно на накопителе. А SmartIOPS уже не первый год поставляет SSD с фирменным контролером на базе ПЛИС.

Вероятно, следующим большим шагом станет массовое внедрение зонирования, которое подходит для HDD с SMR и уже включено в стандарт NVMe, и «вынос» FTL (Flash Translation Layer) за пределы отдельного накопителя с программной или аппаратной эмуляцией FTL на уровней всей СХД сразу.

Постоянный URL: http://servernews.ru/1017162
17.07.2020 [01:49], Юрий Поздеев

Tintri: система хранения данных для SQL

Tintri выпустила обновление для своей платформы хранения данных с поддержкой виртуальных машин, которое обеспечивает тот же уровень детализации управления для баз данных SQL. Преимущества включают в себя упрощение клонирования баз данных и возможность для администраторов напрямую выделять больше ресурсов при необходимости.

Интегрированное с SQL хранилище данных базируется на технологии Tintri, разработанной для виртуальных машин, благодаря которой массивы VMstore стали популярным выбором для сред VMware. Новая версия ПО интегрирует хранилище непосредственно с SQL сервером, а также упрощает и автоматизирует задачи управления хранилищем для баз данных SQL и, следовательно, администраторов баз данных (DBA).

Tintri отмечает, что одна виртуальная машина может содержать несколько баз данных с разными запросами по ресурсам и это может усложнить управление каждой из них. Например, если вы хотите клонировать базу данных, вы должны клонировать всю ВМ, операционную систему и все остальное. Tintri позволяет «заглянуть внутрь» виртуальных машин и напрямую интегрироваться с базами данных для предоставления хранилища с необходимыми параметрами.

Как и в случае с VMstore, обновленное ПО представляет емкость хранилища как единый том для баз данных, избавляя от необходимости делить его на LUN и RAID-группы. Это позволяет администраторам получить более полное представление о том, что происходит с хранилищем на уровне каждой отдельной базы данных.

Tintri позволяет просматривать все объекты, используемые SQL сервером, вплоть до уровня отдельных файлов, причем нет необходимости развертывать какие-либо агенты внутри виртуальных машин, вместо этого используются расширенные события SQL для мониторинга и сбора разнообразной системной информации от SQL. Такой подход позволяет видеть всю инфраструктуру базы данных, управлять моментальными снимками и репликацией данных, причем моментальные снимки не оказывают влияния на производительность, так как выполняются без остановки ввода-вывода.

Tintri утверждает, что они единственный поставщик, способный предоставить гарантии QoS для каждой отдельной базы данных SQL сервера, при этом ресурсы распределяются автоматически по мере необходимости при изменении требований для каждой базы данных. Интегрированное с SQL хранилище является обновлением ПО Tintri для массивов VMstore и не требует дополнительных лицензий.

Постоянный URL: http://servernews.ru/1015868
08.07.2020 [15:07], Юрий Поздеев

Amazon добавила поддержку локальных баз данных RDS в AWS Outpost

Amazon обновила свои сервисы облачного хранилища и реализовала возможность управления службами реляционных баз данных RDS, размещенными в инфраструктуре AWS Outposts.

Данное предложение похоже на Microsoft Azure Stack или Oracle Cloud Customer и предназначено для клиентов, которые уже оценили удобство развертывания облака, однако имеют некоторые рабочие нагрузки, которые не готовы вынести из собственного центра обработки данных. Теперь клиенты, которые развернули AWS Outpost, могут создавать и управлять экземплярами RDS DB на платформе для приложений, которые чувствительны к задержкам и должны находиться в непосредственной близости от локальной инфраструктуры.

Текущая поддержка распространяется только на MySQL и PostgreSQL, но Amazon заявила, что в ближайшее время расширит этот список.

Так что же получат клиенты Amazon Outpost? Для клиентов AWS будут доступны ключевые функции RDS, такие как запланированное резервное копирование в хранилище Amazon S3, встроенное шифрование с защитой данных, однако следует учесть, что за управление каждой базой данных будет взиматься ежечасная плата (от $0,075 в час для экземпляра MySQL с двумя виртуальными процессорами и 8 Гбайт памяти). Полная информация по стоимости управления базами данных содержится на сайте AWS.

В итоге мы видим уже не единичное предложение от облачных провайдеров, а тенденцию переноса рабочих нагрузок клиентов в общедоступные и частные облака, причем подходы к построению гибридного облака отличаются у облачных провайдеров AWS, Google, Microsoft и производителей серверов, таких как Dell EMC, HPE, NetApp, которые тоже стремятся занять свою нишу в сфере предоставления локального облака. В любом случае, это шаг навстречу клиентам, которые не спешат переносить свои бизнес-критичные рабочие нагрузки в общедоступные облака и нуждаются при этом в гибкой быстро развёртываемой инфраструктуре.

Постоянный URL: http://servernews.ru/1015156
04.06.2020 [12:36], Андрей Крупин

«СёрчИнформ» представила решение для защиты СУБД

Компания «СёрчИнформ» сообщила о выпуске нового продукта Database Monitor, предназначенного для мониторинга и аудита операций с базами данных и бизнес-приложениями.

Созданный отечественным разработчиком комплекс относится к классу решений Database Activity Monitoring (DAM). Система позволяет отслеживать все обращения пользователей к СУБД с чувствительной информацией, получать сведения о характере запросов, объёме и содержании выгрузок данных, чтобы вовремя выявлять скачивание конфиденциальных сведений и предотвращать их утечку.

Database Monitor фиксирует добавление, удаление или изменение данных в базах и сигнализирует о подозрительной активности пользователей: загрузке или выгрузке больших объёмов информации, нерегламентированных изменениях содержимого, попытках скачать сведения ограниченного доступа. Программа автоматически индексирует обращения к СУБД и делает их доступными для поиска и анализа.

Система Database Monitor может функционировать в комплексе с другими инструментами информационной безопасности и в дополнение к перечисленным выше возможностям позволяет контролировать работоспособность используемых в корпоративной сети СУБД. Дополнительные сведения о продукте представлены на сайте searchinform.ru/products/database-monitor.

Постоянный URL: http://servernews.ru/1012628
23.04.2020 [01:50], Владимир Фетисов

ФНС России потратит 9,5 млрд рублей на СУБД: отечественных разработчиков просят не беспокоиться

Федеральная налоговая служба России намерена потратить на развитие IT-инфраструктуры, построенной на базе аппаратных и программных решений Oracle, 9,57 млрд рублей. Об этом сообщило издание CNews, добавив, что, несмотря на запланированный отказ ФНС от использования ПО Oracle, применять отечественные софтверные разработки государственный заказчик в данном проекте не намерен.

Подрядчик, которому достанется тендер, должен будет исполнить все условия контракта до 5 февраля 2021 года. Заказчиком выступает федеральное казенное учреждение «Налог-сервис» из состава ФНС. 

Проект по развитию IT-инфраструктуры, реализовать который планируется менее чем за год, затронет АИС «Налог-3», ключевую информационную системы ведомства. Упомянутая ранее сумма является начальной максимальной ценой контракта в тендере, запущенном 13 апреля этого года. Заявки на участие в аукционе будут приниматься до 28 апреля, а проведение торгов запланировано на 30 апреля. 

Большая стоимость лота определяется четырьмя СУБД, стартовая цена каждой из которых 1,28 млрд рублей, а также двенадцатью серверами по 142,2 млн рублей за единицу. Остальное приходится на комплекты ПО для систем хранения, межсетевые экраны и прочую сетевую инфраструктуру, а также на оплату создания рабочей документации и пусконаладочных работ.

Что касается системы АИС «Налог-3», то её используют для автоматизации всей деятельности ведомства. Она применяется для приёма, обработки, предоставления данных и анализа информации, формирования статистики, предоставления информации внешним потребителям и др.

Постоянный URL: http://servernews.ru/1009179
07.04.2020 [00:16], Андрей Крупин

MaxPatrol SIEM научился выявлять атаки на СУБД Microsoft SQL Server

Компания Positive Technologies сообщила об очередном расширении функциональных возможностей программного комплекса MaxPatrol SIEM, предназначенного для мониторинга событий информационной безопасности (ИБ) и выявления различных инцидентов в режиме реального времени.

Обновлённая версия MaxPatrol SIEM получила пакет экспертизы и правил для выявления атак на системы управления базами данных Microsoft SQL Server. Пакет включает 23 правила корреляции событий ИБ, которые позволяют выявить подозрительную активность: изменение параметров СУБД, влияющих на безопасность системы; получение логинов и паролей учётных записей платформы; большое количество неудачных попыток входа в систему; создание резервной копии базы данных; отключение аудита для сокрытия действий; создание резервной копии ключа или сертификата шифрования, а также прочие требующие внимания IT-служб инциденты.

По данным аналитиков, Microsoft SQL Server используют 64% организаций крупного бизнеса и государственного сектора. Поскольку в СУБД хранятся критически важные данные предприятия (финансовая отчётность, персональные данные клиентов и сотрудников, информация о поставщиках и обязательствах), она может стать объектом внимания злоумышленников. Это подтверждается исследованиями Positive Technologies: по итогам 2019 года в 60% всех инцидентов мотивом злоумышленников была именно кража информации.

Подробная информация о системе MaxPatrol SIEM доступна для изучения на сайте ptsecurity.com/products/mpsiem.

Постоянный URL: http://servernews.ru/1007718
05.04.2020 [00:26], Алексей Степин

RAM-кеш в аренду: Google Cloud предлагает memcached как сервис

Производительность баз данных и других приложений зачастую напрямую зависит от того, в какой именно среде располагается основное хранилище и как организовано для него кеширование. Решения in-memory, использующие для хранения оперативную память, очевидно показывают наиболее высокую производительность.

Ранее в Google Cloud стала доступна опция Memorystore для Redis. Ну а теперь очередь дошла и до другого популярного проекта — на днях было объявлено о возможности ускорения работы с данными с помощью Memorystore для Memcached.

Услуга Memorystore for Memcached пока имеет статус бета-версии, но она уже доступна в основных регионах Google Cloud. Запуск релизного варианта должен состояться в течение ближайших нескольких недель. Новая опция предлагает полностью совместимый с обычным memcached протокол, так что можно легко перевести уже имеющиеся приложения на облачную версию кеша. Как и положено облачному решению, новинка от Google Cloud не требует от пользователя заботиться об установке, настройках, обновлениях и так далее. Кроме того, размер кеша можно динамически изменять в зависимости от текущих потребностей. 

Пример мониторинга Memcached. Показана нагрузка на ЦП

Пример мониторинга Memcached. Показана нагрузка на ЦП

В отличие от Redis, Memcached не требует для масштабирования наращивать количество запущенных инстансов, но отличается очень простой политикой очистки кеша и к тому же работает только со строками. Redis, с другой стороны, поддерживает различные структуры данных и предоставляет разные варианты очистки кеша. Так что оба сервиса для пользователей Google Cloud могут оказаться весьма полезными. 

В настоящее время Memorystore for Memcached можно использовать для приложений, работающих в средах Compute Engine, Google Kubernetes Engine, App Engine Flex, App Engine Standard и Cloud Functions. Объём инстансов Memcached можно регулировать, оптимизируя таким образом частоту попаданий в кеш и стоимость использования услуги. Максимальный объём одного инстанса ограничен солидной цифрой 5 Тбайт.

Доступны полноценные средства мониторинга на базе ПО с открытым кодом. Google Cloud также опубликовала документацию и руководство «быстрого старта», оно доступно на сайте компании.

Постоянный URL: http://servernews.ru/1007560
02.04.2020 [15:21], Алексей Степин

MariaDB уходит в облака: представлена SkySQL

Компания MariaDB Corporation объявила о запуске базы данных MariaDB SkySQL, доступной в качестве облачной службы — database-as-a-service (DBaaS). В основе нового сервиса лежит платформа MariaDB, оптимизированная с учётом особенностей облачных систем.

MariaDB SkySQL может использоваться для транзакций или сбора и хранения аналитических данных.

Компания называет своё решение «службой нового поколения»: она лишена недостатков, свойственных облачным БД первого поколения, таких, как ограниченная конфигурируемость, делавших их мало подходящими для применения в задачах класса mission critical.

Движок MariaDB Platform X4 поддерживает «умные транзакции» и умеет хранить данные как в row-, так и column-форматах, создание раздельных баз для транзакций и аналитики не требуется. Облачные базы данных могут использовать либо блочные хранилища (Amazon EBS, Azure Managed Disks или Google Persistent Disks), либо объектные, такие как Amazon S3, Azure Blob Storage или Google Cloud Storage. MariaDB SkySQL поддерживает оба режима, в том числе, одновременно.

Компания также предлагает услугу облачного администрирования SkyDBA для тех задач, которые не могут быть автоматизированы. В настоящее время SkySQL доступна на платформе Google Cloud, цены стартуют от $0,45 в час. Подробности доступны на сайте компании-разработчика.

Постоянный URL: http://servernews.ru/1007385
Система Orphus