Материалы по тегу: субд

05.10.2021 [22:52], Андрей Галадей

Micron представила движок HSE 2.0 для гибридных хранилищ данных

В апреле 2020 года компания Micron анонсировала свой собственный механизм хранения с открытым исходным кодом, предназначенный для совместного использования SSD, SCM и DRAM. А теперь компания показала вторую версию системы — HSE 2.0 (Heterogeneous-Memory Storage Engine).

HSE, согласно изначальной задумке, позволил бы приложениям — СУБД в первую очередь — задействовать весь потенциал быстродействующих накопителей и памяти. В первой версии использовался модуль ядра MPool, обслуживающий хранилище, с которым напрямую работали модифицированные приложения. Таким образом обходился стандартный стек ФС, что положительно влияло на производительность из-за отсутствия накладных расходов.

Очевидный минус такого решения — для массового распространения технологии модуль MPool должен был закрепиться в основной ветке ядра Linux, чего, как теперь стало понятно, не произошло. Во второй версии от модуля MPool отказались, теперь движок «живёт» строго в пространстве пользователя, а не ядра, и задействует стандартные механизмы работы с ФС.

Первая версия движка более не поддерживается, равно как и модифицированная для него MongoDB. С другой стороны, движок стал более универсальным и простым в освоении — разработчики сделали его более удобным для интеграции с другими СУБД и движками хранения, а также добавили поддержку Python. Исходники и дополнительные сведения о HSE 2.0 доступны на GitHub.

Постоянный URL: http://servernews.ru/1050623
29.09.2021 [16:13], Сергей Карасёв

Oracle представила платформу Exadata X9M

Корпорация Oracle анонсировала аппаратные платформы серии Exadata X9M, разработанные специально для СУБД Oracle Database. Утверждается, что по сравнению с решениями предыдущего поколения Exadata X8M обеспечивается значительное повышение производительности.

Представлены модели Oracle Exadata Database Machine X9M-2 и Oracle Exadata Database Machine X9M-8. Первое из названных решений использует до 1216 процессорных ядер (32-ядерные Intel Xeon Platinum 8358) и до 38 Тбайт памяти (до 27 Тбайт PMem) в расчёте на стойку. Каждая стойка может содержать от 2 до 19 серверов СУБД и от 3 до 18 серверов хранения. Может быть задействовано до 920 Тбайт флеш-памяти и до 3,8 Пбайт пространства на дисковых накопителях.

Здесь и ниже изображения Oracle

Здесь и ниже изображения Oracle

Версия Oracle Exadata Database Machine X9M-8 может оперировать 576 процессорными ядрами (24-ядерные Intel Xeon Platinum 8268) и 18 Тбайт памяти (до 21 Тбайт PMem) в расчёте на стойку. Могут быть использованы два или три сервера СУБД и от 3 до 14 серверов хранения информации. Максимальный объём флеш-памяти составляет 716 Тбайт на стойку, вместимость хранилища — 3,0 Пбайт.

Доступны два варианта серверов хранения: High Capacity (HC) или Extreme Flash (EF). HC-вариант включает 12 жёстких дисков SAS (7200RPM) ёмкостью 18 Тбайт и четыре NVMe SSD на 6,4 Тбайт (F640v3) для кеширования. В EF установлено восемь таких накопителей, а HDD нет. В обоих вариантах в качестве промежуточного слоя хранения используется Intel Optane PMem. Если требуется дополнительное место, то можно подключить узлы Extended (XT) Storage Server, каждый из которых включает двенадцать 18-Тбайт SAS HDD.

Все узлы в рамках стойки объединены 100GbE-подключением с RoCE/RDMA. Для связи с внешним миром имеются интерфейсы 10/25GbE. Для серверов СУБД предлагается гибкое лицензирование Capacity-on-Demand. Например, для X9M-2 минимально число необходимых для работы одного сервера ядер равно 14. При необходимости можно приобрести лицензию на ядра (и соответственно ПО) с шагом в 2 ядра. Кроме того, новые системы доступны и в рамках облака Oracle Cloud Infrastructure (OCI).

Отмечается, что быстродействие новинок в OLTP-задачах поднялось на 70 % по сравнению с решениями поколения Exadata X8M. Новая платформа обеспечивает максимальную производительность Oracle Database, масштабируемость и доступность, повышает эффективность эксплуатации и одновременно упрощает управление.

Постоянный URL: http://servernews.ru/1050170
29.09.2021 [13:15], Владимир Мироненко

В платформе Nutanix появились новые сервисы для неструктурированных и структурированных данных

Nutanix объявила о новых возможностях одноимённой платформы, которые позволяют упростить управление данными, оптимизировать производительность баз данных и обработку больших объёмов данных для критичных приложений.

«Компании хранят разные типы данных — как структурированные, так и неструктурированные — и хотят сделать работу с ними удобной, не прибегая к помощи множества поставщиков, — рассказал Раджив Мирани, технический директор Nutanix. — Новые функции в платформе Nutanix распространяют наши технологии работы с данными на высокопроизводительные системы, чтобы предоставить единую платформу со встроенными сервисами данных для всех рабочих нагрузок и видов данных».

Платформа Nutanix позволит при запуске крупномасштабных баз данных до 2-х раз увеличить производительность без сложных изменений конфигурации хранилища. Также можно будет снизить задержки доступа к хранилищу, воспользовавшись аппаратными технологиями, такими как Intel Optane, в сочетании с технологией предпочтительного размещения данных Nutanix.

Кроме того, было упрощено выполнение рабочих нагрузок Hadoop и SAS Grid. Новый режим применения коэффициента репликации позволяет в 3 раза быстрее обрабатывать данные, попутно снижая этом затраты. А Nutanix Objects, высокопроизводительное S3-совместимое хранилище петабайтного масштаба, подходит для создания «озёр данных» (Data lake). Компании, работающие с современными аналитическими приложениями, такими как Apache Spark, получат значительное повышение производительности обработки запросов и больших пакетов с помощью S3 Select и оптимизированной поддержки S3A.

Сервис баз данных Nutanix Era, позволяющий управлять такими популярными СУБД как PostgreSQL, MySQL, Microsoft SQL Server и Oracle Database в гибридных мультиоблачных средах, позволяет в один клик масштабировать хранилище баз данных. Кроме того, можно легко внедрить политики безопасности и соответствия требованиям за счет поддержки управления доступом на основе ролей, а также безопасного совместного доступа к базам данных и операций управления ими. К тому же Era теперь поддерживает возможности аварийного переключения между несколькими регионами при отказе.

Nutanix также представила облачный сервис Nutanix Data Lens, предназначенный для управления неструктурированными данными и их защиты. Сервис предоставляет информацию о данных, хранящихся в унифицированном хранилище Nutanix локально или в публичном облаке, включая схемы доступа, возраст и типы данных и т.д.. Новый сервис позволяет упростить управление жизненным циклом данных, а также обеспечить защиту от атак программ-вымогателей с помощью выявления и блокировки подозрительных файлов.

Кроме того, Nutanix поможет управлять ростом неструктурированных данных с помощью встроенной поддержки многоуровневого хранения данных для Nutanix Objects, AWS S3 и blob-хранилища Azure. Для файловых ресурсов в Nutanix Files имеются функции аварийного и самовосстановления с показателем RPO в 1 мин.

Клиентам уже доступны новые функции Nutanix Era. Компания сообщила, в настоящее время занимается разработкой расширенной поддержки баз данных и больших данных в платформе Nutanix и функций управления неструктурированными данными.

Постоянный URL: http://servernews.ru/1050150
21.09.2021 [12:14], Сергей Карасёв

«Яндекс» займётся разработкой продуктов на основе открытой СУБД ClickHouse

Российский IT-гигант «Яндекс» объявил о формировании компании ClickHouse, Inc, которая будет разрабатывать коммерческие продукты на основе открытой СУБД ClickHouse. Проект реализуется в партнёрстве с венчурными фондами Benchmark Capital и Index Ventures, у которых есть опыт развития успешного бизнеса на базе облачных технологий и продуктов с открытым исходным кодом.

ClickHouse — это распределённая система управления базами данных, которая позволяет обрабатывать огромные массивы информации в реальном времени. Эта система легко масштабируется, обладает высокой отказоустойчивостью и имеет подробную документацию. Утверждается, что производительность ClickHouse в разы превышает показатели аналогичных столбцовых СУБД.

Здесь и ниже изображения

Здесь и ниже изображения "Яндекса"

ClickHouse была разработана в «Яндексе» для обработки логов «Яндекс.Метрики», а первый прототип системы появился в 2009 году. В июне 2016-го платформа была выложена в открытый доступ, что позволило ей быстро набрать популярность. С тех пор вклад в развитие ClickHouse внесли более 770 разработчиков из многих компаний.

В настоящее время СУБД ClickHouse применяется такими гигантами, как Uber, Tesla, Spotify, eBay, ByteDance, Alibaba, Tencent.

«Создание компании для нас — это возможность начать коммерческую деятельность вокруг нашего открытого кода, оказывая дополнительные услуги. Мы собрали отличную команду, которая способна реализовать весь технологический и коммерческий потенциал ClickHouse. Этим мы и займёмся», — заявил руководитель разработки ClickHouse Алексей Миловидов.

Постоянный URL: http://servernews.ru/1049502
30.08.2021 [13:27], Андрей Галадей

Wiz выпустила рекомендации по защите от ChaosDB, «худшей облачной уязвимости, которую можно себе представить»

Компания Wiz, которая специализируется на безопасности облачных систем, обнаружила в СУБД CosmosDB для Microsoft Azure брешь. Она давала доступ для чтения и записи для каждой базы данных в сервисе, причём этим мог воспользоваться любой злоумышленник. Уязвимость, обнаруженную чуть больше двух недель назад, назвали ChaosDB, но, как утверждается, она существует уже месяцы или даже годы. Вчера Wiz выпустила рекомендации по защите ChaosDB.

Проблема кроется в функциональности Jupyter Notebook, которая появилась в Cosmos DB в 2019 году. Эта система позиционируется как полезный инструмент для расширенной визуализации данных, хранящихся в CosmosDB. Jupyter Notebook по умолчанию включили для всех пользователей в феврале 2021 года, однако, по мнению специалистов Wiz, ошибка была там изначально — ещё до 2019 года.

Неправильная конфигурация Jupyter Notebook позволяет повысить привилегии, что открывает доступ к первичным ключам (Primary Key) других клиентов CosmosDB и иным данным. Это даёт хакеру права на чтение, запись и удаление для всех баз данных, привязанных к этому ключу. Эксперты Wiz уже описали это как «худшую уязвимость в облаке, которую вы можете себе представить».

При этом срок действия первичного ключа CosmosDB не лимитирован, то есть брешь можно использовать через годы после его получения. Поскольку ключи находятся в ведении клиентов, а сама Microsoft доступа к ним не имеет, компания была вынуждена отправить уведомления с предложением изменить ключ самостоятельно. Правда, коснулось это порядка 30% пользователей CosmosDB.

Говорится, что несмотря на включение Jupyter Notebook при создании новых экземпляров CosmosDB с февраля этого года, если эта функция не использовалась в течение первых 3 дней (таковых было порядка 70%), она отключалась. Тем не менее, ключи рекомендуется сгенерировать заново, а также уделить внимание настройкам доступа в целом.

Постоянный URL: http://servernews.ru/1047835
12.08.2021 [22:09], Андрей Крупин

Вышел корректирующий релиз СУБД «Ред база данных 3.0.8»

Компания «Ред софт» сообщила о выпуске обновлённой версии системы управления базами данных «Ред база данных 3.0.8», построенной на базе кроссплатформенной реляционной СУБД Firebird и зарегистрированной в реестре российского ПО.

Система управления базами данных «Ред база данных» соответствует принятым в IT-отрасли стандартам и может быть задействована в проектах различного масштаба: от встроенных аппаратных комплексов и решений для небольших организаций до IT-систем крупных корпораций с размерами баз данных до десятков терабайт и десятками миллионов транзакций в день. В состав дистрибутива СУБД входят серверный модуль (с исполняемыми и исходными кодами), дополнительные компоненты, средства инсталляции, настройки и администрирования программной платформы.

В новой версии СУБД разработчики реализовали новые функции для работы с пользователями LDAP, добавили статистику потребления памяти средствами сортировки данных и включили поддержку параллельного выполнения внутренних процессов команд backup/restore. В дополнение к этому специалисты компании «Ред софт» провели оптимизацию получения таблиц мониторинга, улучшили производительность общего кеша и уменьшили потребление памяти на архитектуре SuperServer, ускорили работу временных индексов, добавили параллельный сборщик мусора и внесли ряд других доработок в код продукта. Более подробно со списком изменений можно ознакомиться здесь.

СУБД «Ред база данных» сертифицирована ФСТЭК России и может использоваться на объектах КИИ 1 категории, в ГИС 1 класса защищённости, в АСУ ТП 1 класса защищённости, в ИСПД при необходимости обеспечения 1 уровня защищённости персональных данных, а также в информационных системах общего пользования II класса.

Постоянный URL: http://servernews.ru/1046585
28.07.2021 [15:27], Алексей Степин

Pliops анонсировала высокопроизводительный DPU XDP Extreme

Концепция сопроцессора данных (DPU) продолжает набирать популярность — анонсы новых решений в этой области следуют один за другим. Компания Pliops, ранее представившая ускоритель для СУБД, представила свой новый продукт — XDP Extreme, который имеет более широкую сферу применения и предназначен для разгрузки процессоров современных систем хранения данных, целиком построенных на энергонезависимой памяти.

Внешне новинка выглядит как обычная плата расширения с разъёмом PCIe x8, в основе лежит мощная ПЛИС производства Xilinx. В будущем компания планирует заменить её на более экономичный ASIC-вариант. У XDP Extreme нет сетевых портов, вместо этого разработчики сконцентрировали свои усилия на ускорении общих для СХД задач и повышении эффективности использования пула флеш-памяти.

XDP использует так называемый KV Storage Engine — движок, работающий с Key-Value данными. За счёт фирменного API обеспечена совместимость со всеми приложениями, которые используют KV-подход. Уровнем ниже всё так же находится NVMe, как протокол, наиболее отвечающий устройствам на базе флеш-памяти. KV Storage Engine берёт на себя всю обработку ключей БД, включая их сортировку, индексацию и сборку мусора, а значит, этим не придётся заниматься центральным процессорам системы. Также ускоритель обеспечивает разгрузку ЦП при сжатии, отвечает за защиту от сбоев SSD и выполняет шифрование томов с использованием AES-256.

Востребованность XDP высока: KV-движки сегодня используются в подавляющем большинстве баз данных, также они применяются в комплексах машинной аналитики на базе Elastic или Hadoop и в распределённых файловых системах. Эффективность XDP Extreme, если верить данным Pliops, внушает уважение: даже на операциях чтения можно добиться двухкратного прироста линейной производительности, а выигрыш при записи может составлять и три-четыре раза. Более того, флеш-массив под управлением XDP оказывается быстрее, нежели классический RAID0. А снижение коэффициента усиления записи (write amplification) позволяет использовать недорогую, но априори менее надёжную память QLC. Впрочем, с Optane новый DPU тоже прекрасно работает.

Фактически, компания говорит о производительности, сопоставимой с решениями на базе DRAM, но с куда более низкой стоимостью владения. Экономия достигается и за счёт более эффективного использования SSD: в частности, при равном уровне надёжности с классическим массивом RAID 10, система на базе Pliops XDP позволяет обойтись меньшим количеством серверов и накопителей, что, естественно, отразится и на стоимости. Поставки новых ускорителей Pliops XDP Extreme уже развёрнуты.

Постоянный URL: http://servernews.ru/1045368
27.05.2021 [00:48], Игорь Осколков

Western Digital и Percona ускорят работу MySQL с помощью ZNS-накопителей Ultrastar DC ZN540

Western Digital объявила на своём мероприятии Flash Perspective о партнёрстве с компаний Percona, специализирующейся на доработке и поддержке СУБД с открытым исходным кодом. В рамках партнёрства компании оптимизируют работу MySQL c ZNS-накопителями Ultrastar DC ZN540.

Western Digital уже несколько лет активно продвигает концепцию зонированного хранения, которая подходит как для SMR HDD, так и для SSD. В прошлом году технология Zoned Namespaces (ZNS) стала частью стандарта NVMe 1.4, а её поддержка была добавлена в основную ветку ядра Linux. ZNS-накопители теперь тоже есть, так что дело осталось за малым, то есть за адаптацией системного и прикладного ПО, поскольку при ZNS-накопитель управляется хостом.

Western Digital разработала открытый модуль ZenFS для RocksDB, который позволяет напрямую работать с ZNS-накопителями. Это, в свою очередь, позволяет работать с ними движку MyRocks для MySQL. И Percona Server for MySQL может стать первым заметным коммерческим продуктом, который выиграет от использования SSD c ZNS. Релиз намечен на вторую половину этого года. Percona, как обычно, будет оказывать услуги консалтинга, поддержки, настройки и оптимизации.

Согласно внутренним тестам Western Digital и Percona, при высокой нагрузке на запись использование MyRocks в связке с ZenFS и SSD ZN540 увеличивает скорость транзакций в 3,3 раза по сравнению со стандартным движком InnoDB и SSD Ultrastar DC SN540 и в 1,4 раза — с MyRocks без ZenFS на SN 540. Кроме того, для 95% наиболее быстрых транзакций снижение задержки составило до 6,9 и 1,5 раз соответственно. Для смешанных нагрузок прирост скорости в обоих случаях составил 1,6 раз.

Постоянный URL: http://servernews.ru/1040536
22.04.2021 [23:04], Андрей Галадей

Свежая версия Redis Database предложит новые возможности для работы

Компания Redis Labs анонсировала Redis Database 7.0 — выход намечен на вторую половину 2021 года. Новый релиз обеспечит повышенную производительность для распределённых баз данных, улучшение безопасности, более качественный и быстрый поиск, а также поддержку систем искусственного интеллекта.

zdnet.com

zdnet.com

«Благодаря этим нововведениям мы считаем, что Redis стала де-факто платформой данных для новой волны цифровых технологий, изменив способ, которым разработчики могут создавать настоящие приложения реального времени, а затем развёртывать их где угодно — в облаке, мультиоблаке, гибридном облаке или локально, с глобальным распределением, ближе к клиентам», — заявил Йифтах Шулман (Yiftah Shulman), соучредитель и технический директор Redis Labs.

В компании утверждают, что их система позволяет создать поистине распределённую базу данных, которая физически размещается на нескольких кластерах. Там также считают, что Redis Database 7.0 обеспечивает низки задержки, что важно при при работе в распределённом окружении. А поддержка искусственного интеллекта позволяет повышать производительность ИИ-приложений в несколько раз.

Постоянный URL: http://servernews.ru/1037951
14.04.2021 [23:52], Андрей Галадей

Redis Labs получила ещё $110 млн инвестиций и теперь оценивается в $2 млрд

Компания Redis Labs закрыла G-раунд финансирования, сумев привлечь $110 млн. Таким образом, суммарный объём инвестиций достиг $347 млн, а рыночная оценка компании превысила $ 2 млрд. В финансировании участвовали Tiger Global, SoftBank Vision Fund и ряд других. Также эти компании приобрели дополнительные доли в Redis Labs.

Redis Labs была основана в 2011 году. Компания разрабатывает систему хранения и управления данными класса NoSQL. Это программное обеспечение с открытым исходным кодом, которое также может предоставляться в качестве облачной услуги. Отмечается, что решение Redis Labs позволяет снизить задержки при работе с базами данных, что важно в бизнес-приложениях. Особенно это важно при переводе всех мощностей в облака.

Также отмечается, что решения Redis стал критически важным компонентом глобальных компаний. В компании заявили, что сотрудничество с новыми инвесторами позволит сделать Redis де-факто платформой обработки данных в реальном времени, которую клиенты будут использовать для своих задач.

Постоянный URL: http://servernews.ru/1037373
Система Orphus