В 2024 году российский рынок систем управления базами данных достиг 89,5 млрд руб., что на 34 % больше, чем годом ранее. При этом, несмотря на сокращение продаж иностранного софта и услуг до 10 процентов, более чем 60 % отечественных организаций продолжают эксплуатировать СУБД зарубежного производства. Таковы результаты исследования, проведённого Центром стратегических разработок (ЦСР).

Согласно представленным аналитиками ЦСР сведениям, лидирующую позицию на отечественном IT-рынке занимают СУБД общего назначения (доля рынка 48 %, 26 млрд руб. в денежном выражении). Далее следуют аналитические платформы (32 %, 16 млрд руб.) и резидентные (In-Memory) базы данных (14 %, 4,5 млрд руб.). В структуре рынка доминирует программное обеспечение — его доля составляет 78 %, остальные 22 % приходятся на сегмент услуг, включающий техническую поддержку, консалтинг и профессиональные сервисы. В числе ключевых игроков на рынке фигурируют компании PostgresPro, Arenadata, DIS Group, Yandex Cloud, «Тантор Лабс», VK Tech и «Ростелеком».

Детализация оценки долей в сегменте СУБД по категориям (источник: Центр стратегических разработок / csr.ru)

К 2031 году рынок систем управления и обработки данных в России, как ожидается, вырастет более чем на 180 % (в сравнении с 2024 г.) и составит 251 млрд руб.

Прогноз динамики российского рынка систем управления и обработки данных, млрд руб. (источник: Центр стратегических разработок / csr.ru)

«В период с 2024 по 2027 год ожидается стремительный рост рынка на уровне 21,6 %. Однако далее темпы роста замедлятся до 11,9 %, что будет соответствовать общемировым показателям. Это связано с тем, что до 2027 года основным фактором роста будут процессы замещения импорта. Далее рост продолжится за счёт увеличения объёма генерируемых данных, увеличения применения технологий искусственного интеллекта. Что касается западного программного обеспечения, то его доля на рынке продолжит уменьшаться и к 2031 году составит примерно 1 % от общего объёма новых продаж. При этом ПО отечественных разработчиков будет активно развиваться и к 2031 году может занять до 99 % рынка», — поделились прогнозами аналитики ЦСР.

Более подробнее с материалами исследования Центра стратегических разработок и аналитическими выкладками можно ознакомиться по этой ссылке.

Компания Postgres Professional анонсировала машину баз данных Postgres Pro Machine с модульной архитектурой, предназначенную для высоконагруженных систем. Проект по созданию платформы реализуется в партнёрстве с российским разработчиком и производителем IT-оборудования Delta Computers. В производство машины Postgres Professional инвестирует более 1,5 млрд руб.

Утверждается, что Postgres Pro Machine — первая в России платформа, которая может объединять четыре типа разных СУБД. В их число входят высоконагруженные базы данных, обработка аналитических запросов, оркестрация большого количества СУБД среднего размера и горизонтальное масштабирование (шардирование). При этом управлять всеми типами баз данных можно будет через единый графический интерфейс.

Конструкция Postgres Pro Machine предусматривает наличие ряда модулей: OLTP, DBaaS, HTAP, OLAP, а также блоков управления, хранения, коммутации и питания. Модуль OLTP, который станет доступен в III квартале текущего года, отвечает за такие функции, как работа с большими высоконагруженными базами, высокоскоростной интерконнект, синхронная реплика с минимальной задержкой.

Источник изображения: Postgres Professional

В свою очередь, модуль DBaaS (выйдет в I четверти 2026 года) обеспечит работу с большим количеством баз данных, бесшовное управление средой виртуализации, автоматизацию процессов управления, конфигурирования и масштабирования. Модуль HTAP (появится во II квартале 2026-го) будет включать горизонтальное масштабирование с использованием шардирования, работу с базами данных размером 2 Пбайт и более, строгие гарантии изоляции и согласованности данных на базе технологии Postgres Pro. Задачами модуля OLAP (станет доступен в III четверти 2026 года) названы: высокопроизводительная аналитика для данных (2 Пбайт и более), реализация ETL-задач, партицирование больших исторических данных, ведение полной истории изменений, строгие гарантии изоляции и согласованности данных на базе технологии Postgres Pro.

Модуль управления в числе прочего обеспечит мониторинг всех компонентов и отказоустойчивое исполнение. Задачи блока хранения — резервное копирование баз данных, хранение шаблонов виртуальных машин, интеграция со всеми продуктами экосистемы Postgres Pro. Модуль коммутации и питания предоставит выделенную сеть для управления оборудованием, централизованное питание по ОСР-стандарту, коммутацию с интерфейсами 100 Гбит/с и 400 Гбит/с. Стойка с оборудованием имеет стандартную ширину 600 мм и использует трёхфазное питание.

Отмечается, что благодаря глубокой синергии аппаратного уровня и программного обеспечения Postgres Pro Machine обеспечит рост быстродействия на 30 % и более по сравнению с существующими решениями. Компоненты системы работают на базе Postgres Pro Enterprise и поддерживают всю функциональность, доступную в соответствующем релизе. Среди возможностей — встроенная отказоустойчивость, пулер и балансировка соединений, резервное копирование и восстановление.

Модули DBaaS, HTAP и OLAP поддерживают горизонтальное масштабирование — при необходимости можно добавлять новые вычислительные узлы. Модуль OLTP горизонтально не масштабируется, но можно задействовать несколько таких блоков параллельно. Postgres Pro Machine использует единую модель авторизации и разграничения доступа на всех уровнях — от управления оборудованием до доступа к виртуальным машинам. Интеграция со службой корпоративного каталога выполняется на этапе пусконаладочных работ.

«Сейчас большинство российских компаний вынуждены поддерживать несколько различных технологических стеков для работы с базами данных — СУБД на виртуальных машинах; базы данных, работающие без дополнительного слоя виртуализации; аналитические СУБД; СУБД размером более 150 Тбайт. Postgres Pro Machine закроет все эти возможности в рамках одной системы, что обеспечит существенную экономию времени, денег и человеческих ресурсов заказчика», — отмечает заместитель генерального директора Postgres Professional.

ClickHouse, разработчик СУБД с открытым исходным кодом, в настоящее время проводит переговоры по поводу проведения раунда финансирования при оценке рыночной стоимости компании в $6 млрд, пишет MLQ.ai. Целевая оценка капитализации ClickHouse втрое превышает показатель предыдущего раунда финансирования — четыре года назад компания была оценена в $2 млрд.

Сообщается, что раунд возглавит Khosla Ventures. Компания намерена привлечь сотни миллионов долларов. Значительный рост оценки ClickHouse подчеркивает быстрый рост компании с увеличивающимся присутствием на высококонкурентном рынке аналитики данных. Также это свидетельствует о значительном интересе инвесторов, поскольку компания расширяет свои технологические предложения по сравнению с гигантами рынка вроде Snowflake, отметил MLQ.ai.

Разработанная ClickHouse одноимённая колоночная open source OLAP СУБД известна своей скоростью и эффективностью использования ресурсов при обработке крупномасштабной аналитики. Работа ClickHouse по развитию решения в соответствии со стратегией lakehouse, которая объединяет возможности озёр данных и хранилищ, отражают её амбиции по устранению пробелов в корпоративной инфраструктуре данных, сообщил ресурс MLQ.ai. Технология ClickHouse используется Sony, Lyft, Cisco и GitLab.

Источник изображения: ClickHouse

Новая оценка рыночной стоимости ClickHouse выводит её в ранг заметного конкурента Snowflake, нынешнего лидера данного рынка. Рост доверия инвесторов свидетельствует о том, что рынок рассматривает ClickHouse как крупного игрока, способного влиять на тенденции в более широком секторе инфраструктуры данных. Её ориентация на экономически эффективные решения для аналитики в реальном времени соответствует потребностям корпоративных клиентов.

В рамках предыдущих раундов финансирования ClickHouse привлекла $300 млн при поддержке Thrive Capital и Redpoint Ventures. По мнению отраслевых наблюдателей, фокус ClickHouse на объединение традиционных функций хранилища данных и озера данных соответствует текущим тенденциям рынка и потребностям клиентов. Несмотря на значительную конкуренцию, в том числе, со стороны Snowflake, популярность ClickHouse и быстро растущая клиентская база обеспечивают компании устойчивое развитие, которое будет зависеть от её способности поддерживать постоянные инновации.

Успешное проведение раунда финансирования позволит ClickHouse ускорить как разработку продукта, так и глобальную экспансию. Эксперты прогнозируют дальнейшее усиление конкуренции в сфере инфраструктур данных, особенно вокруг развивающейся парадигмы lakehouse. Nebius принадлежит 28 % акций ClickHouse.

Arenadata представила Arenadata One (AD.One) — cloud-native-платформу для обработки и хранения данных. Она предназначена для работы в эластичной облачной инфраструктуре под управлением Kubernetes и совместима с объектным S3-хранилищем. AD.One решает такие задачи, как построение lakehouse, real-time-аналитика, хранение векторов и features, база данных по требованию.

Согласно исследованиям Arenadata, в крупных компаниях аналитические СУБД простаивают 40–50 % рабочего времени. Разработчик объясняет это тем, что классические технологии для аналитических и транзакционных задач, размещенные на bare-metal для максимальной производительности при однородных спланированных нагрузках, требуют резервирования оборудования в кластере, чтобы была возможность справляться с пиковыми нагрузками. Это в свою очередь ведет к простоям «железа» и увеличению стоимости владения системой хранения.

Arenadata One сочетает мультитенантную архитектуру с низким T2M (time-to-market) DBaaS. Платформа обеспечивает изолированное обслуживание различных групп пользователей в рамках единой инфраструктуры, одновременно предлагая технологии для быстрого развертывания баз данных «по требованию». При этом DBaaS-платформа может быть развёрнуты и на инфраструктуре заказчика.

Источник изображения: ArenaData

Среди основных особенностей Arenadata One ее разработчики называют архитектурное разделение слоёв выисления и хранения, интегрированное cloud-native OLTP- и AI-хранилище, уменьшение затрат на хранение и обработку данных, повышенная окупаемость инвестиций (ROI), снижение совокупной стоимости владения (TCO) и сокращение времени вывода продуктов на рынок (T2M). Кроме того, отмечаются такие функции как multi-tier-архитектура, Data Governance (интегрированное средство управления моделью, качеством и связанностью данных), и Hybrid Cloud для построения гибридного облачного хранения.

Дочерняя компания разработчика ПО на рынке систем управления и обработки данных Arenadata ООО «Аренадата Софтвер» приобрела интеллектуальные права на продукт Proxima DB у ИТ-компании «Орион» (Orion soft). Команда разработки будет интегрирована в состав персонала «Аренадата Софтвер». Сумма сделки не разглашается.

Стратегическое партнерство компаний позволит Orion soft сфокусироваться на развитии инфраструктурных продуктов, а Arenadata — расширить портфель решений для крупных организаций. Proxima DB переименован в Arenadata Prosperity (ADP). ADP построена на базе open source-технологии PostgreSQL. ADP обеспечивает оперативный мониторинг и анализ для минимизации времени простоя, совместима с платформой «1С», имеет сертификат ФСТЭК (4-й уровень доверия).

В рамках партнерства предусмотрено использование продуктов Orion soft в качестве инфраструктурной основы для решений cloud-native платформы Arenadata One. Это платформа виртуализации zVirt и Kubernetes-решение для управления контейнерами Nova Container Platform. По словам генерального директора группы Arenadata, Arenadata Prosperity усилит присутствие в сегменте СУБД общего назначения для госсектора и корпоративного рынка.

Источник: Orion soft

Согласно отчету ЦСР «Рынок систем управления и обработки данных в РФ: текущее состояние и перспективы развития», рынок СУБД общего назначения составляет около 26 % от общего рынка систем управления и обработки данных, который оценивается в 95 млрд руб. на конец 2024 года.

Компания Orion soft объявила о выпуске новой версии российской СУБД Proxima DB 3.1, построенной на базе платформы PostgreSQL и предназначенной для использования в высоконагруженных системах крупных предприятий.

Обновлённая система управления базами данных получила доработанное ядро, встроенные средства мониторинга производительности в веб-интерфейсе (UI) в режиме реального времени, возможность развёртывания СУБД в контейнерной среде «по клику» (функция DBaaS) и поддержку классических «ванильных» инсталляций PostgreSQL в веб-интерфейсе. Также сообщается о реализации поддержки S3-хранилищ для резервных копий в UI, возможности указания лимитов по CPU и памяти для каждого экземпляра СУБД в режиме DBaaS на этапах установки и использования и дополнительных инструментах для развёртывания баз данных в закрытом контуре.

Источник изображения: Orion soft / orionsoft.ru

Помимо прочего, с подготовкой Proxima DB версии 3.1 к релизу была проведена работа по устранению уязвимостей и ошибок в коде продукта. Более подробную информацию обо всех усовершенствованиях можно получить в замечаниях к выпускам СУБД.

В планах разработчиков - развитие модуля мониторинга и дополнение продукта новыми функциями. В ближайшем будущем Orion soft намерена реализовать рекомендации по оптимизации производительности СУБД, карту фрагментирования объектов, интерактивный мониторинг репликаций, мониторинг шардирования, а также функциональность автоматического шардирования, инструменты для удобной миграции с Oracle Database и Microsoft SQL Server, поддержку геокластерных конфигураций.

Занимающаяся разработкой корпоративного ПО компания VK Tech (входит в экосистему VK) сообщила о включении в состав облачной платформы VK Cloud стека инструментов для построения Data Lakehouse и с возможностью подключения к объектным хранилищам Cloud Storage, Managed PosgtreSQL, Managed Clickhouse.

Data Lakehouse представляет собой новый архитектурный подход к хранению и анализу данных, который сочетает элементы «озёр данных» (Data Lake) и корпоративного хранилища данных (Data Warehouse). Он позволяет снизить нагрузку на системы хранения данных, удешевить хранение неструктурированных данных и эффективно анализировать их за счёт разделения вычислительных узлов и хранилищ данных.

Data Lakehouse на платформе VK Cloud построен на базе S3-совместимого объектного хранилища собственной разработки и SQL-движка Cloud Trino, реализованного на базе Kubernetes. Использование доработанных Open Source-компонентов в составе Data Lakehouse позволяет организациям получить современный стек для работы с крупными проектами, с оплатой только за фактически потреблённые ресурсы, без необходимости покупать лицензии.

Источник изображения: VK Cloud

Data Lakehouse доступен для построения как на облачной платформе, так и на собственной инфраструктуре на базе Private Cloud и VK Data Platform. Инфраструктура публичного облака VK Cloud аттестована по требованиям 152-ФЗ (УЗ-1).

Компания Oracle анонсировала новую версию СУБД-платформы Exadata. Ещё в предыдущем поколении, Exadata X10M, Oracle приняла решение отказаться от использования процессоров Intel Xeon. В Exadata X11M упор сделан на гибкость развёртывания: on-premise; в виде локального сервиса, управляемого Oracle; в сторонних облаках, в том числе в составе мультиоблачных конфигураций.

Но и прирост производительности тоже заявлен солидный: новое поколение должно продемонстрировать на 55% возросшую скорость векторного поиска, который важен для обучения ИИ-моделей. Скорость сканирования данных выросла в 2,2 раза, а скорость обработки транзакций — на четверть. А на некоторых операциях прирост быстродействия достигает 32 раз. При этом новая платформа стоит столько же, сколько и предыдущая, говорит Oracle.

Источник здесь и далее: Oracle

Прирост производительности во многом обусловлен программными оптимизациями, но и аппаратную составляющую компания тоже подтянула. Основой Oracle Exadata X11M являются AMD EPYC, DDR5-6400, NVMe SSD и двухпортовые 100G-адаптеры. Каждый ДБ-сервер X11M содержит два 96-ядерных процессора AMD EPYC и 512 Гбайт RAM с возможностью расширения до 3 Тбайт. Впрочем, есть и конфигурация попроще — X11M-Z имеет один 32-ядерный EPYC и 768 Гбайт или 1,152 Тбайт памяти. В Exadata активно используется механизм RDMA, в том числе кеширующий слой Exadata RDMA Memory (XRMEM), на который уходит большая часть RAM.

Серверы хранения данных представлены в трёх вариантах: с одним (HC-Z) либо двумя 32-ядерными процессорами (EF и HC) и памятью объёмом 768 Гбайт либо 1,5 Тбайт соответственно. Узлы хранения HC (High Capacity) включают четыре кеширующих 6,8-Тбайт NVMe-накопителя Flash Accelerator F680 v2 (PCIe 5.0) и двенадцать 22-Тбайт SAS HDD (7200 RPM). В узлах EF (Extreme Flash) вместо HDD используются четыре 30,72-Тбайт NVMe SSD. А узлы HC-Z от HC отличаются тем, что имеют лишь пару 6,8-Тбайт кеширующих NVMe SSD и шесть 22-Тбайт HDD.

Минимальная конфигурация Exadata X11M состоит из двух серверов БД и трёх серверов хранения. Она обеспечивает скорость сканирования 135 Гбайт/с и предоставляет 1,9 Пбайт для хранения данных. Последнее достигнуто благодаря использованию гибридного сжатия Oracle Database Hybrid Columnar Compression.

В максимальной конфигурации каждая стойка X11M может содержать до 2880 процессорных ядер, 42 Тбайт RAM, 462 Тбайт высокопроизводительной флеш-памяти и 2,2 Пбайт (SSD) или 4,4 Пбайт (HDD) общего дискового пространства. Сетевая часть представлена RoCE-фабрикой на базе двухпортовых адаптеров, работающих в режиме Active–Active. Всего в стойку можно установить от 3 до 15 серверов БД и от 3 до 17 серверов хранения данных.

Конфигурация может быть расширена дополнительными стойками, подключаемыми посредством RoCE-интерконнекта, причём поддерживаются смешанные варианты, в которых совместно трудятся стойки Exadata X8M, X9M, X10M и X11M. Простоту масштабирования обеспечивают технологии Oracle Real Application Clusters (RAC) и Exadata Exascale and Automatic Storage Management (ASM).

На сегодня Exadata X11M является наиболее продвинутой БД-платформой, сочетающей в себе высочайшую производительность работы с базами данных Oracle, гибкость конфигурации и широкие возможности выбора варианта развёртывания, будь то использование платформы в рамках AWS, Microsoft Azure и Google Cloud или размещение в ЦОД заказчика, говорит Oracle.

«Яндекс» объявил о выходе нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД YDB собственной разработки. СУБД YDB поддерживает работу со сложными аналитическими запросами (OLAP) — благодаря массивно-параллельной архитектуре (МРР) обеспечивает хранение сотен Тбайт данных и быстрое выполнение запросов, а также горизонтально масштабируется за счёт автоматического партиционирования по объёму и нагрузке.

Как сообщается, аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. Платформа СУБД Яндекса также включает движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор и поддержку федеративных SQL-запросов к внешним источникам данных: S3, PostgreSQL, Greenplum, Oracle, MS SQL. Это позволяет создавать корпоративного хранилища данных. В перспективе — поддержка SQL-диалекта PostgreSQL для бесшовной интеграции как для OLAP-, так и OLTP-сценариев.

Источник изображения: Yandex Cloud

Благодаря запуску YDB DWH, СУБД YDB стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов, говорит компания. Подчёркивается, что рынку не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Данное решение особенно актуально для финансового, телекоммуникационного и ретейла. По оценке «Яндекса», рынок систем по обработке данных в России в 2025 году составит 55 млрд руб. При этом доля аналитических СУБД будет составлять 32 % общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД YDB также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Платформа предлагается по коммерческой лицензии для установки в контуре заказчика и как управляемый сервис в Yandex Cloud.

Компания «Тантор Лабс», входящая в «Группу Астра», анонсировала программно-аппаратный комплекс (ПАК) Tantor XData 2.0 для поддержания работы СУБД Tantor. По сравнению с платформой предыдущего поколения новинка, как утверждается, демонстрирует более высокую производительность, а также обладает улучшенным интерфейсом.

Оригинальная версия Tantor XData дебютировала в феврале нынешнего года: в разработке решения приняли участие специалисты группы компаний «Аквариус». Говорилось о применении серверов на процессорах Intel Xeon Cascade Lake-SP, AMD EPYC, Baikal-S или Kunpeng 920, а также ОС Astra Linux Special Edition. А в апреле 2024-го «Группа Астра» создала компанию «Иксдата» по выпуску ПАК для высоконагруженных СУБД.

Говорится, что в Tantor XData 2.0 применяется аппаратно-программное RAID-решение собственной разработки, которое обеспечивает трёхкратное сжатие данных и увеличивает производительность подсистемы хранения до 102 тыс. TPS (транзакций в секунду) в тестах pgbench (операции чтения/записи). Это на 25 % больше по сравнению с ПАК предыдущей версии.

Источник изображения: «Тантор Лабс»

В состав комплекса включено S3-совместимое хранилище, позволяющее гибко масштабировать ресурсы. При этом обеспечивается высокая доступность данных благодаря возможности дублирования и распределения между разными узлами. Реализована новая встроенная система резервного копирования на основе WAL-G: благодаря использованию объектного хранилища S3 упрощается восстановление информации из резервных копий. Кроме того, возможна миграция резервных копий баз данных между различными площадками или регионами.

Применяется СУБД Tantor 16.6. Усовершенствованный графический интерфейс с модулем управления и мониторинга аппаратных ресурсов DCImanager позволяет централизованно взаимодействовать как с программной, так и с аппаратной частью ПАК в режиме «одного окна»: это повышает удобство и прозрачность административных операций. В Tantor XData 2.0 улучшены возможности работы с кластерами баз данных: остановка и запуск для планового обслуживания, ведение реестра задействованных ресурсов, автоматизированное выделение сетевых и дисковых ресурсов при формировании кластера, усиленный механизм работы с секретами для повышения уровня безопасности.

Интерфейс для проведения полного цикла инсталляции/обновления и конфигурирования ПАК XData 2.0 обеспечивает автоматизацию ключевых этапов: монтажа, коммутации и первичной настройки аппаратного комплекса, установки и конфигурации операционной системы на управляющие и вычислительные серверы, на серверы хранения данных, установку, настройку, диагностику и обновление компонентов ПАК, предварительную проверку перед вводом в промышленную эксплуатацию.