Материалы по тегу: olap

17.02.2025 [21:08], Андрей Крупин

VK запустила облачный Data Lakehouse для аналитики и обработки данных

Занимающаяся разработкой корпоративного ПО компания VK Tech (входит в экосистему VK) сообщила о включении в состав облачной платформы VK Cloud стека инструментов для построения Data Lakehouse и с возможностью подключения к объектным хранилищам Cloud Storage, Managed PosgtreSQL, Managed Clickhouse.

Data Lakehouse представляет собой новый архитектурный подход к хранению и анализу данных, который сочетает элементы «озёр данных» (Data Lake) и корпоративного хранилища данных (Data Warehouse). Он позволяет снизить нагрузку на системы хранения данных, удешевить хранение неструктурированных данных и эффективно анализировать их за счёт разделения вычислительных узлов и хранилищ данных.

Data Lakehouse на платформе VK Cloud построен на базе S3-совместимого объектного хранилища собственной разработки и SQL-движка Cloud Trino, реализованного на базе Kubernetes. Использование доработанных Open Source-компонентов в составе Data Lakehouse позволяет организациям получить современный стек для работы с крупными проектами, с оплатой только за фактически потреблённые ресурсы, без необходимости покупать лицензии.

 Источник изображения: VK Cloud

Источник изображения: VK Cloud

Data Lakehouse доступен для построения как на облачной платформе, так и на собственной инфраструктуре на базе Private Cloud и VK Data Platform. Инфраструктура публичного облака VK Cloud аттестована по требованиям 152-ФЗ (УЗ-1).

Постоянный URL: http://servernews.ru/1118415
03.02.2025 [15:06], Сергей Карасёв

Разработчик гипермасштабируемых аналитических хранилищ Ocient выбрал чипы AMD EPYC Genoa

Компания Ocient, специализирующаяся на разработке гипермасштабируемых аналитических хранилищ данных, объявила о заключении соглашения о сотрудничестве с AMD с целью повышения производительности, снижения затрат и максимизации эффективности ресурсоёмких вычислений и рабочих нагрузок ИИ.

Ocient была основана в 2016 году. Компания предлагает платформу на основе реляционной базы данных с массовым параллелизмом, которая способна анализировать огромные объёмы информации (триллионы строк) за секунды или минуты.

Хранилище Ocient Hyperscale Data Warehouse (OHDW) использует архитектуру Compute Adjacent Storage Architecture (CASA) для устранения узких мест в сетевой инфраструктуре и обеспечения максимально быстрого доступа к данным. Функция Zero Copy Reliability отвечает за высокую надёжность хранения информации без репликации с помощью кодирования с контролем чётности.

 Источник изображения: Ocient

Источник изображения: Ocient

Генеральный директор Ocient Крис Гладвин (Chris Gladwin) отмечает, что задачи ИИ и аналитики больших данных создают огромную вычислительную нагрузку на ЦОД по всему миру. Это означает, что повышение эффективности оборудования и программного обеспечения имеет решающее значение для снижения расходов, уменьшения энергопотребления и улучшения производительности. В этой связи Ocient сделала выбор в пользу процессоров AMD EPYC 9654 поколения Genoa с 96 вычислительными ядрами, которые придут на смену 28-ядерным чипам Intel Xeon Gold 6348 семейства Ice Lake-SP.

Говорится, что благодаря более высокой плотности ядер изделия AMD обеспечат трёхкратный рост производительности для ресурсоёмких вычислительных задач. При этом снизятся эксплуатационные расходы, что обусловлено повышением быстродействия и энергоэффективности. Плюс к этому достигается гибкость масштабирования.

Постоянный URL: http://servernews.ru/1117641
20.12.2024 [23:39], Владимир Мироненко

«Яндекс» представил компонент YDB DWH для аналитической обработки данных в СУБД YDB

«Яндекс» объявил о выходе нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД YDB собственной разработки. СУБД YDB поддерживает работу со сложными аналитическими запросами (OLAP) — благодаря массивно-параллельной архитектуре (МРР) обеспечивает хранение сотен Тбайт данных и быстрое выполнение запросов, а также горизонтально масштабируется за счёт автоматического партиционирования по объёму и нагрузке.

Как сообщается, аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. Платформа СУБД Яндекса также включает движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор и поддержку федеративных SQL-запросов к внешним источникам данных: S3, PostgreSQL, Greenplum, Oracle, MS SQL. Это позволяет создавать корпоративного хранилища данных. В перспективе — поддержка SQL-диалекта PostgreSQL для бесшовной интеграции как для OLAP-, так и OLTP-сценариев.

 Источник изображения: Yandex Cloud

Источник изображения: Yandex Cloud

Благодаря запуску YDB DWH, СУБД YDB стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов, говорит компания. Подчёркивается, что рынку не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Данное решение особенно актуально для финансового, телекоммуникационного и ретейла. По оценке «Яндекса», рынок систем по обработке данных в России в 2025 году составит 55 млрд руб. При этом доля аналитических СУБД будет составлять 32 % общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД YDB также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Платформа предлагается по коммерческой лицензии для установки в контуре заказчика и как управляемый сервис в Yandex Cloud.

Постоянный URL: http://servernews.ru/1115733
01.10.2024 [21:45], Владимир Мироненко

«Группа Аренадата» привлекла 2,7 млрд рублей в ходе IPO

ПАО «Группа Аренадата» (Группа Arenadata), российский разработчик ПО для систем управления и обработки данных, объявило об успешном проведении первичного публичного предложения (IPO), прошедшего по верхней границе ценового диапазона. Сообщается, что «Группа Аренадата» стала первой публичной компанией среди разработчиков системного ПО для работы с данными. Стоимость акции составила 95 руб., а оценка рыночной капитализации компании достигла 19 млрд руб.

В ходе IPO со стороны текущих акционеров было предложено 28 млн акций на сумму около 2,7 млрд руб. по цене IPO, включая 2,8 млн акций, которые могут быть использованы для стабилизации цены акций на вторичных торгах в период до 30 дней после начала торгов.

В результате IPO акционерами группы стали около 30 тыс. частных инвесторов. Акции были распределены между категориями инвесторов в следующей пропорции: 57 % получили институциональные инвесторы, 27 % — розничные инвесторы и 16 % — партнёры продающих акционеров. Аллокация (распределение акций) розничным инвесторам составила около 5 %. Каждый розничный инвестор получил не менее 1 акции, те, кто подал более 10 заявок, не получили аллокации.

 Источник изображения: «Группа Аренадата»

Источник изображения: «Группа Аренадата»

Как отметил в интервью «Агентству Бизнес Новостей» представитель ПАО «Группа Аренадата», на размер аллокации повлиял «размер сделки, повышенный интерес как со стороны институциональных инвесторов — крупнейших УК, инвестиционных фондов, так и со стороны частных инвесторов». По данным «Агентства Бизнес Новостей», в ходе IPO Iva Technologies аллокация среди розничных инвесторов составила 5–10 %, столько же у IT-компании Positive Technologies и 4 % — у «Группы Астра».

После выхода на биржу доля акций в свободном обращении (free-float) составит порядка 14 % от акционерного капитал группы. Акции под тикером DATA и ISIN RU000A108ZR8 были включены во второй уровень листинга Московской биржи. Первые торги акциями «Группы Аренадата» прошли сегодня, 1 октября 2024 года.

Компания была основана в 2015 году как дочерняя структура IBS, но впоследствии отделилась от родительской компании. В 2017 года компания представила свой первый продукт — Arenadata Hadoop. В дальнейшем на рынок были выведены Arenadata DB, Arenadata QuickMarts, Arenadata Cluster Manager, Arenadata Streaming, Arenadata Postgres и т.д. По состоянию на 2023 году объём данных на платформе Arenadata превысил 60 Пбайт.

Постоянный URL: http://servernews.ru/1111834
Система Orphus