Провайдер IT-инфраструктуры Selectel объявил о запуске хранилища S3 Vault — облачного решения для резервного копирования S3-бакетов (buckets) с полным контролем доступа. Сервис может представлять интерес для крупного бизнеса с высокими требованиями к сохранности и безопасности данных, поскольку хранилище изолировано и недоступно из контура организации. Это обеспечивает защиту хранящихся в S3 Vault копий от случайного удаления, сбоев и вредоносных воздействий.

Решение построено на базе платформ Airflow и Kubernetes, что позволяет гибко управлять задачами резервного копирования. Доступ к данным строго ограничен и предоставляется только по запросу, что минимизирует риск компрометации. Такой подход особенно актуален для компаний, работающих с критически важной информацией, например, с персональными и платёжным данными.

Источник изображений: Selectel

Для работы с большими объёмами данных в системе S3 Vault реализованы механизмы параллельной обработки и организации очерёдности задач. Это предотвращает перегрузку каналов и поддерживает стабильную производительность даже при интенсивной нагрузке.

«Перед бизнесом остро стоит проблема защиты данных — особенно сегодня, в условиях участившихся кибератак. S3 Vault создаёт независимый защищённый контур для хранения резервных копий. Это позволяет компаниям не просто подстраховаться на случай сбоев, но и обеспечить бесперебойную работу ключевых IT-систем и непрерывность бизнес-процессов. Для нас это стратегически важный продукт, отвечающий актуальным потребностям рынка в надёжном хранении и восстановлении данных», — отмечает Ярослав Павлов, менеджер продукта в Selectel.

Российская компания «Киберпротект», занимающаяся разработкой систем резервного копирования, защиты от утечек данных (DLP) и инфраструктурного программного обеспечения, сообщила о выпуске новой версии программно-определяемого хранилища данных «Кибер Хранилище» 6.7.

«Кибер Хранилище» представляет собой готовое решение для создания многоцелевой инфраструктуры хранения данных на основе стандартного серверного оборудования x86 с любыми типами накопителей (HDD, SSD, NVMe). Продукт позволяет развернуть несколько пулов хранения с разными показателями производительности и стоимости хранения, объединённых централизованными инструментами управления и мониторинга. Безопасность хранимых данных обеспечивается ролевой моделью, защищённым доступом к инструментам администрирования и средствами шифрования файлов. «Кибер Хранилище» создано в РФ, включено в реестр российского ПО и совместимо со всеми серверными платформами отечественного производства, что позволяет создавать программно-аппаратные комплексы, удовлетворяющие требованиям регуляторов по безопасности и импортозамещению.

Средства мониторинга программного комплекса «Кибер Хранилище» (источник изображения: cyberprotect.ru)

В релизе «Кибер Хранилища» 6.7 реализована функциональность, обеспечивающая возможность доступа под одним доменным именем (FQDN) к системе кластеров, работающих в режиме георепликации. Это позволяет сделать любое приложение, использующее S3-хранилище, катастрофоустойчивым без использования специализированных балансировщиков. В дополнение к этому был упрощён процесс развёртывания крупных кластеров S3. Теперь «Кибер Хранилище» обеспечивает возможность задавать целевое число экземпляров сервисов и автоматически распределяет их по узлам кластера. Такой подход упрощает поэтапное развёртывание в крупных инсталляциях, помогая избегать некорректного размещения избыточного числа экземпляров сервисов на отдельных узлах.

Среди прочих улучшений — возможность автоматизированного обновления системы для закрытых контуров, средства сбора диагностической информации о состоянии сервисов объектного хранилища S3 и инструменты автоматического восстановления работы хранилища при массовом выходе из строя оборудования хранения кластера S3, увеличенная производительность операций чтения/записи данных индекса за счёт избыточного кодирование данных и репликации индекса. Также проведены работы по поддержке высокопроизводительного аппаратного обеспечения и современных технологий его использования, в частности сетевых карт Chelsio и технологии Intel VROC.

Компания QNAP анонсировала бета-версию облачного сервиса myQNAPcloud One, предназначенного для резервного копирования содержимого сетевых хранилищ данных (NAS). Новая платформа на основе подписки объединяет улучшенную версию myQNAPcloud Storage и myQNAPcloud Object — новую объектную систему хранения.

myQNAPcloud Storage предлагает бесшовное, высокопроизводительное и безопасное хранилище, которое интегрируется с решениями для резервного копирования QNAP NAS. Возможно формирование гибридного хранилища, упрощающего создание копий данных, синхронизацию и обмен файлами. В свою очередь, сервис myQNAPcloud Object создан с целью удовлетворения растущего спроса на масштабируемое облачное хранилище. Это решение поддерживает озёра данных, долгосрочное архивирование и резервное копирование. Реализована совместимость с AWS S3, благодаря чему упрощается миграция.

Источник изображений: QNAP

Платформа myQNAPcloud One предлагает гибкие тарифные планы с возможностью приобретения ёмкости от 1 Тбайт. Стоимость составляет от $8,39 в месяц или $83,99 в год. Это, как утверждается, существенно меньше по сравнению с аналогичными предложениями конкурентов. В случае myQNAPcloud One передача данных и запросы API не требуют дополнительной платы, что «обеспечивает предсказуемую и понятную модель ценообразования для бизнеса».

По заявлениям QNAP, платформа myQNAPcloud One разработана с учетом строгих стандартов конфиденциальности и безопасности. При необходимости может быть обеспечена неизменяемость данных, что гарантирует защиту от программ-вымогателей, случайного удаления и несанкционированного изменения. Кроме того, такая модель помогает в удовлетворении нормативных требований в таких отраслях, как здравоохранение, финансы и образование.

Среди других функций упомянуты 180-дневный мониторинг активности пользователей, общий доступ к информации с настройками истечения срока действия и возможность создания до 100 версий файлов для безопасного и эффективного управления данными. Работа myQNAPcloud One поддерживается 13 дата-центрами в различных регионах по всему миру, благодаря чему обеспечиваются доступ с малой задержкой и стабильная производительность, говорит QNAP.

Американская компания Backblaze анонсировала облачное S3-хранилище B2 Overdrive, оптимизированное для нагрузок с интенсивным обменом данными, таких как задачи ИИ и НРС. Утверждается, что платформа в плане соотношения производительности/цены значительно превосходит предложения конкурентов.

Backblaze отмечает, что при работе с ресурсоёмкими приложениями ИИ, машинного обучения, доставки контента или аналитики, клиенты зачастую сталкиваются с выбором: платить больше за максимальную скорость доступа к облаку или жертвовать производительностью, чтобы сохранить расходы на приемлемом уровне. B2 Overdrive, как утверждается, решает эту проблему.

Новый сервис обеспечивает пропускную способность до 1 Тбит/с, а цена начинается с $15 за 1 Тбайт в месяц. Минимальный заказ — несколько Пбайт. Заявленный показатель безотказного функционирования — 99,9 %. Предоставляется бесплатный вывод данных из облака в трехкратном среднем ежемесячном объёме хранения клиента. После превышения этого значения стоимость составляет $0,01 за 1 Гбайт. Скидки за объём и сроки хранения доступны с сервисом B2 Reserve.

Источник изображения: Backblaze

Для хранения данных в облаке B2 Overdrive применяются HDD. Подключение к инфраструктуре клиента осуществляется через защищённую частную сеть. Информацию в экзабайтном масштабе можно свободно перемещать в любой кластер GPU или HPC с неограниченным бесплатным выводом.

Среди прочих преимуществ B2 Overdrive компания Backblaze выделяет отсутствие требований к минимальному размеру файлов, уведомления о событиях, а также бесплатное удаление информации. Приём заявок на подключение к сервису уже начался.

Компания YADRO, ведущий российский разработчик и производитель систем хранения данных, продолжает активно развивать свои продукты, в частности, объектную СХД TATLIN.OBJECT.

Это уникальное отечественное решение, целиком разработанное в России и изначально спроектированное с учётом местных особенностей применения, но не уступающее по характеристикам лучшим зарубежным объектным хранилищам. В основе TATLIN.OBJECT лежит децентрализованный движок хранения данных, оптимизированный для работы в сложных условиях, в том числе, при нестабильном функционировании сети, а также при отказе накопителей или даже выходе из строя части узлов.

Источник здесь и далее: YADRO

Аппаратно данная СХД базируется на специализированной серверной платформе, прошедшей тщательную проверку на совместимость. В ней используется подключение стандарта 10/25GbE, а дисковая часть построена на SAS-дисках класса Nearline, дополняемых кеширующими SSD.

Анонсированное обновление программного обеспечения данной серии хранилищ должно повысить операционную эффективность, в том числе —за счёт автоматизации процессов хранения и расширения спектра доступных сценариев использования в составе информационной инфраструктуры.

Среди ключевых пунктов обновления версии 1.7.0 следует назвать появление поддержки конфигурирования жизненных циклов объекта (S3 Lifecycle configuration). Эта возможность позволяет во многом автоматизировать хранение объектных данных, например, удалять устаревшие или незавершённые части составных загрузок после окончания заданного срока хранения. Такой подход позволяет серьёзно оптимизировать расходы на хранение.

В новой версии TATLIN.OBJECT реализована поддержка метода PATCH, допускающего частичное изменение объектов. Это снижает издержки при необходимости работы с большими объёмами данных, поскольку позволяет модифицировать только требующие такого редактирования части огромных файлов без необходимости их полной загрузки на сервер.

Дополнительно поддержка PATCH позволит интегрировать TATLIN.OBJECT и Kubernetes, так как именно эта функция вкупе с CSI-драйвером делает возможным использование системы в качестве хранилища Persistent-томов в средах контейнеризации.

Кроме того, важное внимание разработчики уделили вопросам информационной безопасности: в новой версии ПО реализована поддержка двухфакторной аутентификации для всех интерфейсов управления СХД. Это позволяет существенно повысить уровень безопасности для ценных корпоративных данных.

Ведущий менеджер продукта YADRO Максим Луганский подчёркивает: «Все наши обновления мы разрабатываем в тесном контакте с клиентами и на основе их реальных задач и сценариев, чтобы сделать управление данными ещё проще, безопаснее и эффективнее. В ближайших релизах мы планируем реализовать поддержку хостинга статических веб-сайтов на TATLIN.OBJECT, оптимизировать сервисные процедуры работы с накопителями и предоставить заказчикам возможность самостоятельного обновления прошивки системы».

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.

Selectel, крупнейший независимый провайдер сервисов IT-инфраструктуры в России, открыл первое в России мультирегиональное объектное хранилище с выбором локации в разных федеральных округах — Москве и Санкт-Петербурге. Новое решение позволит размещать данные, обеспечивая более высокую надёжность, производительность и катастрофоустойчивость инфраструктуры.

Добавление мультирегиональности в хранилище S3 Selectel открывает новые возможности для современных IT-команд, которые теперь могут создавать бакеты в разных географических локациях, выбирая оптимальное расположение для хранения и обработки данных. Этот подход позволяет разнести данные по нескольким дата-центрам, минимизируя риски и обеспечивая максимальную катастрофоустойчивость. Критически важные данные теперь можно дублировать между регионами, сохраняя их на расстоянии более 750 км друг от друга. В случае сбоя в одном регионе, будь то проблемы с интернетом или электропитанием, или даже масштабный катаклизм, данные останутся доступными из резервного региона.

Источник изображения: Selectel

Новая функциональность также помогает улучшить производительность благодаря снижению задержек при доступе к данным. Географическое расположение хранилища ближе к точкам нагрузки значительно уменьшает время ожидания. Это особенно актуально для бизнеса, который имеет представительства сразу в нескольких регионах или по всей России, и нуждается в гибкой IT-инфраструктуре, размещая данные там, где это необходимо, исходя из своих задач.

«Одна из зон доступности нашего мультирегионального хранилища расположена в пуле gis-1 и подходит для хранения данных согласно требованиям 17 приказа ФСТЭК, что крайне важно для компаний, которые работают с государственными информационными системами, — отмечает Александр Гришин, менеджер продуктов Selectel. — Наша команда уже работает над расширением географии хранилища, и в ближайшее время мы планируем запустить новые регионы и зоны доступности».

Помимо классических файловых и блочных систем хранения данных в бизнес-процессах часто используются объектные СХД, позволяющие хранить большие объёмы неструктурированных данных, для извлечения которых используются специальные протоколы, наиболее распространённым из которых является S3. Такие хранилища легко масштабируются и обеспечивают расширенные возможности хранения метаданных, а также управления временем и другими параметрами хранения.

Компания YADRO имеет в своём арсенале программно-аппаратное решение TATLIN.OBJECT, полностью разработанное в России с учётом местных особенностей, но при этом не уступающее лучшим зарубежным объектным СХД. В основе решения лежит децентрализованный движок хранения данных, изначально спроектированный специалистами компании для работы в сложных условиях — например, при нестабильности функционирования глобальной сети, отказе накопителей или выходе из строя части узлов.

Источник здесь и далее: YADRO

Аппаратная часть TATLIN.OBJECT реализована с помощью специализированных серверных платформ. Они тщательно проверены на совместимость и используют подключение 10/25GbE. В качестве накопителей в узлах хранения данных используются Nearline HDD с интерфейсом SAS, а для кеширования возможна установка до четырёх SSD объёмом по 1,92 Тбайт.

Пространство на накопителях сформировано в «шарды». Каждый шард является минимальной «единицей» хранения объектов и представляет собой логическую сущность, состоящую из ёмкости HDD и части ёмкости твердотельного накопителя.

В зависимости от размера объекта система может осуществлять его сохранение по-разному: крупные объекты разделяются на несколько объектов поменьше, а малые — напротив, объединяются в более крупную структуру. Это гарантирует оптимальную производительность и рациональное использование дискового пространства, причём данная механика полностью прозрачна с точки зрения пользователя.

Помимо этого, TATLIN.OBJECT характеризуется высокой надёжностью: система не имеет единых точек отказа, обеспечивает самовосстановление после сбоев, а в случае необходимости имеет механизм быстрой эвакуации данных с узла, показавшего аварийный статус. Более того, сам формат хранения данных реализован с учетом возможной необходимости ручного извлечения и восстановления!

Вместе с тем система легко масштабируется практически до любых размеров, вплоть до сети узлов, расположенных в географически разнесённых ЦОД. Высокая производительность при этом обеспечивается движком, в котором реализован развитый параллелизм обработки запросов множеством узлов одновременно.

Также производительности способствует система интеллектуального сжатия данных в зависимости от типа объекта, а в анонсированной недавно версии 1.6.0 в TATLIN.OBJECT появилась поддержка так называемого «стирающего кодирования» (erasure coding). Это помехоустойчивый, распределенный и очень эффективный алгоритм кодирования, позволяющий избежать многократного увеличения объёма данных, характерного для репликации.

При использовании EC данные нарезаются на куски (chunks) меньшего объёма, которые затем распределяются по узлам хранения, а при чтении вновь собираются воедино. Размер и количество необходимых для полного восстановления копий данных при этом минимален, что при соблюдении условий отказоустойчивости даёт повышенную производительность и максимально эффективное использование дискового пространства.

Помимо erasure coding, в новой версии TATLIN.OBJECT была существенно улучшена система контроля доступа. Так, дальнейшее развитие получили IAM-совместимые методы разграничения доступа к ресурсам СХД. Есть и гибкие политики хранения, и аудит действий администратора, и другие механизмы защиты от несанкционированного доступа.

Разработчики отлично понимают, что СХД не может функционировать в вакууме, поэтому TATLIN.OBJECT изначально спроектирована с учётом совместимости с другими российскими программными комплексами. Среди них есть «Кибер Бэкап», «Кибер Инфраструктура», «Закрома.Хранение», «Закрома.Архив» и др. Обеспечена совместимость с наиболее востребованными вызовами AWS S3 API.

Кроме того, поддерживается интеграция с корпоративными системами мониторинга и внешними системами тарификации конечных пользователей хранилища. Поддерживается REST API для автоматизации, имеется набор шаблонов Zabbix, а также SDK для языка Go и спецификации protobuf/gRPC API для других языков. TATLIN.OBJECT легко интегрируется с популярной системой визуализации Grafana и озером Arenadata Hadoop, а благодаря поддержке интерфейса OCI Distribution СХД можно использовать для хранения образов контейнеров Kubernetes.

Таким образом, TATLIN.OBJECT являет собой современное универсальное решение для объектного хранения данных, пригодное, в том числе для организации масштабных CDN-сетей с региональным расположением кеширующих серверов и гибкой настройкой предоставления услуг по хранению клиентских данных. Возможны иные сценарии, такие как хранилище резеревных копий или контейнеров Kubernetes.

Система TATLIN.OBJECT доступна для заказа как законченный программно-аппаратный комплекс, включающий в себя минимум четыре узла. Это минимальное количество серверов на одну площадку ЦОД, максимальное же на данный момент составляет 100 узлов. Каждый узел, как уже упоминалось, может снабжаться SSD для кеширования на чтение и запись. Также он содержит 6 или 12 дисков NL-SAS.

При этом лицензируется только полезная ёмкость, без учёта резервирования и реплицирования, гранулярность при этом составляет 1 Тбайт. Само резервирование и степень защиты данных определяется настройкой «фактора репликации» — либо количеством копий объекта в системе, либо политиками «стирающего кодирования» (erasure coding).

Установка и обновление TATLIN.OBJECT осуществляется силами инженеров компании YADRO. Доступны различные программы технической поддержки, учитывающие требования заказчика к нормативным срокам реакции на заявки, особенности инфраструктуры и ряд других факторов. Компания планирует активно развивать данное решение и далее: уже на I квартал 2025 года запланировано внедрение поддержки S3 Lifecycles, вирVirtual-Hosted style адресации, метода PATCH и других новых функций.

Компания Nimbus Data анонсировала накопители семейства ExaDrive EN с Ethernet-подключением: это, как утверждается, первые в мире многопротокольные U.2 SSD, поддерживающие NVMe-oF и NFS. Устройства ориентированы на поставщиков облачных услуг и операторов масштабных ИИ-платформ.

Попытки создания SSD с Ethernet предпринимались и ранее, например, Kioxia представила накопители EM6 ещё в 2021 году. Но, как заявляет Nimbus Data, возможности таких изделий были ограничены. Отмечается, что предыдущие решения фактически представляли собой обычные NVMe SSD с конвертером NVMe-to-Ethernet на базе ASIC либо внутри самого накопителя, либо на внешнем адаптере. Nimbus Data заявляет, что такая схема сопряжена с нехваткой необходимого ПО и снижением вычислительной мощности. В результате подобные продукты предлагают лишь базовый блочный доступ, работают медленнее традиционных SSD и не могут в полной мере использовать возможности, которые предоставляет технология Ethernet.

В устройствах Nimbus Data ExaDrive EN используется иной подход, говорит компания. В накопителях применяется SoC с архитектурой Arm, обеспечивающая вычислительные ресурсы для поддержки функций, выходящих за рамки простого блочного хранилища. Кроме того, Nimbus Data портировала на Arm свой софт HALO, создав тем самым «основу для интеллектуального Ethernet SSD с уникальными возможностями». То есть речь идёт уже о SmartSSD с сетевым интерфейсом.

Источник изображения: Nimbus Data

Среди ключевых особенностей ExaDrive EN названы встроенная поддержка протоколов NFS и NVMe/TCP, шифрование AES-256 и подсчёт контрольных сумм для автоматического устранения повреждений данных. Устройства соответствуют спецификации SNIA Native NVMe-oF Drive v1.1, что гарантирует совместимость с EBOF (Ethernet Bunch of Flash). В дальнейшем функциональность будет расширяться: станут доступны сжатие, поддержка параллельных файловых систем и S3-совместимого объектного хранилища.

Используя устройства ExaDrive EN, организации могут задействовать дезагрегацию для создания более эффективной и масштабируемой инфраструктуры данных. Хосты подключаются к таким SSD с помощью клиентов NVMe-oF/TCP и NFS, поддержка которых есть в популярных ОС. Накопителями можно управлять и разделять их на виртуальные пространства имен с помощью веб-интерфейса HALO, CLI или RESTful API. Таким образом, при формировании масштабных хранилищ отпадает необходимость в приобретении дополнительных серверов, сетевых карт, коммутаторов и другого оборудования. В сочетании с масштабируемыми файловыми системами накопители ExaDrive EN можно объединить в единое глобальное пространство экзабайтного уровня.

На первом этапе накопители ExaDrive EN будут доступны в версии вместимостью 16 Тбайт на основе флеш-памяти TLC: такие изделия поступят в продажу в IV квартале 2024 года. В 2025-м появятся варианты большей ёмкости.

Компания Softline сообщила о расширении функциональных возможностей облачной платформы Multicloud («Мультиоблако») и включении в её состав объектного хранилища S3, построенного на базе системы «Кибер Инфраструктура» российского разработчика «Киберпротект».

Softline Multicloud предлагает две политики объектного хранилища: «холодное» хранилище (подходит для хранения бэкапов и данных, к которым нужен редкий доступ) и «тёплое» хранилище (подходит для хранения часто используемых данных: неструктурированных файлов, объектов, изображений, видео, программного кода, архивов, документов и так далее; применяется для частых операций чтение-запись и обеспечивает высокую скорость доступа к информации).

Ключевые особенности платформы Softline «Мультиоблако» (источник изображения: Softline)

Для решения задач, связанных с созданием бэкапов, в составе «Мультиоблака» представлены инструменты для резервного копирования данных на базе решения «Кибер Бэкап Облачный» от компании «Киберпротект» и сервис резервного копирования виртуальных машин на платформе Open Nebula на базе решения от «Хайстекс». Для всех этих продуктов используется хранилище S3 на основе «Кибер Инфраструктуры».

В будущем Softline планирует запустить ещё несколько сервисов с применением хранилища S3. В данный момент компания тестирует одно из решений для виртуального офиса — офисное приложение, предоставляющее доступ к почтовой системе, размещённой в облаке.