Помимо классических файловых и блочных систем хранения данных в бизнес-процессах часто используются объектные СХД, позволяющие хранить большие объёмы неструктурированных данных, для извлечения которых используются специальные протоколы, наиболее распространённым из которых является S3. Такие хранилища легко масштабируются и обеспечивают расширенные возможности хранения метаданных, а также управления временем и другими параметрами хранения.
Компания YADRO имеет в своём арсенале программно-аппаратное решение TATLIN.OBJECT, полностью разработанное в России с учётом местных особенностей, но при этом не уступающее лучшим зарубежным объектным СХД. В основе решения лежит децентрализованный движок хранения данных, изначально спроектированный специалистами компании для работы в сложных условиях — например, при нестабильности функционирования глобальной сети, отказе накопителей или выходе из строя части узлов.
Источник здесь и далее: YADRO
Аппаратная часть TATLIN.OBJECT реализована с помощью специализированных серверных платформ. Они тщательно проверены на совместимость и используют подключение 10/25GbE. В качестве накопителей в узлах хранения данных используются Nearline HDD с интерфейсом SAS, а для кеширования возможна установка до четырёх SSD объёмом по 1,92 Тбайт.
Пространство на накопителях сформировано в «шарды». Каждый шард является минимальной «единицей» хранения объектов и представляет собой логическую сущность, состоящую из ёмкости HDD и части ёмкости твердотельного накопителя.
В зависимости от размера объекта система может осуществлять его сохранение по-разному: крупные объекты разделяются на несколько объектов поменьше, а малые — напротив, объединяются в более крупную структуру. Это гарантирует оптимальную производительность и рациональное использование дискового пространства, причём данная механика полностью прозрачна с точки зрения пользователя.
Помимо этого, TATLIN.OBJECT характеризуется высокой надёжностью: система не имеет единых точек отказа, обеспечивает самовосстановление после сбоев, а в случае необходимости имеет механизм быстрой эвакуации данных с узла, показавшего аварийный статус. Более того, сам формат хранения данных реализован с учетом возможной необходимости ручного извлечения и восстановления!
Вместе с тем система легко масштабируется практически до любых размеров, вплоть до сети узлов, расположенных в географически разнесённых ЦОД. Высокая производительность при этом обеспечивается движком, в котором реализован развитый параллелизм обработки запросов множеством узлов одновременно.
Также производительности способствует система интеллектуального сжатия данных в зависимости от типа объекта, а в анонсированной недавно версии 1.6.0 в TATLIN.OBJECT появилась поддержка так называемого «стирающего кодирования» (erasure coding). Это помехоустойчивый, распределенный и очень эффективный алгоритм кодирования, позволяющий избежать многократного увеличения объёма данных, характерного для репликации.
При использовании EC данные нарезаются на куски (chunks) меньшего объёма, которые затем распределяются по узлам хранения, а при чтении вновь собираются воедино. Размер и количество необходимых для полного восстановления копий данных при этом минимален, что при соблюдении условий отказоустойчивости даёт повышенную производительность и максимально эффективное использование дискового пространства.
Помимо erasure coding, в новой версии TATLIN.OBJECT была существенно улучшена система контроля доступа. Так, дальнейшее развитие получили IAM-совместимые методы разграничения доступа к ресурсам СХД. Есть и гибкие политики хранения, и аудит действий администратора, и другие механизмы защиты от несанкционированного доступа.
Разработчики отлично понимают, что СХД не может функционировать в вакууме, поэтому TATLIN.OBJECT изначально спроектирована с учётом совместимости с другими российскими программными комплексами. Среди них есть «Кибер Бэкап», «Кибер Инфраструктура», «Закрома.Хранение», «Закрома.Архив» и др. Обеспечена совместимость с наиболее востребованными вызовами AWS S3 API.
Кроме того, поддерживается интеграция с корпоративными системами мониторинга и внешними системами тарификации конечных пользователей хранилища. Поддерживается REST API для автоматизации, имеется набор шаблонов Zabbix, а также SDK для языка Go и спецификации protobuf/gRPC API для других языков. TATLIN.OBJECT легко интегрируется с популярной системой визуализации Grafana и озером Arenadata Hadoop, а благодаря поддержке интерфейса OCI Distribution СХД можно использовать для хранения образов контейнеров Kubernetes.
Таким образом, TATLIN.OBJECT являет собой современное универсальное решение для объектного хранения данных, пригодное, в том числе для организации масштабных CDN-сетей с региональным расположением кеширующих серверов и гибкой настройкой предоставления услуг по хранению клиентских данных. Возможны иные сценарии, такие как хранилище резеревных копий или контейнеров Kubernetes.
Система TATLIN.OBJECT доступна для заказа как законченный программно-аппаратный комплекс, включающий в себя минимум четыре узла. Это минимальное количество серверов на одну площадку ЦОД, максимальное же на данный момент составляет 100 узлов. Каждый узел, как уже упоминалось, может снабжаться SSD для кеширования на чтение и запись. Также он содержит 6 или 12 дисков NL-SAS.
При этом лицензируется только полезная ёмкость, без учёта резервирования и реплицирования, гранулярность при этом составляет 1 Тбайт. Само резервирование и степень защиты данных определяется настройкой «фактора репликации» — либо количеством копий объекта в системе, либо политиками «стирающего кодирования» (erasure coding).
Установка и обновление TATLIN.OBJECT осуществляется силами инженеров компании YADRO. Доступны различные программы технической поддержки, учитывающие требования заказчика к нормативным срокам реакции на заявки, особенности инфраструктуры и ряд других факторов. Компания планирует активно развивать данное решение и далее: уже на I квартал 2025 года запланировано внедрение поддержки S3 Lifecycles, вирVirtual-Hosted style адресации, метода PATCH и других новых функций.
Источник:
