В ответ на растущий дефицит флеш-памяти компания VAST Data, специализирующаяся на инфраструктуре для ИИ, представила программу VAST Amplify, разработанную для того, чтобы помочь организациям увеличить эффективную ёмкость имеющихся у них SSD.
Взаимодействие компании с клиентом в рамках VAST Amplify проходит в несколько этапов. Сначала производится анализ инфраструктуры, в ходе которого VAST анализирует всю среду хранения данных клиента, чтобы выявить участки недоиспользуемых SSD-накопителей, фрагментации между разрозненными системами и связанные с устаревшей архитектурой потери, которые снижают эффективную емкость.
Затем следует быстрая квалификация платформы — процесс быстрой сертификации существующих серверов и SSD-накопителей клиента для использования в экосистеме VAST, позволяющий обойти зависимость от новых окон распределения оборудования.
После этого с помощью восстановления и объединения мощностей перепрофилированное оборудование объединяется в единое унифицированное пространство имен на базе операционной системы VAST AI. Это преобразует фрагментированную, привязанную к серверам флеш-память в глобально доступный пул высокопроизводительного хранилища, где мощность может динамически распределяться для любого приложения, устраняя ограничения, связанные с серверными границами или устаревшими архитектурами.
Защита данных осуществляется на уровне платформы с использованием высокоэффективного кодирования с исправлением ошибок, а не традиционных методов, требующих интенсивной репликации и потребляющих в два-три раза больше необработанного хранилища. Это увеличивает полезную ёмкость при сохранении отказоустойчивости в масштабе.
Как сообщается, программа обеспечивает 6-кратное увеличение ёмкости, благодаря использованию базовой архитектуры VAST Data — Disaggregated Shared Everything (DASE) — и набору передовых программных технологий. В отличие от традиционных систем, которые выполняют сокращение данных в изолированных узлах или томах, подход VAST является глобальным и всеобъемлющим.
Одним из ключевых элементов является глобальное сокращение данных на основе сходства. Эта технология ищет и устраняет избыточные шаблоны данных по всему кластеру хранения, а не только в одном файле или наборе данных. Это позволяет существенно увеличить эффективную ёмкость при фиксированном объёме флеш-памяти, особенно в ИИ-средах, где обучающие наборы данных могут содержать огромное количество похожей или дублирующейся информации.
Большую роль играет архитектура записи, оптимизированная для SCM (Storage Class Memory). Все входящие данные сначала записываются в буфер сверхбыстрой памяти класса хранения (SCM). Это позволяет системе поглощать случайные, импульсные записи, а затем интеллектуально организовывать и записывать данные на базовые SSD-накопители большими последовательными блоками, что снижает коэффициент усиления записи, повышает износостойкость и срок службы флеш-накопителей, поддерживая при этом низкую задержку без необходимости использования дорогостоящего оборудования с избыточным резервированием.
Благодаря сочетанию этих методов, операционная система VAST AI OS позволяет значительно увеличить эффективную ёмкость при фиксированном объёме физической флеш-памяти.
Источник:
