Корпорация IBM анонсировала систему Storage DS8000 Release 10.2 — обновлённую версию флагманской платформы хранения данных, разработанной специально для мейнфреймов IBM Z и IBM LinuxONE. В этой СХД применяются новейшие фирменные накопители — устройства FlashCore Module пятого поколения (FCM5).

Источник изображений: IBM

SSD семейства FCM5, заключённые в усовершенствованный корпус High-Performance Flash Enclosure (HPFE) Gen 3 E3, выполнены в форм-факторе EDSFF. Говорится об улучшенной циркуляции воздуха и интеграции с системой AEM (Active Energy Management) для мониторинга энергопотребления и охлаждения в реальном времени.

Накопители выполнены на чипах флеш-памяти QLC NAND с pSLC-кешированием. Задействован интерфейс PCIe 4.0 (NVMe). Скорости чтения/записи и показатель IOPS не раскрываются. «Сырая» ёмкость составляет до 76,8 Тбайт, эффективная доступная ёмкость — до 134 Тбайт. Впрочем, FCM5 включает аппаратные ускорителя сжатия (до 3:1) и шифрования (с поддержкой постквантового шифрования), ИИ-детектор программ-шифровальщиков и механизм глубокой телеметрии, а также — впервые в семействе — аппаратную фоновую дедупликацию. Накопитель оснащён FGPA Xilinx с четырьмя Arm-ядрами.

В состав IBM Storage DS8000 Release 10.2 интегрирована телеметрия IBM Storage Insights: мониторинг состояния, а также показатели производительности системы хранения и сетей SAN совмещены в единый интерфейс. При развёртывании на мэйнфреймах доступна расширенная статистика производительности zHyperLink. Упомянуты развитые средства обнаружения угроз. Так, например, система Copy Services Manager (CSM) при обнаружении аномальной активности запускает автоматический сценарий для изоляции затронутых сред и защиты данных.

Клиенты также могут повысить уровень кибербезопасности благодаря сервисам IBM Z Cyber ​​Vault и IBM Expert Labs Cyber ​​Vault. Первый предназначен для защиты от программ-вымогателей, вредоносного ПО и повреждения данных, тогда как второй предусматривает привлечение экспертов IBM для проектирования, развёртывания, настройки и тестирования СХД в инфраструктуре заказчика.

Компания ScaleFlux анонсировала специализированную программно-аппаратную платформу на основе SSD для ресурсоёмких нагрузок ИИ-инференса. Предложенное решение может применяться в рамках архитектуры NVIDIA CMX — системы хранения данных, предназначенной для ускорения работы с контекстом в ИИ-инфраструктурах.

Платформа ScaleFlux рассчитана на задачи с интенсивным использованием KV-кеша. Отмечается, что KV-блоки часто перезаписываются, хранятся разное время и могут асинхронно аннулироваться. Поэтому при инференсе, когда активно используется KV-кеш, создаётся повышенная нагрузка на SSD, что приводит к быстрому износу чипов флеш-памяти и к тому, что операторы дата-центров и гиперскейлеры вынуждены тратить огромные средства на закупку дополнительных накопителей и замену выходящих из строя устройств.

Источник изображения: ScaleFlux

Новая технология ScaleFlux призвана решить проблему. Платформа базируется на трёх ключевых принципах: анализ реального поведения рабочей нагрузки, разделение блоков KV-кеша с разными жизненными циклами и поддержание интенсивных рабочих нагрузок записи без чрезмерного увеличения ёмкости SSD или расходов на их замену. Основным элементом системы ScaleFlux является функция Flexible Data Placement (FDP): она позволяет группировать данные по их жизненному циклу (например, по сессии, вероятности повторного использования) и размещать их в отдельных физических областях накопителя. Это минимизирует внутреннее перемещение данных, а следовательно, снижает износ флеш-памяти. Платформа поддерживает более 200 потоков FDP-записи на один накопитель, обеспечивая гибкое разделение данных по типам нагрузок.

Ещё одной составляющей решения ScaleFlux является телеметрия Context-Insight: она фиксирует ключевые метрики работы накопителя — задержки, глубину очереди, распределение размеров запросов, возраст данных, интервалы между записью и первым чтением, интенсивность повторного использования и пр. Для первоначального анализа рабочей нагрузки инструмент Context-Insight может использоваться в режиме «только SSD» — без внесения изменений в вышестоящие программные слои. При более глубокой интеграции система сопоставляет телеметрию SSD с метаданными приложения, включая идентификаторы сеансов и рабочих процессов, принадлежность KV-блоков, состояние жизненного цикла и т.д. Это позволяет операторам соотносить задержку и ресурс накопителей с конкретными классами рабочих нагрузок.

В предварительных тестах применение платформы ScaleFlux с поддержкой FDP позволило сократить коэффициент усиления записи (Write Amplification) более чем в два раза по сравнению с традиционными хранилищами. С аппаратной точки зрения применяемые в составе системы ScaleFlux накопители рассчитаны на 7–10 и более полных перезаписей в сутки (DWPD) на протяжении пяти лет для нагрузок с использованием KV-кеша.

Инициатива Open Flash Platform (OFP) призвана полностью пересмотреть работу с флеш-памятью в ИИ ЦОД. Участники OFP — Hammerspace, Linux Foundation, Лос-Аламосская национальная лаборатория (LANL), ScaleFlux, SK hynix и Xsight Systems — намерены отказаться от традиционных All-Flash хранилищ и контроллеров. Вместо них предложено использовать флеш-картриджи с минимумом аппаратной начинки, а доступ к таким массивам предоставлять посредством DPU и pNFS.

Как отмечено в пресс-релизе, OFP отвечает многим фундаментальным требованиям, возникающим в связи со следующим этапом развития СХД для ИИ. Для ИИ требуются поистине огромные массивы данных, но вместе с тем ЦОД сталкиваются с дефицитом энергии, повышением температуры и недостатком свободного места. Именно поэтому в OFP решили, что инфраструктуры хранения для ИИ лучше разработать с чистого листа.

Если 10 лет назад технология NVMe вывела флеш-память на новый уровень производительности благодаря отказу от устаревших шин данных и контроллеров, то теперь OFP обещает раскрыть возможности флеш-памяти, исключив посредников в виде серверов хранения и проприетарных программных стеков. OFP же опирается на открытые стандарты и open source решения, в частности, Parallel NFS (pNFS) и стандартный Linux, для размещения флеш-памяти непосредственно в SAN. А отказ от традиционных СХД обеспечит на порядок большую плотность размещения данных, существенную экономию энергии и значительно более низкую совокупную стоимость владения.

Источник изображения: openflashplatform.org

OFP отметила, что существующие решения изначально привязаны к модели сервера хранения, которая требует чрезмерных ресурсов для повышения производительности и возможностей. Конструкции всех современных поставщиков AFA не оптимизированы для достижения максимальной плотности размещения флеш-памяти и привязаны к сроку службы CPU (обычно пять лет), тогда как срок службы флеш-памяти в среднем составляет восемь лет. Эти серверы хранения также предлагают проприетарные структуры и уровни хранения данных, что приводит к увеличению количества копий данных и добавлению расходов на лицензирование для каждого узла.

Комментируя инициативу, ресурс Blocks & Files отметил, что Pure Storage и другие поставщики AFA уже предлагают оптимизированные схемы лицензирования и подписки, в том числе с обновлением контроллеров и дисковых полок. Та же Pure Storage предлагает более высокую плотность хранения, чем многие другие поставщики, хотя и использует проприетарные решения. Поддержкой DPU тоже удивить нельзя. Например, VAST Data уже поддерживает работу своего ПО на NVIDIA BlueField-3. А большинство поставщиков флеш-массивов и так поддерживают RDMA и GPUDirect.

OFP выступает за открытый, основанный на стандартах подход, включающий несколько основных элементов:

• Флеш-устройства на основе QLC (но не только) для повышения плотности. Закупки не должны быть привязаны к одном поставщику (впрочем, сейчас на рынке именно такая ситуация).
• IPU/DPU, которые стали достаточными зрелыми, чтобы заменить гораздо более требовательные процессоры для обслуживания данных. Более низкая стоимость и энергопотребление означают гораздо более высокую эффективность для сервисов обработки данных.
• Картриджи OFP, которые включают всё необходимое оборудование для хранения и обслуживания данных в форм-факторе, оптимизированном для низкого энергопотребления и повышения плотности размещения флеш-памяти.
• Шасси OFP, которые вмещают несколько картриджей OFP и обеспечивают распределение питания и возможность монтажа в различные типы стоек.
• Linux в качестве основной программной платформы со стандартной реализацией NFS (но это и так индустриальный стандарт).

Благодаря использованию открытых архитектур и компонентов, соответствующих отраслевым стандартам, реализация OFP приведёт к значительному повышению эффективности хранения данных, утверждают основатели инициативы. Так, обещано десятикратное увеличение плотности размещения данных, что позволит «упаковать» в одну стойку 1 Эбайт, попутно снизив энергопотребление на 90 %, увеличив срок службы флеш-памяти на 60 % и уменьшив совокупную стоимость владения (TCO) на 60 % по сравнению со стандартными массивами хранения.

По мнению Blocks & Files, в текущем виде OFP выглядит скорее как маркетинговая инициатива, от которой в первую очеред выиграют её участники. Концепция же «сетевых» SSD сама по себе не нова. Весной Kioxia показала SSD с «оптикой». Да, тут речь идёт скорее о блочном доступе и NVMe-oF, но, например, Nimbus Data в прошлом году представила ExaDrive EN с поддержкой NFS.

Консорциум NVM Express обновил спецификации, добавив возможность работы с вычислительными хранилищами NVMe Computational Storage Feature. Речь идёт о возможности использования устройств хранения, которые могут самостоятельно обрабатывать хранящуюся на них информацию по команде извне. Это позволит снизить совокупную стоимость владения IT-системами и повысить их общую производительность.

Спецификация включает два новых набора команд: Computational Programs и Subsystem Local Memory Command Sets. Первый отвечает за исполнение программ на устройстве хранения, в том числе их загрузку, поиск уже загруженных программ и их запуск. Набор обеспечивает модульный подход к программам, управляемым хостом. Второй предоставляет доступ к памяти в подсистеме NVM и позволяет работать с данными, обрабатываемыми программами на устройстве хранения.

Источник изображения: NVM Express

Вычислительное хранилище сокращает необходимость в перемещении данных между накопителями и процессором/ускорителем. Определённые операции могут производиться непосредственно на устройстве хранения, что повышает время отклика приложений, критичных к задержке. Это могут быть базы данных, модели ИИ и системы доставки контента.

В целом, функция NVMe Computational Storage Feature обеспечивает стандартизированную, не зависящую от поставщика оборудования архитектуру для хранения и обработки данных на накопителях NVMe. Решение ориентировано прежде всего на операторов дата-центров и гиперскейлеров.