Компания ScaleFlux анонсировала специализированную программно-аппаратную платформу на основе SSD для ресурсоёмких нагрузок ИИ-инференса. Предложенное решение может применяться в рамках архитектуры NVIDIA CMX — системы хранения данных, предназначенной для ускорения работы с контекстом в ИИ-инфраструктурах.

Платформа ScaleFlux рассчитана на задачи с интенсивным использованием KV-кеша. Отмечается, что KV-блоки часто перезаписываются, хранятся разное время и могут асинхронно аннулироваться. Поэтому при инференсе, когда активно используется KV-кеш, создаётся повышенная нагрузка на SSD, что приводит к быстрому износу чипов флеш-памяти и к тому, что операторы дата-центров и гиперскейлеры вынуждены тратить огромные средства на закупку дополнительных накопителей и замену выходящих из строя устройств.

Источник изображения: ScaleFlux

Новая технология ScaleFlux призвана решить проблему. Платформа базируется на трёх ключевых принципах: анализ реального поведения рабочей нагрузки, разделение блоков KV-кеша с разными жизненными циклами и поддержание интенсивных рабочих нагрузок записи без чрезмерного увеличения ёмкости SSD или расходов на их замену. Основным элементом системы ScaleFlux является функция Flexible Data Placement (FDP): она позволяет группировать данные по их жизненному циклу (например, по сессии, вероятности повторного использования) и размещать их в отдельных физических областях накопителя. Это минимизирует внутреннее перемещение данных, а следовательно, снижает износ флеш-памяти. Платформа поддерживает более 200 потоков FDP-записи на один накопитель, обеспечивая гибкое разделение данных по типам нагрузок.

Ещё одной составляющей решения ScaleFlux является телеметрия Context-Insight: она фиксирует ключевые метрики работы накопителя — задержки, глубину очереди, распределение размеров запросов, возраст данных, интервалы между записью и первым чтением, интенсивность повторного использования и пр. Для первоначального анализа рабочей нагрузки инструмент Context-Insight может использоваться в режиме «только SSD» — без внесения изменений в вышестоящие программные слои. При более глубокой интеграции система сопоставляет телеметрию SSD с метаданными приложения, включая идентификаторы сеансов и рабочих процессов, принадлежность KV-блоков, состояние жизненного цикла и т.д. Это позволяет операторам соотносить задержку и ресурс накопителей с конкретными классами рабочих нагрузок.

В предварительных тестах применение платформы ScaleFlux с поддержкой FDP позволило сократить коэффициент усиления записи (Write Amplification) более чем в два раза по сравнению с традиционными хранилищами. С аппаратной точки зрения применяемые в составе системы ScaleFlux накопители рассчитаны на 7–10 и более полных перезаписей в сутки (DWPD) на протяжении пяти лет для нагрузок с использованием KV-кеша.

Компания ScaleFlux анонсировала контроллер MC500 CXL Type 3, разработанный в сотрудничестве с ключевыми отраслевыми партнёрами. Изделие, оптимизированное для обеспечения максимальной производительности в расчёте на 1 Вт энергоптребления, ориентировано на высоконагруженные инфраструктуры ИИ и облачные платформы.

Чип поддерживает стандарты JEDEC SPDM 1.2 и Caliptra, а также передовую технологию коррекции ошибок (ECC) с применением декодирования по списку (list decoding) для обработки сложных сбоев. Применяется интерфейс PCIe 5.0 с возможностью работы в режимах x4, x8, 2x4 и 2x8.

Контроллер совместим с памятью DDR5-4800 (4 канала; 2DPC) и DDR4-3200 (2 канала; 2DPC). В первом случае её объём может достигать 1 Тбайт, во втором — 512 Гбайт. На базе чипа могут проектироваться устройства типоразмера FHHL, HHHL, EDSFF E3.S 1T и E3.S 2T. Типовое заявленное энергопотребление изделия MC500 CXL Type 3 составляет около 6 Вт при использовании восьми линий PCIe или приблизительно 10 Вт в режиме 2×8 линий. Изделие выполнено в корпусе Flip Chip BGA с размерами 23 × 23 мм.

Источник изображения: ScaleFlux

Чип предназначен для объединения процессоров, памяти и ускорителей в серверах. Говорится о совместимости с компонентами ведущих отраслевых игроков, что упрощает построение систем. Контроллер поможет устранить узкие места в архитектуре дата-центров и обеспечить бесшовную совместную работу оборудования, что важно в свете стремительного увеличения объёмов обрабатываемых и передаваемых данных.

Нужно отметить, что в конце прошлого года консорциум CXL Consortium представил спецификацию Compute Express Link (CXL) 4.0. В её основе лежит интерфейс PCIe 7.0, что обеспечивает поддержку линий с пропускной способности в 128 ГТ/с.

Компании AIC и ScaleFlux анонсировали систему F2026 Inference AI для ресурсоёмких приложений ИИ с интенсивным использованием данных. Решение выполнено в форм-факторе 2U. В оснащение входят два DPU NVIDIA BlueField-3, которые могут работать на скорости до 400 Гбит/с. Эти изделия способны ускорять различные сетевые функции, а также операции, связанные с передачей и обработкой больших массивов информации.

Во фронтальной части F2026 Inference AI расположены 26 отсеков для высокопроизводительных вычислительных SSD семейства ScaleFlux CSD5000 (U.2). Накопители с интерфейсом PCIe 5.0 (NVMe 2.0b) имеют вместимость 3,84, 7,68, 15,36, 30,72, 61,44 и 122,88 Тбайт, а с учётом компрессии эффективная ёмкость может достигать приблизительно 256 Тбайт. Реализована поддержка TCG Opal 2.02 и шифрования AES-256, NVMe Thin Provisioned Namespaces Virtualization (48PF/32VF), ZNS, FDP.

Платформа F2026 Inference AI представляет собой JBOF-массив, способный на сегодняшний день хранить 1,6 Пбайт информации (эффективный объём). В следующем году показатель будет доведён до 6,6 Пбайт. Утверждается, что сочетание BlueField-3 и энергоэффективной технологии хранения ScaleFlux помогает минимизировать энергопотребление, а также повысить долговечность и надёжность.

Результаты проведённого тестирования F2026 Inference AI демонстрируют пропускную способность при чтении до 59,49 Гбайт/с, при записи — более 74,52 Гбайт/с. Благодаря объединению средств хранения, сетевых функций и инструментов безопасности в одну систему достигается снижение эксплуатационных расходов, что позволяет оптимизировать совокупную стоимость владения (TCO).

Источник изображения: AIC

Новинка является лишь одной из вариаций решений на базе F2026. Платформа, в частности, поддерживает работу других DPU, включая Kalray 200 и Chelsio T7. Также упоминается вариант шасси на 32 накопителя EDSFF E3.S/E3.L.