Компания Pure Storage анонсировала систему FlashBlade//EXA: это, как утверждается, самая производительная на сегодняшний день платформа хранения данных, разработанная специально для наиболее требовательных нагрузок ИИ и HPC.

Отмечается, что стандартные СХД оптимизированы для традиционных сред HPC с предсказуемыми операциями. Такие системы разрабатываются с прицелом на масштабирование «чистой производительности». Однако современные нагрузки ИИ являются гораздо более сложными и многомодальными: они предусматривают обработку данных разного типа — текстов, изображений и видео — одновременно на десятках тысяч ускорителей. Из-за этого возникает необходимость в оптимизации обработки метаданных наряду с масштабированием производительности.

FlashBlade//EXA, по заявлениям Pure Storage, устраняет узкие места традиционных СХД в плане работы с метаданными. Архитектура новой платформы даёт возможность масштабировать ресурсы для обработки обычных данных и метаданных независимо друг от друга. Эффективная обработка метаданных имеет решающее значение для поддержания высокой производительности, надёжности и эффективности в крупномасштабных средах ИИ.

Источник изображений: Pure Storage

Сегмент метаданных Metadata Core в составе FlashBlade//EXA может объединять от 1 до 10 5U-шасси с десятью blade-узлами в каждом. В каждом узле размещается от одного до четырёх фирменных 37.5-Тбайт модуля DFM. Ещё 2U приходится на пару XFM (External Fabric Modules), которые дают 16 подключений 400GbE. Metadata Core работает с фирменной ОС Purity//FB, общается напрямую с GPU-кластером (NFSv4.1 over TCP) и управляет потоками данных между узлами хранения и кластером (NFSv3 over RDMA).

Узлы хранения Data Node обладают неограниченной масштабируемостью. Причём эти узлы могут быть самыми обычными x86-серверами любых вендоров. Каждый такой узел должен содержать 32-ядерный CPU, 192 Гбайт RAM, от 12 до 16 NVMe SSD (PCIe 4.0/5.0) вместимостью до 61,44 Тбайт, а также пару 400GbE NIC. Архитектура платформы предусматривает использование сетевых адаптеров NVIDIA ConnectX, коммутаторов Spectrum, компонентов LinkX и пр.

Система FlashBlade//EXA обеспечивает производительность свыше 10 Тбайт/с на операциях чтения в одном пространстве имён. В результате, организации могут значительно ускорить процессы обучения ИИ-моделей и инференса, максимально используя потенциал GPU-ускорителей. Это также способствует снижению временных и финансовых затрат на решение ресурсоёмких задач. По-видимому, именно это решение компания и предлагает гиперскейлерам. У самой Pure Storage есть тестовая конфигурация из 300 узлов, которая показывает производительность на уровне 30 Тбайт/с.

Британский стартап PEAK:AIO анонсировал обновлённую платформу хранения данных AI Data Server, предназначенную для поддержания ресурсоёмких нагрузок ИИ. Сервер в форм-факторе 2U на основе SSD производства Solidigm обеспечивает 1,5 Пбайт «сырой» вместимости. PEAK:AIO утверждает, что благодаря новому программному стеку NVMe устраняются «узкие места Linux», что обеспечивает высокую производительность для приложений ИИ с интенсивным использованием данных.

AI Data Server — это программно-определяемое хранилище на стороннем оборудовании. В частности, применяется сервер Dell PowerEdge R7625, оборудованный сетевыми адаптерами NVIDIA ConnectX-7. Заявленная пропускная способность достигает 120 Гбайт/с. Система комплектуется накопителями Solidigm D5-P5336 вместимостью 61,44 Тбайт. Эти изделия выполнены на 192-слойных чипах флеш-памяти QLC 3D NAND и оснащены интерфейсом PCIe 4.0 x4 (NVMe 2.0). Скорость последовательного чтения/записи достигает 7000/3000 Мбайт/с, показатель IOPS при произвольном чтении — 1 005 000. Сервер комплектуется 24 накопителями, что в сумме обеспечивает около 1,5 Пбайт ёмкости.

Источник изображения: PEAK:AIO

Платформа AI Data Server может использоваться для решения различных задач в специфичных областях, таких как здравоохранение, исследования и периферийные приложения ИИ. Подобные нагрузки требуют наличия высокопроизводительного хранилища, но зачастую доступ к инфраструктуре ЦОД у организаций из указанных отраслей ограничен. Система AI Data Server позволяет устранить данный пробел: она может масштабироваться от единичных узлов до кластеров, рассчитанных на огромные озера данных ИИ.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-задач, анонсировала масштабируемую СХД Infinia, разработанную в сотрудничестве с Сандийскими национальными лабораториями (SNL) Министерства энергетики США.

Infinia — программно-определяемое многопротокольное решение с горизонтальным масштабированием, которое подходит для различных сценариев использования. Это могут быть сложные научные задачи, приложения ИИ, большие языковые модели и пр.

Узлами системы могут быть любые серверы с процессорами Intel, Arm или AMD. Говорится, что платформа Infinia может масштабироваться до сотен петабайт. Среди ключевых преимуществ решения разработчик называет простоту управления, высокую производительность и безопасность.

Источник изображения: DDN

Референсная аппаратная платформа представляет собой 1U-узел с 24-ядерным процессором AMD EPYC Genoa. Во фронтальной части предусмотрены отсеки для 12 накопителей SFF формата U.2 (NVMe) с возможностью горячей замены. Предусмотрены два сетевых порта 10GbE и порт 1GbE (все с разъёмами RJ-45), а также слота PCIe 5.0 x16 для HHHL-адаптеров, которые могут предложить до четырёх 200G-портов.

Источник изображения: DDN / StorageNewsletter

Шасси имеет габариты 680 × 450 × 44 мм и весит 22,9 кг. СХД оборудована двумя блоками питания мощностью 850 Вт с сертификатом 80 Plus Platinum. В системе воздушного охлаждения применяются шесть вентиляторов. Диапазон рабочих температур — от +10 до +35 °C.

Hitachi Vantara, «дочка» Hitachi Ltd., специализирующаяся на СХД, управлении данными и цифровых решениях, объявила на конференции SC23 о партнёрстве с Quobyte, занимающейся разработкой высокопроизводительных программно определяемых хранилищ. Цель альянса — создание долговечных масштабируемых решений для хранения данных с доступной ценой. Партнёрство включает и стратегическое сотрудничество в области маркетинга и взаимодействия с клиентами.

Как отмечено в пресс-релизе, интеграция интеллектуальной платформы данных Hitachi Vantara и передовой платформы хранения данных Quobyte «откроет новую эру управления данными, соответствующую меняющимся потребностям современных предприятий и сред HPC». «Объединяя наше мастерство управления данными с возможностями Quobyte в области хранения данных, мы не просто решаем проблемы управления данными, но и поднимаем операционную эффективность на новый уровень», — заявил представитель Hitachi Vantara.

Изображение: Quobyte

Сообщается, что благодаря партнёрству клиентам компаний будут предложены:

• Высочайшая надёжность: бесперебойная работа в сочетании с горизонтально масштабируемой производительностью, а также возможность добавлять и удалять оборудование без простоев в составе базовой функциональности;
• Функции корпоративного уровня: интуитивно понятное управление политиками, надёжные функции безопасности, простое управление, снимки, квоты, а также мультикластерность и многопользовательское окружение — всё с учётом жёстких требований сред HPC;
• Масштабируемая производительность с возможностью управления петабайтами данных и тысячами узлов;
• Доступность и дружественность: устранение разрыва между потребностью в хранилищах для HPC и удобными для пользователя решениями, что делает хранилище для HPC простым, надёжным и доступным с корпоративными функциями.
• Экономическая эффективность за счёт подхода Quobyte, ориентированного на ПО с использованием обычного оборудования, обеспечивающего значительное снижение совокупной стоимости владения (TCO) без ущерба для производительности или простоты управления;
• Клиентоориентированный подход.

В августе этого года израильская компания Xinnor, специализирующаяся на решениях для хранения данных, в том числе программного RAID для современных NVMe SSD, сообщила в ходе саммита Flash Memory Summit о мировом рекорде производительности, установленном с использованием ПО Xinnor xiRAID и 12-ти NVMe SSD Kioxia CM7-R (PCIe 5.0). На SC23 компания обновила рекорд.

На этот раз в тесте были задействованы сразу 24 накопителя Kioxia CM7-V (PCIe 5.0, NVMe). Каждый диск имеет скорость последовательного чтения 14 Гбайт/с и последовательной записи 6,75 Гбайт/с, а на случайных операциях производительность составляет 2,7 млн IOPS и более 600 тыс. IOPS соответственно.

При развёртывании множества таких SSD в системе первостепенное значение приобретает обеспечение надлежащей масштабируемости производительности и целостности данных. Xinnor выполнила тест на сервере Supermicro с двумя 64-ядерными процессорами AMD EPYC Genoa 9534 и 768 Гбайт RAM. Чтобы избежать узких мест, Xinnor создала две группы RAID 5 по 12 дисков так, что каждый массив находился в рамках одного NUMA-домена. Такая конфигурация обеспечивает наивысшую производительность и одновременно защиту данных в случае сбоя диска для каждого RAID, говорит Xinnor.

Изображение: Xinnor

Сообщается, что в последовательных рабочих нагрузках рекордные показатели (см. таблицу ниже) были достигнуты при использовании лишь 16 из 128 доступных ядер, а на случайных операциях xiRAID нагружал на 3–9 % лишь половину ядер. Низкая нагрузка на CPU и универсальность xiRAID, по словам компании, значительно упрощает развёртывание массивов и позволяет эффективно использовать имеющееся оборудование.

Xinnor также проверила работу в деградированном режиме, когда из массива RAID 5 «выпадает» один накопитель. Даже в этом случае производительность остаётся достаточно высокой: более 34 млн и 6 млн IOPS при произвольных чтении и записи соответственно, что эквивалентно 52 % и 75 % от нормальной производительности. При последовательных операциях доступа Xinnor зафиксировала производительность выше 70 % от нормальной.

Заодно Xinnor также протестировала ту же систему, создав 2 группы RAID 6 (2 × 10 + 2). При чтении производительность была сравнима с RAID 5: 64 млн IOPS и 310 Гбайт/с. При записи производительность была ниже: 5,2 млн IOPS и 128 Гбайт/с. Впрочем, по словам Xinnor, xiRAID быстрее, чем любое другое альтернативное решение RAID.

Компания Kioxia, по сообщению ресурса Blocks & Files, свернула проект KumoScale по разработке специализированного ПО для хранилищ данных. Выпуск новых версий не планируется, а новые лицензии на данный продукт предоставляться не будут. Поддержка текущих заказчиков сохранится.

KumoScale — это программный комплекс, нацеленный на максимизацию использования обычных NVMe-накопителей в дата-центрах. Платформа использует NVMe-oF (RDMA или NVMe/TCP) для формирования быстрых масштабируемых блочных хранилищ с низкой задержкой и позволяет управлять сотнями узлов хранения. Платформа обзавелась поддержкой Kubernetes, OpenStack, NVIDIA Magnum IO GPUDirect Storage (GDS) и т.д.

Одна из первых презентаций KumoScale (Изображение: Kioxia/Toshiba)

В уведомлении на сайте Kioxia говорится, что развивать платформу KumoScale после версии 3.22 не планируется. Для продукта теперь осуществляется только техническое обслуживание — компания намерена поддерживать существующих клиентов. Какие-либо комментарии по поводу своего решения Kioxia не даёт.

Платформа KumoScale начала создаваться в североамериканском подразделении Kioxia (тогда ещё Toshiba) в 2016 году. Со временем она обросла функциональностью, но, как отмечает Blocks & Files, дальнейшее развитие фактически сделало бы её прямым конкурентом продуктов, которые создают заказчики Kioxia.

Dell представила на конференции Dell Technologies World 2023 обновление Dell APEX, которое объединяет службы Microsoft Azure, Red Hat и VMware, и обеспечивает улучшенные управление и мобильность приложений и данных в рамках реализации так называемой стратегии «земля-облако» и «облако-земля». Dell также расширила портфолио услуг и подписок APEX.

С точки зрения подхода ground-to-cloud (от земли к облаку) Dell взяла за основу проект Project Alpine и превратила его в совершенно новый каталог продуктов под названием APEX Storage for Public Cloud, перенеся различные службы хранения в публичное облако.

Анонсированный новый сервис Dell APEX Cloud Platforms, по словам компании, представляет собой «портфель полностью интегрированных готовых систем, объединяющих инфраструктуру Dell, ПО и облачные операционные стеки, которые обеспечивают согласованные мультиоблачные операции путём переноса облачных моделей работы в локальные и периферийные среды». На практике это означает, что можно управлять данные и рабочими нагрузками в разных облаках и средах и бесшовно перемещать данных между разными платформами.

Облачные службы, разработанные в сотрудничестве с Microsoft, Red Hat и VMware, включают:

• Dell APEX Cloud Platform for Microsoft Azure, предлагает интеграцию с Microsoft Azure и Arc для формирования и управления единой инфраструктурой, размещённой локально, на периферии или в облаке Azure.
• Dell APEX Cloud Platform for Red Hat OpenShift, призвана упростить разработку приложений на основе контейнеров и управление ими благодаря полной интеграции программного обеспечения и автоматизации с гибридной облачной платформой приложений на базе Kubernetes.
• Dell APEX Cloud Platform for VMware, призвана обеспечить возможность развёртывания платформы облачной виртуализации vSphere в программно-определяемом хранилище Dell.

Компания заявила, что решение Dell APEX Storage for Public Cloud позволит клиентам запускать службы на облачных платформах и безопасно хранить свои данные в инфраструктуре Dell.

Также сообщается, что Dell APEX Block Storage for Amazon Web Services (AWS), Dell APEX Block Storage for Microsoft Azure и Dell APEX File Storage for AWS, разработанные в рамках Project Alpine, сочетают в себе производительность, масштабируемость и устойчивость к киберугрозам хранилищ Dell корпоративного класса с экономикой публичного облака. Следует добавить, что эти решения дополняют службу Dell Apex Protection Storage, которая, по словам компании, уже обслуживает 17 Эбайт данных клиентов в облаках.

Также сообщается об усовершенствованиях Dell APEX Console, которые упрощают обслуживание мультиоблачных хранилищ и кластеров Kubernetes.

• Dell APEX Navigator for Multicloud Storage — SaaS-решение, которое позволяет централизовать, упростить и защитить управление хранилищами Dell APEX Block and File Storage.
• Dell APEX Navigator for Kubernetes — SaaS-решение, которое упрощает управление хранилищем Kubernetes.

Кроме того, Dell сообщила о появлении ещё двух решений:

• Dell APEX Compute, которое предоставляет масштабируемые, безопасные вычислительные ресурсы bare metal в ЦОД, на периферии или в колокейшн-объекте. Клиенты смогут задействовать виртуализированные среды или среды на основе контейнеров, установив гипервизор или операционную систему по своему выбору.
• Dell APEX PC-as-a-Service (PCaaS) поможет компаниям развёртывать новейшие клиентские решения с прогнозируемыми затратами. Организации смогут с его помощью гибкие предложения на срок от 1 до 5 лет с возможностью масштабирования по мере необходимости.

На мероприятии было также объявлено о новом многостороннем сотрудничестве Dell и Databricks в рамках которого локальными данными в корпоративных платформах хранения данных Dell можно будет управлять и использовать посредством Databricks Lakehouse.

На мировом рынке программно определяемых хранилищ данных (SDS), согласно отчёту Enterprise Apps Today, в ближайшие годы ожидается устойчивый рост. Основными драйверами отрасли названы гибкость масштабирования, снижение затрат на обслуживание, удобство интеграции с облачными платформами и возможность централизованного управления независимо от физического расположения устройств.

Концепция SDS предусматривает отделение сервисов хранения данных от оборудования.  По сравнению с обычными архитектурами такие решения обладают более высокими показателями гибкости. Подход обеспечивает бесшовную интеграцию нескольких типов хранилищ, таких как блочные, файловые и объектные, в рамках единого интерфейса управления.

Источник изображения: Enterprise Apps Today

По оценкам, объём глобального SDS-рынка в 2022 году составил приблизительно $17,85 млрд. В период с 2023 по 2033 год прогнозируется показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 24,99 %. В результате, размер отрасли в денежном выражении достигнет $106,33 млрд в 2030 году и $207,62 млрд в 2033-м.

В 2023 году, полагают аналитики, затраты в сегменте SDS составят приблизительно $22,31 млрд. В 2024-м этот показатель может подняться до $27,89 млрд, а в 2025-м — до $34,86 млрд. Северная Америка является ведущим рынком SDS-решений, что обусловлено растущим внедрением облачных платформ, аналитики больших данных и технологий виртуализации. В Европе также наблюдается увеличение спроса на SDS-платформы.

Вместе с тем выделяются и несколько сдерживающих факторов. Среди них названы вопросы обеспечения безопасности, возможная несовместимость с существующей инфраструктурой хранения, отсутствие стандартизации и ограниченная осведомлённость компаний о новых решениях.