Компания DataDirect Networks (DDN) анонсировала высокопроизводительную систему хранения AI400X3M, ориентированную на наиболее требовательные нагрузки ИИ и НРС. Новинка вошла в семейство программно-аппаратных комплексов EXAScaler, в основе которых лежит параллельная файловая система Lustre.

Модель AI400X3M выполнена на аппаратной платформе AMD EPYC Genoa. Устройство приходит на смену версии A1400X2, в составе которой применяются процессоры Intel Xeon Ice Lake. По сравнению с предшественником пропускная способность при чтении, как утверждается, поднялась на 35 %.

Представленное решение выполнено в форм-факторе 2U с габаритами 856 × 446 × 87 мм. Допускается установка 24 NVMe SSD с интерфейсом PCIe 5.0. Заказчикам будут предлагаться варианты вместимостью 120, 250 и 500 Тбайт, а также 1 и 2 Пбайт. Возможны модификации с четырьмя портами XDR/400GbE OSFP или восемью портами NDR200/200GbE QSFP112.

Источник изображения: DDN

Заявленная скорость последовательного чтения информации у AI400X3M достигает 190 Гбайт/с, скорость последовательной записи — 110 Гбайт/с. Величина IOPS (операций ввода/вывода секунду) при произвольном чтении — до 8 млн. Стойка, оборудованная такими СХД, способна обеспечить суммарную вместимость до 30 Пбайт и показатель IOPS до 160 млн.

Новинка укомплектована двумя блоками питания с резервированием и возможностью горячей замены. Диапазон рабочих температур простирается от +5 до +30 °C. Устройство весит около 44 кг без установленных накопителей.

DDN подчёркивает, что внедрение AI400X3M позволит предприятиям, операторам ИИ ЦОД и облачным провайдерам значительно повысить эффективность инфраструктуры, одновременно снизив энергопотребление, затраты на охлаждение и эксплуатационные расходы. СХД поступит в продажу к концу III квартала текущего года.

Компания DataDirect Networks (DDN) анонсировала, как утверждается, «прорывную» архитектуру хранения данных, ориентированную на системы для ресурсоёмких задач ИИ. По сравнению с другими платформами предложенное решение обеспечивает возможность существенного снижения финансовых затрат при высоком уровне производительности.

DDN отмечает, что стремительное развитие ИИ приводит к повышению спроса на SSD, что, в свою очередь, провоцирует рост цен на чипы флеш-памяти NAND, а следовательно, и на твердотельные накопители. Аналитики TrendForce прогнозируют увеличение контрактных цен на изделия NAND на 5–10% только в IV квартале 2025 года. Волатильность цен на SSD и HDD нарушает сроки реализации проектов, создаёт неопределённости при планировании бюджета и ставит под угрозу развитие масштабных ИИ-платформ. DDN заявляет, что её архитектура данных помогает решить проблему.

Источник изображения: DDN

Обычные СХД, ориентированные на требовательные ИИ-нагрузки, как подчёркивает DDN, полагаются исключительно на дорогие высокопроизводительные NVMe-накопители. Архитектура DDN предполагает сочетание трёх уровней хранения — на базе SSD высокого класса, недорогих SSD и HDD. Такой подход реализован в платформах DDN EXA и Infinia.

Отмечается, что предложенная архитектура позволяет задействовать ресурсы GPU-ускорителей на 90–98 % при выполнении задач, связанных с обучением больших языковых моделей (LLM), инференсом, аналитикой больших данных и НРС.  При этом потребность в дорогостоящих высокопроизводительных SSD (NVMe) снижается на 35–65 %, общие капитальные затраты на организацию хранения сокращаются на 40–70 %, а эксплуатационные расходы уменьшаются на 30–60 %.

Заявлена глубокая оптимизация для NVIDIA DGX, GB200, Spectrum-X, BlueField и NIM. Среди сфер применения архитектуры названы финансовый сектор, автомобилестроение и робототехника, науки о жизни, производство, государственный сегмент и суверенный ИИ.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, объявила о заключении партнёрского соглашения с разработчиком ИИ-решений Nebius (бывшая материнская структура «Яндекса»). В рамках соглашения стороны займутся созданием высокопроизводительной подсистемы хранения данных для ресурсоёмких ИИ-задач.

Речь идёт об интеграции решений DDN Infinia и EXAScaler в облачную инфраструктуру Nebius AI Cloud. Эти системы будут использоваться для хранения данных, предназначенных для обучения больших языковых моделей, инференса и поддержания работы ИИ-приложений в реальном времени.

По заявлениям DDN, Infinia гарантирует надёжность и передовую производительность, благодаря чему ускоряется обучение и развёртывание моделей ИИ. Вместе с тем EXAScaler обеспечивает высокую пропускную способность и согласованность операций ввода-вывода. Другим преимуществом названных решений является возможность масштабирования в рамках облачных и локальных развёртываний: заказчики смогут быстро наращивать ресурсы в ИИ-облаке Nebius, гибридных и изолированных средах, используя параллельную файловую систему EXAScaler.

Источник изображения: Nebius

Утверждается, что Infinia и EXAScaler устраняют проблемы с задержками при обработке данных. В результате, нагрузки ИИ могут обрабатываться с максимальной эффективностью — даже в случае моделей с несколькими триллионами параметров. В целом, как отмечают партнёры, благодаря интеграции систем DDN в облако Nebius клиенты смогут решать ИИ-задачи с более высокой скоростью и с меньшими временными и финансовыми затратами.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.

Компания DataDirect Networks (DDN), специализирующаяся на разработке быстрых хранилищ для НРС- и ИИ-систем, объявила о стратегических инвестициях в размере $300 млн, полученных от управляющего альтернативными активами Blackstone, оценившего DDN в $5 млрд.

DDN сообщила, что благодаря этой сделке она готова к историческому росту в 2025 году после рекордного увеличения выручки ИИ-направления — +400 % в 2024 году. Комментируя сделку, гендиректор DDN Алекс Бузари (Alex Bouzari) сообщил газете Wall Street Journal, что компания будет использовать эти средства «для резкого расширения клиентской базы компании по работе с ИИ-данными». Инвестиции помогут привнести суперкомпьютерные технологии в мирк корпоративных IT и бросить вызов гигантам отрасли в области ИИ.

Отмечается, что DDN на протяжении более двух десятилетий работала с прибылью и достигла «значительного мирового успеха без внешнего финансирования». Но «беспрецедентный рост ИИ представляет собой возможность, которая появляется раз в поколение», побуждая DDN впервые принять внешние инвестиции. По словам компании, её платформа хранения и управления данными позволяет кратно ускорить обучение моделей.

Источник изображения: DDN

DDN предлагает серию программных и аппаратных хранилищ для HPC- и ИИ-кластеров. Компания развивает серию хранилищ AI400, ориентированных на обучении моделей генеративного ИИ и поддерживающих протокол GPUDirect от NVIDIA, с которой у неё заключено соглашение о стратегическом партнёрстве. Также компания предлагает платформу Infinia и ряд других продуктов, в том числе облачных.

В 2018 году компания приобрела у Intel команду разработчиков параллельной файловой системы Lustre и выкупила за $60 млн бизнес обанкротившейся Tintri. В 2019 году DDN за неназванную сумму приобрела Nexenta и подразделение по выпуску гибридных хранилищ IntelliFlash компании Western Digital. В числе клиентов DDN есть NASA, xAI, NVIDIA, Lambda Labs и т.д. В частности, компания поставила СХД для суперкомпьютеров NVIDIA EOS и xAI Colossus.

Что касается инвестора, то Blackstone — крупнейший в мире управляющий альтернативными инвестициями. Под его управлением находятся активы на сумму более $1 трлн, включая $70 млрд ЦОД. В октябре Blackstone сообщила о намерении увеличить активы ЦОД ещё на $100 млрд. Blackstone планирует вложить £10 млрд в строительство в Великобритании крупнейшего в Европе ИИ ЦОД, а также €15 млрд на ЦОД в испанском Арагоне.