Компания DataDirect Networks (DDN), специализирующаяся на разработке быстрых хранилищ для НРС- и ИИ-систем, объявила о стратегических инвестициях в размере $300 млн, полученных от управляющего альтернативными активами Blackstone, оценившего DDN в $5 млрд.

DDN сообщила, что благодаря этой сделке она готова к историческому росту в 2025 году после рекордного увеличения выручки ИИ-направления — +400 % в 2024 году. Комментируя сделку, гендиректор DDN Алекс Бузари (Alex Bouzari) сообщил газете Wall Street Journal, что компания будет использовать эти средства «для резкого расширения клиентской базы компании по работе с ИИ-данными». Инвестиции помогут привнести суперкомпьютерные технологии в мирк корпоративных IT и бросить вызов гигантам отрасли в области ИИ.

Отмечается, что DDN на протяжении более двух десятилетий работала с прибылью и достигла «значительного мирового успеха без внешнего финансирования». Но «беспрецедентный рост ИИ представляет собой возможность, которая появляется раз в поколение», побуждая DDN впервые принять внешние инвестиции. По словам компании, её платформа хранения и управления данными позволяет кратно ускорить обучение моделей.

Источник изображения: DDN

DDN предлагает серию программных и аппаратных хранилищ для HPC- и ИИ-кластеров. Компания развивает серию хранилищ AI400, ориентированных на обучении моделей генеративного ИИ и поддерживающих протокол GPUDirect от NVIDIA, с которой у неё заключено соглашение о стратегическом партнёрстве. Также компания предлагает платформу Infinia и ряд других продуктов, в том числе облачных.

В 2018 году компания приобрела у Intel команду разработчиков параллельной файловой системы Lustre и выкупила за $60 млн бизнес обанкротившейся Tintri. В 2019 году DDN за неназванную сумму приобрела Nexenta и подразделение по выпуску гибридных хранилищ IntelliFlash компании Western Digital. В числе клиентов DDN есть NASA, xAI, NVIDIA, Lambda Labs и т.д. В частности, компания поставила СХД для суперкомпьютеров NVIDIA EOS и xAI Colossus.

Что касается инвестора, то Blackstone — крупнейший в мире управляющий альтернативными инвестициями. Под его управлением находятся активы на сумму более $1 трлн, включая $70 млрд ЦОД. В октябре Blackstone сообщила о намерении увеличить активы ЦОД ещё на $100 млрд. Blackstone планирует вложить £10 млрд в строительство в Великобритании крупнейшего в Европе ИИ ЦОД, а также €15 млрд на ЦОД в испанском Арагоне.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-задач, сообщила о создании высокопроизводительного хранилища на базе DDN EXAScaler AI (A³I — Accelerated, Any-Scale AI) для ИИ-суперкомпьютера NVIDIA EOS производительностью 18,4 Эфлопс (FP8). Речь идёт о кластере, объединяющем 576 систем NVIDIA DGX H100.

Компания DDN заявляет, что разработала для NVIDIA EOS систему хранения с высокими показателями быстродействия и энергетической эффективности. Объединены 48 устройств A³I, которые сообща занимают менее трёх серверных стоек. Потребляемая мощность заявлена на отметке 100 кВт.

Источник изображения: DDN

Задействованы 250-Тбайт массивы NVMe-накопителей. Суммарная ёмкость СХД составляет 12 Пбайт. Общая пропускная способность, по заявлениям разработчика, достигает 4 Тбайт/с. Таким образом, система способна справляться с самыми ресурсоёмкими рабочими нагрузками ИИ, большими языковыми моделями, комплексным моделированием и пр.

«Наша цель — обеспечение максимальной эффективности всей платформы, а не просто предоставление эффективного хранилища. Благодаря интеграции с суперкомпьютером NVIDIA EOS наше решение демонстрирует способность сократить время окупаемости при одновременном снижении рисков как для локальных, так и для облачных партнёров», — говорит президент и соучредитель DDN.

Сандийские национальные лаборатории (SNL) Министерства энергетики США объявили о заключении партнёрского соглашения с компаниями NextSilicon и Penguin Solutions с целью создания системы прототипов на основе передовой архитектуры (Advanced Architecture Prototype System AAPS, AAPS).

Речь идёт об определении и оценке новых технологий, которые ещё не были протестированы или внедрены, чтобы установить возможность их использования в рамках программы Advanced Simulation and Computing (ASC). Данная инициатива реализуется Национальным управлением по ядерной безопасности США (NNSA).

Источник изображения: NextSilicon

NextSilicon разрабатывает новую вычислительную платформу, ориентированную на сегмент НРС. Компания использует интеллектуальные программные алгоритмы для динамической реконфигурации оборудования на основе данных, получаемых непосредственно во время выполнения задачи. Это даёт возможность оптимизировать производительность и энергопотребление, обеспечив преимущества по сравнению с традиционными аппаратными решениями.

Лаборатории SNL сотрудничают с NextSilicon более трёх лет. Решения NextSilicon будут интегрированы и поставлены специалистами компании Penguin Solutions, с которой SNL работают с 2010 года. Новый НРС-комплекс стандарта OCP получит СЖО Chilldyne, что поможет поднять энергоэффективность. Системы закупаются по проекту Sandia Vanguard: отгрузка первых образцов запланирована на 2024 год, после чего последует поставка Spectra — решения второго поколения.

Между тем компании DataDirect Networks (DDN) и NextSilicon представили комплексное решение, которое оптимизирует производительность ввода-вывода ЦОД при выполнении ресурсоёмких задач. Платформа, как утверждается, обеспечивает значительное повышение быстродействия благодаря одновременному подключению устройства хранения данных AI400NVX2 DDN к высокоскоростным сетям InifiniBand и Ethernet.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-задач, анонсировала масштабируемую СХД Infinia, разработанную в сотрудничестве с Сандийскими национальными лабораториями (SNL) Министерства энергетики США.

Infinia — программно-определяемое многопротокольное решение с горизонтальным масштабированием, которое подходит для различных сценариев использования. Это могут быть сложные научные задачи, приложения ИИ, большие языковые модели и пр.

Узлами системы могут быть любые серверы с процессорами Intel, Arm или AMD. Говорится, что платформа Infinia может масштабироваться до сотен петабайт. Среди ключевых преимуществ решения разработчик называет простоту управления, высокую производительность и безопасность.

Источник изображения: DDN

Референсная аппаратная платформа представляет собой 1U-узел с 24-ядерным процессором AMD EPYC Genoa. Во фронтальной части предусмотрены отсеки для 12 накопителей SFF формата U.2 (NVMe) с возможностью горячей замены. Предусмотрены два сетевых порта 10GbE и порт 1GbE (все с разъёмами RJ-45), а также слота PCIe 5.0 x16 для HHHL-адаптеров, которые могут предложить до четырёх 200G-портов.

Источник изображения: DDN / StorageNewsletter

Шасси имеет габариты 680 × 450 × 44 мм и весит 22,9 кг. СХД оборудована двумя блоками питания мощностью 850 Вт с сертификатом 80 Plus Platinum. В системе воздушного охлаждения применяются шесть вентиляторов. Диапазон рабочих температур — от +10 до +35 °C.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-систем, сообщила о том, что её массив AI400X2 NVMe показал высокие результаты в ИИ-бенчмарке MLPerf Storage v0.5 при выполнении задач сегментации изображений и обработки естественного языка.

Платформа AI400X2 совмещает параллельную файловую систему с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз.

В частности, в тесте MLPerf Storage v0.5 при использовании одного узла AI400X2 продемонстрирована пропускная способность на уровне 16,2 Гбайт/с. Утверждается, что этого достаточно для обслуживания 40 высокопроизводительных ИИ-ускорителей. В многоузловой конфигурации скорость передачи данных достигает 61,6 Гбайт/с, что позволяет поддерживать работу до 160 ускорителей ИИ.

Источник изображения: DDN

DDN заявляет, что продемонстрированные в бенмарке MLPerf Storage v0.5 показатели говорят о повышении эффективности СХД приблизительно на 700 % в расчёте на каждый узел по сравнению с конкурирующими локальными решениями.

Отмечается, что возможность поддерживать ИИ-нагрузки и большие языковые модели с высоким уровнем эффективности и масштабируемости, одновременно минимизируя энергопотребление и занимаемую площадь ЦОД, имеет решающее значение при внедрении передовых приложений и сервисов.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), анонсировала массив AI400X2 QLC, подходящий для ЦОД любого масштаба. Новинка спроектирована с прицелом на нагрузки, связанные с ИИ.

Представленная платформа совмещает параллельную файловую систему DDN с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз, а эффективной ёмкости — до 15 раз. При этом площадь залов для размещения оборудования в ЦОД может быть уменьшена вдвое.

Источник изображений: DDN

Система A1400X2 QLC использует стандартный контроллер A1400X2 в шасси 2RU. Предоставляется 732 Тбайт пространства на накопителях TLC SSD. Могут быть добавлены два, четыре или пять модулей расширения SP2420 QLC SSD. Максимальная эффективная вместимость QLC-платформы в полностью сконфигурированном виде составляет 11,7 Пбайт. В случае гибридной архитектуры могут также применяться традиционные HDD.

Платформа обеспечивает показатель IOPS до 3 500 000. Заявленная скорость передачи информации в режиме последовательно чтения достигает 90 Гбайт/с, в режиме последовательной записи — 65 Гбайт/с. DDN намерена начать поставки решений на базе накопителей QLC NAND в третьем квартале 2023 года.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), сообщила о стремительном росте спроса на СХД, предназначенные для поддержания ресурсоёмких задач ИИ и машинного обучения. В течение четырёх первых месяцев 2023 года DDN реализовала больше СХД для ИИ-нагрузок, чем за весь 2022 год.

DDN отмечает, что сервисы ИИ на основе больших языковых моделей (LLM), такие как ChatGPT, требуют наличия масштабируемой и высокопроизводительной СХД. В числе других приложений, которым необходима обработка огромных массивов информации из разрозненных источников, названы сверхреалистичная 3D-графика, создание сложных белков и молекул, автономное вождение, исследования космоса и пр.

Источник изображения: DDN

Для ИИ-приложений DDN предлагает высокопроизводительную систему AI400X2. Один 2U-узел этой СХД обеспечивает быстродействие до 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. В составе платформы применены SSD NVMe с интерфейсом PCIe 4.0. Утверждается, что система масштабируется до экзабайтной ёмкости и пропускной способности в несколько Тбайт/с. Говорится, что решения DDN были выбраны для тысяч проектов, так или иначе связанных с ИИ. Компания поставляет оборудование таким крупным заказчикам, как NASA или Naver.