Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-систем, сообщила о том, что её массив AI400X2 NVMe показал высокие результаты в ИИ-бенчмарке MLPerf Storage v0.5 при выполнении задач сегментации изображений и обработки естественного языка.

Платформа AI400X2 совмещает параллельную файловую систему с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз.

В частности, в тесте MLPerf Storage v0.5 при использовании одного узла AI400X2 продемонстрирована пропускная способность на уровне 16,2 Гбайт/с. Утверждается, что этого достаточно для обслуживания 40 высокопроизводительных ИИ-ускорителей. В многоузловой конфигурации скорость передачи данных достигает 61,6 Гбайт/с, что позволяет поддерживать работу до 160 ускорителей ИИ.

Источник изображения: DDN

DDN заявляет, что продемонстрированные в бенмарке MLPerf Storage v0.5 показатели говорят о повышении эффективности СХД приблизительно на 700 % в расчёте на каждый узел по сравнению с конкурирующими локальными решениями.

Отмечается, что возможность поддерживать ИИ-нагрузки и большие языковые модели с высоким уровнем эффективности и масштабируемости, одновременно минимизируя энергопотребление и занимаемую площадь ЦОД, имеет решающее значение при внедрении передовых приложений и сервисов.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), анонсировала массив AI400X2 QLC, подходящий для ЦОД любого масштаба. Новинка спроектирована с прицелом на нагрузки, связанные с ИИ.

Представленная платформа совмещает параллельную файловую систему DDN с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз, а эффективной ёмкости — до 15 раз. При этом площадь залов для размещения оборудования в ЦОД может быть уменьшена вдвое.

Источник изображений: DDN

Система A1400X2 QLC использует стандартный контроллер A1400X2 в шасси 2RU. Предоставляется 732 Тбайт пространства на накопителях TLC SSD. Могут быть добавлены два, четыре или пять модулей расширения SP2420 QLC SSD. Максимальная эффективная вместимость QLC-платформы в полностью сконфигурированном виде составляет 11,7 Пбайт. В случае гибридной архитектуры могут также применяться традиционные HDD.

Платформа обеспечивает показатель IOPS до 3 500 000. Заявленная скорость передачи информации в режиме последовательно чтения достигает 90 Гбайт/с, в режиме последовательной записи — 65 Гбайт/с. DDN намерена начать поставки решений на базе накопителей QLC NAND в третьем квартале 2023 года.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), сообщила о стремительном росте спроса на СХД, предназначенные для поддержания ресурсоёмких задач ИИ и машинного обучения. В течение четырёх первых месяцев 2023 года DDN реализовала больше СХД для ИИ-нагрузок, чем за весь 2022 год.

DDN отмечает, что сервисы ИИ на основе больших языковых моделей (LLM), такие как ChatGPT, требуют наличия масштабируемой и высокопроизводительной СХД. В числе других приложений, которым необходима обработка огромных массивов информации из разрозненных источников, названы сверхреалистичная 3D-графика, создание сложных белков и молекул, автономное вождение, исследования космоса и пр.

Источник изображения: DDN

Для ИИ-приложений DDN предлагает высокопроизводительную систему AI400X2. Один 2U-узел этой СХД обеспечивает быстродействие до 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. В составе платформы применены SSD NVMe с интерфейсом PCIe 4.0. Утверждается, что система масштабируется до экзабайтной ёмкости и пропускной способности в несколько Тбайт/с. Говорится, что решения DDN были выбраны для тысяч проектов, так или иначе связанных с ИИ. Компания поставляет оборудование таким крупным заказчикам, как NASA или Naver.

Обучение сложных нейросетей, в отличие от запуска уже натренированных, требует огромных вычислительных ресурсов, включая специализированные ИИ-ускорители. Компания Intel, в своё время купившая стартап Habana Labs, такими ускорителями располагает и на днях объявила о доступности новой, готовой к использованию мощной платформы машинного обучения.

Процессоры Habana Gaudi изначально проектировались с прицелом на задачи машинного обучения, а вычислительная часть спроектирована с учётом вычислений, характерных для задач ИИ. При этом Gaudi — единственный сопроцессор подобного класса, располагающий встроенными 100GbE-контроллерами с поддержкой RoCE v2, что значительно упрощает развёртывание и масштабирование систем на его основе.

Supermicro X12 Gaudi AI Training System

Одной из первых сервер на базе ускорителей Gaudi представила Supermicro. X12 Gaudi AI Training System включает в себя пару процессоров Xeon Ice Lake-SP, но основной объём занимают модули Gaudi в формате OAM HL-205. Их в системе восемь, и каждый несёт на борту по 32 Гбайт памяти HBM2. Эти серверы стали основой суперкомпьютера SDSC Voyager.

Но это лишь часть платформы, представленной Intel: для полноценного обучения сложных сетей мало одних вычислительных ускорителей, огромные объёмы входных данных надо где-то хранить и эффективно ими управлять, не создавая «бутылочных горлышек». Поэтому вторым важным компонентом новой платформы стала новейшая СХД DDN AI400X2. Новая платформа Intel/Habana может поставляться в вариантах с одним, двумя или четырьмя серверами X12 и минимум одной AI400X2.

DDN AI400X2

DDN AI400X2 — новинка, пополнившая на днях серию решений DDN A3I и наследница AI400X. Один 2U-узел AI400X2 вдвое быстрее прошлого поколения и способен выдать 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. Для того чтобы обеспечить такой поток данных, в системе используются NVMe SSD с поддержкой PCIe 4.0, суммарным объёмом до 720 Тбайт. Интересно, что данная СХД умеет использовать в своей ФС ExaScaler ресурсы клиентских узлов для хранения и дистрибуции самых «горячих» данных.

Поддерживаются также гибридные конфигурации с SSD и HDD, с автоматическим ранжированием данных, при этом HDD-часть может набираться отдельными дисковыми полками (до 22U) и предоставляет до 11,5 Пбайт. Весьма полезное качество, поскольку аналитики отмечают крайне быстрый рост объёмов данных, используемых для систем ИИ и машинного обучения. Причём более половины пользователей дополняют и переобучают свои ИИ-модели минимум раз в неделю.

Один из вариантов развёртывания новой платформы

При необходимости, начав с минимальной конфигурации, платформу легко превратить в серьёзный кластер с сотнями и тысячами ускорителей, объединённый быстрой сетью с поддержкой RDMA. В качестве основного коммутатора DDN рекомендует модель Arista 7170-32C с 32 портами 100GbE, а в крупных масштабах и при необходимости развёртывания Gaudi-сети — Arista DCS-7060DX-32 с 32 портами 400GbE и производительностью 25,6 Тбит/с.

Платформа прошла валидацию для использования с ПО Habana SynapseAI и включает в себя оптимизированные docker-контейнеры для нагрузок TensorFlow и PyTorch. За управление отвечает фирменная система Software Vault, а портал Habana Developer и открытые GitHub-репозитории упростят ввод платформы в эксплуатацию.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), средств аналитики и ИИ-решений, сообщила об организации производства на территории Индии. Предприятие займётся выпуском систем хранения данных корпоративного класса.

В Индии будут производиться системы EXAScaler HPC и A3I (Accelerated, Any-Scale AI), IntelliFlash, сетевые и унифицированные хранилища информации, а также устройства семейства Tintri VMstore. Компания открыла индийский центр исследований и разработок ещё в 2016 году. Теперь в этой стране появилась площадка по созданию и производству аппаратных решений. DDN намерена тесно сотрудничать с местными контрактными производителями, поставщиками компонентов и участниками логистической инфраструктуры.

DDN

Локализация производства позволит компании повысить позиции на индийском IT-рынке, который бурно развивается. Инициативой правительства Production Linked Incentive Scheme ранее заинтересовались Dell, Flextronics, Foxconn и Wistron, которые готовы организовать производство серверов и ПК на территории Индии (а не Китая). Но это не единственный похожий анонс в области СХД — на прошлой неделе SoftIron объявила о создании производства в Австралии, которая тоже обеспокоена защищённостью цепочек поставок оборудования.

Кроме того, DDN сообщила о выпуске новых All-Flash СХД серии Tintri. Появились 2U-модели VMstore T7040 и VMstore T7060, а также обновлённая модификация VMstore T7080. Все имеют «сырую» ёмкость до 185 Тбайт (эффективная — до 645 Тбайт). Они могут оснащаться портами 25/40/100GbE. Может быть также выбрана конфигурация с четырьмя портами 10 GbE. Системы оснащены 24 отсеками для NVMe SSD. Модели VMstore T7040, VMstore T7060 и VMstore T7080 поддерживают до 7500, 15 000 и 22 500 виртуальных дисков (vDisks) соответственно.