Материалы по тегу: ddn

15.09.2023 [11:29], Сергей Карасёв

СХД DDN AI400X2 показала быстродействие до 16,2 Гбайт/с в ИИ-тесте MLPerf Storage v0.5

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-систем, сообщила о том, что её массив AI400X2 NVMe показал высокие результаты в ИИ-бенчмарке MLPerf Storage v0.5 при выполнении задач сегментации изображений и обработки естественного языка.

Платформа AI400X2 совмещает параллельную файловую систему с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз.

В частности, в тесте MLPerf Storage v0.5 при использовании одного узла AI400X2 продемонстрирована пропускная способность на уровне 16,2 Гбайт/с. Утверждается, что этого достаточно для обслуживания 40 высокопроизводительных ИИ-ускорителей. В многоузловой конфигурации скорость передачи данных достигает 61,6 Гбайт/с, что позволяет поддерживать работу до 160 ускорителей ИИ.

 Источник изображения: DDN

Источник изображения: DDN

DDN заявляет, что продемонстрированные в бенмарке MLPerf Storage v0.5 показатели говорят о повышении эффективности СХД приблизительно на 700 % в расчёте на каждый узел по сравнению с конкурирующими локальными решениями.

Отмечается, что возможность поддерживать ИИ-нагрузки и большие языковые модели с высоким уровнем эффективности и масштабируемости, одновременно минимизируя энергопотребление и занимаемую площадь ЦОД, имеет решающее значение при внедрении передовых приложений и сервисов.

Постоянный URL: http://servernews.ru/1093073
19.05.2023 [18:26], Сергей Карасёв

DDN представила систему хранения AI400X2 QLC для задач ИИ ёмкостью до 11,7 Пбайт

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), анонсировала массив AI400X2 QLC, подходящий для ЦОД любого масштаба. Новинка спроектирована с прицелом на нагрузки, связанные с ИИ.

Представленная платформа совмещает параллельную файловую систему DDN с новым алгоритмом сжатием данных на стороне клиента. Утверждается, что по сравнению с альтернативными решениями достигается увеличение производительности до 10 раз, а эффективной ёмкости — до 15 раз. При этом площадь залов для размещения оборудования в ЦОД может быть уменьшена вдвое.

 Источник изображений: DDN

Источник изображений: DDN

Система A1400X2 QLC использует стандартный контроллер A1400X2 в шасси 2RU. Предоставляется 732 Тбайт пространства на накопителях TLC SSD. Могут быть добавлены два, четыре или пять модулей расширения SP2420 QLC SSD. Максимальная эффективная вместимость QLC-платформы в полностью сконфигурированном виде составляет 11,7 Пбайт. В случае гибридной архитектуры могут также применяться традиционные HDD.

Платформа обеспечивает показатель IOPS до 3 500 000. Заявленная скорость передачи информации в режиме последовательно чтения достигает 90 Гбайт/с, в режиме последовательной записи — 65 Гбайт/с. DDN намерена начать поставки решений на базе накопителей QLC NAND в третьем квартале 2023 года.

Постоянный URL: http://servernews.ru/1086997
13.05.2023 [22:28], Сергей Карасёв

Не только ускорители: интерес к ИИ простимулировал продажи СХД

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), сообщила о стремительном росте спроса на СХД, предназначенные для поддержания ресурсоёмких задач ИИ и машинного обучения. В течение четырёх первых месяцев 2023 года DDN реализовала больше СХД для ИИ-нагрузок, чем за весь 2022 год.

DDN отмечает, что сервисы ИИ на основе больших языковых моделей (LLM), такие как ChatGPT, требуют наличия масштабируемой и высокопроизводительной СХД. В числе других приложений, которым необходима обработка огромных массивов информации из разрозненных источников, названы сверхреалистичная 3D-графика, создание сложных белков и молекул, автономное вождение, исследования космоса и пр.

 Источник изображения: DDN

Источник изображения: DDN

Для ИИ-приложений DDN предлагает высокопроизводительную систему AI400X2. Один 2U-узел этой СХД обеспечивает быстродействие до 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. В составе платформы применены SSD NVMe с интерфейсом PCIe 4.0. Утверждается, что система масштабируется до экзабайтной ёмкости и пропускной способности в несколько Тбайт/с. Говорится, что решения DDN были выбраны для тысяч проектов, так или иначе связанных с ИИ. Компания поставляет оборудование таким крупным заказчикам, как NASA или Naver.

Постоянный URL: http://servernews.ru/1086674
17.11.2021 [19:49], Алексей Степин

Habana Labs, Supermicro и DDN представили платформу машинного обучения

Обучение сложных нейросетей, в отличие от запуска уже натренированных, требует огромных вычислительных ресурсов, включая специализированные ИИ-ускорители. Компания Intel, в своё время купившая стартап Habana Labs, такими ускорителями располагает и на днях объявила о доступности новой, готовой к использованию мощной платформы машинного обучения.

Процессоры Habana Gaudi изначально проектировались с прицелом на задачи машинного обучения, а вычислительная часть спроектирована с учётом вычислений, характерных для задач ИИ. При этом Gaudi — единственный сопроцессор подобного класса, располагающий встроенными 100GbE-контроллерами с поддержкой RoCE v2, что значительно упрощает развёртывание и масштабирование систем на его основе.

 Supermicro X12 Gaudi AI Training System

Supermicro X12 Gaudi AI Training System

Одной из первых сервер на базе ускорителей Gaudi представила Supermicro. X12 Gaudi AI Training System включает в себя пару процессоров Xeon Ice Lake-SP, но основной объём занимают модули Gaudi в формате OAM HL-205. Их в системе восемь, и каждый несёт на борту по 32 Гбайт памяти HBM2. Эти серверы стали основой суперкомпьютера SDSC Voyager.

Но это лишь часть платформы, представленной Intel: для полноценного обучения сложных сетей мало одних вычислительных ускорителей, огромные объёмы входных данных надо где-то хранить и эффективно ими управлять, не создавая «бутылочных горлышек». Поэтому вторым важным компонентом новой платформы стала новейшая СХД DDN AI400X2. Новая платформа Intel/Habana может поставляться в вариантах с одним, двумя или четырьмя серверами X12 и минимум одной AI400X2.

 DDN AI400X2

DDN AI400X2

DDN AI400X2 — новинка, пополнившая на днях серию решений DDN A3I и наследница AI400X. Один 2U-узел AI400X2 вдвое быстрее прошлого поколения и способен выдать 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. Для того чтобы обеспечить такой поток данных, в системе используются NVMe SSD с поддержкой PCIe 4.0, суммарным объёмом до 720 Тбайт. Интересно, что данная СХД умеет использовать в своей ФС ExaScaler ресурсы клиентских узлов для хранения и дистрибуции самых «горячих» данных.

Поддерживаются также гибридные конфигурации с SSD и HDD, с автоматическим ранжированием данных, при этом HDD-часть может набираться отдельными дисковыми полками (до 22U) и предоставляет до 11,5 Пбайт. Весьма полезное качество, поскольку аналитики отмечают крайне быстрый рост объёмов данных, используемых для систем ИИ и машинного обучения. Причём более половины пользователей дополняют и переобучают свои ИИ-модели минимум раз в неделю.

 Один из вариантов развёртывания новой платформы

Один из вариантов развёртывания новой платформы

При необходимости, начав с минимальной конфигурации, платформу легко превратить в серьёзный кластер с сотнями и тысячами ускорителей, объединённый быстрой сетью с поддержкой RDMA. В качестве основного коммутатора DDN рекомендует модель Arista 7170-32C с 32 портами 100GbE, а в крупных масштабах и при необходимости развёртывания Gaudi-сети — Arista DCS-7060DX-32 с 32 портами 400GbE и производительностью 25,6 Тбит/с.

Платформа прошла валидацию для использования с ПО Habana SynapseAI и включает в себя оптимизированные docker-контейнеры для нагрузок TensorFlow и PyTorch. За управление отвечает фирменная система Software Vault, а портал Habana Developer и открытые GitHub-репозитории упростят ввод платформы в эксплуатацию.

Постоянный URL: http://servernews.ru/1053945
25.10.2021 [13:23], Сергей Карасёв

DDN обновила серию Tintri и объявила о создании производства СХД в Индии

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), средств аналитики и ИИ-решений, сообщила об организации производства на территории Индии. Предприятие займётся выпуском систем хранения данных корпоративного класса.

В Индии будут производиться системы EXAScaler HPC и A3I (Accelerated, Any-Scale AI), IntelliFlash, сетевые и унифицированные хранилища информации, а также устройства семейства Tintri VMstore. Компания открыла индийский центр исследований и разработок ещё в 2016 году. Теперь в этой стране появилась площадка по созданию и производству аппаратных решений. DDN намерена тесно сотрудничать с местными контрактными производителями, поставщиками компонентов и участниками логистической инфраструктуры.

 DDN

DDN

Локализация производства позволит компании повысить позиции на индийском IT-рынке, который бурно развивается. Инициативой правительства Production Linked Incentive Scheme ранее заинтересовались Dell, Flextronics, Foxconn и Wistron, которые готовы организовать производство серверов и ПК на территории Индии (а не Китая). Но это не единственный похожий анонс в области СХД — на прошлой неделе SoftIron объявила о создании производства в Австралии, которая тоже обеспокоена защищённостью цепочек поставок оборудования.

Кроме того, DDN сообщила о выпуске новых All-Flash СХД серии Tintri. Появились 2U-модели VMstore T7040 и VMstore T7060, а также обновлённая модификация VMstore T7080. Все имеют «сырую» ёмкость до 185 Тбайт (эффективная — до 645 Тбайт). Они могут оснащаться портами 25/40/100GbE. Может быть также выбрана конфигурация с четырьмя портами 10 GbE. Системы оснащены 24 отсеками для NVMe SSD. Модели VMstore T7040, VMstore T7060 и VMstore T7080 поддерживают до 7500, 15 000 и 22 500 виртуальных дисков (vDisks) соответственно.

Постоянный URL: http://servernews.ru/1052091
Система Orphus