Материалы по тегу: io500

28.08.2020 [23:19], Владимир Мироненко

Oracle создала сверхбыстрое облачное хранилище для Fugaku, быстрейшего суперкомпьютера в мире

В июне этого года суперкомпьютер Fugaku на базе Arm, созданный совместными усилиями специалистов научно-исследовательского института RIKEN и Fujitsu занял первую строку TOP500, рейтинга самых высокопроизводительных публичных вычислительных систем мира. В то время его хранилище было разделено на три части: 15,9 Пбайт NVMe СХД, общее хранилище на базе Lustre и некое облачное хранилище, который до этого момента являлся безымянным.

Однако теперь компания Oracle объявила, что работу облачного хранилища Fugaku обеспечивает её решение Oracle Cloud, отметив высокие показатели облачной инфраструктуры Oracle Cloud Infrastructure (OCI) в тесте производительности систем хранения IO500.

Согласно Oracle, партнёрство RIKEN и Oracle Cloud Infrastructure позволяет пользователям Fugaku работать с суперкомпьютером через японскую научную информационную сеть (Science Information Network, SINET) на сверхвысоких скоростях. RIKEN запустил совместный проект с предоставленным Oracle облачным хранилищем, с целью использования облачных возможностей для расширения присутствия за рубежом в партнёрстве с Altair, HPC Systems и Foundation for Computational Science.

Oracle подчеркнула особое значение FastConnect, инструмента своей облачной инфраструктуры для создания выделенных частных подключений с увеличенной пропускной способностью, а также повышенной надёжностью и стабильностью.

«В исследовательских проектах, где объём данных может достигать петабайт, можно использовать высокопроизводительные вычислительные ресурсы и ресурсы хранения Oracle Cloud Infrastructure, не беспокоясь о больших расходах на передачу данных, и выполнять рабочие нагрузки с предсказуемо низкими затратами», — пишет Oracle в своем блоге. Согласно последнему рейтингу IO500, Oracle Cloud Infrastructure заняла 7-е место среди самых быстрых систем хранения.

«Подавляющее большинство других систем в списке — это специализированные локальные среды, включая исследовательские суперкомпьютеры, — поясняет Oracle. — Мы достигли пропускной способности операций ввода-вывода 500 Гбит/с и производительности метаданных 13,1 млн IOPS с высокопроизводительной параллельной файловой системой с использованием 270 узлов в кластерной сети HPC с файловой системой BeeGFS (и использованием технологии) BeeOND».

По словам Oracle, приложение её клиента для видеоконференций Zoom перемещает около 7 Пбайт данных в день примерно среди 300 миллионов пользователей, и что кластер, обеспечивший победу в IO500, способен обрабатывать такие данные локально менее чем за четыре часа.

«Oracle проделала большой путь к созданию высокопроизводительных конфигураций и масштабируемости с помощью OCI, — заявил Эддисон Снелл (Addison Snell), генеральный директор Intersect360 Research. — OCI добилась высоких результатов в IO500, предлагая выбор в пользу параллельных файловых систем. Взаимодействие с RIKEN и Fugaku помогли закрепить за OCI серьезное присутствие в HPC».

Постоянный URL: http://servernews.ru/1019373
28.07.2020 [18:10], Алексей Степин

Российские суперкомпьютеры РСК попали в свежий рейтинг IO500

Виртуальный институт подсистем ввода-вывода (Virtual Institure for I/O, VI4IO) начал свою деятельность в 2016 году. Целью этой некоммерческой открытой организации стало предоставление платформы для обмена информацией в области исследований, касающихся I/O-подсистем суперкомпьютеров и кластерных систем. В этом году, по результатам проведённых исследований, VI4IO представила первый официальный рейтинг IO500, который обещает стать столь же популярным, как и TOP500 и Green500.

Официальный логотип нового рейтинга IO500

Теперь для попадания системы с IO500 существует стандартизированный набор правил и тестов, включающих в себя такие компоненты, как подтесты на чистую пропускную способность, на производительность при работе с метаданными и на скорость поиска в пространстве имён (namespace).

Сам набор тестов открытый, проект имеет собственный репозиторий на GitHub, там же содержится полная инструкция по запуску и получению результатов. Комплект IO500 построен на основе существующих популярных бенчмарков и имеет модульную структуру. Благодаря поддержке плагинов возможно тестирование различных альтернативных систем хранения данных.

Российские системы мы отметили красным

Российские системы мы отметили красным

Ранние результаты в официальный список IO500 не входят, поскольку с 2017 года правила менялись, но в нём присутствуют результаты с конференций SC19 и ISC 2020. Несмотря на все успехи ARM в сфере супервычислений, первое место в рейтинге всё же принадлежит Intel с её системой Wolf, способной развивать свыше 8,6 миллионов IOPS и продемонстрировавшей линейную скорость более 370 Гбайт/с. Высокое место занял и китайский комплекс Tianhe-2E, который также базируется на архитектуре x86.

Говорун стал отличаться ещё большим умом и сообразительностью после апгрейда 2018 года

В список попали и российские системы, разработанные, созданные и введённые в строй группой компаний РСК. Это гетерогенный суперкомпьютер «Говорун», установленный в ОИЯИ и одна из систем серии «Торнадо», располагающаяся в СПбПУ, занимающие 17 и 22 место соответственно. «Говорун» базируется на процессорных компонентах Intel Xeon Phi и Xeon Scalable в сочетании с узлами NVIDIA DGX-1 Volta. Система СПбПУ также имеет гетерогенную архитектуру, но в качестве ускорителей в ней применены NVIDIA Tesla K40X. В обоих случаях в качестве файловой системы используется Lustre.

С результатами IO500 можно ознакомиться на сайте проекта, там же есть и информация о том, как считается и формируется рейтинг.

Постоянный URL: http://servernews.ru/1016841
26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
Система Orphus