Материалы по тегу: io500

28.07.2020 [18:10], Алексей Степин

Российские суперкомпьютеры РСК попали в свежий рейтинг IO500

Виртуальный институт подсистем ввода-вывода (Virtual Institure for I/O, VI4IO) начал свою деятельность в 2016 году. Целью этой некоммерческой открытой организации стало предоставление платформы для обмена информацией в области исследований, касающихся I/O-подсистем суперкомпьютеров и кластерных систем. В этом году, по результатам проведённых исследований, VI4IO представила первый официальный рейтинг IO500, который обещает стать столь же популярным, как и TOP500 и Green500.

Официальный логотип нового рейтинга IO500

Теперь для попадания системы с IO500 существует стандартизированный набор правил и тестов, включающих в себя такие компоненты, как подтесты на чистую пропускную способность, на производительность при работе с метаданными и на скорость поиска в пространстве имён (namespace).

Сам набор тестов открытый, проект имеет собственный репозиторий на GitHub, там же содержится полная инструкция по запуску и получению результатов. Комплект IO500 построен на основе существующих популярных бенчмарков и имеет модульную структуру. Благодаря поддержке плагинов возможно тестирование различных альтернативных систем хранения данных.

Российские системы мы отметили красным

Российские системы мы отметили красным

Ранние результаты в официальный список IO500 не входят, поскольку с 2017 года правила менялись, но в нём присутствуют результаты с конференций SC19 и ISC 2020. Несмотря на все успехи ARM в сфере супервычислений, первое место в рейтинге всё же принадлежит Intel с её системой Wolf, способной развивать свыше 8,6 миллионов IOPS и продемонстрировавшей линейную скорость более 370 Гбайт/с. Высокое место занял и китайский комплекс Tianhe-2E, который также базируется на архитектуре x86.

Говорун стал отличаться ещё большим умом и сообразительностью после апгрейда 2018 года

В список попали и российские системы, разработанные, созданные и введённые в строй группой компаний РСК. Это гетерогенный суперкомпьютер «Говорун», установленный в ОИЯИ и одна из систем серии «Торнадо», располагающаяся в СПбПУ, занимающие 17 и 22 место соответственно. «Говорун» базируется на процессорных компонентах Intel Xeon Phi и Xeon Scalable в сочетании с узлами NVIDIA DGX-1 Volta. Система СПбПУ также имеет гетерогенную архитектуру, но в качестве ускорителей в ней применены NVIDIA Tesla K40X. В обоих случаях в качестве файловой системы используется Lustre.

С результатами IO500 можно ознакомиться на сайте проекта, там же есть и информация о том, как считается и формируется рейтинг.

Постоянный URL: http://servernews.ru/1016841
26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
Система Orphus