Материалы по тегу: файловая система

26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
10.11.2019 [15:01], Андрей Галадей

OpenZFS 2.0 выйдет в 2020 году для Linux и FreeBSD, а OpenZFS 3.0 будет поддерживать macOS

Файловая система ZFS медленно, но уверенно прокладывает себе дорогу на разные платформы. На прошлой неделе в Сан-Франциско состоялся ежегодный саммит разработчиков OpenZFS — Developer Summit 2019, где соучредитель Sun ZFS и текущий участник OpenZFS Мэттью Аренс (Matthew Ahrens) поведал о ходе работ над проектом.

По его словам, команда меняет позиционирование проекта. Потому вместо ZFS на Linux (ZFS On Linux) в будущем проект будет называться OpenZFS для Linux и FreeBSD (OpenZFS for Linux and FreeBSD). Речь идёт о создании единой версии для обеих ОС — специфичные для Linux методы адресации и другие особенности реализации будут абстрагированы. Ожидаются повышение производительности и другие улучшения. 

OpenZFS 2.0 выйдет в следующем году, а OpenZFS 3.0 может появиться в 2021 году. Разработчики надеются, что третья сборка получит официальную поддержку macOS. Впрочем, до того времени ещё многое может измениться.

Подробности приведены в небольшой презентации в формате PDF. Напомним, что альфу-версию драйвера ZFS для Windows выпустили два года назад. 

Постоянный URL: http://servernews.ru/997349
17.10.2019 [17:12], Андрей Галадей

Началась разработка FUSE2

Разработчик Миклош Середи (Miklos Szeredi) из Red Hat, создавший в своё время проект FUSE (Filesystem in Userspace), работает над второй версией драйвера ядра под названием FUSE2.

Новинка, как и первая версия, предоставляет универсальную службу в пользовательском пространстве для работы с различными ФС. Она позволяет быстро добавлять поддержку новых файловых систем, в том числе виртуальных.

linux.com

linux.com

FUSE2 описан как совершенно новый драйвер такой системы, но полных данных о нём на данный момент нет. Документация также пока отсутствует. По ссылке есть небольшой пример приложения, поддерживающего интерфейсы v1 и v2, а также сам драйвер.

Проект FUSE/FUSE2 распространяется под лицензиями GNU GPL и LGPL. Его официально включили в основную ветку ядра Linux ещё в версии 2.6.14. Также он доступен для FreeBSD, NetBSD (как PUFFS), OpenSolaris, OS X, Minix 3.2, AmigaOS. FUSE активно используется для SSHFS, NTFS-3G, GlusterFS, ZFS и других ФС. 

Постоянный URL: http://servernews.ru/995754
Система Orphus