Материалы по тегу: файловая система

25.12.2019 [19:19], Алексей Степин

Western Digital разрабатывает новую файловую систему Zonefs для Linux

Операционные системы семейства Linux, в отличие от Windows, весьма богаты на различные файловые системы — от Ext3/4 и популярной в среде СХД ZFS до такой экзотики, как ReiserFS.

Компанию Western Digital, однако, это не смущает. WD разрабатывает новую файловую систему для Linux.  Проект носит название Zonefs и он не предназначен для конкуренции с Ext4, Btrfs или ZFS.

Новая файловая система предназначена для специальных случаев, и главное её свойство отражено в названии —  это поддержка блочных устройств с зонированием (Zoned Block Devices, ZBD). Каждая зона на таких устройствах в этой системе отображается как отдельный файл.

Zonefs не отвечает стандартам POSIX, так как цель заключается в предоставлении удобного файлового API, заменяющего традиционную схему доступа к блочным устройствам, но, вместе с тем, требующего минимального вмешательства в существующее ПО. Преимущества новой ФС должны оценить разработчики и пользователи СУБД. 

Наличие такого API позволяет использовать различные языки программирования для создания новых модулей, а не только традиционный C. WD давно развивает концепцию зонированных устройств хранения данных, как позволяющих поднять эффективность их использования.  Частным случаем таких устройств являются жёсткие диски с «черепичной» записью (Shingled Magnetic Recording), где каждая зона вмещает несколько частично пересекающихся дорожек с данными.

Если в традиционных накопителях порядок записи может быть произвольным, то в зонированных устройствах запись внутри каждой зоны может осуществляться только последовательно.

Внедрение Zonefs позволит перейти от схемы «параметрами записи оперирует сам накопитель» к централизованному управлению на уровне хоста. Немаловажно это и для твердотельных накопителей, поскольку сам принцип их функционирования подразумевает стирание целого блока NAND-памяти; запись также осуществляется поблочно-последовательно.

Zonefs позволит понизить «коэффициент усиление записи» за счёт того, что SSD не придётся заниматься перемещением данных внутри себя при подготовке к записи новых блоков. За счёт эффективного управления можно будет уменьшить резервное пространство, что позволит использовать физический объём более полно. Улучшится и работа QoS, поскольку на него не будет влиять произвольно включающаяся сборка мусора.

Работы по поддержке зонированных накопителей в Linux были начаты ещё в 2014 году, а первая версия ядра, получившая поддержку соответствующих наборов команд —  4.10. Более подробно о разработке WD можно прочитать в корпоративном блоге, а также на ресурсе ZonedStorage.io.

Постоянный URL: http://servernews.ru/1000455
26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
10.11.2019 [15:01], Андрей Галадей

OpenZFS 2.0 выйдет в 2020 году для Linux и FreeBSD, а OpenZFS 3.0 будет поддерживать macOS

Файловая система ZFS медленно, но уверенно прокладывает себе дорогу на разные платформы. На прошлой неделе в Сан-Франциско состоялся ежегодный саммит разработчиков OpenZFS — Developer Summit 2019, где соучредитель Sun ZFS и текущий участник OpenZFS Мэттью Аренс (Matthew Ahrens) поведал о ходе работ над проектом.

По его словам, команда меняет позиционирование проекта. Потому вместо ZFS на Linux (ZFS On Linux) в будущем проект будет называться OpenZFS для Linux и FreeBSD (OpenZFS for Linux and FreeBSD). Речь идёт о создании единой версии для обеих ОС — специфичные для Linux методы адресации и другие особенности реализации будут абстрагированы. Ожидаются повышение производительности и другие улучшения. 

OpenZFS 2.0 выйдет в следующем году, а OpenZFS 3.0 может появиться в 2021 году. Разработчики надеются, что третья сборка получит официальную поддержку macOS. Впрочем, до того времени ещё многое может измениться.

Подробности приведены в небольшой презентации в формате PDF. Напомним, что альфу-версию драйвера ZFS для Windows выпустили два года назад. 

Постоянный URL: http://servernews.ru/997349
17.10.2019 [17:12], Андрей Галадей

Началась разработка FUSE2

Разработчик Миклош Середи (Miklos Szeredi) из Red Hat, создавший в своё время проект FUSE (Filesystem in Userspace), работает над второй версией драйвера ядра под названием FUSE2.

Новинка, как и первая версия, предоставляет универсальную службу в пользовательском пространстве для работы с различными ФС. Она позволяет быстро добавлять поддержку новых файловых систем, в том числе виртуальных.

linux.com

linux.com

FUSE2 описан как совершенно новый драйвер такой системы, но полных данных о нём на данный момент нет. Документация также пока отсутствует. По ссылке есть небольшой пример приложения, поддерживающего интерфейсы v1 и v2, а также сам драйвер.

Проект FUSE/FUSE2 распространяется под лицензиями GNU GPL и LGPL. Его официально включили в основную ветку ядра Linux ещё в версии 2.6.14. Также он доступен для FreeBSD, NetBSD (как PUFFS), OpenSolaris, OS X, Minix 3.2, AmigaOS. FUSE активно используется для SSHFS, NTFS-3G, GlusterFS, ZFS и других ФС. 

Постоянный URL: http://servernews.ru/995754
Система Orphus