Материалы по тегу: файловая система

06.08.2020 [11:05], Юрий Поздеев

Panasas представила параллельную файловую систему PanFS с функцией динамического ускорения данных

Panasas объявила о новой версии параллельной файловой системы PanFS, в которой появилась поддержка динамического ускорения данных, что должно значительно ускорить рабочие процессы в высокопроизводительных вычислениях (HPC) и задачах ИИ (AI).

Компания утверждает, что новая файловая система обеспечивает высокую производительность за счет автоматической адаптации к изменяющимся рабочим нагрузкам с небольшими файлами и смешанным рабочим нагрузкам. Panasas PanFS — это легко адаптируемая параллельная файловая система, на базе которой также построена СХД ActiveStor.

Большим преимуществом является способность PanFS обеспечивать стабильную и предсказуемую производительность за счет автоматической адаптации к изменению размеров файлов и рабочих нагрузок. Также сообщается, что система поддерживает безграничное масштабирование. Динамическое ускорение данных продолжает концепцию, заложенную в PanFS, обеспечивая предсказуемую и стабильную производительность в высоконагруженных вычислениях и задачах с искусственным интеллектом, которые очень требовательны к дисковой подсистеме.

Многоуровневые системы хранения HPC очень сложны и ручное вмешательство в их работу может принести больше вреда, чем пользы. Dynamic Data Acceleration от Panasas отличается от других систем хранения HPC тем, что поддерживает высокую стабильную производительность при изменении параметров рабочих нагрузок, при этом никаких действий пользователя не требуется. Для хранения метаданных и небольших файлов используются накопители NVMe с малой задержкой, а большие файлы хранятся на недорогих жестких дисках с высокой пропускной способностью.

На данный момент основной вариант поставки PanFS — это развернутая на готовом (COTS) аппаратном устройстве Panasas ActiveStor Ultra HPC под ключ, полностью интегрированное готовое решение для хранения данных.

Постоянный URL: http://servernews.ru/1017545
15.04.2020 [22:16], Александр Коляскин

ZFS on Linux теперь работает и на FreeBSD

Проект OpenZFS окончательно взял под своё крыло реализацию данной ФС для FreeBSD: в репозиторий ZFS on Linux (ZoL) внесена поддержка этой операционной системы. Теперь исходный код файловой системы ZFS может быть скомпилирован на 11 и 12 ветках FreeBSD. На данный момент на FreeBSD проведено 1230 тестов ZFS on Linux – и все они прошли без ошибок. 

Возможности «ZFS on Linux» от OpenZFS шире тех, что были у ранее применяемого варианта ZFS из ОС Illumos семейства UNIX. 

О том, что всё примерно так и будет, сообщалось ранее. Ещё в ноябре 2019 года состоялся ежегодный саммит разработчиков «Developer Summit 2019», где соучредитель Sun ZFS из состава OpenZFS Мэттью Аренс (Matthew Ahrens) представил презентацию о будущем своего детища. Речь тогда шла о разработке целостной реализации файловой системы — и для Linux, и  для FreeBSD. В дальнейшем планируется добавить поддержку macOS и перейти на более стабильную частоту выходу новых мажорных релизов.

ZFS on Linux — проект, направленный на объединение частных лиц и компаний, которые используют файловую систему ZFS с открытым исходным кодом, работают над её улучшением, а также на то, чтобы сделать ZFS широко используемой.

Постоянный URL: http://servernews.ru/1008524
25.12.2019 [19:19], Алексей Степин

Western Digital разрабатывает новую файловую систему Zonefs для Linux

Операционные системы семейства Linux, в отличие от Windows, весьма богаты на различные файловые системы — от Ext3/4 и популярной в среде СХД ZFS до такой экзотики, как ReiserFS.

Компанию Western Digital, однако, это не смущает. WD разрабатывает новую файловую систему для Linux.  Проект носит название Zonefs и он не предназначен для конкуренции с Ext4, Btrfs или ZFS.

Новая файловая система предназначена для специальных случаев, и главное её свойство отражено в названии —  это поддержка блочных устройств с зонированием (Zoned Block Devices, ZBD). Каждая зона на таких устройствах в этой системе отображается как отдельный файл.

Zonefs не отвечает стандартам POSIX, так как цель заключается в предоставлении удобного файлового API, заменяющего традиционную схему доступа к блочным устройствам, но, вместе с тем, требующего минимального вмешательства в существующее ПО. Преимущества новой ФС должны оценить разработчики и пользователи СУБД. 

Наличие такого API позволяет использовать различные языки программирования для создания новых модулей, а не только традиционный C. WD давно развивает концепцию зонированных устройств хранения данных, как позволяющих поднять эффективность их использования.  Частным случаем таких устройств являются жёсткие диски с «черепичной» записью (Shingled Magnetic Recording), где каждая зона вмещает несколько частично пересекающихся дорожек с данными.

Если в традиционных накопителях порядок записи может быть произвольным, то в зонированных устройствах запись внутри каждой зоны может осуществляться только последовательно.

Внедрение Zonefs позволит перейти от схемы «параметрами записи оперирует сам накопитель» к централизованному управлению на уровне хоста. Немаловажно это и для твердотельных накопителей, поскольку сам принцип их функционирования подразумевает стирание целого блока NAND-памяти; запись также осуществляется поблочно-последовательно.

Zonefs позволит понизить «коэффициент усиление записи» за счёт того, что SSD не придётся заниматься перемещением данных внутри себя при подготовке к записи новых блоков. За счёт эффективного управления можно будет уменьшить резервное пространство, что позволит использовать физический объём более полно. Улучшится и работа QoS, поскольку на него не будет влиять произвольно включающаяся сборка мусора.

Работы по поддержке зонированных накопителей в Linux были начаты ещё в 2014 году, а первая версия ядра, получившая поддержку соответствующих наборов команд —  4.10. Более подробно о разработке WD можно прочитать в корпоративном блоге, а также на ресурсе ZonedStorage.io.

Постоянный URL: http://servernews.ru/1000455
26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
10.11.2019 [15:01], Андрей Галадей

OpenZFS 2.0 выйдет в 2020 году для Linux и FreeBSD, а OpenZFS 3.0 будет поддерживать macOS

Файловая система ZFS медленно, но уверенно прокладывает себе дорогу на разные платформы. На прошлой неделе в Сан-Франциско состоялся ежегодный саммит разработчиков OpenZFS — Developer Summit 2019, где соучредитель Sun ZFS и текущий участник OpenZFS Мэттью Аренс (Matthew Ahrens) поведал о ходе работ над проектом.

По его словам, команда меняет позиционирование проекта. Потому вместо ZFS на Linux (ZFS On Linux) в будущем проект будет называться OpenZFS для Linux и FreeBSD (OpenZFS for Linux and FreeBSD). Речь идёт о создании единой версии для обеих ОС — специфичные для Linux методы адресации и другие особенности реализации будут абстрагированы. Ожидаются повышение производительности и другие улучшения. 

OpenZFS 2.0 выйдет в следующем году, а OpenZFS 3.0 может появиться в 2021 году. Разработчики надеются, что третья сборка получит официальную поддержку macOS. Впрочем, до того времени ещё многое может измениться.

Подробности приведены в небольшой презентации в формате PDF. Напомним, что альфу-версию драйвера ZFS для Windows выпустили два года назад. 

Постоянный URL: http://servernews.ru/997349
17.10.2019 [17:12], Андрей Галадей

Началась разработка FUSE2

Разработчик Миклош Середи (Miklos Szeredi) из Red Hat, создавший в своё время проект FUSE (Filesystem in Userspace), работает над второй версией драйвера ядра под названием FUSE2.

Новинка, как и первая версия, предоставляет универсальную службу в пользовательском пространстве для работы с различными ФС. Она позволяет быстро добавлять поддержку новых файловых систем, в том числе виртуальных.

linux.com

linux.com

FUSE2 описан как совершенно новый драйвер такой системы, но полных данных о нём на данный момент нет. Документация также пока отсутствует. По ссылке есть небольшой пример приложения, поддерживающего интерфейсы v1 и v2, а также сам драйвер.

Проект FUSE/FUSE2 распространяется под лицензиями GNU GPL и LGPL. Его официально включили в основную ветку ядра Linux ещё в версии 2.6.14. Также он доступен для FreeBSD, NetBSD (как PUFFS), OpenSolaris, OS X, Minix 3.2, AmigaOS. FUSE активно используется для SSHFS, NTFS-3G, GlusterFS, ZFS и других ФС. 

Постоянный URL: http://servernews.ru/995754
Система Orphus