Сервис Amazon FSx получил поддержку файловой системы OpenZFS. Сервис позволяет создать файловую систему за считанные минуты и сразу же начать пользоваться ей. При этом доступны все особенности OpenZFS — быстрое сжатие, непрерывная проверка целостности, моментальные снимки и так далее.

Сами хранилища работают на узлах с процессорами AWS Graviton, а для доступа используется AWS SRD. Всё это даёт высокую пропускную способность и скорость операций ввода-вывода. Система обеспечивает до 1 млн IOPS с задержкой 100-200 мс, а также пропускной способностью до 4 Гбайт/с без сжатия, до 12 Гбайт/с для сжатых данных и до 12,5 Гбайт/с — для кешированных. Задействован механизм Adaptive Replacement Cache (ARC), использующий RAM узла для повышения производительности. Отдельно отмечается, что все данные хранятся в зашифрованном виде.

Тома OpenZFS доступны для облачных или локальных клиентов Linux, macOS и Windows посредством NFS v3/4/4.1/4.2. Также из облаков к ним могут получать доступ инстансы EC2, кластеры ECS и EKS, VDI-системы Amazon WorkSpaces и виртуальные машины VMware на AWS. Amazon FSx с OpenZFS можно использовать для задач ИИ, EDA, обработки мультимедиа, финансовой аналитики, для хранилищ кода, DevOps и веб-серверов. Также их можно использовать в сценариях, где важна низкая задержка ввода-вывода — порядка 100 мс.

Как и было обещано, выпущен релиз OpenZFS 2.0.0. Это свободная унифицированная реализация файловой системы ZFS для операционных систем Linux и FreeBSD. Поддерживаются ядра версий от 3.10 до 5.9 в случае Linux и FreeBSD версии 12.2 и старше, причём используется единый репозиторий.

В числе новвовведений отметим последовательное восстановления разрушенного RAID-массива Mirror vDev. Эта методика быстрее, чем традиционное восстановление из-за отложенного механизма проверки контрольных сумм блоков.

fossbytes.com

Ещё одно нововведение — кэш L2ARC восстанавливается после перезагрузки, а не заполняется заново. Это позволяет ускорить работу. Также отметим поддержку формата сжатия ZStandard, который сравним по уровню компрессии с GZIP, но работает намного быстрее. Наконец, теперь можно исключать определённые данные до создания «снимка» системы.

Из мелких улучшений отметим оптимизированный режим шифрования AES-GCM, добавление модуля PAM для автоматической загрузки ключей шифрования домашних каталогов, а также ряд новых команд. Подробнее о перечне нововведений можно прочитать на странице проекта.

Проект OpenZFS окончательно взял под своё крыло реализацию данной ФС для FreeBSD: в репозиторий ZFS on Linux (ZoL) внесена поддержка этой операционной системы. Теперь исходный код файловой системы ZFS может быть скомпилирован на 11 и 12 ветках FreeBSD. На данный момент на FreeBSD проведено 1230 тестов ZFS on Linux – и все они прошли без ошибок. 

Возможности «ZFS on Linux» от OpenZFS шире тех, что были у ранее применяемого варианта ZFS из ОС Illumos семейства UNIX. 

О том, что всё примерно так и будет, сообщалось ранее. Ещё в ноябре 2019 года состоялся ежегодный саммит разработчиков «Developer Summit 2019», где соучредитель Sun ZFS из состава OpenZFS Мэттью Аренс (Matthew Ahrens) представил презентацию о будущем своего детища. Речь тогда шла о разработке целостной реализации файловой системы — и для Linux, и  для FreeBSD. В дальнейшем планируется добавить поддержку macOS и перейти на более стабильную частоту выходу новых мажорных релизов.

ZFS on Linux — проект, направленный на объединение частных лиц и компаний, которые используют файловую систему ZFS с открытым исходным кодом, работают над её улучшением, а также на то, чтобы сделать ZFS широко используемой.

Файловая система ZFS медленно, но уверенно прокладывает себе дорогу на разные платформы. На прошлой неделе в Сан-Франциско состоялся ежегодный саммит разработчиков OpenZFS — Developer Summit 2019, где соучредитель Sun ZFS и текущий участник OpenZFS Мэттью Аренс (Matthew Ahrens) поведал о ходе работ над проектом.

По его словам, команда меняет позиционирование проекта. Потому вместо ZFS на Linux (ZFS On Linux) в будущем проект будет называться OpenZFS для Linux и FreeBSD (OpenZFS for Linux and FreeBSD). Речь идёт о создании единой версии для обеих ОС — специфичные для Linux методы адресации и другие особенности реализации будут абстрагированы. Ожидаются повышение производительности и другие улучшения. 

OpenZFS 2.0 выйдет в следующем году, а OpenZFS 3.0 может появиться в 2021 году. Разработчики надеются, что третья сборка получит официальную поддержку macOS. Впрочем, до того времени ещё многое может измениться.

Подробности приведены в небольшой презентации в формате PDF. Напомним, что альфу-версию драйвера ZFS для Windows выпустили два года назад.