Материалы по тегу: файловая система

20.06.2022 [22:11], Алексей Степин

WekaIO представила по-настоящему глобальную мультиоблачную платформу хранения данных WEKA 4.0

Компания WekaIO, разработчик платформ хранения данных, объявила о выпуске новой версии за номером 4.0. Ранее платформа Weka уже поддерживала интеграцию с хранилищами и томами Amazon Web Services, но в четвёртой версии она стала по-настоящему глобальной и мультиоблачной благодаря поддержке Microsoft Azure, Google Cloud Platform и Oracle Cloud Infrastructure (OCI).

Это нововведение важно, поскольку, если верить аналитикам Gartner, подавляющее большинство компаний (76%) пользуются услугами минимум двух облачных поставщиков. Корпорации с оборотом свыше $1 млрд зачастую склонны использовать три и более облака, и нередко в таких случаях имеются трудности перемещением больших объёмов данных между облаками, чего позволит избежать новая версия платформы WEKA 4.0.

 Изображения: WekaIO

Изображения: WekaIO

Новинка, по заявлению разработчика, позволит использовать облачные службы для запуска сценариев класса mission critical, поскольку обеспечивает постоянный — и при этом высокий — уровень производительности, сочетая его с высокой надёжностью и простотой управления. Ещё в апреле решения компании смогли продемонстрировать в облаке Oracle потрясающую производительность хранилища — до 2 Тбайт/с.

Теперь сжатие и дедупликация данных могут поддерживаться на всём объёме файловой системы. Поддерживается и иерархическое деление (tiering) облачных и локальных областей. Кроме того, появилась поддержка NFS v4.1, а для Samba есть собственная реализация SMB-W с более низкой латентностью и повышенным уровнем производительности при работе с мелкими файлами, что делает её пригодной к использованию в высоконагруженных сценариях в Windows-средах.

Интерфейс новой версии стал более удобным для восприятия, упростилось управление, а выполнение ряда задач теперь существенно проще, что особенно важно в крупных мультиоблачных комплексах. Доступны различные режимы репликации, в том числе перемещение устаревающих данных в более дешёвое облачное хранилище или на локальные СХД. Оптимизирована поддержка накопителей на базе QLC, позволяющая надёжно хранить большие объёмы данных на более дешёвых SSD.

Платформа WEKA 4.0 будет доступна в четырёх различных версиях, по подписке или с оплатой по факту потребления ресурсов. Подробности можно узнать в блоге и на сайте WekaIO.

Постоянный URL: http://servernews.ru/1068449
03.03.2022 [22:54], Андрей Галадей

Файловую систему ReiserFS планируется удалить из ядра Linux в 2025 году

Разработчики Linux уже некоторое время обсуждают идею удаления файловой системы ReiserFS, так как она перестала быть актуальной уже более десяти лет назад, и вряд ли будет использоваться в современных рабочих нагрузках. И теперь, похоже, решение принято, даже несмотря на то, что в 2020 году была анонсирована пятая версия этой ФС. Кроме того, попутно было предложено избавиться в ядре от вообще всех устаревших ФС без сопровождения.

Как сообщает Phoronix, ожидается, что поддержку ReiserFS уберут из основной ветки ядра не ранее 2025 года, а из LTS-веток — чуть позже. На данный момент она отмечена в патче как устаревшая, так что при попытке монтирования система выдаст предупреждение. Разработка ФС, в том числе четвёртой версии, заметно замедлилась после ареста её основного автора, который будет отбывать заключение минимум до 2023 года.

Отмечается, что ReiserFS уже не имеет каких-либо однозначных преимуществ перед XFS, EXT4 и Btrfs. Это журналируемая файловая система, которая изначально разрабатывалась для Linux компанией Namesys. Она появилась в ядре 2.4.1 и какое-то время являлась основной файловой системой в некоторых дистрибутивах, в том числе крупных. Например, до октября 2006 года она была таковой в SLES.

Постоянный URL: http://servernews.ru/1061308
02.08.2021 [21:24], Владимир Агапов

Nexustorage выпустила программно определяемую СХД Nexfs с поддержкой iSCSI, NFS, SMB и S3

Стартап из Новой Зеландии Nexustorage, зарегистрированный в начале этого года, довёл свою программно определяемую систему хранения данных (СХД) Nexfs до стадии общедоступного релиза. Основная идея продукта заключается в предоставлении универсального интеллектуального уровня хранения, который охватывает файловое, блочное и объектное хранение.

Будучи развёрнутым на стандартном оборудовании, Nexfs «склеивает» все устройства хранения, независимо от интерфейса, и предоставляет к ним единый уровень доступа посредством iSCSI, NFS, SMB и S3. Разработанное Nexustorage решение опирается на многоуровневый пул хранения, перенос и размещение данных в котором происходят автономно. Для его работы годится не только новое оборудование, но и давно существующее, что позволяет сэкономить, продлив срок эксплуатации существующих серверов и устройств хранения.

Масштабируемая файловая система Nexfs доступна бесплатно в Community-версии и работает в Centos, Ubuntu и Debian, являясь чисто программным решением. Разработчик предоставил к движку Nexfx и исходникам утилиты Nexfscli. Для работы требуется поддержка ФС xfs или ext4 с расширенными атрибутами. Nexfs содержит несколько ключевых технологических элементов, разработанных командой Nexustorage, среди которых SmartProtect, SmartTier и Nexassert.

SmartProtect — это инструмент защиты данных с помощью репликации с первичного хранилища на вторичное, совместимое с S3. Эта функция обеспечивает высокую гранулярность для создания копий файла при каждом изменении фрагмента данных. SmartTier позволяет перемещать фрагменты данных во вторичное хранилище в рамках пула, созданного и контролируемого Nexfs. В текущей версии поддерживается перемещение между 3 уровнями пула: SSD, SATA (HDD) и объектным хранилищем.

Обработка происходит на уровне субфайлов, которые разработчик называет блоками. Этот инструмент маскирует физическое расположение блоков данных и оптимизирует их размещение в зависимости от частоты использования — редко используемые данные переносятся на SATA-накопители, а «холодные» — в объектное или облачное хранилище. Когда инициируется доступ к мигрировавшему файлу, копируется не он целиком, а только необходимый фрагмент. Такой инструмент оказывается полезен как сам по себе, так и для SmartProtect.

Третий элемент, Nexassert — это технология, которая пока что находится на стадии патентования. В обычном режиме работы СХД файлы становятся неоднородными. Фрагменты данных распределяются между SSD, HDD и объектным/облачным хранилищем в зависимости от потребностей доступа и частоты использования. А эта технология позволяет осуществлять доступ к блокам данных там, где они размещены. Таким образом, в системе обеспечивается необходимый уровень QoS без лишних затрат.

Указанные функции сейчас не редкость, но организация блочного доступа с помощью iSCSI в такой архитектуре имеет ряд препятствий. Команда Nexustorage проделала большую работу, чтобы их преодолеть, и теперь их СХД поддерживает данный режим даже при использовании для хранения Amazon S3 и MinIO. Организация файлового доступа Nexfs чем-то напоминает Veritas VxFS с её функцией динамического многоуровневого хранения.

Постоянный URL: http://servernews.ru/1045776
02.12.2020 [11:29], Андрей Галадей

Состоялся релиз OpenZFS 2.0.0 на ОС Linux и FreeBSD с рядом новых функций

Как и было обещано, выпущен релиз OpenZFS 2.0.0. Это свободная унифицированная реализация файловой системы ZFS для операционных систем Linux и FreeBSD. Поддерживаются ядра версий от 3.10 до 5.9 в случае Linux и FreeBSD версии 12.2 и старше, причём используется единый репозиторий.

В числе новвовведений отметим последовательное восстановления разрушенного RAID-массива Mirror vDev. Эта методика быстрее, чем традиционное восстановление из-за отложенного механизма проверки контрольных сумм блоков.

 fossbytes.com

fossbytes.com

Ещё одно нововведение — кэш L2ARC восстанавливается после перезагрузки, а не заполняется заново. Это позволяет ускорить работу. Также отметим поддержку формата сжатия ZStandard, который сравним по уровню компрессии с GZIP, но работает намного быстрее. Наконец, теперь можно исключать определённые данные до создания «снимка» системы.

Из мелких улучшений отметим оптимизированный режим шифрования AES-GCM, добавление модуля PAM для автоматической загрузки ключей шифрования домашних каталогов, а также ряд новых команд. Подробнее о перечне нововведений можно прочитать на странице проекта.

Постоянный URL: http://servernews.ru/1026772
21.11.2020 [22:45], Андрей Галадей

Параллельная ФС BeeGFS достигла скорости 1,46 Тбайт/с в облаке Azure

Эван Бернесс (Evan Burness) из Microsoft Azure сообщил, что разработчики успешно продемонстрировали первую в истории облачную параллельную файловую систему, которая работает со скоростью 1 Тбайт/сек. Для этого ФС BeeOND (BeeGFS On Demand) была развёрнута на 300 инстансах HBv2 и задействовала более 250 Тбайт хранилища на накопителях NVMe.

Всё это позволило достичь скорости чтения в 1,46 Тбайт/сек и записи в 456 Гбайт/сек. Утверждается, что такой показатель примерно в 3,6 раза выше, чем демонстрировали ранее любые общедоступные облачные системы.

Отмечается, что файловая система использует удалённый прямой доступ к памяти (RDMA). Она также использует локальное хранилище виртуальных машин Azure, что минимизирует накладные расходы.

А ещё эта ФС может масштабироваться до тысяч узлов, что на выходе даёт очень высокую скорость обмена данными. Напомним, что BeeGFS использовали в суперкомпьютере Fugaku, который считается самым быстрым в мире. А ещё эта ФС применялась в системе для обработки «фото» чёрной дыры M87.

Постоянный URL: http://servernews.ru/1025949
11.09.2020 [22:00], Илья Коваль

WSL 2 получит поддержку монтирования дисков и разделов

Второе поколение подсистемы Windows Subsystem for Linux (WSL 2), как и было ранее обещано Microsoft, продолжает развиваться и получать новые функции. В Windows 10 Insider Preview 20211 появилась поддержка монтирования дисков для прямого доступа к ним. Причём не только из WSL-окружения, но и непосредственно из Windows, по пути wsl$.

Прямо сейчас есть целый ряд ограничений для данной функциональности. Поддерживается монтирование только физических дисков целиком, а не отдельных разделов на них. Судя по всему, накопитель фактически «отцепляется» от Windows, поэтому, например, нельзя будет смонтировать диск с загрузочным томом самой Windows. USB-накопители смонтировать не получится вовсе.

Формально возможна работа с любыми файловыми системами (ФС), которые поддерживаются ядром Linux (для WSL 2 это 4.19), но фактически сейчас есть поддержка только EXT4. Работа через с ФС, которые используют FUSE, невозможна. Также нет типовых опций монтирования (ro, rw, noatime и т.д.), но обещана поддержка специфичных для каждой ФС параметров. Кроме того, можно подключить диск без монтирования разделов и напрямую работать с ним как с обычным блочным устройством. Часть функций, приведённых в справке, будет полноценна реализована в будущих релизах.

Постоянный URL: http://servernews.ru/1020446
06.08.2020 [11:05], Юрий Поздеев

Panasas представила параллельную файловую систему PanFS с функцией динамического ускорения данных

Panasas объявила о новой версии параллельной файловой системы PanFS, в которой появилась поддержка динамического ускорения данных, что должно значительно ускорить рабочие процессы в высокопроизводительных вычислениях (HPC) и задачах ИИ (AI).

Компания утверждает, что новая файловая система обеспечивает высокую производительность за счет автоматической адаптации к изменяющимся рабочим нагрузкам с небольшими файлами и смешанным рабочим нагрузкам. Panasas PanFS — это легко адаптируемая параллельная файловая система, на базе которой также построена СХД ActiveStor.

Большим преимуществом является способность PanFS обеспечивать стабильную и предсказуемую производительность за счет автоматической адаптации к изменению размеров файлов и рабочих нагрузок. Также сообщается, что система поддерживает безграничное масштабирование. Динамическое ускорение данных продолжает концепцию, заложенную в PanFS, обеспечивая предсказуемую и стабильную производительность в высоконагруженных вычислениях и задачах с искусственным интеллектом, которые очень требовательны к дисковой подсистеме.

Многоуровневые системы хранения HPC очень сложны и ручное вмешательство в их работу может принести больше вреда, чем пользы. Dynamic Data Acceleration от Panasas отличается от других систем хранения HPC тем, что поддерживает высокую стабильную производительность при изменении параметров рабочих нагрузок, при этом никаких действий пользователя не требуется. Для хранения метаданных и небольших файлов используются накопители NVMe с малой задержкой, а большие файлы хранятся на недорогих жестких дисках с высокой пропускной способностью.

На данный момент основной вариант поставки PanFS — это развернутая на готовом (COTS) аппаратном устройстве Panasas ActiveStor Ultra HPC под ключ, полностью интегрированное готовое решение для хранения данных.

Постоянный URL: http://servernews.ru/1017545
15.04.2020 [22:16], Александр Коляскин

ZFS on Linux теперь работает и на FreeBSD

Проект OpenZFS окончательно взял под своё крыло реализацию данной ФС для FreeBSD: в репозиторий ZFS on Linux (ZoL) внесена поддержка этой операционной системы. Теперь исходный код файловой системы ZFS может быть скомпилирован на 11 и 12 ветках FreeBSD. На данный момент на FreeBSD проведено 1230 тестов ZFS on Linux – и все они прошли без ошибок.

Возможности «ZFS on Linux» от OpenZFS шире тех, что были у ранее применяемого варианта ZFS из ОС Illumos семейства UNIX.

О том, что всё примерно так и будет, сообщалось ранее. Ещё в ноябре 2019 года состоялся ежегодный саммит разработчиков «Developer Summit 2019», где соучредитель Sun ZFS из состава OpenZFS Мэттью Аренс (Matthew Ahrens) представил презентацию о будущем своего детища. Речь тогда шла о разработке целостной реализации файловой системы — и для Linux, и для FreeBSD. В дальнейшем планируется добавить поддержку macOS и перейти на более стабильную частоту выходу новых мажорных релизов.

ZFS on Linux — проект, направленный на объединение частных лиц и компаний, которые используют файловую систему ZFS с открытым исходным кодом, работают над её улучшением, а также на то, чтобы сделать ZFS широко используемой.

Постоянный URL: http://servernews.ru/1008524
03.01.2020 [17:29], Алексей Степин

ReiserFS жива: анонсирована пятая версия файловой системы

Четвёртая версия файловой системы ReiserFS была представлена ещё в 2004 году.

После ареста Ганса Рейзера в 2006 году и прекращения активности компании Namesys развитие Reiser4 практически застопорилось и в основную ветку ядра Linux она не попала.

Однако нельзя сказать, что файловая система мертва. Поддержку Reiser4 продолжил Эдуард Шишкин, и он же, как выяснилось, одновременно вёл работы по созданию новой версии системы, Reiser5. Она была анонсировала буквально накануне нового года — 31 декабря. Пятая версия описывается как провозглашающая новый метод объединения блочных устройств в логические тома. Своей прослойки блочного уровня, как, к примеру, в ZFS, Reiser5 не имеет, и масштабирование в ней осуществляется на уровне самой файловой системы.

Это и другие особенности новой версии Reiser5 должны обеспечить ей, в числе прочего, и более высокий уровень производительности в сравнении с Reiser4 — так, заполнение тома не должно приводить к просаживанию производительности. Новый алгоритм распределениях данных (так называемый «фибер-страйпинг») позволят более эффективно компоновать логический том из устройств разного объёма и с разной пропускной способностью, нежели это возможно в традиционной комбинации файловой системы и RAID/LVM.

В настоящее время код для ядра Linux 5.4.6 можно найти на SourceForge. Там же находится обновлённая версия утилит Reiser4Progs с первичной поддержкой Reiser Format 5. Привлечёт ли новая файловая система значительное число сторонников? Говорить об этом пока рано, поскольку сделать разработчику предстоит ещё многое. Но энтузиасты могут ознакомиться с наработками Эдуарда Шишкина уже сейчас.

Постоянный URL: http://servernews.ru/1000806
25.12.2019 [19:19], Алексей Степин

Western Digital разрабатывает новую файловую систему Zonefs для Linux

Операционные системы семейства Linux, в отличие от Windows, весьма богаты на различные файловые системы — от Ext3/4 и популярной в среде СХД ZFS до такой экзотики, как ReiserFS.

Компанию Western Digital, однако, это не смущает. WD разрабатывает новую файловую систему для Linux. Проект носит название Zonefs и он не предназначен для конкуренции с Ext4, Btrfs или ZFS.

Новая файловая система предназначена для специальных случаев, и главное её свойство отражено в названии —  это поддержка блочных устройств с зонированием (Zoned Block Devices, ZBD). Каждая зона на таких устройствах в этой системе отображается как отдельный файл.

Zonefs не отвечает стандартам POSIX, так как цель заключается в предоставлении удобного файлового API, заменяющего традиционную схему доступа к блочным устройствам, но, вместе с тем, требующего минимального вмешательства в существующее ПО. Преимущества новой ФС должны оценить разработчики и пользователи СУБД.

Наличие такого API позволяет использовать различные языки программирования для создания новых модулей, а не только традиционный C. WD давно развивает концепцию зонированных устройств хранения данных, как позволяющих поднять эффективность их использования. Частным случаем таких устройств являются жёсткие диски с «черепичной» записью (Shingled Magnetic Recording), где каждая зона вмещает несколько частично пересекающихся дорожек с данными.

Если в традиционных накопителях порядок записи может быть произвольным, то в зонированных устройствах запись внутри каждой зоны может осуществляться только последовательно.

Внедрение Zonefs позволит перейти от схемы «параметрами записи оперирует сам накопитель» к централизованному управлению на уровне хоста. Немаловажно это и для твердотельных накопителей, поскольку сам принцип их функционирования подразумевает стирание целого блока NAND-памяти; запись также осуществляется поблочно-последовательно.

Zonefs позволит понизить «коэффициент усиление записи» за счёт того, что SSD не придётся заниматься перемещением данных внутри себя при подготовке к записи новых блоков. За счёт эффективного управления можно будет уменьшить резервное пространство, что позволит использовать физический объём более полно. Улучшится и работа QoS, поскольку на него не будет влиять произвольно включающаяся сборка мусора.

Работы по поддержке зонированных накопителей в Linux были начаты ещё в 2014 году, а первая версия ядра, получившая поддержку соответствующих наборов команд —  4.10. Более подробно о разработке WD можно прочитать в корпоративном блоге, а также на ресурсе ZonedStorage.io.

Постоянный URL: http://servernews.ru/1000455
Система Orphus