Вычислительный центр OLCF (Oak Ridge Leadership Computing Facility) Окриджской лаборатории рассказал об особенностях архитектуры подсистемы хранения данных комплекса Frontier. Ввести этот суперкомпьютер в строй планируется к концу текущего года. Ожидается, что он станет первой в США системой высокопроизводительных вычислений с экзафлопсным быстродействием. В основу комплекса лягут чипы AMD EPYC и ускорители Radeon Instinct. Пиковая производительность, как ожидается, превысит 1,5 Эфлопс.

Сообщается, что архитектура ввода/вывода суперкомпьютера состоит из двух основных компонентов: это внутрисистемное хранилище и распределённое хранилище Orion, использующее открытые решения Lustre и ZFS. Внутрисистемное хранилище будет использовать интерфейс PCIe 4.0. Скорость чтения превысит 75 Тбайт/с, скорость записи — 35 Тбайт/с. Величина IOPS — свыше 15 млрд.

OLCF

В состав Orion войдут три уровня. Первый — массив из 5400 твердотельных NVMe-накопителей суммарной вместимостью 11,5 Пбайт. Они обеспечат пиковую скорость чтения/записи до 10 Тбайт/с, а показатель IOPS превысит 2 млн. Второй уровень — система из 47 700 жёстких дисков (PMR). Их общий объём составит 679 Пбайт. Пиковая скорость чтения — 5,5 Тбайт/с, пиковая скорость записи — 4,6 Тбайт/с. Значение IOPS составит более 2 млн. Наконец, на третьем уровне, предназначенном для метаданных, будут задействованы 480 NVMe-накопителей суммарной ёмкостью 10 Пбайт.

HPE

В состав Orion войдёт 40 узлов для метаданных и 450 узлов для основного хранилища Lustre, причём последние будут разделены на три блока: один c высокой производительностью и два с высокой ёмкостью. Ещё 160 узлов будут работать в качестве «посредников» между Frontier и другими ресурсами и платформами OLCF. Они обеспечат скорость чтения/записи 3,2 Тбайт/с.

Как и было обещано, выпущен релиз OpenZFS 2.0.0. Это свободная унифицированная реализация файловой системы ZFS для операционных систем Linux и FreeBSD. Поддерживаются ядра версий от 3.10 до 5.9 в случае Linux и FreeBSD версии 12.2 и старше, причём используется единый репозиторий.

В числе новвовведений отметим последовательное восстановления разрушенного RAID-массива Mirror vDev. Эта методика быстрее, чем традиционное восстановление из-за отложенного механизма проверки контрольных сумм блоков.

fossbytes.com

Ещё одно нововведение — кэш L2ARC восстанавливается после перезагрузки, а не заполняется заново. Это позволяет ускорить работу. Также отметим поддержку формата сжатия ZStandard, который сравним по уровню компрессии с GZIP, но работает намного быстрее. Наконец, теперь можно исключать определённые данные до создания «снимка» системы.

Из мелких улучшений отметим оптимизированный режим шифрования AES-GCM, добавление модуля PAM для автоматической загрузки ключей шифрования домашних каталогов, а также ряд новых команд. Подробнее о перечне нововведений можно прочитать на странице проекта.

Компания QNAP Systems анонсировала новые сетевые хранилища данных (NAS) корпоративного класса, рассчитанные на монтаж в стойку. Представлены модели TS-h1886XU-RP, TS-h1683XU-RP и TS-h2483XU-RP, выполненные в форм-факторе 2U, 3U и 4U соответственно. Все новинки построены на аппаратной платформе Intel, а в качестве операционной системы применяется QuTS hero 4.5.0, отличительной чертой которой является использование ФС ZFS.

Доступны четыре сетевых порта Gigabit Ethernet (RJ45), а также два или четыре порта SFP+/RJ-45 с пропускной способностью до 10 Гбит/с. 10GbE-порты дают PCIe-адаптеры, для которых в новинках есть четыре слота. QNAP предлагает широкий набор карт расширения, включая, например, адаптеры для M.2 SSD и адаптеры Fibre Channel.

Модель TS-h1886XU-RP несёт на борту четырёхъядерный процессор Xeon D-1622 и 32 Гбайт оперативной памяти DDR4 ECC RAM с возможностью расширения до 128 Гбайт. Доступны 12 отсеков для 3,5-дюймовых накопителей и шесть отсеков для 2,5-дюймовых устройств с интерфейсом SATA 3.0.

Хранилища TS-h1683XU-RP и TS-h2483XU-RP рассчитаны на 16 и 24 накопителя формата 3,5 дюйма соответственно. В оснащение этих моделей входят процессор Xeon E-2236 с шестью ядрами и 128 Гбайт оперативной памяти DDR4 ECC RAM. Устройства дополнительно снабжены двумя сетевыми разъёмами 10GbE RJ45.

Все новинки укомплектованы двумя блоками питания мощностью 500 Вт. Информации об ориентировочной цене пока нет.

Компания QNAP анонсировала сетевое хранилище данных (NAS) TS-h973AX для использования в корпоративном секторе. Новинка выполнена в «настольном» форм-факторе с использованием аппаратной платформы AMD и фирменной операционной системы QuTS hero 4.5.0.

Задействован процессор Ryzen V1500B: 4 ядра, 8 потоков, тактовая частота составляет 2,2 ГГц. Заказчики смогут выбирать между модификациями с 8 и 32 Гбайт оперативной памяти DDR4.

Хранилище допускает применение накопителей трёх типов. В частности, можно установить пять 3,5-дюймовых устройств с интерфейсом SATA 3.0. Кроме того, есть два отсека для 2,5-дюймовых SATA-изделий. Наконец, ещё два 2,5-дюймовых слота позволяют использовать твердотельные решения U.2 NVMe PCIe Gen3 x4.

Новинка располагает двумя сетевыми портами 2.5 Gigabit Ethernet и одним портом 10 Gigabit Ethernet. Для подключения периферии и внешних накопителей предусмотрены два разъёмы USB 3.2 Gen2 Type-A, по одному порту USB 3.2 Gen2 Type-С и USB 3.2 Gen1 Type-A.

Платформа QuTS hero 4.5.0 позволяет работать с файловой системой ZFS, которая обеспечивает высокий уровень производительности и целостности данных. Хранилище имеет габариты 182,65 × 224,6 × 224,1 мм и весит 3,52 кг. 

Долгое время дистрибутив FreeNAS служил основой для простого и быстрого развёртывания систем хранения данных на базе обычного, неспециализированного аппаратного обеспечения. Некоторое время бесплатный FreeNAS и коммерческий вариант под названием TrueNAS существовали параллельно.

Но последний, двенадцатый релиз подтвердил сделанное разработчиком ещё в марте этого года заявление — iXsystems полностью отказалась от бренда FreeNAS и теперь обе ветки, коммерческая и некоммерческая, будут базироваться на единой платформе.

Среди причин такого объединения разработчики называют то, что содержание двух платформ и разработка двух наборов ПО требует много ресурсов и не позволяет выпускать обновления так часто, как этого хотелось бы и создателям, и пользователям. Существовала временная задержка между появлением какого-либо драйвера в составе FreeBSD, операционной системы, лежащей в основе FreeNAS, и его появлением в составе самой FreeNAS.

Новая модель разработки должна устранить этот недостаток. Коммерческая версия сохранит название TrueNAS Enterprise, бесплатная теперь будет выпускаться под именем TrueNAS Core. Главным нововведением двенадцатой ветки является расширенная поддержка процессоров AMD — как EPYC, так и Ryzen/Threadripper. Есть и масса других нововведений.

Компания iXsystems также выпускает готовые решения на базе TrueNAS

Так, TrueNAS теперь поддерживает нативное шифрование ZFS, двухфакторную аутентификацию и серверы паролей и ключей KMIP. Реализована поддержка так называемых Fusion Pools, позволяющая создавать отдельные флеш-массивы для метаданных и мелкоблочных данных в то время, как основной массив данных по-прежнему может храниться на жёстких дисках. Также появилась поддержка VPN — в составе дистрибутива есть ПО OpenVPN, как клиентская, так и серверная части.

Старая версия API теперь не поддерживается, но полностью реализована поддержка TrueNAS API 2.0; также появилась возможность облачной интеграции в TrueCommand Cloud, что упрощает масштабирование СХД и управление ими. Помимо усовершенствований и новых функций iXsystems уделила серьёзное внимание вопросам производительности и TrueNAS может похвастаться более быстрой и стабильной работой OpenZFS, iSCSI, SMB и других компонентов. Полный список исправлений и улучшений доступен на сайте проекта.

iXsystems представила новую серию сетевых хранилищ данных (СХД) TrueNAS Mini, оптимизированную для хранения информации на периферии. Для управления новыми устройствами, разработанными для удалённых офисов, филиалов и других офисных сред, используется ПО TrueNAS CORE 12.0 последнего поколения с OpenZFS, защитой данных корпоративного уровня и широким спектром функций.

Входящие в серию модели Mini X и Mini X+ обеспечивают хранение до 85 Тбайт данных в компактном (13,5 л) корпусе с семью отсеками для дисков с возможностью «горячей» замены (5 × 3,5” и 2 × 2,5”), что позволяет использовать различные конфигурации массивов и кеширования. Накопители HDD и SSD можно объединять в пулы, совмещающие производительность флеш-памяти с экономичностью жёстких дисков.

Модель TrueNAS Mini X+ имеет на борту восьмиядерный процессор Intel Atom C3758, 2 порта RJ45 10GbE, от 32 до 64 Гбайт памяти DDR4 ECC, порт USB 3.1 и интерфейс RJ45 IPMI для удалённого доступа. Эта СХД способна поддерживать работу с приложениями для редактирования видео, резервного копирования данных и обмена файлами с пропускной способностью до 2 Гбит/с при мощности менее 100 Вт на устройство при полной загрузке дисков.

Модель TrueNAS Mini X имеет то же шасси, что Minix X+, но оснащена четырёхъядерным процессором Intel Atom C3558 и имеет в арсенале 4 порта RJ45 1GbE, от 16 до 32 Гбайт памяти DDR4 ECC, порт USB 3.1 и интерфейс RJ45 IPMI. Система потребляет менее 80 Вт энергии.

Старшая модель TrueNAS Mini XL+ имеет те же характеристики, что Mini X+, но предлагает сразу 8 лотков для 3,5" жёстких дисков, один 2,5" лоток и один внутренний 2,5" SSD. А младшая модель TrueNAS Mini E+ оснащена всего четырьмя лотками для 3,5" дисков, двухъядерным процессором Intel Atom C3338, 8 Гбайт RAM, четырьмя 1GbE-портами RJ-45 и выделенным IPMI-портом.

Стоимость СХД TrueNAS Mini начинается с $699 (модель TrueNAS Mini E+). Устройства с фиксированной конфигурацией можно приобрести в интернет-магазине Amazon. Купить СХД с конфигурацией на свой вкус можно на сайте производителя или через любого партнёра TrueNAS.

iXsystems анонсировала систему TrueNAS 12.0, которая объединяет бренды FreeNAS и TrueNAS, унифицируя программное обеспечение и документацию. Компания также представила систему хранения данных TrueNAS M60, которую она называет самой быстрой в отрасли системой хранения на базе платформы с открытым исходным кодом OpenZFS.

Ранее iXsystems объявила, что заменит популярную открытую платформу FreeNAS на TrueNAS CORE. В свою очередь корпоративные продукты премиум-класса TrueNAS теперь называются TrueNAS Enterprise. Бесплатная версия TrueNAS CORE будет доступна в виде одной из редакций решения TrueNAS Open Storage, также включающем в себя редакции TrueNAS Enterprise и TrueNAS SCALE, каждая из которых предназначена для различных вариантов использования.

TrueNAS 12.0 поддерживает существующее оборудование iXsystems и обладает следующими преимуществами:

• Многоуровневая безопасность корпоративных приложений.
• Шифрование наборов данных для безопасной удалённой репликации.
• Протокол совместного управления ключами (KMIP) для дисков и наборов данных.
• Двухфакторная аутентификация.
• API для TrueCommand, vSphere и других систем API REST.
• Интеграция клиента и сервера OpenVPN.
• Повышение производительности до 30 %.
• Пулы Fusion с накопителями SSD и HDD (метаданные на флеш-памяти).
• NVMe SSD с высокой доступностью и постоянным кешем на чтение.
• Улучшения файловой системы ZFS: асинхронные операции и векторизация.
• Улучшения iSCSI, SMB и NFS.

СХД TruNAS M60 предназначена для использования в корпоративных средах, где требуется высокая доступность и максимальная производительность. Система обеспечивает унифицированное файловое, блочное и объектное хранилище с конфигурациями с одним или двумя контроллерами, а также гибридными, смешанными или полностью построенными на флеш-памяти конфигурациями.

Спецификации TrueNAS M60:

• Гибридная ёмкость до 20 Пбайт с 1200 жесткими дисками ёмкостью 18 Тбайт;
• 3800 Тбайт All-Flash;
• 5 Тбайт ОЗУ и 64-ядерный процессор;
• 128 Гбайт NVDIMM-кеша;
• 8 портов 100Gbe;
• 1 млн IOPS;
• Пропускная способность 20 Гбит/с.

iXsystems известна Unix-сообществу двумя разработками: FreeNAS и TrueNAS, которые она в марте этого года объединила в под одним брендом. FreeNAS теперь называется TrueNAS CORE. Новый проект под названием TrueNAS SCALE разрабатывался давно и должен заполнить пробел в портфеле программных продуктов iXsystems.

Сам автор системы, Крис Мур, расшифровывает SCALE следующим образом: Scale-out, Converged, Active-active, Linux containers, Easy-to-manage. TrueNAS SCALE ориентирован на конвергентную инфраструктуру и получит горизонтально масштабируемое хранилище, а также возможность работы с контейнерами, что отвечает запросам современных корпоративных заказчиков. 

Да, вместо того чтобы взять за основу FreeBSD, iXsystems выпускает TrueNAS SCALE на базе Debian GNU/Linux и тому есть причина. Несмотря на то, что iXsystems на протяжении многих лет расширяла возможности Jail и виртуализации во FreeBSD, сложно отрицать очевидное — KVM и Linux- контейнеры имеют гораздо более обширную экосистему.  TrueNAS SCALE продолжит продвигать файловую систему ZFS, так как OpenZFS (ZFS On Linux) теперь используется и в обычной TrueNAS.

Очевидно, что новый продукт iXsystems создает определённую конкуренцию Proxmox VE, т.к. предлагает набор схожих функций и базируется на той же ОС Debian Linux. Конечно, Proxmox VE существует уже много лет, признан сообществом и имеет большую клиентскую базу, однако TrueNAS SCALE обещает быть проще в развертывании и управлении и при этом ни в чем не уступать конкуренту.

Будем наблюдать за противостоянием двух систем, возможно, это подстегнет разработчиков быстрее разрабатывать новые полезные функции, а не «почивать на лаврах» прошлых успехов. Исходный код TrueNAS SCALE уже доступен на GitHub и находится в стадии активной разработки. Пока что  iXsystems будет одновременно разивать обе системы и оказывать поддержку заказчикам TrueNAS на базе FreeBSD. А вот от развития десктопного дистрибутива TrueOS компания весной отказалась. 

Проект OpenZFS окончательно взял под своё крыло реализацию данной ФС для FreeBSD: в репозиторий ZFS on Linux (ZoL) внесена поддержка этой операционной системы. Теперь исходный код файловой системы ZFS может быть скомпилирован на 11 и 12 ветках FreeBSD. На данный момент на FreeBSD проведено 1230 тестов ZFS on Linux – и все они прошли без ошибок. 

Возможности «ZFS on Linux» от OpenZFS шире тех, что были у ранее применяемого варианта ZFS из ОС Illumos семейства UNIX. 

О том, что всё примерно так и будет, сообщалось ранее. Ещё в ноябре 2019 года состоялся ежегодный саммит разработчиков «Developer Summit 2019», где соучредитель Sun ZFS из состава OpenZFS Мэттью Аренс (Matthew Ahrens) представил презентацию о будущем своего детища. Речь тогда шла о разработке целостной реализации файловой системы — и для Linux, и  для FreeBSD. В дальнейшем планируется добавить поддержку macOS и перейти на более стабильную частоту выходу новых мажорных релизов.

ZFS on Linux — проект, направленный на объединение частных лиц и компаний, которые используют файловую систему ZFS с открытым исходным кодом, работают над её улучшением, а также на то, чтобы сделать ZFS широко используемой.

Компания QNAP продолжает пополнять модельные ряды и представляет новую систему хранения данных корпоративного класса.

Новая модель ES2486dc дополняет серию ZFS-хранилищ QNAP и является первой СХД QNAP класса «high availability», полностью базирующейся на флеш-накопителях.

QNAP ES2486dc имеет широкий круг применения, от файловых серверов до серверов виртуализации и облачных систем. Её характеристики делают новинку наиболее подходящей для решений типа «mission critical», то есть, там, где важна не только скорость, но и предельная надёжность и стабильность функционирования.

Высокая надёжность обеспечивается за счёт наличия двух контроллеров на базе Intel Xeon D-2142IT (8 ядер/16 потоков, 1,9 ‒ 3,0 ГГц), работающих в режиме «active-active». Выход из строя одного из контроллеров не приведёт к недоступности СХД.

Каждый контроллер имеет сетевой адаптер с четырьмя портами 10GbE (SFP+), но наличие слотов расширения PCIe позволяет устанавливать более быстрые сетевые карты со скоростями до 40 Гбит/с. Поддерживается также установка платы расширения SAS для подключения дополнительных дисковых полок EJ1600 v2, что позволяет расширить общую ёмкость за пределы 1 Пбайт.

24 дисковых отсека формата 2,5″ с возможностью горячей замены предназначены для установки флеш-накопителей с интерфейсом SAS 12 Гбит/с; впрочем, поддерживается и более старая версия SAS со скоростью 6 Гбит/с. А вот для установки более дешёвых SSD с интерфейсом SATA потребуется механический адаптер QDA-SA3. В стандартной комплектации объём оперативной памяти составляет 64 Гбайт на контроллер, но можно расширить его до 512 Гбайт.

Программной основой ES2486dc является фирменная ОС QES 2.1.1, работающая с файловой системой ZFS и поддерживающая дедупликацию данных на блочном уровне. И дедупликация, и сжатие выполняются «на лету» (inline). Система полностью поддерживает комплексы виртуализации VMWare, Microsoft и Citrix, а также удалённое резервное копирование с помощью SnapSync и VMWare SRM.