Материалы по тегу: nvme-of

17.06.2021 [01:48], Владимир Мироненко

Kalray представила DPU K200-LP для NVMe-oF СХД: 2 × 100GbE, 12 Гбайт/с и 2 млн IOPS

Kalray представила низкопрофильный адаптер K200-LP для построения систем хранения данных NVMe-oF. K200-LP пополнил семейство полностью программируемых многоцелевых DPU Kalray на базе уникальных процессоров Coolidge MPPA (Massively Parallel Processor Array) собственной разработки.

K200-LP, по словам разработчиков, является идеальным решением для производителей устройств хранения данных и поставщиков облачных услуг для создания устройств хранения следующего поколения, поскольку превосходит аналогичные решения с точки зрения производительности на Ватт и на доллар. K200-LP полностью оптимизирована для растущего рынка решений хранения на базе NVMe и NVMe-oF, от облака до периферии.

Kalray

Kalray

Kalray K200-LP представляет собой низкопрофильную карту с двумя портами 100GbE (QSFP28) и интерфейсом PCIe 4.0 x16. Она оснащена 80-ядерным процессором MPPA, работающим на частоте до 1,2 ГГц, и от 8 до 32 Гбайт DDR4-3200. Карта способна обслуживать до 64 NVMe SSD и обеспечивает пропускную способность на уровне 12 Гбайт/с при последовательном чтении/записи и порядка 2 млн IOPS на случайных операциях. При этом средняя задержка составляет всего 30 мкс.

Новинка совместима со стандартами RoCE v1/v2 и NVMe/TCP, а поддержка MPPA уже есть в Linux 5.x. Для разработки ПО предоставляется фирменный SDK AccessCore. K200-LP производится тайваньской Wistron и уже доступна для приобретения. Ранее компании совместно представили СХД FURIO1200 на базе DPU K200.

Постоянный URL: http://servernews.ru/1042196
07.06.2021 [14:53], Андрей Галадей

В ядре Linux 5.14 появится поддержка разгрузки NVMe/TCP

В сетевой подсистеме будущего ядря Linux 5.14 должна появиться поддержка разгрузки (offload) NVMe/TCP, одного из транспортов для NVMe-oF. Речь идёт о снижении нагрузки на CPU за счёт того, что обработка сетевых данных будет происходить в контроллере сетевого адаптера. Поддерживается как разгрузка TCP, так и собственно NVMe/TCP.

Первые замеры показывают, что такой подход позволил снизить нагрузку на сервере с процессором AMD EPYC 7402 с 15,1% до 4,7%. Для решения на базе Intel Xeon Gold 5122 нагрузка упала с 16,3% до 1,1%. Также уменьшилась задержка при передаче пакетов — в среднем со 105 до 39 мкс. В обоих случаях использовался сетевой контроллер Marvell серии FastLinQ.

Не исключено, что в будущем появятся реализации и для других сетевых контроллеров. В целом, новая подсистема разрабатывается как ещё один универсальный уровень абстракции tcp-offload, с которым могут взаимодействовать уже конкретные драйверы производителей адаптеров.

Постоянный URL: http://servernews.ru/1041351
04.06.2021 [02:43], Владимир Агапов

В спецификации NVMe 2.0 официально вошла поддержка HDD

Вчера был опубликован релиз спецификаций NVMe 2.0. Из скромного протокола для блочных устройств хранения данных, использующих PCI Express, NVMe эволюционирует в один из самых важных и универсальных протоколов для хранилищ практически любого типа. Новые спецификации будут способствовать развитию экосистемы устройств NVMe: SSD, карт памяти, ускорителей и даже HDD.

Вместо базовой спецификации для типовых PCIe SSD и отдельной спецификации NVMe-over-Fabrics (NVMe-oF), версия 2.0 изначально разработана как модульная и включает целый ряд отдельных стандартов: базовый набор (NVMe Base), отдельные наборы команд (NVM, ZNS, KV), спецификации транспортного уровня (PCIe, Fibre Channel, RDMA, TCP) и спецификации интерфейса управления (NVMe Management Interface). Вместе они определяют то, как программное обеспечение хоста взаимодействует с накопителями и пулами хранения данных через интерфейсы PCI Express, RDMA и т.д.

Базовая спецификация теперь охватывает и локальные устройства, и NVMe-oF, но является намного более абстрактной и не привязанной к реальному миру — было изъято столько всего, что её уже недостаточно для определения всей функциональности, необходимой для реализации даже простого SSD. Реальные устройства должны ссылаться ещё как минимум на одну спецификацию транспортного уровня и на одну спецификацию набора команд. В частности, для типовых SSD, к которым все привыкли, это означает использование спецификации транспорта PCIe и набора команд блочного хранилища.

Три стандартизированных набора команд (блочный доступ, ZNS и Key-Value) охватывают области применения от простых твердотельных накопителей с «тонкими» абстракциями над базовой флеш-памятью до относительно сложных интеллектуальных накопителей, которые берут на себя часть задач по управлению хранением данных, традиционно выполнявшихся программным обеспечением на хост-системе. При этом различным пространствам имен, расположенным за одним контроллером, дозволено поддерживать разные наборы команд.

В NVMe 2.0 также добавлен стандартный механизм управления пулами хранения данных, который позволяет более тонко управлять нагрузкой в зависимости от производительности, ёмкости и выносливости конкретных устройств. Иерархия пулов также была расширена ещё одним уровнем доменов, внутри которых теперь существуют группы, где, в свою очередь, находятся отдельные наборы NVM-устройств.

Будущие наборы команд, например для вычислительных накопителей (computational storage), все еще находятся в стадии разработки и пока не готовы к стандартизации, но новый подход NVMe 2.0 позволит легко добавить их при необходимости. В принципе, в состав NVMe мог бы войти и стандарт Open Channel, но отрасль считает, что парадигма зонированного хранения обеспечивает более разумный баланс, и интерес к Open Channel SSD ослабевает в пользу ZNS-решений.

Из прочих изенений в NVMe 2.0 можно отметить поддержку 32-бит и 64-бит CRC, новые правила безопасного отключения устройств в составе общих хранилищ (при доступе через несколько контроллеров), более тонкое управление правами доступа — можно разрешить чтение и запись, но запретить команды, меняющие настройки или состояние накопителя — и дополнительные протоколы, касающиеся обновления прошивок.

Также в NVMe 2.0 появилась явная поддержка жёстких дисков. Хотя маловероятно, что HDD в ближайшее время перейдут на использование PCIe вместо SAS или SATA, поддержка таких носителей означает, что в будущем предприятия смогут унифицировать свои SAN c помощью NVMe-oF и отказаться от старых протоколов, таких как iSCSI.

В целом, NVMe 2.0 приносит не та уж много новых функций, как это было с прошлыми версиями. Однако сама реорганизация спецификации поощряет итеративный подход и эксперименты с новыми функциями. Так что в ближайшие несколько лет, вероятно, обновления будут менее масштабными и станут выходить чаще.

Постоянный URL: http://servernews.ru/1041208
25.05.2021 [14:50], Сергей Карасёв

Viking представила All-Flash СХД VDS2249R с поддержкой NVMe-oF

Компания Viking Enterprise Solutions, подразделение Sanmina Corporation, анонсировала систему хранения данных VDS2249R, рассчитанную на использование в корпоративных сетях. Решение относится к классу NVMe-oF — NVMe over Fabric Enclosure.

Устройство выполнено в формате 2U. Габариты составляют 87 × 448 × 685 мм. Возможна установка 24 твердотельных накопителей PCIe 3.0 NVMe формата 2,5 дюйма в исполнении U.2 (SFF8639), в том числе двухпортовых.

Здесь и ниже изображения Viking Enterprise Solutions

Здесь и ниже изображения Viking Enterprise Solutions

Новинка состоит из двух модулей (контроллеров), каждый из которых поддерживает три карты расширения PCIe 3.0 x16. В зависимости от конфигурации применяется блок питания мощностью 1000 или 1600 Вт. Возможна горячая замена модулей, накопителей и БП.

Система хранения будет доступна в двух модификациях — с двумя сетевыми портами 100 GbE и шестью портами 100 GbE. Говорится, что устройство обеспечивает оптимальную производительность с небольшими задержками.

Для модели VDS2249R доступен программный интерфейс управления с гибкими настройками. Можно просматривать статистику производительности, осуществлять мониторинг работы подсистем питания и охлаждения, отслеживать возможные проблемы и пр. Поставки новинки начнутся в июне нынешнего года. Более подробная информация о хранилище доступна здесь.

Постоянный URL: http://servernews.ru/1040352
22.03.2021 [17:17], SN Team

NVMe-oF™: эволюция архитектуры хранения в центрах обработки данных

Сегодня объемы создания и потребления данных продолжают неуклонно расти. Согласно данных International Data Corporation (IDC) за 2020 год, за пять лет — до 2023 года — совокупный темп годового роста (CAGR) получения, копирования и потребления данных составит 26%. Наряду с ростом и усложнением рабочих экосистем, приложений и массивов данных для ИИ/IoT, данный тренд указывает организациям на необходимость обеспечить бóльшую масштабируемость, эффективность, производительность и быстродействие систем хранения данных (СХД) при оптимальной совокупной стоимости владения TCO.

NVMe™ — текущее состояние

В глобализированной цифровой экономике счет идет на микросекунды. Достижение максимальной производительности и доступности критических приложений в сфере гипермасштабируемых облачных вычислений и ЦОД реализуется посредством постоянной работы по устранению узких мест и удовлетворению беспрецедентно растущей потребности в обработке данных. В таких условиях потребители ускоряют внедрение решений NVMe и NVMe over Fabrics (NVMe-oF). Эксперты отраслевой аналитической фирмы IDC предсказывают, что гиперскейлеры, OEM-производители и организации-конечные пользователи продолжат переход со старых интерфейсов SATA и SAS. Ожидается, что в 2020 году на NVMe придется более 55% от поставок SSD-накопителей корпоративного класса, а совокупный годовой рост поставок NVMe с 2018 по 2023 год составит 38%.

Огромное множество ключевых бизнес-функций теперь опираются на высокопроизводительное прикладное ПО, поэтому все больше центров обработки данных по всему миру внедряют NVMe. Компания Western Digital давно занимается инновациями в области флэш-памяти NAND и уже сейчас предлагает комплексную линейку SSD-накопителей и новых решений к построению фабрик данных. Таким образом, Western Digital располагает всем необходимым, чтобы помочь клиентам полностью реализовать потенциал технологии NVMe.

Платформа хранения данных OpenFlex Data24 NVMe-oF

Хотя флэш-накопители с NVMe невероятно повышают производительность систем хранения DAS, SAN и NAS, традиционная архитектура центров обработки данных не позволяет полностью реализовать возможности твердотельных накопителей NVMe. Это приводит к недоиспользованию ценных ресурсов хранения, неэффективной сегментации данных и удорожанию эксплуатации.

OpenFlex Data24, новая JBOF СХД, снимает данные ограничения за счет использования всей пропускной способности SSD-накопителей Ultrastar с поддержкой NVMe сразу несколькими вычислительными узлами, объединёнными в Ethernet-фабрику (NVMe-oF 1.0a) с низкими задержками так, что скорость работы с JBOF сравнима со скоростью работы локального NVMe-накопителя, подключенного к PCIe-шине сервера.

Такой подход обеспечивает максимальное количество операций ввода-вывода в секунду (IOPS). Также повышаются гибкость при необходимости увеличить емкость и эффективность использования дезагрегированного хранилища на флэше, что позволяет достичь большей производительности в условиях самых напряженных рабочих нагрузок. Сбалансированная архитектура СХД предотвращает выделение пространства сверх физической емкости хранилищ (over-subscription) и обеспечивает стабильную производительность NVMe.

В систему OpenFlex Data24 может быть установлено до 24 NVMe SSD-накопителей Ultrastar DC SN840 — в компактном 2U-шасси можно получить до 368 Тбайт ёмкости. Система идеально подходит для увеличения емкости серверных хранилищ или развертывания масштабируемых программно-определямых систем хранения (SDS). В комплексный дизайн системы также входят NVMe-oF-контроллеры RapidFlex с удаленным доступом к памяти (RDMA), которые при крайне низком энергопотреблении обеспечивают отменную производительность сетевых соединений.

По 100-гигабитной сети Ethernet можно подключить до шести вычислительных узлов без использования внешнего коммутатора. Задержка при работе контроллеров RapidFlex составляет менее 500 наносекунд, что обеспечивает расчетную производительность системы на уровне 13 млн IOPS и 70 Гбайт/c при установке в OpenFlex Data24 шести сетевых адаптеров.

Система OpenFlex Data24 спроектирована для обеспечения высокой доступности и уровня надежности промышленного класса. Она может устанавливаться в качестве совместно используемого хранилища в составе высокопроизводительной IT-инфраструктуры или использоваться в качестве дезагрегированного ресурса в виртуализированных системах хранения. Данная система полностью совместима с удостоенной наград F-серией OpenFlex — единственном в мире решении для построения открытых, компонуемых дезагрегированных инфраструктур (CDI).

Подробная информация доступна в блоге Western Digital: Пять причин начать планировать переход на NVMe-oF™ уже сегодня

Компания Western Digital продолжает создавать инновации, открывая новые научные и технологические горизонты, чтобы разрабатывать продукты для повышения эффективности и производительности инфраструктуры обработки данных с лучшей в своем классе TCO. Широкий набор решений Western Digital для обработки данных включает линейку HDD- и SSD-накопителей Ultrastar, HDD- и SSD-накопители WD Gold®, открытую платформу для компонуемых инфраструктур OpenFlex NVMe-oF, системы хранения Ultrastar, контроллеры RapidFlex NVMe-oF, решения Ultrastar для расширения RAM.

Western Digital также принимает активное участие в инициативе Zoned Storage по созданию стандартизированной открытой технологии зонирования накопителей с целью эффективного масштабирования ЦОДов. Новая технология основана на совместном применении HDD с черепичной магнитной записью (SMR) и SSD с поддержкой зонирования (ZNS).

Постоянный URL: http://servernews.ru/1035442
18.03.2021 [22:15], Сергей Карасёв

Cheetah RAID Storage представила защищённый сервер хранения на 20 накопителей NVMe U.2

Компания Cheetah RAID Storage анонсировала любопытное решение под длинным названием Rugged NVMe 2U Server/Storage ALL-IN-ONE W/2 Removable Canisters. Это сервер хранения данных, рассчитанный на работу с твердотельными накопителями NVMe U.2. Новинка имеет высоту 2U и глубину 27".

Шасси рассчитано на работу со стандартными платформами на базе Intel Xeon Broadwell и Skylake, а также AMD Naples. Каждому процессору «полагается» один PCIe-коммутатор Broadcom PEX9781 или PEX9797, который, в свою очередь, управляет 48 линиями PCIe 3.0 для накопителей и сетевых адаптеров с поддержкой RDMA/RoCE/iWARP. Такая схема подключения позволяет снизить взаимодействие между CPU.

Сервер содержит два контейнера, каждый из которых может быть оборудован десятью 2,5-дюймовыми накопителями NVMe U.2. Предусмотрена возможность установки двух системных 2,5" накопителей с поддержкой «горячей» замены. Также возможна установка двух или четырёх сетевых адаптеров PCIe 3.0 x16. Опционально доступно посадочное место под модуль OCP 2.0 PCIe 3.0 x16. Питается система от блоков питания мощностью от 1200 до 1600 Вт с резервированием.

Платформа разработана с учётом возможностей кастомизации под нужды конкретных заказчиков, в том числе OEM-клиентов. Подробно с техническими характеристиками новинки можно ознакомиться здесь. Отметим, что Cheetah RAID Storage является давним поставщиком СХД для спецслужб и госорганов США и НАТО, а также производителям систем видеонаблюдения.

Постоянный URL: http://servernews.ru/1035177
16.03.2021 [14:58], Юрий Поздеев

Huawei NOF+: «умная» сеть E2E NVMe-oF для ЦОД

На партнерской конференции «Enjoy Growth, Win Together», которая прошла 3 марта в Москве, Huawei представила сразу несколько важных обновлений и новых решений для ЦОД. Среди них — реализация E2E NVMe-oF (NoF+) для ЦОД нового поколения, которая не только быстрее традиционных FC SAN, но и гораздо выгоднее и проще в обслуживании. Что революционного в новом решении и почему на него нужно обратить внимание?

Исторически так сложилось, что в ЦОД нередко применяются отдельные SAN-сети (для хранения данных) на базе протокола Fibre Channel и сеть передачи данных на базе Ethernet. Обычно они изолированы друг от друга, а для управления и доступа используются отдельные коммутаторы/маршрутизаторы. Были попытки объединить эти сети, пустив FC поверх Ethernet (FCoE), однако большим успехом они не увенчались — устройства получались дорогие и сложные, а задержки доступа росли до совершенно неприличных величин.

Два главных преимущества Fibre Channel над Ethernet: низкие задержки при доступе к данным и гарантированная доставка пакетов. И этого хватало долгие годы, но, как говорится, «все течет, все меняется». Возможностей интерфейса SAS 12G было вполне достаточно для механических накопителей, но он не мог в полной мере обеспечить необходимую пропускную способность для новых твердотельных накопителей, а лишние уровни абстракции заметно замедляли операции ввода/вывода.

Все изменилось с появлением нового поколения All-flash СХД, в которых применяются исключительно NVMe-накопители. Такие SSD требовали новых решений и повышения скорости каналов связи. Возможностей FС 16/32G тоже явно не хватало и вовремя подоспевший стандарт FC 64G на некоторое время спасет ситуацию, однако не до конца — реализовать весь потенциал NVMe можно только при использовании прямого доступа к ним, например, по RDMA.

С выпуском СХД Dorado V6 Huawei задала новый уровень быстродействия для all-flash массивов, что обеспечивается не только большей вычислительной мощностью контроллеров, но и продуманной архитектурой решения. Huawei одна из немногих компаний, которая сама выпускает SSD, процессоры, интерфейсные платы, сетевые компоненты и серверы, что позволяет оптимально выстроить от начала до конца — то есть от места хранения данных до их конечных потребителей — все взаимодействия, причём без лишних посредников и ограничений.

Использование собственных Arm-процессоров совместно с технологиями ИИ позволяет добиться потрясающей производительности и отказоустойчивости в СХД серии Dorado V6. Однако наличие быстрых СХД — это всего лишь полдела. Им необходима быстрая и надёжная сеть доставки, и вот тут-то на сцену и выходит концепция E2E NVMe (End-to-End NVMe). В данном случае используется NVMe-oF на базе технологии RoCE v2. Для работы последней требуется сеть, которая была бы быстрой, надёжной, имела низкие задержки и передавала данные без потерь.

Для построения такой сети требуются современные решения. И Huawei уже имеет в своем портфеле подходящие коммутаторы уровня ЦОД с портами 25/50/100/200/400 Гбит/с, с поддержкой RoCEv2, алгоритмами iLossless, long-distance RoCE и всех необходимых для уровня ядра функций. Однако компания пошла дальше, и теперь её новейшие коммутаторы серии Cloud Engine 16800, 6800 и 8800 поддерживают уникальные технологии NoF+ и AI Fabric, которые, по заверениям производителя, в случае NVMe-of СХД может увеличить IOPS до 85%.

AI Fabric в реальном времени отслеживает работу сети и устройств в ней и корректирует их поведение. Одной из ключевой составляющих AI Fabric является технология iLossless, которая предотвращает потерю пакетов, вызванную перегрузкой сети. Специальный алгоритм препятствует попадание избыточных данных в сеть, защищая буфер устройства или канал от перегрузки.

Если с технологиями понятно, то что с готовыми решениями и ценами на них? Использование в ЦОД единой сети без потерь данных и единых высокопроизводительных коммутаторов вместо отдельных для Ethernet и SAN позволяет значительно экономить бюджет. По словам инженеров компании, 25 Гбит/с RoCE производительнее и экономически эффективнее классического FC 32G в пересчете на параметры IOPS/Latency, а 100 Гбит/с RoCE уже задает новый стандарт в производительности, и всё это при меньшей стоимости общего владения инфраструктурой и унификации с уже имеющимися сетями в ЦОД.

Все СХД серии Dorado V6 поддерживают опциональные RoCE-интерфейсы, интерфейсные карты для серверов с поддержкой RoCE тоже есть, таким образом, с внедрением связующего звена в виде высокопроизводительных коммутаторов Cloud Engine 16800, 8800 и 6800 «пазл» складывается полностью в интеллектуальную высокопроизводительную систему, которая реализует принцип End-to-End NVMe от накопителя до хоста.

На партнерской конференции для демонстрации технологии установили отдельный стенд, на котором сравнивалась производительность одинаковых СХД с разным подключением серверов: через классический Fibre Channel 32G и 25GbE (с использованием новых коммутаторов и RoCE). Цифры производительности IOPS демонстрировались в режиме реального времени и преимущество новой технологии было наглядно выражено: 800К+ IOPS через RoCE и 600К+ IOPS через FC 32G.

Нужно отметить, что обе СХД были полностью идентичные и тесты были запущены с одинаковой нагрузкой на одинаковом же оборудовании. Проведя немало времени возле этого стенда, мы смогли убедиться, что показатели, которые демонстрирует новое решение, не только значительно превосходят FC 32G, но и стабильны на всем протяжении тестирования.

Постоянный URL: http://servernews.ru/1034293
21.01.2021 [22:52], Алексей Степин

Wistron и Kalray представили новую СХД FURIO1200 с DPU K200

Идея выделенного сопроцессора (Data Processing Unit, DPU), занятого исключительно задачами обслуживания подсистемы хранения данных, проста и логична: специализированный кремний работает эффективнее процессоров общего назначения и демонстрирует более высокую энергоэффективность. Одним из пионеров DPU является Fungible, о решениях которой мы неоднократно рассказывали ранее, но и других интересных разработок в этой области немало.

Wistron, крупный тайваньский производитель электронного оборудования, заключила альянс с Kalray, компанией, специализирующейся на разработке сетевых процессоров и сопроцессоров обработки данных. Плодом этого сотрудничества и стала новая система FURIO1200.

В основе FURIO1200 лежит стандартное шасси Wistron LYMMA 2U с посадочными местами для 24 накопителей NVMe, но таких решений на рынке много. Самое интересное в данном случае сосредоточено в PCIe-адаптере K200, построенном на базе сопроцессора Kalray MPPA Coolidge. Он предназначен для установки в стандартные вычислительные узлы на базе x86 и обеспечивает обслуживание флеш-массива, поддержку NVMe-oF, шифрования, а также разгрузку хост-узлов от задач, связанных с обработкой специфических данных, например, данных, полученных от систем машинного зрения.

В основе MPPA Coolidge лежит фирменная архитектура Massively Parallel Processor Array. Как следует из названия, она представляет собой массив вычислительных ядер. Сами ядра построены на базе архитектуры VLIW, требующей для достижения оптимального параллелизма тщательной оптимизации на уровне компилятора. Таких ядер в составе процессора может быть до 800, частота их работы — от 600 МГц до 1,2 ГГц. Ядра сгруппированы в кластеры, каждый кластер включает в себя 16 ядер общего назначения и 1 управляющее ядро, ответственное также за функции безопасности. На кластер приходится 4 Мбайт выделенного кеша L2 с пропускной способностью 600 Гбайт/с.

5 кластеров в составе Coolidge обеспечивают внушительную производительность: 1,15 Тфлопс на операциях FP32 и 25 Топс для INT8, что делает процессор хорошо подходящим для широкого круга задач, включая ИИ и системы машинного зрения. Имеется двухканальный контроллер DDR4-3200, а для общения с внешним миром предусмотрено 16 линий PCI Express 4.0 и два интерфейса 100GbE/RoCE v2.

Интересно, что процессор может работать как в классическом многоядерном режиме SMP, так и в асимметричном режиме, в котором каждый кластер, по сути, работает как один из 16 отдельных одноядерных ЦП. В FURIO1200 процессор на борту адаптера K200 работает на благо NVMe-oF, но также позволяет запускать пользовательские приложения, для чего в комплекте поставляется открытый SDK.

Архитектура процессора Kalray MPPA Coolidge

Архитектура процессора Kalray MPPA Coolidge

Наличие столь мощного сопроцессора не только обеспечивает FURIO1200 гибкость в обработке данных, но также позволяет добиться внушительных скоростных характеристик. Производительность на случайных операциях у новинки может превышать 12 млн IOPS при латентности в районе 20-50 мс, а на последовательных операциях — достигать 72 Гбайт/с.

Пока FURIO1200 является, скорее, концептом: первые небольшие партии будут доступны заказчикам в первом квартале, а массовое производство запланировано на середину года. Первые клиентские тесты начнутся в течение ближайших недель.

Постоянный URL: http://servernews.ru/1030699
29.12.2020 [14:48], Юрий Поздеев

VAST LightSpeed – быстрая система хранения на основе QLC и Optane

VAST DATA выпустила платформу хранения LightSpeed, само название которой уже намекает на высокую скорость работы. Решение построено на базе другого продукта компании — Universal Storage DASE (DisAggregated, Shared, Everything), которое было анонсировано в прошлом году. Что такого особенного в новой архитектуре и действительно ли хранилище получилось быстрым?

По словам VAST, ее универсальное хранилище (Universal Storage) — это полностью новая технология, которая использует последние технологии, такие как NVMe-over-Fabric, Storage Class Memory (SCM, в даном случае это Optane) и флеш-память QLC. Все это вместе позволяет создать полностью дезагрегированное хранилище с флеш-памятью NVMe, с масштабированием до эксабайта и с поддержкой различных рабочих нагрузок.

Основные преимущества VAST Universal Storage DASE:

  • Масштабирование СХД до эксабайта и глобальное пространство имен: каждый сервер имеет доступ ко всем накопителям в кластере, устраняется необходимость в дорогостоящем ускорении операций чтения/записи на основе DRAM или в тиринге, гарантируя, что каждая операция чтения/записи будет выполняться на быстрых накопителях NVMe.
  • Серверы слабо связаны в архитектуре VAST и могут масштабироваться почти до бесконечности, потому что им не нужно координировать операции ввода-вывода друг с другом и они не обрабатывают межкластерное взаимодействие, что обычно является основной трудностью в масштабировании систем хранения. Серверы VAST можно поместить в контейнеры и встроить в серверы приложений, чтобы обеспечить производительность NVMe-oF на каждом хосте;
  • Глобальная трансляция QLC: архитектура VAST DASE оптимизирована для записи на недорогие носители QLC, позволяет увеличить их долговечность до 10 лет, за счет применения новых методов размещения данных, с использованием большого буфера записи SCM;
  • Глобальная защита данных: компромисс между затратами на защиту данных и отказоустойчивостью системы достигается за счет новых алгоритмов, которые при большом количестве узлов обеспечивают накладные расходы в 2% (по сравнению с 33-66% для традиционных систем);
  • Глобальное сжатие: VAST применяет собственные разработки для сжатия данных, которое может быть как глобальным, так и побайтовым. Система обнаруживает и использует шаблоны схожести данных в глобальном пространстве имен на уровне детализации, который в 4 000 – 128 000 раз меньше, чем современные подходы к дедупликации. Конечным результатом является система, которая реализует эффективные алгоритмы сжатия для всех видов данных, без ущерба для скорости доступа.

По заявлению VAST, новые платформы LightSpeed NMVe обеспечивают вдвое большую пропускную способность, чем системы предыдущего поколения.

Кластеры VAST LightSpeed доступны в трех вариантах конфигурации:

  • 2 узла LightSpeed, обеспечивающие пропускную способность 80 Гбайт/с, с использованием 32 GPU;
  • 5 узлов (Pentagon), обеспечивающие пропускную способность 200 Гбайт/с, с использованием 80 GPU;
  • 10 узлов (Decagon), обеспечивающие пропускную способность 400 Гбайт/с, с использованием 160 GPU.

VAST в настоящее время сотрудничает с NVIDIA, чтобы использовать технологию NVIDIA GPU Direct Storage, что позволит получить значительный прирост в производительности для операций ввода/вывода.

Постоянный URL: http://servernews.ru/1028996
13.11.2020 [16:14], Игорь Осколков

FMS20: QLC, EDSFF, NVMe-oF и DPU — четыре столпа хранилищ будущего

На Flash Memory Summit ветеран индустрии Говард Маркс (Howard Marks), ныне работающий в VAST Data, представил традиционный доклад о текущем состоянии сектора корпоративных хранилищ, в котором отметил текущие достижения и тенденции.

Менее чем за полтора десятка лет flash-память в корпоративном секторе превратилось из экзотичного нишевого решения стоимостью как самолёт в массовый продукт. IDC в начале этого года отрапортовала о доминировании all-flash решений над гибридными, а Gartner перестал в некоторых отчётах выделять flash-хранилища в отдельный сегмент, приписав их СХД общего назначения. Кроме того, стали, наконец, появляться относительно дешёвые и доступные all-flash хранилища.

Стоимость гигабайта flash-памяти стремительно снижалась, хотя и неравномерно. Современные дешёвые SSD на базе QLC (в пример приводится первый QLC-диск Micron ION 5210) менее чем в 4 раза дороже современных же HDD. При этом «дорогие» и высокопроизводительные жёсткие диски 10K/15K RPM окончательно заброшены всем производителями. Nearline-накопители растут в объёме, но теряют в скорости работы и IOPS, тогда как на рынке уже появились SSD, обогнавшие их по ёмкости. И, к примеру, последняя новинка Nimbus, ExaDrive NL, стремится к удешевлению (3,5”, 64 Тбайт QLC, но только SATA/SAS).

При этом сами flash-накопители теперь заметно дифференцированы. В корпоративном секторе дорогие, быстрые и надёжные двухпортовые накопители дополняются более простыми и дешёвыми однопортовыми (даже с SATA), а у гиперскейлеров вообще свои требования — больше ёмкости за меньшую цену и никаких излишеств — QLC без SLC-кеша и минимальный DRAM-кеш. Особняком стоит SCM (Storage Class Memory), находящаяся между обычными SSD и DRAM, сочетая преимущества и недостатки обоих типов памяти. Фактически на рынке есть только 3D XPoint, причём массово лишь от Intel, которая потихоньку избавляется от NAND-бизнеса.

Конкуренцию ей могли бы составить (но по факту это не совсем так) Samsung Z-SSD или Toshiba XL-Flash, которые на самом деле являются ещё одной вариацией SLC NAND (быстрой, но дорогой) и опять таки наследуют всё её преимущества и недостатки, из-за чего, к примеру, реальной заменой той же Optane DCPMM (теперь уже PMem) они не являются. Из прочих альтернативных технологий памяти докладчик отмечает только STT-MRAM от Everspin, которая используется как замена DRAM-кеша в SSD.

Ну а массовой, по-видимому, в силу дешевизны со временем станет QLC-память. Причём в сочетании с различными техниками, которые могут нивелировать её минусы в отношении скорости и ресурса. В частности, использование большого промежуточного кеша из DRAM или 3D XPoint позволит переупорядочить данные перед записью в ячейки, а дедупликация и сжатие к тому же помогут приблизить стоимость хранения к HDD. Зонирование и управление со стороны хоста тоже будут этому способствовать. Из подобных систем докладчик отмечает решение «родной» компании VAST Data, Pure Storage FlashArray//C и новые NetApp FAS500f — все с NVMe-накопителями, а первые два ещё и с NVMe-oF.

И именно NVMe-oF станет следующим большим шагом в развитии индустрии хранения данных. Неслучайно его поддержка включена в базовый набор спецификацией NVMe 2.0. «Классические» SAN (на базе FC, например), по мнению инженера HPE, участвующего в разработке нового стандарта для обнаружения и настройки NVMe-пулов в сети (mDNS + DNS-SD), останутся только локально, а в остальных сферах и дальше будет развивать дезагрегация, так что в будущем вполне можно будет подключиться к облачному NVMe-хранилища в рамках гибридного облака.

Массивы хранения смогут быть отделены от контроллеров, которых может быть сразу много, и от потребителей. Особую роль в этом могут сыграть DPU, рынок которых только зарождается. Они могут просто взять на себя часть задачи по обработке и передаче данных, но и могут поменять сам ландшафт СХД. Наличие root-комплекса в таких устройствах позволит избавиться от CPU в принципе — сейчас они заняты и обработкой данных (всё те же сжатие и дедупликация), и дают линии PCIe, которые нужны и накопителям, и сетевым адаптерам. И пропускной способности, во всяком случае для типовых x16, может не хватать для быстрых адаптеров и одновременно большого числа накопителей.

Сами накопители тоже будут меняться. U.2 становится менее популярным, а из новых форм-факторов победу одержал стандарт EDSFF, вытеснив альтернативный NF1. EDSFF актуален в первую очередь для гиперскейлеров, но, похоже, корпоративные системы к нему тоже будут обращаться. «Длинная» версия E1.L подойдёт для плотных СХД, и уже есть решения, вмещающие 1 Пбайт в 1U. Есть и альтернативный форм-фактор E3.S. E1.S доступен в «тонкой» (5,9 мм) и «толстой» (до 25 мм) версиях. Первая предлагает более высокую плотность, вторая — более высокую производительность, но при этом низкие требования к охлаждению.

M.2 тоже будет использоваться, но скорее в качестве локального (или загрузочного) хранилища. А в рамках OCP оба малых форм-фактора используются не только для накопителей, но и для некоторых ускорителей, причём есть варианты и со сдвоенными слотами. Впрочем, это уже вотчина гиперскейлеров, у которых, как и было сказано ранее, особые требования. Facebook, HPE и Microsoft вместе с другими компаниями сейчас разрабатывают новый, единый стандарт облачных SSD, свежий релиз которого выйдет в декабре. Впрочем, как на самом деле будет развиваться flash и индустрия хранения данных, покажет время, и приведённые здесь тенденции и явления могут быть скорректированы.

Постоянный URL: http://servernews.ru/1025325
Система Orphus