Комплексные программно-аппаратные решения одного производителя практически всегда превосходят похожие по параметрам, но более разнородные системы. Высокая степень интеграции и продуманная многоуровневая оптимизация всех компонентов не только позволяют добиться более высоких технических показателей, но и существенно упрощают и удешевляют внедрение и поддержку такого оборудования. Компанию Huawei можно назвать лидером в области таких решений, и особенно ярко это проявилось в шестом поколении СХД OceanStor Dorado.

Их Huawei позиционирует как СХД высшего класса, обладающие не только высочайшей производительностью, но и надёжностью класса минимум «шесть девяток», то есть 99,9999%. Достаточно привести лишь один факт: Dorado 18000 V6 остаётся работоспособной при выходе семи контроллеров из восьми в каждой стойке, а также легко переживает одновременный выход из строя трёх накопителей в массиве. Для сравнения, классический RAID6 может пережить потерю лишь двух накопителей в массиве.

По результатам тестирования, проведённого Storage Performance Council в октябре 2020 года, СХД Huawei OceanStor Dorado 18000 V6 признана быстрейшим в мире флеш-хранилищем. На случайных операциях данное решение способно развивать 21 млн IOPS. Не удивительно, что разработками Huawei заинтересовались крупные финансовые организации, нуждающиеся не просто в надёжных, но и быстрых системах хранения данных. Уже 8 из 20 крупнейших мировых банков пользуются системами OceanStor Dorado и этот «клуб» будет только расти. Компания разместила на своём сайте подробный вебинар, посвящённый особенностям шестого поколения СХД OceanStor Dorado.

Высочайший уровень производительности OceanStor Dorado 18000 V6 обуславливается монолитностью и отлаженностью платформы, которая целиком построена на высокинтегрированных между собой собственных разработках Huawei в области процессоров, ускорителей и сетевых контроллеров. «Умные технологии» в шестом поколении Dorado начинаются уже на уровне отдельного накопителя.

Платформа Dorado V6 целиком базируется на собственных разработках Huawei

Такие SSD сами следят за износом фонда ячеек NAND, используют продвинутые методы коррекции ошибок LDPC и SmartFSP 3.0 и обеспечивают базовый уровень надёжности, поскольку контроллер Hi1812e работает с NAND как с динамическим RAID-массивом. Такие накопители на 20% долговечнее обычных и на 50% отзывчивее в плане задержек.

В качестве основного процессора используется Kunpeng 920, 48-ядерный чип с архитектурой ARMv8.2, имеющий набор движков-ускорителей и собственные контроллеры SAS 3.0 и 100GbE (с RoCE, конечно). Четыре таких процессора умещаются в 1U-шасси. Им может помогать устанавливаемый дополнительно ИИ-ускоритель Ascend 310, отвечающий за обслуживание массива NVMe-накопителей и оптимизацию дисковых кешей.

Унифицированная симметричная архитектура обеспечивает предсказуемый и постоянный уровень производительности

За сеть отвечает чип ASIC Hi1822, который полностью совместим с RoCE и NVMe-oF. Адаптеры на базе этого чипа могут иметь различную конфигурацию портов — от двух 25GbE SFP28 до двух 100GbE QSFP28 — и обеспечивают латентность всего лишь 80 мкс против 160 мкс у конкурентов. В дисковых полках Dorado 18000 V6 таких адаптеров несколько, заменять их можно без остановки системы.

Даже контроллер управления (BMC) у СХД Huawei свой, Hi1710. Высокая интеграция всех программмно-аппаратных компонентов системы (а кто ещё может лучше знать, как задействовать весь потенциал «железа», кроме самих разработчиков) обеспечивает не только высокую производительность и надёжность, но и быстрое восстановление системы при сбоях — десятки минут для OceanStor Dorado V6 против нескольких часов у обычных СХД.

Распределённая архитектура OceanStor Dorado V6

Архитектурно OceanStor Dorado 18000 V6 представляет собой симметричную распределённую меш-сеть, в которой на уровне стоек контроллеров все компоненты соединены со всеми, что и обеспечивает беспрецедентный уровень надёжности. Компания называет эту технологию SmartMatrix. С «умными» дисковыми полками бэкенды контроллеров общаются посредством NVMe-oF, а с внешней сетью — либо через NVMe-oF/RoCE (100 Гбит/с на порт), либо через NVMe-oF/FC 32G.

У Dorado V6 нет привилегированных контроллеров, что упрощает балансировку нагрузки

Huawei вполне справедливо считает, что за сочетанием NVMe-oF и RoCE лежит будущее высокопроизводительных систем хранения данных. Данные технологии к настоящему моменту хорошо проработаны и полностью описываются стандартами, которые обеспечивают гибкость и взаимозаменяемость элементов инфраструктуры. Некоторые производители всё ещё поддерживают SAS, но время старых дисковых стандартов уходит.

Технология Huawei FLASHLINK отвечает за распределение вычислительных ресурсов

Симметрия архитектуры СХД данной серии выражена в том числе и в том, что все логические тома (LUN) не привязаны к главному контроллеру (ownership), вместо этого они «нарезаются» системой на сегменты (shards в терминологии Huawei), которые равномерно распределяются по всем активным в системе в настоящий момент контроллерам. Сами контроллеры работают с едиными пулами кеша и SSD, из которого и черпают необходимые ресурсы.

За распределение обработки сегментов по процессорным ядрам отвечает фирменная технология FLASHLINK, которая работает в динамическом режиме: высокоприоритетные задачи получают больше ядер из выделенной группы. При этом каждое ядро выполняет IO-запросы только своей назначенной задачи, чтобы избежать конфликтов.

Глубокая интеграция ускорителей экономит процессорное время и ускоряет перестройку массивов

Дисковые полки Dorado V6 имеют свой «интеллект» и не загружают CPU контроллеров низкоуровневыми задачами, а это позволяет, по словам разработчиков, повысить производительность СХД на 30% по сравнению с классическими архитектурами с «глупыми» полками. Этот же подход существенно ускоряет процесс восстановления данных — Huawei говорит о двукратном превосходстве в скорости, при этом влияние этого процесса на производительность СХД минимально и не превышает 5% против десятков процентов у СХД классической архитектуры.

Более того, архитектура Dorado V6 такова, что производительность дисковых массивов в ней не зависит от типа используемого RAID и всегда одинаково высока как в простом режиме RAID10, так и в куда более сложных в плане нагрузки на контроллеры режимах RAID-6 или RAID-TP.

Модельный ряд и позиционирование СХД Huawei OceanStor Dorado

Что касается более высокоуровневых программных компонентов, то в серии Dorado V6 все сложные процессы, от драйвера NVMe и управления пулом ресурсов до клиентских дополнений выполняются в пространстве пользователя (user space), что позволяет избежать лишних задержек, так как обращений в пространство ядра практически нет.

За NVMe и RDMA over Converged Ethernet — будущее

В настоящее время Huawei предлагает заказчикам СХД нового поколения в двух вариациях: Dorado 8000 V6 и Dorado 18000 V6. Отличаются они только количеством модулей в максимальной комплектации (ну и габаритами, массой, количеством ядер в процессорах контроллера). 18000 V6 поддерживает до 32 контроллеров и до 32 Тбайт пула кеширования. Оба варианта могут работать с фронтендами 10/25/40/100GbE RoCE или FC-8/16/32G, поддерживая протоколы FC, iSCSI, NFS и CIFS.

Каждый блок контроллеров может иметь до 28 IO-модулей и до 96 сетевых портов. Максимальное количество SSD в системе также одинаково и составляет 6400. Они могут работать в разных режимах RAID, включая фирменный RAID-TP, способный вынести одновременный отказ трёх накопителей. Максимальный объём флеш-хранилища составляет 98,3 Пбайт для модели Dorado 8000 V6, а у Dorado 18000 V6 он достигает 196,6 Пбайт.

Поскольку речь идёт о комплексных системах, способных обеспечить доступностью класса «шесть девяток» (99,9999%) и производительность на уровне свыше 20 млн IOPS при непревзойдённом уровне надёжности, стоимость конечной реализации вырабатывается в процессе проработки сертифицированными партнёрами Huawei проекта, создаваемого под нужды конкретного заказчика. Ознакомиться с OceanStor Dorado 8000/18000 V6 можно на сайте Huawei, там же можно найти подходящего партнёра для разработки законченного решения с учётом нужд заказчика.

Системы хранения данных (СХД) всегда были важной, иногда просто определяющей частью любой IT-инфраструтуры. А особенно важны они в наше время, когда объемы хранимых данных растут буквально не по дням, а по часам. В секторе высокопроизводительных СХД давно прописались системы класса All-Flash, и компания Huawei претендует на звание лидера в этом сегменте рынка. Претендует не без оснований — в портфолио компании есть СХД OceanStor Dorado 18000 V6, отвечающие самым высоким требованиям и способные удовлетворить самых придирчивых заказчиков.

По данным Huawei, в настоящее время всемирная сеть насчитывает уже 4 миллиарда пользователей, а количество подключённых умных устройств уже достигло 75 миллиардов. Внедрение «умных сред» генерирует огромное количество данных: так, автономные транспортные средства способны генерировать 60 Тбайт каждый день во время обучения, а цифровое предприятие может сгенерировать и 2 петабайта.

При этом ценна каждая секунда: это и убытки от не прошедших вовремя транзакций, и толпы недовольных пользователей, а уж в случае «цифрового предприятия» секундная задержка в работе оборудования может обернуться серьёзной производственной аварией, которая, опять-таки, повлечёт за собой огромные убытки. OceanStor Dorado 18000 V6 призвана справляться со всеми этими факторами.

В основе новой СХД лежит хорошо известная нашим читателям платформа Huawei Kunpeng собственной разработки компании. Она базируется на процессорах Kunpeng 920 с архитектурой ARM v8.2 — подробности можно узнать в обзоре сервера Huawei TaiShan 2280 v2. Но и остальные компоненты платформы Huawei использует собственные: сетевой контроллер, ИИ-сопроцессор, контроллер SSD и даже BMC, что позволяет говорить о полной независимости от сторонних поставщиков оборудования.

Очевидно, что классические СХД недостаточно быстры для критических сценариев, упомянутых выше. И не всегда достаточно надёжны. Но для Dorado 18000 V6 компания-разработчик гарантирует не только 21 млн IOPS на случайных операциях, но и системную надёжность 99,999%. СХД способна пережить одновременный выход из строя трёх накопителей на контроллере и останется доступной даже при потере семи контроллеров из восьми в каждом блоке.

Секрет такой надёжности — в распределённой архитектуре SmartMatrix, в которой каждая дисковая полка не только связана со всеми контроллерами системы, но и со всеми портами фронтенда и бэкенда. Опциональные ИИ-платы имеют собственные процессоры Ascend 310, обслуживающие твердотельные СХД. Они используют новейшие алгоритмы машинного обучения и способны в реальном времени адаптировать параметры дисковых кешей с учётом особенностей нагрузки, максимизируя их эффективность.

Скорость восстановления повреждённых массивов благодаря использованию FlashLink и «умных» дисковых полок также очень высока и достигает 4 Тбайт в час (до 200 Мбайт/с или 15 минут на терабайт), при этом загрузка основных процессоров не превышает 5%. В процессе эксплуатации система также следит за равномерностью износа SSD, что делает их поведение более предсказуемым.

Весьма прогрессивны и сами накопители. Huawei использует собственный формат NVMe-модулей, позволяющий устанавливать до 36 дисков в полку высотой 2U. Каждый такой накопитель следит за равномерностью износа флеш-памяти и целостностью данных сам, и сам же формирует RAID внутри флеш-массива, не нагружая контроллеры дополнительно. Продвинутые алгоритмы коррекции ошибок LDPC + SmartFSP 3.0 гарантируют десятикратное увеличение надёжности в сравнении с конкурирующими решениями.

Разумеется, сетевая часть Dorado 18000 V6 построена на базе NVMe over Fabrics. Для систем типа All-Flash это оптимальное решение, позволяющее исключить из цепочки ненужные промежуточные протоколы SCSI или Fibre Channel. Вкупе с применением протокола RDMA и накопителями со временем отклика не более 20 мс это делает Dorado 18000 V6 максимально отзывчивой системой в своём классе.

В качестве сетевой среды используется RDMA over Converged Ethernet (RoCE), как максимально совместимая с существующей инфраструктурой, ведь RoCE позволяет обойтись существующими Ethernet-коммутаторами, и к тому же максимальная скорость на порт у RoCE достигает 400 Гбит/с, чего не может предложить ни один другой распространённый стандарт сетевых подключений.

С масштабируемостью у новинки Huawei также всё в порядке. Причём как с локальной, так и распределённой: два узла Dorado 18000 V6, расположенные на расстоянии до 100 км друг от друга и объединённые в метро-кластер, обеспечивают задержку менее 1,5 мс. При этом топология может быть расширена вплоть до 3DC.

На сегодняшний день Huawei OceanStor Dorado 18000 V6 не имеет себе равных по ряду характеристик. Это система хранения данных флагманского уровня с соответствующим уровнем производительности, представляющая собой полностью интегрированное решение, не зависящее от Intel или AMD и не имеющее проблем с совместимостью из-за «зоопарка компонентов». Вернее, это целый спектр решений: Huawei предлагает самый широкий выбор вариантов реализации СХД с отличными показателями «цена/качество».

Поставляются системы Dorado в виде законченного проекта, идеально вписанного в инфраструктуру заказчика, поэтому стоимость может варьироваться в широких пределах. Неудивительно, что именно решения Huawei выбраны пятью крупнейшими банками Российской Федерации, а также крупнейшей российской логистической организацией «Почта России». В последнем случае речь идёт о хранении 12 Пбайт данных при доступности «четыре девятки». Внедрение СХД Huawei позволило обеспечить «Почте России» нужные характеристики; в сравнении со старым оборудованием речь идёт о трёхкратном увеличении производительности.

Подробнее о новых системах Huawei OceanStor Dorado можно узнать на сайте компании-производителя.

Китайский телекоммуникационный гигант Huawei представил высокопроизводительные системы хранения данных (СХД) нового поколения OceanStor Dorado: решения, относящиеся к категории High-End, используют архитектуру All-flash, то есть предусматривают применение исключительно твердотельных накопителей.

В основе СХД лежат передовая аппаратная платформа Huawei и полностью взаимосвязанная архитектура SmartMatrix для предоставления симметричных сервисов в режиме «активный-активный». Благодаря этому доступ к данным обеспечивается даже в том случае, если один из двух блоков контроллеров и семь из восьми контроллеров вышли из строя.

В семейство включены системы OceanStor Dorado V6 для критически важных сервисов. Они обеспечивают до 21 млн операций ввода-вывода SPC-1 в секунду благодаря применению протокола NVMe, инновационного оборудования и интеллектуальных алгоритмов FlashLink.

Кроме того, представлены системы OceanStor Dorado V3 для коммерческой эксплуатации с поддержкой критически важных приложений. Производительность этих решений достигает 7 млн операций ввода-вывода SPC-1 в секунду.

Заявленный уровень доступности достигает 99,9999 %. Говорится о возможности ускорения работы с использованием алгоритмов искусственного интеллекта.

«Выпуск All-flash-систем нового поколения обусловлен стремительным ростом объёмов данных, необходимых для принятия оперативных решений. За этим ростом стоят две движущие силы: новые технологии связи (такие как 5G) и увеличение количества приложений, сложность которых также постоянно растёт», — отмечает Huawei.

На партнерской конференции «Enjoy Growth, Win Together», которая прошла 3 марта в Москве, Huawei представила сразу несколько важных обновлений и новых решений для ЦОД. Среди них — реализация E2E NVMe-oF (NoF+) для ЦОД нового поколения, которая не только быстрее традиционных FC SAN, но и гораздо выгоднее и проще в обслуживании. Что революционного в новом решении и почему на него нужно обратить внимание?

Исторически так сложилось, что в ЦОД нередко применяются отдельные SAN-сети (для хранения данных) на базе протокола Fibre Channel и сеть передачи данных на базе Ethernet. Обычно они изолированы друг от друга, а для управления и доступа используются отдельные коммутаторы/маршрутизаторы. Были попытки объединить эти сети, пустив FC поверх Ethernet (FCoE), однако большим успехом они не увенчались — устройства получались дорогие и сложные, а задержки доступа росли до совершенно неприличных величин.

Два главных преимущества Fibre Channel над Ethernet: низкие задержки при доступе к данным и гарантированная доставка пакетов. И этого хватало долгие годы, но, как говорится, «все течет, все меняется». Возможностей интерфейса SAS 12G было вполне достаточно для механических накопителей, но он не мог в полной мере обеспечить необходимую пропускную способность для новых твердотельных накопителей, а лишние уровни абстракции заметно замедляли операции ввода/вывода.

Все изменилось с появлением нового поколения All-flash СХД, в которых применяются исключительно NVMe-накопители. Такие SSD требовали новых решений и повышения скорости каналов связи. Возможностей FС 16/32G тоже явно не хватало и вовремя подоспевший стандарт FC 64G на некоторое время спасет ситуацию, однако не до конца — реализовать весь потенциал NVMe можно только при использовании прямого доступа к ним, например, по RDMA.

С выпуском СХД Dorado V6 Huawei задала новый уровень быстродействия для all-flash массивов, что обеспечивается не только большей вычислительной мощностью контроллеров, но и продуманной архитектурой решения. Huawei одна из немногих компаний, которая сама выпускает SSD, процессоры, интерфейсные платы, сетевые компоненты и серверы, что позволяет оптимально выстроить от начала до конца — то есть от места хранения данных до их конечных потребителей — все взаимодействия, причём без лишних посредников и ограничений.

Использование собственных Arm-процессоров совместно с технологиями ИИ позволяет добиться потрясающей производительности и отказоустойчивости в СХД серии Dorado V6. Однако наличие быстрых СХД — это всего лишь полдела. Им необходима быстрая и надёжная сеть доставки, и вот тут-то на сцену и выходит концепция E2E NVMe (End-to-End NVMe). В данном случае используется NVMe-oF на базе технологии RoCE v2. Для работы последней требуется сеть, которая была бы быстрой, надёжной, имела низкие задержки и передавала данные без потерь.

Для построения такой сети требуются современные решения. И Huawei уже имеет в своем портфеле подходящие коммутаторы уровня ЦОД с портами 25/50/100/200/400 Гбит/с, с поддержкой RoCEv2, алгоритмами iLossless, long-distance RoCE и всех необходимых для уровня ядра функций. Однако компания пошла дальше, и теперь её новейшие коммутаторы серии Cloud Engine 16800, 6800 и 8800 поддерживают уникальные технологии NoF+ и AI Fabric, которые, по заверениям производителя, в случае NVMe-of СХД может увеличить IOPS до 85%.

AI Fabric в реальном времени отслеживает работу сети и устройств в ней и корректирует их поведение. Одной из ключевой составляющих AI Fabric является технология iLossless, которая предотвращает потерю пакетов, вызванную перегрузкой сети. Специальный алгоритм препятствует попадание избыточных данных в сеть, защищая буфер устройства или канал от перегрузки.

Если с технологиями понятно, то что с готовыми решениями и ценами на них? Использование в ЦОД единой сети без потерь данных и единых высокопроизводительных коммутаторов вместо отдельных для Ethernet и SAN позволяет значительно экономить бюджет. По словам инженеров компании, 25 Гбит/с RoCE производительнее и экономически эффективнее классического FC 32G в пересчете на параметры IOPS/Latency, а 100 Гбит/с RoCE уже задает новый стандарт в производительности, и всё это при меньшей стоимости общего владения инфраструктурой и унификации с уже имеющимися сетями в ЦОД.

Все СХД серии Dorado V6 поддерживают опциональные RoCE-интерфейсы, интерфейсные карты для серверов с поддержкой RoCE тоже есть, таким образом, с внедрением связующего звена в виде высокопроизводительных коммутаторов Cloud Engine 16800, 8800 и 6800 «пазл» складывается полностью в интеллектуальную высокопроизводительную систему, которая реализует принцип End-to-End NVMe от накопителя до хоста.

На партнерской конференции для демонстрации технологии установили отдельный стенд, на котором сравнивалась производительность одинаковых СХД с разным подключением серверов: через классический Fibre Channel 32G и 25GbE (с использованием новых коммутаторов и RoCE). Цифры производительности IOPS демонстрировались в режиме реального времени и преимущество новой технологии было наглядно выражено: 800К+ IOPS через RoCE и 600К+ IOPS через FC 32G.

Нужно отметить, что обе СХД были полностью идентичные и тесты были запущены с одинаковой нагрузкой на одинаковом же оборудовании. Проведя немало времени возле этого стенда, мы смогли убедиться, что показатели, которые демонстрирует новое решение, не только значительно превосходят FC 32G, но и стабильны на всем протяжении тестирования.

Мы уже писали про систему хранения данных Huawei OceanStor Dorado 18000 v6, которую сам производитель позиционирует как «самое быстрое и ёмкое all-flash хранилище данных». Теперь этому есть официальное подтверждение: Doravo 18000 v6 заняла первое место в тесте SPC-1. Отрыв от второго места более чем в 2 раза (21 002 561 у Huawei Dorado 18000 v6, против 10 001 522 у Fujitsu ETERNUS DX8900 S4), и это впечатляет!

Для начала краткая информация про конфигурацию тестового стенда, который участвовал в тесте SPC-1:

• Huawei Dorado 18000 V6, 8 массивов в одном кластере;
• 32 контроллера (Active-Active);
• Суммарный объем кеш памяти — 32 Тбайт;
• 96 интерфейсных четырёхпортовых карт 32 Gb FC Smart I/O Modules;
• 576 накопителей NVMe SSD на 1920 Гбайт;
• 11 коммутаторов OceanStor SNS3664-32Gb FC;
• Два 32-портовых коммутатора Huawei 100 Gbps RDMA;
• 150 интерфейсных двухпортовых карт Fibre Channel 32Gb для серверов.

Тест SPC-1 эмулирует нагрузки основных бизнес-критичных приложений и максимально нагружает систему ввода-вывода, при этом его ценность именно в характере нагрузок, приближенных к рабочим нагрузкам на предприятии, а не просто синтетические тесты, которые часто отрываются от реального положения дел.

Так в чем же загадка столь впечатляющего результата Huawei Dorado 18000 v6? Следует упомянуть, что расположившийся на втором месте массив ETERNUS DX 8900 S4 использовал интерфейсы FC16 и накопители с интерфейсом SAS, в то время как в Dorado используется NVMe и FC32.

Определенную роль сыграла и архитектура массива, которая построена на процессорах Kunpeng 920 (собственная разработка Huawei на архитектуре ARM v8.2) и ИИ-ускорителях Ascend 310. Используются три фабрики: фронт-энд, бэк-энд и контроллеры, между которыми могут устанавливаться перекрёстные связи. Подобная архитектура не имеет фиксированных связей между компонентами и позволяет балансировать нагрузку, обеспечивая низкую задержку при доступе к данным.

Ресурс Blocks&Files разместил диаграмму IOPS в зависимости от цены и производительности по результатам теста SPC-1, на рисунке ниже представлены ТОП-10 результатов:

Источник: Blocks&Files

Отмечается, что на представленной выше диаграмме нет массивов DELL EMC, HPE или NetApp. Неужели они не могут собрать более производительный тестовый стенд? Могут, однако его стоимость будет высокой и это не позволит занимать первые места в рейтинге цена/производительность. Надо полагать, что такие рекорды этим вендорам не очень-то и нужны, тем более что современные тенденции развития СХД предполагают использование NVMe-over-Fabric, а не FC.

Сегодня компания Huawei официально представила в России новое семейство твердотельных СХД OceanStor Dorado V6.

Во всех системах семейства применены процессоры Kunpeng 920 с архитектурой ARM v8.2, ИИ ускорители Ascend 310, а также SSD и прочие контроллеры Huawei — всё собственной разработки. Компонентов производства США в Dorado V6 нет вовсе.

OceanStor Dorado V6 ‒ обширное семейство СХД нового поколения, покрывающее все возможные ценовые сегменты ‒ от сравнительно малых и доступных систем до сверхъёмких комплексов высшего класса.

Открывает серию система OceanStor Dorado 3000 V6. Она может иметь от 2 до 16 контроллеров в корпусах 2U, оснащённых 24-ядерными процессорами. Объём кеша составляет 192 Гбайт на пару контроллеров, а максимальное количество накопителей в этой системе — 1200.

Средний класс представлен моделями Dorado 5000 V6 и 6000 V6: в них увеличено количество процессоров, поддерживаемых дисков и объёмы кешей.

Самые дорогие и мощные системы OceanStor Dorado 8000 V6 и 18000 V6 используют более мощные контроллеры в корпусах 4U и поддерживают рекордно большое количество накопителей ‒ 3200 и 6400 дисков соответственно. Внушает уважение и объём кеша, который может достигать 2 Тбайт.

Архитектура контроллера на примере Dorado 5000/6000 V6

У младшего варианта есть поддержка только накопителей SAS 3.0 (12 Гбит/с). Более производительные и ёмкие варианты предусматривают использование как SAS, так и NVMe. При этом бэкплейна как такового нет, что улучшает продуваемость шасси.

Типы интерфейсных модулей

С внешним миром новинки общаются либо посредством Fibre Channel, либо с помощью Ethernet со скоростями от 10 до 100 Гбитс/с, либо через SAS 3.0 (для полок, в первую очередь). Интерфейсные модули представлены в широком ассортименте.

Дисковые полки Dorado v6 имеют собственные процессоры, что разгружает процессоры контроллеров

Архитектура OceanStor Dorado V6 разительно отличается от более ранних СХД. Весь комплекс делится на три «фабрики»: фронт-энд, бэк-энд и контроллеры, между которыми могут устанавливаться перекрёстные связи. По сути, любой накопитель может быть подключен к любому из портов, даже будучи расположенным в соседнем шасси.

OceanStor Dorado v6 не имеют фиксированных связей между компонентами

Такая архитектура обеспечивает и низкие задержки: время доступа не превышает 106 микросекунд. Данные не будут потеряны, даже если из строя выйдут одновременно два контроллера или даже одна из стоек полностью, поскольку система Global Cache предусматривает тройное резервирование данных.

Отказоустойчивость у Dorado v6 находится на очень высоком уровне

Дисковые полки теперь тоже имеют собственные процессоры, так что поддерживается фоновая дедупликация данных. Причём они в Dorado v6 поддерживают как традиционные фиксированные блоки, так и блоки с переменной длиной.

Новые системы поддерживают фоновую дедупликацию данных при разных размерах блоков

Даже в младшей модели Dorado 3000 V6 предусмотрено наличие одного батарейного блока (BBU) на контроллер. Дисковая полка предусматривает установку 25 накопителей формата 2,5″ ёмкостью до 30,72 Тбайт на диск. В более мощных Dorado 5000 V6 и 6000 V6 BBU интегрированы с блоками питания.

Различные варианты новых умных дисковых полок Huawei

А вот дисковая полка может быть и иной ‒ помимо описанного выше варианта системы могут поставляться с полками, рассчитанными на 36 NVMe-накопителей формата Palm (до 15,36 Тбайт на диск). Это собственный стандарт Huawei, который компания надеется популяризировать. Применение такого формата позволяет повысить плотность хранения данных, поскольку высота модулей Palm составляет всего 9,5 мм.

Твердотельные накопители Palm позволяют повысить плотность хранения данных

Но самыми уникальными являются старшие модели. В корпусе высотой 4U расположено сразу четыре контроллера, которые могут общаться с 28 интерфейсными модулями. В наиболее мощном варианте, Dorado 18000 V6, поддерживается подключение 32 дисковых полок SAS или 23 дисковых полок NVMe.

Самый производительный контроллер в новом семействе и его архитектура

Поскольку все операции с сетью и накопителями происходят в пространстве пользователя (user space), а не ядра (kernel), это резко уменьшает накладные расходы. В сетевых адаптерах применён чип HiSilicon Hi1822 c модифицированным микрокодом.

В сетевых адаптерах Dorado v6 исключён уровень ядра

Все СХД оснащены сопроцессорами Ascend 310 с производительностью 16 Топс (INT8). Эти чипы не только разгружают центральные процессоры, но наделяют новые СХД возможностью самообучения ‒ по мере накопления ими статистики, улучшается процент попаданий в кеш и предсказаний выхода из строя дисков, а также их заполнения. Поддерживается интеграция с облачной платформой AI@Cloud для дообучения на данных о работе других СХД по всему миру (в РФ, скорее всего, будут данные только от местных СХД).

Сопроцессоры Ascend 310 помогают основным Kunpeng 920

Помимо прочего, OceanStor Dorado V6 поддерживают обновление «на лету» не только без перезагрузки, но и практически без влияния на рабочие сценарии. В течение 30 минут, требующихся для обновления ПО, производительность СХД просаживается не более чем на секунду.

OceanStor Dorado 18000 V6: крупный масштаб

Как говорит производитель, новые системы хранения по праву претендуют на звание самых надёжных в индустрии. Они также предлагают ёмкости от 4 до 32 петабайт и могут работать совместно с любыми операционными системами, включая не только Windows и Linux, но и HP-UX, AIX и Solaris.

Новинки поступят в продажу в начале 2020 года. Но это не касается 3000 V6 — она доберётся до России только к лету.

Примечательно в новой модели Dorado 3000 v3 именно то, что она изначально умеет работать только с твердотельными накопителями. Это важно не с технической точки зрения, а с маркетинговой или даже психологической. Новинка «атакует» гибридные и классические СХД с жёсткими дисками — за аналогичную стоимость она может предложить большую производительность и удовлетворительную ёмкость. И, что самое важное, достаточную надёжность.

Собственно говоря, именно опасения в надёжности SSD до сих пор являются одним из важных факторов, которые замедляют массовое внедрение таких накопителей во всех областях. И зря! Переживания насчёт сохранности данных на SSD при длительном отсутствии питания к обычным СХД не очень применимы. Что касается высокопроизводительных хранилищ, то там победа твердотельных накопителей уже безоговорочна. Seagate выпустила последнее поколение 15k-дисков ещё в 2016 году, а WD/HGST заявила об отказе разработки новых HDD 10k и 15k в 2017-ом. Да, такие накопители всё ещё поставляются, но новых моделей ждать больше нет смысла.

В течение следующего цикла обновления оборудования они в любом случае будут вынуждены обратиться к SSD. А новые, более ёмкие HDD скорее займут нишу хранения «холодных» данных. Впрочем, технологиям SMR, HAMR и MAMR тоже предстоит доказать свою надёжность в долгосрочной перспективе. Для SSD же первые исследования на больших объёмах провела Google ещё в 2016 году. И они показали, что в плане надёжности SSD, вообще говоря, ничуть не хуже HDD, хотя и требуют для детальной оценки несколько иных метрик в силу различия физического устройства накопителей.

Внутренняя статистика Huawei говорит о том, что на практике частота возврата накопителя по гарантии — износ ей покрывается — до 5 раз меньше для SSD, чем для HDD. Кроме того, надёжность SSD нынче такова, что даже для моделей с относительно небольшим значением DWPD, высока вероятность того, что они успеют морально устареть и будут заменены до того, как износятся.

Что касается стоимости, то SSD пока, конечно, дороже HDD, но разрыв между ними стремительно сокращается. Разница в цене для высокопроизводительных 10k-моделей в сравнении с SSD сократилась с 3 раз в 2016 году до 1,6 к концу 2018-го, по данным IDC. А для nearline-накопителей падение ещё более стремительно: c 18x в конце 20170-го до 9x ко второму кварталу 2019 года. Фактически уже сейчас для получения более-менее производительной СХД иного варианта кроме SSD уже нет.

Huawei OceanStor Dorado 3000 v3

Huawei Dorado 3000 v3, вышедшая в этом году, дополняет серию OceanStor и в каком-то смысле является переходом к грядущей серии v6. Особенностью младшей модели является то, что она, в отличие от большинства решений конкурентов, в плане функциональности идентична старшим моделям серии. Вся разница в максимальном количестве контроллеров и дисков в рамках одной системы, то есть в пиковой ёмкости и производительности. Маленькая ложка дёгтя лишь в том, что «трёхтысячная» умеет работать только с SAS-накопителями, но не с NVMe, как её старшие собратья, и максимальный объём одного диска ограничен 7,68 Тбайт. И ещё для неё не предусмотрен файловый доступ, только 8-32GFC и iSCSI (1-100GbE).

Формально есть ещё одно ограничение — на выбор доступен только один объём кеша в оперативной памяти, от которого напрямую зависит производительность СХД. Однако в данном случае даётся 96 Гбайт на каждый контроллер, которых, строго говоря, более чем достаточно при лимите в 100 дисков на контроллер и используемом CPU Intel Xeon 4109T (8C/16T, 2.0/3.0 ГГц). К слову, ровно тот же процессор используется в гибридной СХД среднего уровня OceanStor 5500 V5 из прошлой линейки.

Во всём, что касается реальной производительности, Huawei не устаёт напоминать, что не все all-flash СХД одинаково полезны, даже несмотря на официальные рекорды с миллионами IOPS. Идея проста — все тесты надо проводить в условиях, приближенных к реальным нагрузкам. Это, например, тесты при 80% заполнении хранилища, которое при таком уровне неизбежно начнёт страдать от сборки мусора в накопителях. Штраф накладывает и использование RAID-массивов уровней 5 и 6, а также массивов тройной чётности (TP). По умолчанию SSD ёмкостью менее 8 Тбайт собираются в RAID-6, а более ёмкие в RAID-TP.

Массивы RAID-10 и 0 в Dorado принципиально не поддерживаются, так как они либо отъедают ёмкость, либо сказываются на надёжности. Собственно реализация RAID-TP позволяет добиться устойчивости к сбоям (из строя могут выйти три накопителя сразу) и ускорения восстановления после них, сохраняя ёмкость. Фактически в случае RAID-TP массив образуют не сами диски. Последние разбиваются на блоки по 64 Гбайт, которые и собираются в RAID-группы.

Кроме того, для экономии места по умолчанию всегда включены сжатие и дедупликация. А надёжность дополнительно обеспечивается механизмом anti-wear-leveling — когда износ накопителей, внутри которых как раз работает выравнивание (wear-leveling), достигает 80%, случайным образом выбирается «жертва», которая получает чуть большую нагрузку. В итоге диски выходят из строя и могут быть заменены по одному, а все разом.

Другой стандартный механизм защиты данных — это снапшоты, которые можно делать хоть каждые десять секунд. Используемый для них механизм redirect-on-the-write также положительно влияет на скорость работы. В целом, каждая из вышеперечисленных технологий не более чем на 10% снижает суммарную производительность СХД.

Ещё один пункт, связанный с надёжностью, но в несколько более широком контексте, связан с производством накопителей и СХД в целом. Политика максимальной локализации неожиданно стала особенно актуальной в свете политических событий последних месяцев. Хотя Huawei и прежде старалась использовать по возможности свои наработки. Для СХД доля собственных компонентов в количественном выражении превышает 90%, а в денежном — выше 80%. Из сторонних решений есть только CPU Intel и несколько чипов Broadcom. До недавнего времени RAM закупалась на стороне, но теперь в Китае осваивают и её.

Для SSD ситуация похожая. Чипы NAND действительно приобретаются у крупных зарубежных поставщиков вроде той же Samsung. Однако вся остальная технологическая цепочка производства — упаковка, тестирование, сборка, корпусировка — делается на месте. Контроллер и прошивка для него тоже создаётся своими силами. Более того, для накопителей корпоративного класса проводятся дополнительные тесты надёжности вроде облучения нейтронами, которые могут изменить состояние транзистора в ячейке. Контроллер должен уметь корректировать и такие ошибки. В сумме это позволяет заявлять Huawei, что для её SSD показатель MTBF составляет 3 млн часов.

Как уже было отмечено в самом начале, Dorado 3000 v3 будет предлагаться по цене, сходной с ценами 10k/15k HDD (в первую очередь), гибридными и all-flash СХД других вендоров. Более того, Huawei готова идти на риск и предлагать замену более старших HDD-моделей прошлого поколения на «трёхтысячную». Под этим подразумевается, что цена Dorado 5500 прошлого поколения с SAS-дисками 10k ёмкостью 2,4 Тбайт будет сопоставима с ценой Dorado 3000 v3 с примерно следующими характеристиками: SAS SSD ёмкостью 4 или 8 Тбайт, интерфейсные блоки 32GFC и 10GbE, производительность порядка 150 000 IOPS.

Бонусом «трёхтысячная» получит полный набор ПО для расширения функциональности, которое в случае старших моделей Dorado придётся докупать отдельно: HyperMetro, репликация, клонирование, сервисное облако и так далее. Помимо прочего, Dorado 3000 v3 останется начальной моделью и для серии СХД грядущего поколения, то есть просуществует на рынке достаточно долго.

Ну а все последующие СХД Huawei OceanStor Dorado v6 будут только all-flash, причём как с SAS, так и с NVMe. Вообще они будут значительно отличаться от текущих решений во многих аспектах. В частности, для них будет полностью переработана внутренняя архитектура: основной шиной станет 100GbE, они получат ИИ-чип и SCM-память, часть функций станет программно-определяемыми и так далее. Но самое главное, Huawei обещает, что эти СХД не будут содержать ни одного американского компонента. Даже процессор будет свой. А уж какой, догадайтесь сами.

Компания Huawei на прошлой неделе продемонстрировала своё новейшее хранилище данных, полностью построенное на твердотельных накопителях (all-flash), которое называется OceanStor Dorado V6.

Новинка обладает весьма впечатляющими характеристиками и ёмкостью — похоже, это самая ёмкая в мире СХД такого класса.

Итак, Huawei предложит в серии Dorado V6 пять моделей, которые будут отличаться друг от друга ёмкостью, а также производительностью и возможностями. В основе каждой модели будут лежать твердотельные накопители собственного производства Huawei на её фирменном контроллере Hi1812E.

Самая младшая модель может вмещать до 1200 накопителей, общий объём которых может достигать 36,8 Пбайт. В случае самой старшей модели максимальное число накопителей достигает 6400, а их общая ёмкость может достигать 196,61 Пбайт. Накопители могут подключаться как по интерфейсу NVMe(-oF), так и по менее скоростному SAS 3.0.

Однако Dorado V6 впечатляют не только объёмами, но и производительностью. По словам Huawei, её новые СХД способны обеспечить производительность до 20 млн операций ввода-вывода в секунду (IOPS). Это вдвое больше по сравнению с представленными недавно хранилищами Dell EMC PowerMax 8000, которые способны обеспечить до 10 млн IOPS.

Задержка операций чтения для СХД Huawei снижена до 0,1 мс. Кроме того, Huawei оснастила хранилища Dorado V6 специализированными ИИ-процессорами, которые должны обеспечить прирост производительности и следить за состоянием системы. Производитель отмечает использование в новинках технологий, обеспечивающих повышенную отказоустойчивость.

К сожалению, компания Huawei пока что не готова говорить о том, когда она начнёт поставки хранилищ OceanStor Dorado V6 своим клиентам. Стоимость новинок также не уточняется, хотя издание Blocks & Files даёт приблизительную оценку в $2,5 млн.