На сегодняшний день традиционные механические HDD уже уступают твердотельным накопителям в цифрах чистого объёма, но всё ещё остаются выгодным выбором, когда речь заходит о стоимости хранения данных.

Компания Huawei имеет в своём арсенале твердотельные СХД, но не собирается отказываться от механики — системы хранения данных OceanStor Pacific получат новые SMR-диски ёмкостью 20 Тбайт.

Сама система хранения данных OceanStor Pacific была анонсирована меньше недели назад. Это распределённое отказоустойчивое решение повышенной надёжности, которое поддерживает файловые, объектные, блочные и HDFS-протоколы хранения данных. Система модульная, она может содержать как полки с твердотельными накопителями для «горячих» данных, так и «холодные» варианты с механическими жёсткими дисками, а также модули для дисков Blu-Ray. 

Один узел типоразмера 5U вмещает в себя до 120 накопителей форм-фактора 3,5″. В них для хранения данных используются жёсткие диски объёмом 20 Тбайт с черепичной технологией записи (SMR), что даёт 2,4 Пбайт на узел. Вероятно, это Western Digital DC H650. В 40U-стойку помещается 8 узлов с 960 накопителями, а в кластере таких узлов может быть до 4096, то есть это весьма ёмкое решение.

OceanStor Pacific придёт на смену предыдущей серии Huawei FusionStorage. За вычислительную часть отвечают 64-ядерные процессоры HiSilicon Kunpeng 920. Они, по словам компании, на 30% превосходят в энергоэффективности аналогичные решения с архитектурой x86.

OceanStor Pacific интересна тем, что в ней не используется традиционный RAID, вместо этого, применяется метод erasure coding (EC), как позволяющий использовать дисковое пространство более эффективно: с конфигурацией накопителей 22 + 2 до 91% объёма могут занимать пользовательские данные. При этом надёжность не страдает, до четырёх дисковых полок может выйти из строя без какой-либо потери данных и без отказов в обслуживании пользователей.

Корпус СХД позволяет осуществлять доступ к дисковым полкам как спереди, так и сзади, а сама дисковая полка делится на две части. Это сделано для того, чтобы тяжёлая полка не вызывала проблем с устойчивостью серверного шкафа, в котором она находится. Для охлаждения используется некая система фазового перехода с тепловыми трубками; температура между передней и задней частью дисковых полок выравнивается.

Новая СХД существенно эффективнее использует пространство: по словам представителей Huawei, Hadoop-кластер ёмкостью 22 Пбайт, занимающий 15 шкафов, теперь может быть умещён всего в 8.

Huawei объявила о запуске новой серии СХД под названием OceanStor Pacific. Это отдельная серия, представляющая собой распределенное катастрофоустойчивое хранилище, с поддержкой HDFS, файлового, объектного и блочного протоколов.

Презентация была очень пафосной, много говорилось об особой роли Huawei как технологического лидера, однако техническим моментам было уделено мало внимания.

На данный момент известно лишь несколько технических подробностей. В частности, аппаратная платформа OceanStor Pacific называется vNode и представляет собой узлы различного типа. Это могут быт как высокопроизводительные All-flash полки для горячих данных, так и холодное хранилище в узле типоразмера 5U, содержащего 120 дисков форм-фактора 3,5 дюйма. 

Уникальной особенностью OcenStor Pacific является тиринг данных между SSD, HDD и дисками Blu-Ray — данные могут физически отчуждаться для сохранения информации от повреждения. 

Сетевая часть представлена Ethernet со скоростями до 100 Гбит/с. Традиционная для СХД Huawei катастрофоустойчивость достигается за счет одновременной параллельной записи данных на узлы, находящиеся в разных дата-центрах. Чтение также может прозрачно переключаться на лету между разными узлами и локациями. Поддерживается объектный доступ по протоколу Amazon S3, а также NFS.

У Huawei уже есть очень похожее решение, под названием OceanStor 100D (Intelligent Distributed Storage), является ли Pacific просто ребрендингом и дальнейшим развитием этой линейки – пока не известно. Будем следить за развитием событий и ждать полноценное техническое описание новинки.

Сегодня компания Huawei официально представила в России новое семейство твердотельных СХД OceanStor Dorado V6. 

Во всех системах семейства применены процессоры Kunpeng 920 с архитектурой ARM v8.2, ИИ ускорители Ascend 310, а также SSD и прочие контроллеры Huawei — всё собственной разработки. Компонентов производства США в Dorado V6 нет вовсе.

OceanStor Dorado V6 ‒ обширное семейство СХД нового поколения, покрывающее все возможные ценовые сегменты ‒ от сравнительно малых и доступных систем до сверхъёмких комплексов высшего класса.

Открывает серию система OceanStor Dorado 3000 V6. Она может иметь от 2 до 16 контроллеров в корпусах 2U, оснащённых 24-ядерными процессорами. Объём кеша составляет 192 Гбайт на пару контроллеров, а максимальное количество накопителей в этой системе — 1200.

Средний класс представлен моделями Dorado 5000 V6 и 6000 V6: в них увеличено количество процессоров, поддерживаемых дисков и объёмы кешей. 

Самые дорогие и мощные системы OceanStor Dorado 8000 V6 и 18000 V6 используют более мощные контроллеры в корпусах 4U и поддерживают рекордно большое количество накопителей ‒ 3200 и 6400 дисков соответственно.  Внушает уважение и объём кеша, который может достигать 2 Тбайт.

Архитектура контроллера на примере Dorado 5000/6000 V6

У младшего варианта есть поддержка только накопителей SAS 3.0 (12 Гбит/с). Более производительные и ёмкие варианты предусматривают использование как SAS, так и NVMe. При этом бэкплейна как такового нет, что улучшает продуваемость шасси.

Типы интерфейсных модулей

С внешним миром новинки общаются либо посредством Fibre Channel, либо с помощью Ethernet со скоростями от 10 до 100 Гбитс/с, либо через SAS 3.0 (для полок, в первую очередь). Интерфейсные модули представлены в широком ассортименте.

Дисковые полки Dorado v6 имеют собственные процессоры, что разгружает процессоры контроллеров

Архитектура OceanStor Dorado V6 разительно отличается от более ранних СХД.  Весь комплекс делится на три «фабрики»: фронт-энд, бэк-энд и контроллеры, между которыми могут устанавливаться перекрёстные связи. По сути, любой накопитель может быть подключен к любому из портов, даже будучи расположенным в соседнем шасси.

OceanStor Dorado v6 не имеют фиксированных связей между компонентами

Такая архитектура обеспечивает и низкие задержки: время доступа не превышает 106 микросекунд. Данные не будут потеряны, даже если из строя выйдут одновременно два контроллера или даже одна из стоек полностью, поскольку система Global Cache предусматривает тройное резервирование данных.

Отказоустойчивость у Dorado v6 находится на очень высоком уровне

Дисковые полки теперь тоже имеют собственные процессоры, так что поддерживается фоновая дедупликация данных. Причём они в Dorado v6 поддерживают как традиционные фиксированные блоки, так и блоки с переменной длиной.

Новые системы поддерживают фоновую дедупликацию данных при разных размерах блоков

Даже в младшей модели Dorado 3000 V6 предусмотрено наличие одного батарейного блока (BBU) на контроллер. Дисковая полка предусматривает установку 25 накопителей формата 2,5″ ёмкостью до 30,72 Тбайт на диск. В более мощных Dorado 5000 V6 и 6000 V6 BBU интегрированы с блоками питания.

Различные варианты новых умных дисковых полок Huawei

А вот дисковая полка может быть и иной ‒ помимо описанного выше варианта системы могут поставляться с полками, рассчитанными на 36 NVMe-накопителей формата Palm (до 15,36 Тбайт на диск). Это собственный стандарт Huawei, который компания надеется популяризировать. Применение такого формата позволяет повысить плотность хранения данных, поскольку высота модулей Palm составляет всего 9,5 мм. 

Твердотельные накопители Palm позволяют повысить плотность хранения данных

Но самыми уникальными являются старшие модели. В корпусе высотой 4U расположено сразу четыре контроллера, которые могут общаться с 28 интерфейсными модулями. В наиболее мощном варианте, Dorado 18000 V6, поддерживается подключение 32 дисковых полок SAS или 23 дисковых полок NVMe.

Самый производительный контроллер в новом семействе и его архитектура

Поскольку все операции с сетью и накопителями происходят в пространстве пользователя (user space), а не ядра (kernel), это резко уменьшает накладные расходы. В сетевых адаптерах применён чип HiSilicon Hi1822 c модифицированным микрокодом.

В сетевых адаптерах Dorado v6 исключён уровень ядра

Все СХД оснащены сопроцессорами Ascend 310 с производительностью 16 Топс (INT8). Эти чипы не только разгружают центральные процессоры, но наделяют новые СХД возможностью самообучения ‒ по мере накопления ими статистики, улучшается процент попаданий в кеш и предсказаний выхода из строя дисков, а также их заполнения. Поддерживается интеграция с облачной платформой AI@Cloud для дообучения на данных о работе других СХД по всему миру (в РФ, скорее всего, будут данные только от местных СХД). 

Сопроцессоры Ascend 310 помогают основным Kunpeng 920

Помимо прочего, OceanStor Dorado V6 поддерживают обновление «на лету» не только без перезагрузки, но и практически без влияния на рабочие сценарии. В течение 30 минут, требующихся для обновления ПО, производительность СХД просаживается не более чем на секунду.

OceanStor Dorado 18000 V6: крупный масштаб

Как говорит производитель, новые системы хранения по праву претендуют на звание самых надёжных в индустрии. Они также предлагают ёмкости от 4 до 32 петабайт и могут работать совместно с любыми операционными системами, включая не только Windows и Linux, но и HP-UX, AIX и Solaris.

Новинки поступят в продажу в начале 2020 года. Но это не касается 3000 V6 — она доберётся до России только к лету. 

Примечательно в новой модели Dorado 3000 v3 именно то, что она изначально умеет работать только с твердотельными накопителями. Это важно не с технической точки зрения, а с маркетинговой или даже психологической. Новинка «атакует» гибридные и классические СХД с жёсткими дисками — за аналогичную стоимость она может предложить большую производительность и удовлетворительную ёмкость. И, что самое важное, достаточную надёжность.

Собственно говоря, именно опасения в надёжности SSD до сих пор являются одним из важных факторов, которые замедляют массовое внедрение таких накопителей во всех областях. И зря! Переживания насчёт сохранности данных на SSD при длительном отсутствии питания к обычным СХД не очень применимы. Что касается высокопроизводительных хранилищ, то там победа твердотельных накопителей уже безоговорочна. Seagate выпустила последнее поколение 15k-дисков ещё в 2016 году, а WD/HGST заявила об отказе разработки новых HDD 10k и 15k в 2017-ом. Да, такие накопители всё ещё поставляются, но новых моделей ждать больше нет смысла.

В течение следующего цикла обновления оборудования они в любом случае будут вынуждены обратиться к SSD. А новые, более ёмкие HDD скорее займут нишу хранения «холодных» данных. Впрочем, технологиям SMR, HAMR и MAMR тоже предстоит доказать свою надёжность в долгосрочной перспективе. Для SSD же первые исследования на больших объёмах провела Google ещё в 2016 году. И они показали, что в плане надёжности SSD, вообще говоря, ничуть не хуже HDD, хотя и требуют для детальной оценки несколько иных метрик в силу различия физического устройства накопителей.

Внутренняя статистика Huawei говорит о том, что на практике частота возврата накопителя по гарантии — износ ей покрывается — до 5 раз меньше для SSD, чем для HDD. Кроме того, надёжность SSD нынче такова, что даже для моделей с относительно небольшим значением DWPD, высока вероятность того, что они успеют морально устареть и будут заменены до того, как износятся.

Что касается стоимости, то SSD пока, конечно, дороже HDD, но разрыв между ними стремительно сокращается. Разница в цене для высокопроизводительных 10k-моделей в сравнении с SSD сократилась с 3 раз в 2016 году до 1,6 к концу 2018-го, по данным IDC. А для nearline-накопителей падение ещё более стремительно: c 18x в конце 20170-го до 9x ко второму кварталу 2019 года. Фактически уже сейчас для получения более-менее производительной СХД иного варианта кроме SSD уже нет.

Huawei OceanStor Dorado 3000 v3

Huawei Dorado 3000 v3, вышедшая в этом году, дополняет серию OceanStor и в каком-то смысле является переходом к грядущей серии v6. Особенностью младшей модели является то, что она, в отличие от большинства решений конкурентов, в плане функциональности идентична старшим моделям серии. Вся разница в максимальном количестве контроллеров и дисков в рамках одной системы, то есть в пиковой ёмкости и производительности. Маленькая ложка дёгтя лишь в том, что «трёхтысячная» умеет работать только с SAS-накопителями, но не с NVMe, как её старшие собратья, и максимальный объём одного диска ограничен 7,68 Тбайт. И ещё для неё не предусмотрен файловый доступ, только 8-32GFC и iSCSI (1-100GbE).

Формально есть ещё одно ограничение — на выбор доступен только один объём кеша в оперативной памяти, от которого напрямую зависит производительность СХД. Однако в данном случае даётся 96 Гбайт на каждый контроллер, которых, строго говоря, более чем достаточно при лимите в 100 дисков на контроллер и используемом CPU Intel Xeon 4109T (8C/16T, 2.0/3.0 ГГц). К слову, ровно тот же процессор используется в гибридной СХД среднего уровня OceanStor 5500 V5 из прошлой линейки.

Во всём, что касается реальной производительности, Huawei не устаёт напоминать, что не все all-flash СХД одинаково полезны, даже несмотря на официальные рекорды с миллионами IOPS. Идея проста — все тесты надо проводить в условиях, приближенных к реальным нагрузкам. Это, например, тесты при 80% заполнении хранилища, которое при таком уровне неизбежно начнёт страдать от сборки мусора в накопителях. Штраф накладывает и использование RAID-массивов уровней 5 и 6, а также массивов тройной чётности (TP). По умолчанию SSD ёмкостью менее 8 Тбайт собираются в RAID-6, а более ёмкие в RAID-TP.

Массивы RAID-10 и 0 в Dorado принципиально не поддерживаются, так как они либо отъедают ёмкость, либо сказываются на надёжности. Собственно реализация RAID-TP позволяет добиться устойчивости к сбоям (из строя могут выйти три накопителя сразу) и ускорения восстановления после них, сохраняя ёмкость. Фактически в случае RAID-TP массив образуют не сами диски. Последние разбиваются на блоки по 64 Гбайт, которые и собираются в RAID-группы.

Кроме того, для экономии места по умолчанию всегда включены сжатие и дедупликация. А надёжность дополнительно обеспечивается механизмом anti-wear-leveling — когда износ накопителей, внутри которых как раз работает выравнивание (wear-leveling), достигает 80%, случайным образом выбирается «жертва», которая получает чуть большую нагрузку. В итоге диски выходят из строя и могут быть заменены по одному, а все разом.

Другой стандартный механизм защиты данных — это снапшоты, которые можно делать хоть каждые десять секунд. Используемый для них механизм redirect-on-the-write также положительно влияет на скорость работы. В целом, каждая из вышеперечисленных технологий не более чем на 10% снижает суммарную производительность СХД.

Ещё один пункт, связанный с надёжностью, но в несколько более широком контексте, связан с производством накопителей и СХД в целом. Политика максимальной локализации неожиданно стала особенно актуальной в свете политических событий последних месяцев. Хотя Huawei и прежде старалась использовать по возможности свои наработки. Для СХД доля собственных компонентов в количественном выражении превышает 90%, а в денежном — выше 80%. Из сторонних решений есть только CPU Intel и несколько чипов Broadcom. До недавнего времени RAM закупалась на стороне, но теперь в Китае осваивают и её.

Для SSD ситуация похожая. Чипы NAND действительно приобретаются у крупных зарубежных поставщиков вроде той же Samsung. Однако вся остальная технологическая цепочка производства — упаковка, тестирование, сборка, корпусировка — делается на месте. Контроллер и прошивка для него тоже создаётся своими силами. Более того, для накопителей корпоративного класса проводятся дополнительные тесты надёжности вроде облучения нейтронами, которые могут изменить состояние транзистора в ячейке. Контроллер должен уметь корректировать и такие ошибки. В сумме это позволяет заявлять Huawei, что для её SSD показатель MTBF составляет 3 млн часов.

Как уже было отмечено в самом начале, Dorado 3000 v3 будет предлагаться по цене, сходной с ценами 10k/15k HDD (в первую очередь), гибридными и all-flash СХД других вендоров. Более того, Huawei готова идти на риск и предлагать замену более старших HDD-моделей прошлого поколения на «трёхтысячную». Под этим подразумевается, что цена Dorado 5500 прошлого поколения с SAS-дисками 10k ёмкостью 2,4 Тбайт будет сопоставима с ценой Dorado 3000 v3 с примерно следующими характеристиками: SAS SSD ёмкостью 4 или 8 Тбайт, интерфейсные блоки 32GFC и 10GbE, производительность порядка 150 000 IOPS.

Бонусом «трёхтысячная» получит полный набор ПО для расширения функциональности, которое в случае старших моделей Dorado придётся докупать отдельно: HyperMetro, репликация, клонирование, сервисное облако и так далее. Помимо прочего, Dorado 3000 v3 останется начальной моделью и для серии СХД грядущего поколения, то есть просуществует на рынке достаточно долго.

Ну а все последующие СХД Huawei OceanStor Dorado v6 будут только all-flash, причём как с SAS, так и с NVMe. Вообще они будут значительно отличаться от текущих решений во многих аспектах. В частности, для них будет полностью переработана внутренняя архитектура: основной шиной станет 100GbE, они получат ИИ-чип и SCM-память, часть функций станет программно-определяемыми и так далее. Но самое главное, Huawei обещает, что эти СХД не будут содержать ни одного американского компонента. Даже процессор будет свой. А уж какой, догадайтесь сами.