Протокол NVM Express был встречен индустрией средств хранения данных очень тепло, поскольку предыдущие протоколы SATA и даже SAS тянули за собой немалых размеров шлейф совместимости и общей ориентированности на использование совместно с традиционными механическими жёсткими дисками. Несмотря на некоторые нововведения, в частности, такие технологии, как FastPath, реализованные в контроллерах LSI/Avago, потенциал флеш-накопителей всё равно сдерживался до появления стандарта NVMe, который изначально разрабатывался, как предназначенный для использования совместно с твердотельной памятью. Сейчас рынок NVMe-устройств уже весьма развит, на нём присутствуют такие гиганты, как IBM и Dell, а также множество других компаний, таких, как E8 Storage.

E8 Storage нельзя назвать старой компанией, она была основана в декабре 2014 года бывшими работниками IBM, а точнее, подразделения IBM XIV, отвечающего за разработку и продвижение систем хранения данных. Они считают, что для полного раскрытия потенциала технологии NVMe нужна новая архитектура, а фактором, сдерживающим производительность флеш-массивов, является применение стандартных двухпортовых контроллеров (dual controllers). Последние три года компания потратила на разработку программного обеспечения, с помощью которого 90 % операций с данными могут быть сняты с плеч контроллеров SSD и отданы на откуп более мощным центральным процессорам флеш-массива.

В текущей реализации система E8 поддерживает до 96 накопителей и совокупную работу до четырёх систем в единой связке. Поддерживается до 128 обращений к накопителю, количество очередей может достигать 64 тысяч, и столько же команд поддерживается в каждой очереди. Платформа E8 в полной мере поддерживает технологию RDMA Over Converged Ethernet, что минимизирует нагрузку на процессоры клиентских систем. Аппаратная часть разработана тайваньской компанией AIC. Первая версия СХД — S10 — была лишь демонстрационной, в 2016 году был представлен стоечный флеш-массив D24, а совсем недавно в 2017 году увидела свет новая система E8-X24, базирующаяся на технологии Intel Optane. Стоимость решений E8 Storage удаётся удерживать на сравнительно доступном уровне за счёт использования готовых и широко распространённых компонентов.

Нацеливается E8, главным образом, на рынок систем хранения данных, обеспечивающих минимальную латентность. Это очень важно в любой сфере, где требуется сбор и накопление данных в реальном времени. Рынок таких систем можно назвать нишевым, но решения такого класса весьма недёшевы, так что у E8 есть все шансы отхватить свой достаточно немалый кусок пирога. В пользу этого свидетельствуют и результаты некоторых тестов, где платформа E8 Storage смогла удержать время доступа на уровне 2,5 мс при общей производительности 300 тысяч IOPS, а это выше показателей конкурирующих решений, таких, как NetApp FAS 8200. Временами латентность новой платформы была в 8 раз ниже, а это очень серьёзный разрыв. Обычно бизнес-клиенты склонны к использованию продуктов привычных брендов, но там, где правил бал латентность, их мнение вполне может склониться в сторону E8 Storage, как предлагающей самые быстрые решения, тем более, что сама ниша СХД с минимальным временем отклика будет только расти со временем.

Компания Supermicro, один из крупнейших производителей и поставщиков серверных комплектующих и готовых решений, представила новую серию флеш-хранилищ, использующих только интерфейс NVMe и базирующихся на многослойной NAND-памяти Intel. Если быть более точным, в них устанавливаются накопители серий SSD DC P4500 и P4600. Новые системы отличаются низким уровнем задержек и стабильно высокой производительностью под нагрузкой. Они также защищены от потери данных при пропадании сетевого питания.

Всего в серию входит восемь моделей в различных форм-факторах, как в классических 19-дюймовых корпусах, так и в виде лезвийных решений. Практически все они предусматривают установку двух процессоров Intel Xeon Scalable в исполнении LGA 3647, но имеется и четырёхпроцессорная лезвийная модель, позволяющая разместить до 200 процессоров в стойке высотой 42U. Более подробно характеристики новейших решений можно узнать на веб-сайте компании-производителя.

Четырёхпроцессорная плата с поддержкой Xeon Scalable

Комплектуются новинки различными SSD Intel серий P4500 и P4600. Эти флеш-накопители корпоративного класса построены с применением многослойной TLC-памяти. Младшая версия доступна в объёмах 1, 2 и 4 Тбайт с ресурсом 1 полная перезапись в день, старшая имеет более широкий ассортимент ёмкостей — от 1,6 до 4 Тбайт. У P4600 выше ресурс, который составляет 3 полные перезаписи в день. Используется вариант 2,5″ высотой 15 мм. Производительность одного накопителя на случайных операциях при чтении и записи составляет 695/226 тысяч IOPS для DC P4600 и 515/41 тысяча IOPS для DC P4500. Латентность доступа не превышает 80 микросекунд.

Компания Broadcom сегодня является одним из самых известных производителей и поставщиков различных контроллеров для решений СХД. Но история Broadcom весьма непроста, и она не всегда владела такими брендами, как LSI и 3Ware. Сама компания основана в 1991 году, но лишь в 2007-м ей удалось завладеть активами LSI, которая к тому времени уже владела такими активами, как Lucent, 3Ware и Agere Systems. В 2014-м произошло слияние LSI и Avago, а в 2016 году, наконец, владелец всех активов, изображённых на диаграмме, стал единым.

Теперь под брендом Broadcom выпускается целая масса самых разнообразных контроллеров и микросхем, но в докладе, прозвучавшем на мероприятии SelectelTechDay #2, речь шла главным образом о решениях, предназначенных для сферы хранения данных, что неудивительно: СХД сейчас развиваются очень активными темпами, поскольку год от года объём информации, генерируемый нашей цивилизацией, лишь возрастает. И темпы роста отнюдь не линейные. Надо сказать, что компания со своей задачей справляется хорошо, что демонстрируют объёмы выручки за 2015 и 2016 годы — они выросли с $6,8 миллиардов до $13,2 миллиардов.

В этой сфере Broadcom владеет наработками таких известных компаний, как LSI, PLX Technology и Emulex, и продолжает активно развивать их наследие. Компания удерживает первое место по поставкам таких устройств, как коммутаторы PCIe, RAID-процессоры и чипы HBA, разветвители SAS/SATA/NVMe и прочих решений подобного характера, включая программное обеспечение. Среди клиентов Broadcom множество громких имён: Cisco, Dell, Lenovo, IBM, Microsoft, Baidu, Facebooк и множество других, поскольку СХД и их компоненты необходимы практически всем, кто связан с рынком ИТ.

Доклад содержал данные о том, что количество подключённых к серверу накопителей увеличивается с каждым годом, и если в 2014 году этот показатель колебался между 6 и 7 накопителями на корпус, то в 2017-м дисков в системе стало более 8, а в 2019 году среднее число накопителей достигнет 10. Данные о соотношении SSD и HDD соотносятся с докладом HGST: со временем будет расти доля как SSD, так и ёмких HDD, а вот количество производительных жёстких дисков (с высокой скоростью вращения шпинделя и малым диаметром пластин) будет падать. Будет нарастать также популярность накопителей, использующих PCIe x4 (форм-факторы U.2 и M.2), что неудивительно ввиду возрастающих требований к производительности серверных SSD.

Компания унаследовала от LSI и сохранила узнаваемый на рынке систем хранения данных бренд MegaRAID и под этим именем выпускает целую линейку высокоскоростных контроллеров, как в виде простых HBA, так и в виде мощных RAID-сопроцессоров. Обновление серии 9300 получило новое имя Intruder и порядковый номер 9305, и в ней появились модели с поддержкой 16 и даже 24 портов SAS 12 Гбит/с. Минимальный объём кеша теперь составляет 2 Гбайт, а у старшей модели он возрос до 4 Гбайт, все контроллеры поддерживают подключение батареи суперконденсаторов, удерживающих состояние кеша в случае сбоев по питанию. Система защиты гибридная, суперконденсаторы дают контроллеру время сбросить критические данные в установленную на борту флеш-память.

Но это не самая интересная серия дисковых продуктов Broadcom. В настоящее время SAS продолжает оставаться основным стандартом в системах хранения данных, поскольку стандарт этот является устоявшимся, он хорошо описан, и все «подводные камни», свойственные ему, известны. Но он разрабатывался для работы с традиционной «механикой», поэтому по мере роста популярности SSD ему на смену идёт стандарт NVMe, оптимизированный именно с учётом особенностей функционирования энергонезависимой памяти типа NAND (а в ближайшем будущем — и новых типов, обещающих более высокую надёжность, таких, как Intel 3D XPoint).

Популярны в настоящее время и системы на базе HDD с кешированием с помощью SSD. Тут-то и пригодится новая серия LSI 9400 Tri-Mode, включающая в себя как HBA, так и мощные решения RAID с аппаратным ускорением под брендом MegaRAID. Первые используют чипы 3416 (Crusader) и 3408 (Tomcat), последние две цифры означают количество поддерживаемых портов. Даже процессоры 34xx имеют многоядерную архитектуру, что позволяет избежать «бутылочных горлышек». Самое интересное в серии 9400 — это возможность одновременного использования устройств SAS и NVMe, благо, физический разъём при этом со стороны адаптера используется один и тот же. К примеру, процессор 3416 позволяет подключить четыре жёстких диска и два SSD с интерфейсом PCIe x2, но он может работать и с двумя скоростными накопителями в режиме PCIe x8.

Серия MegaRAID 9400 Tri-Mode ещё более интересна. Только в младшей модели используется программная обработка режимов RAID, характерная для моделей с порядковыми номерамии серии xx40. Модели 9460 и 9480 используют уже полноценные RAID-сопроцессоры 3508 (Harpoon) и 3516 (Ventura). Это пятое поколение процессоров RAID-on-Chip (ROC), в котором Broadcom отказалась от архитектуры PowerPC и перешла на использование ядер ARM. Каждый из новых процессоров имеет два ядра ARM Cortex-A15 с частотой 1,2 ГГц, которые используют разделяемый кеш объёмом 1 Мбайт, но в дополнение к ним в составе кристалла имеется блок аппаратного ускорения RAID (операции типа XOR и так далее), который к тому же содержит и 72-битный (ECC) контроллер DDR3/4.

Новые устройства серии 9400 обеспечивают также низкий уровень энергопотребления: для чипа 3408 оно составляет около 10 Ватт, самый же мощный 16-канальный 3516 потребляет в типовом режиме чуть более 17 Ватт. Этого удалось достигнуть за счёт перевода производства чипов на 28-нм техпроцесс и использования архитектуры ARM вместо PowerPC. При этом производительность новых HBA при операциях последовательной записи увеличилась на 74 % в сравнении с предыдущим поколением, а у RAID-моделей этот прирост составляет около 44 % (для режима RAID 5), и это вдобавок к возможностям использовать одновременно HDD по протоколу SAS или даже SATA и высокоскоростные твердотельные накопители с интерфейсом NVMe.

Решения Broadcom/LSI/Avago всегда можно было похвалить за мощную и продуманную аппаратную часть, но интерфейс управления контроллерами вызывал у многих пользователей и администраторов недоумение — он был некрасив и не слишком удобен в использовании. В отличие от удобного веб-интерфейса более ранних контроллеров 3Ware он требовал использования специальной утилиты. Теперь всё иначе. Вместе с серией 9400 компания представила и новое поколение программного обеспечения — LSI Storage Authority. Теперь управление осуществляется через веб-интерфейс, что автоматически даёт кроссплатформенную совместимость. Но сохранилось и всё богатство консольных настроек StorCLI, а BIOS контроллеров получили новые функции, такие, как возможность прошивки без загрузки ОС.

С поддержкой операционных систем у Broadcom всё обстоит отлично: поддерживаются все основные версии Windows и довольно широкий «зоопарк» ОС на базе ядра Linux, от RedHat до Ubuntu. Совместимы новые решения и с FreeBSD, а также с решениями Citrix и VMware. Можно сказать, что компании удалось охватить практически весь сегмент используемых в современных СХД операционных систем. Существуют специализированные решения, но чаще всего их основой является тот или иной вариант Linux или BSD, а значит, высока вероятность, что контроллеры Broadcom будут работать и в этих системах.

При этом предыдущее поколение контроллеров 9300 на базе чипа Fury продолжает оставаться недорогим решением для бюджетных СХД с производительностью до 1,45 миллиона IOPS и линейной скоростью до 6 Гбайт/с. Но даже серия 9305 может предложить, не считая большего количества портов, быстродействие на уровне  1,5 миллиона IOPS и 6,4 Гбайт/с, а аппаратные ускорители серии 9400 и вовсе способны развить до 1,7 миллиона IOPS на контроллер при максимальной пропускной способности 6840 Мбайт/с. Фактически линейная производительность новых решений Broadcom ограничена возможностями шины PCIe 3.1 x8, которая составляет 64 Гбит/с. Следующим шагом является переход на шину PCIe с 16 линиями.

И такие решения в арсенале Broadcom есть. Это наиболее мощные контроллеры 9405W-16e и 9405-16i. Они располагают всеми возможностями серии 9400, включая смешанное подключение устройств SAS/SATA и NVMe, но при этом имеют вдвое более широкий интерфейс «общения» с хост-системой, что позволяет добиться пропускной способности уже на уровне 128 Гбит/с. Эти устройства предназначены для самых мощных СХД, используемых для хранения видео ультравысокого разрешения, либо в приложениях класса Big Data. Все адаптеры Broadcom поддерживают как инфраструктуру SFF-8639, так и набирающий популярность разъём типа OcuLink; для последнего выпускаются специальные кабели.

Продолжает выпускать Broadcom и решения с поддержкой Fibre Channel. Этот стандарт далеко не нов, но в последнем поколении обеспечивает скорости передачи данных в диапазоне от 3200 до 12800 Мбайт/с. У производителя имеются как простые адаптеры HBA с поддержкой этого стандарта, так и модели с функциями аппаратного ускорения работы дисковых массивов. Все решения, как Fibre Channel, так и SAS/NVMe проходят тщательнейший процесс тестирования — у Broadcom имеется целых четыре тестовых центра. В результате, по словам разработчика, гарантируется бесперебойная работа и совместимость с множеством имеющихся на рынке решений. В списке официально совместимых компонентов на данный момент содержатся 450 моделей HDD, 180 моделей SSD, 75 моделей дисковых полок и корзин и 70 моделей готовых серверов.

Компания Western Digital за прошедшие годы существенно укрепила свои позиции во всех секторах — достаточно вспомнить приобретение подразделения HGST. Диски WD считаются одними из самых надёжных, что неплохо доказывает статистика, о которой мы недавно рассказывали нашим читателям. Теперь компания приобрела Tegile Systems — крупного поставщика решений на базе энергонезависимых типов памяти.

Сделка была объявлена 29 августа и завершена буквально пару дней назад, 4 сентября. К сожалению, точные данные, такие как общая сумма сделки, оглашены не были. В настоящее время Western Digital владеет такими брендами, как HGST, SanDisk и, собственно, WD. С учётом того, что SanDisk ранее выкупила активы Fusion-IO, портфолио WD ещё разнообразнее. Теперь с покупкой Tegile компания совершит прорыв в область твердотельных систем хранения данных корпоративного класса.

Один из продуктов Tegile — флеш-массив

Поскольку WD нацелилась на рынок «больших данных», покупка Tegile выглядит весьма оправданным решением, ведь вместе с активами приобретённой компании Western Digital получила и её базу клиентов — более 1700 компаний, ранее работавших с Tegile Systems. Эта компания специализировалась на скоростном доступе к данным в больших СХД, и WD продолжит работу в этом направлении. Пока это последняя сделка такого рода. Ранее в марте этого года Hewlett Packard Enterprise сделала аналогичный шаг, приобретя Nimble, компанию, аналогичную Tegile Systems.

За прошедшее десятилетие твердотельные накопители прошли путь от первых робких попыток заменить традиционные механические жёсткие диски массивом флеш-памяти до уверенного вытеснения HDD из всех сфер. Приличный пользовательский ПК или ноутбук сегодня немыслим без SSD хотя бы для установки ОС и рабочих приложений, всё чаще используются флеш-накопители в серверах и системах хранения данных. Компания Micron представила очередной шаг в этом направлении — системы SolidScale NVMe Over Fiber.

По сути это разделяемые хранилища на базе накопителей с интерфейсом NVMe, использующие для передачи данных среду Mellanox RDMA over Converged Ethernet. Использование RDMA позволяет добиться низких задержек при обращении к массиву — настолько низких, что в работе он выглядит так же быстро, как и накопители, напрямую подключенные к системной плате. Компания противопоставляет своё решение стандарту NVMe over Fabric (NVMeF), который пока не ратифицирован. По словам представителей компании, новая технология позволяет создавать централизованное хранилище данных, позволяющее создавать отдельные независимые тома нужного объёма для каждого сервера в системе. Аналогичное решение Intel на базе собственного интерконнекта Omni-Path было показано в прошлом году, а этой весной РСК рассказала о будущих гиперконвергентых системах на его основе. 

Централизация хранения данных упрощает обслуживание, стоимость системы в целом и даже экономичность в плане потребления электроэнергии, одновременно обеспечивая более полное использование имеющихся ресурсов. В сравнении с локальными накопителями SolidScale добавляет к задержке всего пять микросекунд, что находится в пределах 4 % разницы, а в целом латентность составляет менее 200 микросекунд. Всего три узла SolidScale, каждый из которых обходится корпусом формата 2U, могут достичь производительности на уровне 10,9 миллионов IOPS — весьма серьёзный показатель при таких скромных габаритах. Решение сопровождается полной программной поддержкой и при помощи удобных графических средств управления позволяет создавать массивы RAID, снапшоты, включать дедупликацию данных и так далее. Массовое развёртывание новых решений Micron планирует начать к концу этого года.

В серверных системах в настоящее время устоялся стандарт накопителей SAS 3.0 (12 Гбит/с), понемногу теснимый аналогичного размера накопителями NVMe с разъёмом SFF-8639, он же U.2. Но дальнейший рост удельной плотности хранения данных ограничивается именно габаритами корпусов накопителей, вот почему в настоящее время рассматривается возможность применения в серверных системах накопителей в формате M.2. В бытовых системах, как настольных, так и мобильных, данный формат уже успел приобрести большую популярность благодаря своим компактным габаритам и универсальности.

Решение HP: до четырёх плат M.2 в едином корпусе

Он может работать как с интерфейсом SATA, так и с интерфейсом PCI Express; в последнем случае современные накопители, за исключением первых моделей такого формата, поддерживают и протокол NVMe. Как полагает Джим О’Рейли (Jim O'Reilly), опытный инженер, некогда возглавлявший команду разработчиков первого чипа-контроллера SCSI и в настоящее время работающий консультантом в области систем хранения данных и облачных вычислений, форм-фактор M.2 достиг стадии, когда устройства, выполненные в нём, стали привлекательными для использования в современных серверных системах.

Типы разъёмов M.2 и их возможности

Пока их сдерживает максимальный объём, составляющий 1 Тбайт, но на мероприятии Flash Memory Summit уже объявлено о том, что в 2017 году должны появиться SSD в формате M.2 ёмкостью до 10 Тбайт. Основной задачей при внедрении M.2 в серверную инфраструктуру станет создание материнских плат, располагающих несколькими разъёмами M.2. Альтернативой является использование плат-конвертеров, использующих слоты PCI Express. Существуют даже платы, оснащённые коммутаторами PCIe, позволяющие устанавливать сразу несколько плат M.2. Подобные устройства попадали в нашу новостную ленту, к их числу относятся HP Z Turbo Drive Quad Pro и Amfeltec Squid PCI Express Carrier.