Материалы по тегу: протоколы

04.06.2021 [02:43], Владимир Агапов

В спецификации NVMe 2.0 официально вошла поддержка HDD

Вчера был опубликован релиз спецификаций NVMe 2.0. Из скромного протокола для блочных устройств хранения данных, использующих PCI Express, NVMe эволюционирует в один из самых важных и универсальных протоколов для хранилищ практически любого типа. Новые спецификации будут способствовать развитию экосистемы устройств NVMe: SSD, карт памяти, ускорителей и даже HDD.

Вместо базовой спецификации для типовых PCIe SSD и отдельной спецификации NVMe-over-Fabrics (NVMe-oF), версия 2.0 изначально разработана как модульная и включает целый ряд отдельных стандартов: базовый набор (NVMe Base), отдельные наборы команд (NVM, ZNS, KV), спецификации транспортного уровня (PCIe, Fibre Channel, RDMA, TCP) и спецификации интерфейса управления (NVMe Management Interface). Вместе они определяют то, как программное обеспечение хоста взаимодействует с накопителями и пулами хранения данных через интерфейсы PCI Express, RDMA и т.д.

Базовая спецификация теперь охватывает и локальные устройства, и NVMe-oF, но является намного более абстрактной и не привязанной к реальному миру — было изъято столько всего, что её уже недостаточно для определения всей функциональности, необходимой для реализации даже простого SSD. Реальные устройства должны ссылаться ещё как минимум на одну спецификацию транспортного уровня и на одну спецификацию набора команд. В частности, для типовых SSD, к которым все привыкли, это означает использование спецификации транспорта PCIe и набора команд блочного хранилища.

Три стандартизированных набора команд (блочный доступ, ZNS и Key-Value) охватывают области применения от простых твердотельных накопителей с «тонкими» абстракциями над базовой флеш-памятью до относительно сложных интеллектуальных накопителей, которые берут на себя часть задач по управлению хранением данных, традиционно выполнявшихся программным обеспечением на хост-системе. При этом различным пространствам имен, расположенным за одним контроллером, дозволено поддерживать разные наборы команд.

В NVMe 2.0 также добавлен стандартный механизм управления пулами хранения данных, который позволяет более тонко управлять нагрузкой в зависимости от производительности, ёмкости и выносливости конкретных устройств. Иерархия пулов также была расширена ещё одним уровнем доменов, внутри которых теперь существуют группы, где, в свою очередь, находятся отдельные наборы NVM-устройств.

Будущие наборы команд, например для вычислительных накопителей (computational storage), все еще находятся в стадии разработки и пока не готовы к стандартизации, но новый подход NVMe 2.0 позволит легко добавить их при необходимости. В принципе, в состав NVMe мог бы войти и стандарт Open Channel, но отрасль считает, что парадигма зонированного хранения обеспечивает более разумный баланс, и интерес к Open Channel SSD ослабевает в пользу ZNS-решений.

Из прочих изенений в NVMe 2.0 можно отметить поддержку 32-бит и 64-бит CRC, новые правила безопасного отключения устройств в составе общих хранилищ (при доступе через несколько контроллеров), более тонкое управление правами доступа — можно разрешить чтение и запись, но запретить команды, меняющие настройки или состояние накопителя — и дополнительные протоколы, касающиеся обновления прошивок.

Также в NVMe 2.0 появилась явная поддержка жёстких дисков. Хотя маловероятно, что HDD в ближайшее время перейдут на использование PCIe вместо SAS или SATA, поддержка таких носителей означает, что в будущем предприятия смогут унифицировать свои SAN c помощью NVMe-oF и отказаться от старых протоколов, таких как iSCSI.

В целом, NVMe 2.0 приносит не та уж много новых функций, как это было с прошлыми версиями. Однако сама реорганизация спецификации поощряет итеративный подход и эксперименты с новыми функциями. Так что в ближайшие несколько лет, вероятно, обновления будут менее масштабными и станут выходить чаще.

Постоянный URL: http://servernews.ru/1041208
12.08.2017 [21:20], Алексей Степин

Cavium представила стандарт FC-NVMe 1.0

Протокол NVMe стремительно отвоёвывает позиции у более привычных SAS и SATA, что неудивительно — последние несут в себе тяжелый груз наследия механических накопителей и далеко не самым оптимальным образом работают с современными твердотельными устройствами хранения данных. В локальном масштабе проблем у NVMe нет, но крупные вычислительные системы часто нуждаются в пробросе протоколов в сетевой среде, объединяющей вычислительные узлы или соединяющей их с системами хранения данных.

FC-NVMe может параллельно работать с FC-SCSI

FC-NVMe может параллельно работать с FC-SCSI

Довольно активно в качестве такой среды используется технология Fibre Channel. Первая волна решений шестого поколения обеспечивает передачу данных со скоростью 3200 Мбайт/с, а вторая уже рассчитана на внушительные 12800 Мбайт/с. Проблему проброса NVMe в среде Fibre Channel решила компания Cavium, известный разработчик интеллектуальных сетевых процессоров и решений. Она в числе первых обнародовала поддержку стандарта NVMe over Fibre Channel (FC-NVMe) версии 1.0. Процессоры Cavium QLogic серий 2700 и 2690 (шестое и пятое поколение FC, соответственно), используемые в адаптерах HBA, получили полную поддержку FC-NVMe 1.0 путём обновления прошивок и драйверов.

Адаптеры QLogic 2700 (поколение 6.1, 3200 Мбайт/с)

Адаптеры QLogic 2700 (поколение 6.1, 3200 Мбайт/с)

Теперь соответствующие адаптеры отлично подходят для подключения серверных систем к хранилищам данных на базе флеш-памяти, использующим протокол NVMe. Новый стандарт позволяет использовать пропускную способность Fibre Channel эффективно, без дополнительных задержек и падения производительности. В открытом доступе обновлений пока нет, но их можно запросить у продажного отдела Cavium. Рассчитаны новые драйверы на работу в среде Linux и поддерживают режимы Initiator, Target и Target SPDK. Поддерживается параллельная обработка потоков FC-NVMe и FCP-SCSI, что делает Fibre Channel ещё более универсальной технологией. В настоящее время именно Cavium является компанией, внесшей наибольший вклад в развитие технологии FC-NVMe.

Постоянный URL: http://servernews.ru/956873
26.07.2017 [12:20], Алексей Степин

Главным узким местом современных платформ становится PCI Express

Создать идеальную вычислительную платформу ещё никому не удавалось — в любом, даже самом совершенном дизайне обязательно обнаруживались узкие места, так называемые «бутылочные горлышки». В обычных персональных компьютерах и рабочих станциях долгое время основным узким местом были механические накопители данных, в кластерных системах и суперкомпьютерах — межузловые сетевые соединения. Сегодня скорости таких популярных решений, как Ethernet и InfiniBand достигли значений 100‒200 Гбит/с, и впереди, не столь уж далеко, уже просматриваются скорости от 400 Гбит/с и выше. Но с ликвидацией одного «бутылочного горлышка» появилось другое, и аналитики считают, что это шина PCI Express. В наши дни на рынке доминирует стандарт PCIe 3.0, пропускная способность у которого составляет порядка 1 Гбайт/с (8 Гбит/с) на линию, а совокупно этот параметр составляет 32 Гбайт/с на 16 линий в двух направлениях.

Эволюция системных шин

Эволюция системных шин

Да, PCI-SIG не сидит на одном месте и спецификации PCI Express 4.0 определены: ревизия 0.9 принята в июне, первым коммерческим процессором с поддержкой новой технологии станет IBM POWER9. Однако существенная доля рынка принадлежит решениям на базе x86-совместимых процессоров, а пока ни Intel, ни AMD не поддерживают PCIe 4.0 даже в своих последних решениях — чипах Xeon Scalable и Naples EPYC, соответственно. В следующем году мы можем увидеть новые продукты с поддержкой нового стандарта, однако следует понимать, что четвёртая версия основной универсальной шины предусматривает лишь двукратное увеличение скорости передачи данных, что при нынешних темпах роста вычислительных мощностей кластеров и суперкомпьютеров может оказаться недостаточно. В планах PCI-SIG имеется и PCI Express 5.0 (32 Гбит/с на линию, 128 Гбайт/с на 16 линий в двух направлениях), но появления соответствующих спецификаций не следует ждать ранее 2019 года.

Рост пропускной способности и появление новых стандартов

Рост пропускной способности и появление новых стандартов

Основным форм-фактором PCIe в серверных и кластерных системах является слот x8, более производительный x16 используется редко, и почти вся сетевая периферия и дисковые контроллеры используют именно конструктив с восемью линиями. Освоение скоростей порядка 400 Гбит/с как раз и потребует учетверения производительности PCIe 3.0 для того, чтобы однопортовые контроллеры InfiniBand, Ethernet и им подобные решения смогли сохранить конструктив x8, занимающий меньше места, нежели x16. Но найдется место новым скоростям и адаптерам с разъёмом x16. Производительность различных сопроцессоров, как на базе графических чипов и ПЛИС, так и специализированных решений вроде модулярно-логарифмического сопроцессора Осинина, также будет расти, что потребует расширения пропускной способности интерфейса, с помощью которого они будут общаться с другими компонентами системы.

PCI-SIG тестирует новые стандарты

PCI-SIG тестирует новые стандарты

Но внедрение PCI Express 5.0 не будет лёгким. Уже с PCIe 4.0 разработчики столкнулись с рядом проблем, а следующая итерация потребует ещё более жёстких мер по предотвращению утечек, наводок и обеспечению надёжного функционирования интерфейса на экивалентной частоте 32 ГГц. Президент PCI-SIG уверен в успехе и в том, что перехода на оптику не потребуется: PCI Express 5.0 будет использовать более компактные разъёмы с укороченными ключами, выполненные из новых материалов, но обратная механическая и электрическая совместимость с адаптерами стандартов PCIe 3.0 и 4.0 сохранится. Это особенно важно в свете того, что жизнь PCI Express 4.0 на рынке, судя по всему, будет довольно короткой: процессоры IBM POWER9 будут массово поставляться на рынок не ранее 2018 года, а Intel может отложить внедрение PCIe 4.0 до 2019 года в чипах Xeon Cannonlake. Похоже, именно PCIe 5.0 станет новым долгоживущим стандартом, так что разработчикам системных плат, сетевых и иных контроллеров следует задуматься о внедрении этого стандарта уже сейчас.

Пример процессора с интерфейсом Omni-Path

Пример процессора с интерфейсом Omni-Path

Но существует и иное мнение: хотя рост требуемой пропускной способности и может спровоцировать массовый переход производителей аппаратного обеспечения на использование PCI Express 5.0 в районе 2020 года, однако ещё до этого события может вырасти популярность таких шин, как Intel Omni-Path, IBM CAPI/OpenCAPI или NVIDIA NVLink. Собственно, именно задержки с внедрением PCI Express 4.0 вызвали к жизни эти промежуточные решения — но у них есть шанс из промежуточных стать основными там, где требуется высокая скорость соединения как системных компонентов, так и отдельных вычислительных узлов между собой.

Постоянный URL: http://servernews.ru/956003
Система Orphus