Технология NVMe-over-Fabrics (NVMe-oF) прочно заняла своё место в производительных системах хранения данных. В случае NVMe/TCP о мировом рекорде заявила Fungible, которая использует во флеш-массивах FS1600 DPU собственной разработки — она получила 10 млн IOPS на случайных операциях, тогда как без DPU удалось достичь только 6,55 млн IOPS при полной загрузке 128-ядерного сервера. NVIDIA ответила на это собственным тестом.

Вчера компания опубликовала шокирующие результаты — DPU BlueField-2 позволил добиться 41,4 млн IOPS, что более чем в четыре раза лучше рекорда Fungible. Прямо имя конкурента не упоминается, но иных показателей в 10 млн IOPS никакой другой вендор и не заявлял. На блоках размером 4К результат NVIDIA составил более 5 млн IOPS, с блоками 512 байт разброс составил от 7 до более чем 20 млн IOPS.

Изображения: NVIDIA

NVIDIA использовала пару серверов HPE Proliant DL380 Gen 10 Plus, каждый с двумя процессорами Intel Xeon Platinum 8380 (Ice Lake-SP, 40C/80T, 2,3-3,4 ГГц, 60 Мбайт L3-кеш, 270 Ватт TDP) и 512 Гбайт DRAM. В каждом узле к шине PCIe 4.0 было подключено две платы NVIDIA BlueField-2P (Performance-версия) с двумя портами 100GbE каждая — ширина канала между узлами составила 400 Гбит/с. Коммутатор не использовался, серверы напрямую соединялись посредством пассивных медных кабелей. В качестве ОС использовалась RHEL 8.3 c ядрами Linux 4.18 и 5.15. Инициаторы применялись как комплектные, так и из состава SPDK.

Результаты тестирования для режима TCP

Тестирование проводилось для NVNe/RoCE и NVMe/TCP в сценариях «100% чтения», «100% записи» и «50/50% чтение-запись». Наилучшие результаты получены при использовании SPDK на обеих системах (но за счёт повышенной нагрузки на CPU). Линейные показатели действительно впечатляют, приближаясь к лимиту канала 4×100GbE, а в режиме 50/50 для 4K с RoCE удалось получить и вовсе 550 Гбит/с (всё-таки дуплекс). Казалось бы, новый, блестящий мировой рекорд у NVIDIA в кармане, однако возникает ряд сомнений по поводу методики тестирования.

...и для RoCE

Во-первых, подозрение вызывает отсутствие в спецификациях данных о конфигурации дисковых подсистем. С учётом того, что используемый сервер имеет 24 SFF-отсека, речь могла бы идти о соответствующем числе Intel Optane P5800X — один такой SSD выдаёт около 1,5 млн IOPS на 4K-блоках и до 5 млн IOPS на блоках размером 512B. Цифры, казалось бы, неплохо согласовываются, хотя такая конфигурация и требует всех 128 линий PCIe 4.0 (по x4 на каждый из 24 гипотетических SSD и два x16 для DPU).

Быстрейшие на сегодня SSD в стандартном форм-факторе: Intel Optane P5800X (Изображение: Intel)

Полное торжество идей NVMe-oF? Не совсем. Ресурс Serve The Home уточнил некоторые детали тестирования у NVIDIA. Так, выяснилось, что в тестовых сценариях компания вообще не использовала подсистему накопителей, отправляя всё в /dev/null. По сути, измерялись передача данных «от Xeon до Xeon», т.е. в первую очередь скорость работы сети. Более того, NVIDIA подтвердила, что массив Arm-ядер на борту BlueField-2 толком не использовался, а весь трафик шёл через стандартный «кремний» ConnectX, также имеющийся в данном DPU.

Сложно сказать, насколько полезно такое тестирование. Конечно, оно демонстрирует великолепные сетевые характеристики BlueField-2, их работу в стандартной серверной среде, готовность программного стека, а также работоспособность систем на базе Xeon Ice Lake-SP с периферией стандарта PCIe 4.0. Однако вопрос взаимодействия BlueField-2 с реальной физической дисковой подсистемой остаётся открытым, поскольку нынешние тесты сравнивать с результатом Fungible затруднительно.

Компания Kioxia сообщила о доступности твердотельных накопителей семейства EM6, относящихся к корпоративному классу. Решения предназначены для использования в составе платформ высокопроизводительных вычислений, систем машинного обучения и искусственного интеллекта.

Источник изображения: Kioxia

Устройства серии EM6 выполнены на основе контроллера Marvell 88SN2400 NVMe-oF. Реализована спецификация NVMe 1.4. Доступны один или два интерфейса Ethernet с пропускной способностью 25 Гбит/с. Накопители заключены в корпус формата 2,5" толщиной 15 мм. Предлагаются два варианта вместимости — 3,84 и 7,68 Тбайт, оба с 1 DWPD.

Источник изображения: Ingrasys

Устройства доступны в составе платформы ES2000 EBOF (Ethernet Bunch of Flash) производства Ingrasys (подразделение Foxconn). Данный продукт представляет собой систему хранения данных в 2U-шасси с возможностью установки 24 накопителей NVMe-oF типоразмера 2,5"/U2/E3.S или 48 E1.S. СХД имеет коммутатор Marvell 98EX5630 и предоставляет 12 200GbE-портов QSFP28/56.

Южнокорейский гигант Samsung представил первый образец системы хранения данных на аппаратной платформе Intel Xeon следующего поколения — Sapphire Rapids. Устройство продемонстрировано в рамках мероприятия OCP Global Summit 2021, которое посвящено открытым проектам в сферах программного и аппаратного обеспечения для центров обработки данных. Новинка разработана совместно с Inspur и Naver Cloud.

Poseidon V2 имеет два процессора Sapphire Rapids, 32 слота для модулей DDR5, а также вмещает до 24 устройств E3.S 1T (в отличие от E1 в Poseidon V1), но корзина совместима и с E3.S 2T. Собственно говоря, хранилищем в традиционно смысле слова эта система не является. Да, она подходит для NVMe SSD с интерфейсом PCIe 5.0 (как PM1743) — обычных NAND и SCM вроде Z-SSD, XL-Flash или Intel Optane — и предлагает быструю реализацию NVMe-oF, в том числе NVMe/TCP.

Poseidon V2 (Здесь и далее изображения Samsung)

Для 200GbE-подключением к системе Samsung уже удалось достичь скорости последовательных чтения и записи в 24,5 и 18,6 Гбайт/с, а для случайных — 19,4 и 8,7 Гбайт/с соответственно. Однако в форм-факторе E3.S также будут выпускаться и SmartSSD с возможностью самостоятельной обработки данных, и различные ускорители, и DRAM-экспандеры. Последнее возможно благодаря поддержке Сompute Express Link (CXL).

Однако наличие аппаратной поддержки — это полдела. Поэтому Samsung развивает фирменную Poseidon Storage OS. ОС будет отвечать за управлением томами, формирование программных RAID-массивов, мониторинг и профилирование производительности и так далее. Кроме того, она предложит функцию высокой доступности (2 узла), многопутевое (multi-path) подключение и будет принимать во внимание неравномерность доступа к памяти (NUMA). Разработчикам будут доступны открытые API.

Старт массового производства Poseidon V2 намечен на III квартал 2022 года, а в IV квартале Samsung планирует передать OCP все наработки по проекту. Строго говоря, большая часть компонентов новинки уже сделана в соотвествии со стандартами OCP, так что этот процесс вряд ли затянется.

Компания Gigabyte Technology анонсировала стоечный сервер R282-Z9G — свою первую систему, оснащённую акселератором GRAID SupremeRAID. Это программно-аппаратное решение призвано устранить узкие места в RAID-системах на базе твердотельных накопителей NVMe.

Новинка выполнена в форм-факторе 2U. Допускается установка двух процессоров AMD EPYC 7003, каждый из которых может насчитывать до 64 вычислительных ядер. В общей сложности доступны 32 слота для модулей оперативной памяти DDR4-3200.

Здесь и ниже изображения Gigabyte

Во фронтальной части расположены 20 отсеков для накопителей формата 2,5" с возможностью «горячей» замены. Ещё два 2,5" посадочных места находятся в тыльной части сервера. В системе задействован ускоритель SupremeRAID SR-1000. Он обеспечивает поддержку устройств NVMe SSD (PCIe 4.0) и формирование массивов RAID 0/1/10/5/6. Есть коннектор М.2 с поддержкой твердотельных модулей 2242/2260/2280/22110 c интерфейсом PCIe 4.0 x4.

Новинка оборудована двумя сетевыми портами 1GbE LAN на базе контроллера Intel I350-AM2 и выделенным сетевым портом управления. Габариты сервера составляют 438 × 87 × 730 мм. На фронтальную панель выведены два порта USB 3.0. Сзади находятся ещё два разъёма USB 3.0, гнёзда для сетевых кабелей и интерфейс D-Sub.

Fungible, один из пионеров освоения концепции сопроцессоров данных (DPU), не столь давно представившая СХД на базе своих чипов, присоединилась к инициативе NVMe-over-TCP и анонсировала HHHL-адаптер Storage Initiator с поддержкой данного стандарта. Более того, компания утверждает, что её решение является самым быстрым в данном классе.

История развивается по спирали: высокопроизводительные решения в области СХД использовали выделенные контроллеры с собственными процессорами, кешами и оперативной памятью, затем выросла популярность программно определяемых решений, задействующих мощности CPU самого сервера, но теперь, с появлением DPU, мы вновь видим возврат к концепции отдельных ускорителей для специфических нагрузок и задач.

В эту канву NVMe-over-TCP укладывается практически идеально, поскольку использует обычные Ethernet-сети, а именно о стандартизации и унификации СХД нового поколения на базе DPU Fungible и заявляла с самого начала. Компания подтвердила свои намерения, анонсировав новую плату расширения Storage Initiator, поддерживающую NVMe/TCP, которая должна сильно упростить внедрение данной технологии в ЦОД.

Блок-схема Fungible S1 DPU

Новинка входит в серию решений Fungible Storage Cluster и, если верить разработчикам, является на сегодня самой производительной реализацией NVMe-over-TCP на рынке. Основой является чип Fungible S1, способный справляться с трафиком 200 Гбит/с и имеющий 32 линии PCIe 4.0. За общие задачи в S1 отвечают 16 ядер MIPS64, для специализированных нагрузок — криптографии, сжатия и дедупликации — имеются выделенные движки.

Fungible Storage Initiator представлена в трёх вариантах: FC50, FC100 и FC200. Старшая модель может обслужить хост-системы со скоростью 2,5 млн IOPS и полностью снимает с неё нагрузку по обслуживанию протокола NVMe/TCP. Это может высвободить до 30% мощности CPU. Платы SI полностью совместимы с уже выпущенными Fungible продуктами, такими, как узел хранения данных FS1600. SI позволяет внедрить поддержку NVMe/TCP и там, где её нет в составе самой ОС, поскольку адаптер «показывает» системе обычные NVMe-устройства.

Сама по себе технология NVMe-over-TCP представляет собой промежуточное звено между классическими решениями SAN на базе iSCSI/TCP или NVMe-over-FC, и обеспечивает практически столь же низкий уровень задержек, как RDMA over Converged Ethernet (200 против 100-150 мкс), но в отличие от последнего, не требует прослойки InfiniBand и специализированных адаптеров.

Компания NetApp, как уже сообщалось, собирается внедрить NVMe/TCP в следующем релизе своей ОС ONTAP, но её опередила Dell EMC, которая, похоже, стала первым действительно массовым поставщиком SAN-решений, внедрившим данную технологию в свои продукты — массивы хранения данных PowerStore.

NVMe-over-TCP: прямой путь к скорости

Первично речь идёт о внедрении последнего обновления VMware Update 3 для vSphere и vSAN, а поскольку Dell Technologies является владельцем и крупнейшим партнёром VMware, неудивительно, что NVMe/TCP первой появится в решениях именно этого производителя оборудования. За поддержку нового протокола отвечает программное обеспечение SmartFabric Storage Software (SFSS), которое вместе с Update 3 будет выпущено 29 октября.

Dell EMC SFSS: централизация, автоматизация и поддержка NVMe для любого оборудования

SFSS автоматизирует процесс использования NVMe IP SAN: как хост-система, так и интерфейсы со стороны хранилища данных будут регистрироваться централизованным контроллером (Centralized Discovery Controller), что позволит хостам сразу видеть новые ресурсы. Но работать NVMe/TCP будет и в режиме без выделенного контроллера (Direct Discovery). Данное ПО будет полностью интегрировано с VMware ESXi 7.0 Update 3, которое можно использовать в серверах Dell EMC PowerEdge.

Со стороны аппаратного обеспечения поддержку NVMe IP SAN получат продукты Dell EMC PowerSwitch и SmartFabric Services, также компания планирует добавить поддержку NVMe/TCP в серию флеш-хранилищ PowerMax и программно-определяемых СХД PowerFlex. Новая технология явно набирает популярность: помимо Dell EMC и NetApp, её поддерживают Lightbits Labs (для LightOS на днях получена сертификация VMware), Toshiba (в Kumoscale), Iinfinidat, NVIDIA/Mellanox и Pavillion Data.

ONTAP — это фирменная операционная система NetApp, разработанная компанией специально для использования в собственных системах хранения данных, таких как, например, массивы FAS и AFF. На волне роста популярности протокола NVMe и соответствующих накопителей NetApp объявила о внедрении в ONTAP поддержки NVMe-over-TCP (NVMe/TCP).

С технологиями RDMA и NVMe компания экспериментирует давно — ранее поддержка NVMe-oF была реализована посредством RDMA over Converged Ethernet (RoCE), а затем пришла очередь Fibre Channel. Оба этих варианта обладают своими достоинствами, в частности, весьма низкой латентностью, составляющей порядка 100 мкс для RoCE и около 150 мкс для NVMe-over-FC, однако данные технологии нельзя назвать поистине универсальными, в отличие от крайне распространённых Ethernet-сетей со стеком TCP/IP.

Преимущества NVMe-over-TCP перед классическим iSCSI

Эта связка хорошо описана, унифицирована и широко поддерживается всеми производителями сетевого оборудования, в то время как RoCE использует инкапсуляцию InfiniBand и требует поддержки со стороны адаптеров. Однако без RDMA латентность СХД на базе Ethernet/TCP может быть достаточно высокой и достигать 0,1 c, что зачастую неприемлемо в современных условиях и не раскрывает в полной мере потенциал SSD. Обойти эти проблемы позволяет технология NVMe-over-TCP — время отклика в этом случае чуть выше, порядка 200 мкс. При этом модернизация существующей инфраструктуры не будет слишком дорогой.

Преимущества NVMe-over-Fabrics на примере Oracle

NetApp с полным основанием считает данное сочетание основой будущего развития корпоративных СХД. На программном уровне NVMe-over-TCP существенно проще классического iSCSI, поскольку не требует низкоуровневых драйверов и взаимодействует с накопителями напрямую, позволяет избежать ситуаций программной блокировки. К тому же NVMe поддерживает куда больше очередей запросов с максимальной глубиной до 65535 против 128 у классического iSCSI.

NetApp объявила, что полноценная поддержка NVMe-over-TCP будет внедрена в следующем крупном релизе ONTAP 10, включая облачные варианты. Заказчикам компания предложит упрощённую процедуру апгрейда. Хотя над внедрением NVMe-over-TCP работают и другие компании, например, Lightbits Labs и Toshiba, NetApp, вероятно, станет первым действительно крупным поставщиком СХД, внедрившим данную технологию.

В начале августа VMware, Dell и NVIDIA объявили о раннем доступе к Project Monterey. А вслед за этим об аналогичной инициативе заявила и Pensando Systems, которая утверждает, что её решение лучше, чем BlueField-2. И дело не только в том, что её DPU доступны в сертифицированных VMware серверах Dell и HPE или, к примеру, некоторых СХД NetApp.

Ускорители Pensando, по словам создателей, опережают BlueField-2 в Project Monterey на поколение. Как заявил главный маркетолог Pensando Кристофер Рэтклифф (Christopher Ratcliffe), их DPU предлагает лучшие в своем классе возможности и улучшенные на порядок показатели задержки и передачи пакетов. При этом потребляемая мощность составляет 20 Вт при пропускной способности 25 Гбит/с, и порядка 30 Вт при 100 Гбит/с.

Pensando DSC-100

Старшая версия DPU DSC-100 (Distributed Services Card) способна обрабатывать до десятков миллионов пакетов в секунду с миллионами маршрутов и списков контроля доступа. При этом средняя задержка составляет всего 3 мкс с джиттером на уровне 35 нс. В техническом плане отмечается, что карта Pensando в 4-5 раз производительнее, чем SmartNIC на базе Arm и NVIDIA BlueField-2 от NVIDIA. DPU оснащён ядрами Arm и программируемым (P4) ASIС Capri собственной разработки. Карта обеспечивает виртуализацию NVMe и поддержку NVMe-oF с транспортом RDMA или TCP, дедупликацию и ускорение CRC32/64.

Pensando DSC-25

Она поддерживает IPSec-туннели, а также шифрование (AES-256) и (де)компрессию вместе с защитой и глубокой телеметрией со скоростью всё те же 100 Гбит/с. При этом доступна не только разгрузка CPU и ускорение работы виртуальных машин, но и их «живая» миграция (VMotion), чего, по словам компании, конкуренты предложить не могут. Рэтклифф отметил, что стартап тесно сотрудничает с VMware, чтобы максимально использовать все возможности аппаратного и программного стека компании.

При этом у стартапа, основанного выходцами из Cisco, дела, судя по всему, идут неплохо. В августе компания завершила раунд финансирования и привлекла $35 млн от Ericsson, Qualcomm и Liberty Global Venture. Ранее в стартап инвестировали HPE и Lightspeed Venture Partners, а общая сумма привлечённых средств сейчас составляет $313 млн.

Компания Kalray активно развивает свою концепцию сопроцессора данных (DPU) и имеет в своём арсенале соответствующие ускорители, о которых мы не так давно рассказывали в одной из предыдущих заметок. На днях Kalray заключила ещё один стратегический союз, на этот раз с Viking Enterprise Solutions, крупным OEM-поставщиком серверного оборудования, включая системы хранения данных.

Сама Viking довольно длительное время концентрирует свои усилия в направлении создания систем хранения данных, особенно с поддержкой популярного стека технологий NVMe over Fabrics. В начале лета она уже анонсировала СХД VDS2249R на 24 накопителя NVMe с портами 100GbE. Системы такого класса создают огромный поток данных, нагружающий центральные процессоры СХД.

СХД Viking VDS2249R имеет модульную конструкцию

И снять с них нагрузку как раз и помогут разработки Kalray, которая располагает уникальным многоядерным DPU Coolidge MPPA, способным «переварить» 12 Гбайт/с при крайне невысоком уровне задержек. Компании заключили договорённость о разработке нового класса решений NVMe-oF на базе вышеупомянутой системы VDS2249R.

Kalray не без оснований считает, что за DPU — будущее дезагрегированных СХД

Напомним, новая СХД Viking компактна, она занимает в высоту всего 2U, но при этом вмещает 24 накопителя в формате U.2. Каждый из двух контроллеров данной системы хранения данных поддерживает платы расширения с интерфейсом PCI Express 3.0 и позволяет производить замену практически всех компонентов в «горячем» режиме.

Ускоритель Kalray K200-LP идеально впишется в состав СХД, поскольку представляет собой низкопрофильную плату. Несмотря на компактность, он обладает внушительными ресурсами, имея на борту 80-ядерный процессор Coolidge MPPA и до 32 Гбайт собственной оперативной памяти DDR4. Сочетание технологий Viking и Kalray приведёт к созданию системы FLASHBOX нового поколения, предназначенной для задач машинного обучения, аналитики, обработки изображений и видео в реальном времени, а также любых других сценариев подобного рода. Официальный анонс FLASHBOX запланирован на конец сентября.

Компания Graid Technology разработала программно-аппаратное решение SupremeRAID, которое поможет устранить узкие места в RAID-системах на базе NVMe-накопителей, подключённых как напрямую, так и по сети (NVMe-oF). Аппаратная часть решения представлена однослотовой (100 × 197,5 мм) картой SupremeRAID SR-1000 с интерфейсом PCIe 3.0 x16, которая потребляет 75 Вт.

Карта оснащена высокопроизводительным «умным» процессором для обработки всех операций RAID и поддерживает различные интерфейсы NVMe (U.2, M.2, AIC) а также SAS и SATA. По заявлению производителя, это первая в мире карта, которая позволяет пользователям добавлять такие функции как сжатие, шифрование и тонкое выделение ресурсов, а также позволяющая организовать NVMe-oF RAID-массив.

Программная часть разработана для Linux (CentOS 8.3, RHEL 8.4, Ubuntu 20.04, openSUSE Leap 15.2, SLES 15 SP2) и состоит из модуля ядра (graid.ko), CLI-инструмента управления (graidctl) и демона управления обработкой запросов (graid_server). Реализована поддержка массивов RAID 0/1/5/6/10 с максимальным числом физических дисков 32 (до 4 групп дисков, по 8 шт. в каждой). Максимальная ёмкость дисковой группы ограничивается только физическими характеристиками накопителей.

Архитектура SupremeRAID, основанная на виртуальном NVMe-контроллере и PCIe-ускорителе, берущем на себя все операции с RAID, высвобождает ресурсы CPU и облегчает интеграцию с современными программно компонуемыми системами (SCI) для получения 100% доступной производительности SSD. При этом возможна реализация облачного подхода при работе с хранилищем.

Вычислительная мощность применённого процессора позволяет отказаться от использования модулей кеширования для достижения удовлетворительной производительности, а также от резервных батарей, обеспечивающих сохранность данных в кеше в случае отключения питания. А поддержка NVMe-oF для организации RAID-массива позволяет дезагрегировать ресурсы хранения, предоставляя пользователям возможности их более полного использования — в независимости от физического местонахождения скорость будет практически такой же, как и при прямом подключении.

Заявленная производительность составляет более 6 млн. IOPS, а скорость работы массива на базе накопителей с интерфейсом PCIe 3.0 и PCIe 4.0 составляет 25 и 100 ГиБ/с соответственно. И это похоже на правду, если верить данным Gigabyte, которая одной из первых применила это решение на практике. Её 2U-сервер R282-Z94, включающий два процессора AMD EPYC 7742, 20 NVMe SSD Kioxia CM6-R и SupremeRAID, позволил провести серию тестов производительности подсистемы хранения данных.

gigabyte.com

Массив RAID-5, состоящий из трёх накопителей CM6-R в OLAP-задачах показывает 4,6 млн IOPS на случайном чтении и 765 тыс. IOPS на случайной записи, обеспечивая при этом чрезвычайно низкую задержку. Даже в случае отказа одного из SSD, производительность системы все равно превышает 1 млн IOPS, сохраняя высокую доступность приложения.

Массив RAID-5, состоящий из 20 накопителей CM6-R, обеспечивает очень большую ёмкость с последовательным чтением на уровне 91 ГиБ/с и последовательной записью 7 ГиБ/с. Наконец, массив RAID-10 из те же 20 накопителей может обеспечивать последовательное чтение 104 ГиБ/с и последовательную запись 30 ГиБ/с, что почти в 8 раз выше, чем у традицонных RAID-контроллеров.

gigabyte.com

Такой результат делает решение привлекательным для приложений, требующих высокой скорости чтения, таких как машинное обучение, анализ больших данных и т.д. По словам Лиандера Ю (Leander Yu), генерального директора GRAID, сотрудничество с GIGABYTE и Kioxia позволило компании представить технологию хранения и защиты данных, обеспечивающую лучшую в отрасли производительность для рабочих нагрузок ИИ, IoT и 5G в новом поколении All-Flash СХД.