Идея вычислительных накопителей, располагающих помимо классического контроллера дополнительными мощностями в виде процессоров общего назначения или FPGA, насчитывает уже не один год. С 2018 года ассоциация SNIA (Storage Networking Industry Association) работала над созданием единого стандарта для таких устройств. И вот, наконец, первая официальная версия этих спецификаций увидела свет.

Стандарт, озаглавленный Computational Storage Architecture and Programming Model, описывает архитектуру вычислительных накопителей и методы работы с ними, что должно сильно упростить и ускорить разработку как аппаратных, так и программных решений, а также обеспечить совместимость устройств различных производителей.

Основные виды вычислительных устройств хранения данных. Источник: SNIA

Рабочая группа TWG, ответственная за разработку нового стандарта, была сформирована ещё в 2018 году. Первые предварительные наработки SNIA версии 0.1 появились в феврале 2019 года, в них вошла базовая документация, описывающая разработку на базе стандарта NVMe. Финальная же версия появилась только в самом конце августа этого года.

Второе поколение «умных» накопителей Samsung. Источник: Samsung Electronics

Спецификация содержит теоретическое описание различных видов вычислительных накопителей (CSD, computational storage drive) и массивов (CSA, computational storage array), а также сопроцессоров (CSP, computational storage processor). В документе детально разбирается терминология и принципы работы таких устройств, описаны методы их программного обнаружения, конфигурирования и использования, а также способы обеспечения безопасности и многое другое.

В настоящее время усилия рабочей группы TWG концентрируются на создании единого программного API, в основу которого должна лечь модель, описанная в новом стандарте. Стоит отметить, что SNIA считает, что следующим транспортным стандартом для устройств хранения данных после NVMe станет CXL. В рамках единого стандарта продолжит работу по его внедрению и консорциум NVM Express.

Сокращение дистанции между вычислительными ресурсами и ресурсами памяти породило ряд технологий, включая различные варианты «умной» DRAM, однако компания Macronix, поставщик NOR- и NAND-устройств, видит проблему иначе и предлагает перенести ряд вычислений непосредственно в специальную разновидность флеш-памяти.

С растущими объёмами данных в ряде современных сценариев, включая машинное обучение, системы не всегда могут «прокормить» вычислительные ядра, так что Macronix предлагает производить первичную обработку данных прямо во флеш-памяти. И такую память под названием FortiX Macronix представила на мероприятии Flash Memory Summit 2022.

Источник: Blocks & Files

В данном случае речь не о классическом «вычислительном накопителе», в котором используется достаточно мощный контроллер с процессорными ядрами общего назначения или сразу FPGA. Сама структура NAND-чипов Fortix включает в себя специализированные структуры nvTCAM (non-volatile ternary content-addressable memory).

Она может выполнять достаточно узкоспециализированные вычисления, в частности, поиск по ключевым словам, и определение расстояния Хэмминга. Она работает не так быстро, как аналогичные запросы к классической DRAM, но это без учёта накладных расходов на транспортировку данных с флеш-накопителя в память и выполнение соответствующих функций с участием центрального процессора.

Источник: Blocks & Files

В случае с FortiX флеш-память выполняет эти задачи сама, чем экономит пропускную способность и электроэнергию. В сравнении с DRAM накопитель на базе памяти FortiX может выигрывать в некоторых аспектах, предлагая плотность упаковки от 64 Гбит на чип против 8–16 у DRAM, а также потребляя около 330 мВт против примерно 1 Вт. Правда, скорость поиска на порядок ниже, зато число запросов на порядок больше, утверждает Macronix.

Компания называет областью применения FortiX различные задачи машинного интеллекта — распознавание паттернов и голоса, поиск в крупных (Big Data) массивах данных, поиск совпадения в ДНК. Подробностей о строении вычислительной части FortiX компания не приводит и некоторые зарубежные источники считают, что речь может идти о разных комбинациях NAND и специфических, настроенных под определенную задачу, обработчиках запросов.

«Вычислительные» или «умные» SSD уже не являются новой технологией: один за другим разработчики на рынок новые продукты. А плодом сотрудничества между Лос-Аламосской национальной лабораторией (LANL) и компанией SK hynix стал новый класс подобного рода устройств.

На мероприятии Flash Memory Summit 2022 этот альянс продемонстрировал SSD, в котором доступ к данным основан не на традиционном блочном принципе и даже не на файловом, а на принципе хранилищ «ключ-значение» (key–value store, KV-CSD). Это не первый подобный проект. Более того, в спецификациях NVMe 2.0 уже определён необходимый набор команд.

Прототип KV-CSD. Источник: LANL

Структуры «ключ-значение» широко применяются в индустрии аналитики, так что накопитель, способный работать с таким форматом данных напрямую и на низком уровне может обеспечить огромный выигрыш в производительности в ряде сценариев. Детище LANL и SK hynix, работающее под управлением DeltaFS такой выигрыш и продемонстрировало, превзойдя классические SSD в 1000 раз за счёт эффективной индексации и сокращения объёмов передаваемых при запросе данных (data reduction).

Представитель LANL отметил, что такая эффективность в первичной обработке данных серьезно ускоряет анализ результатов крупномасштабных физических симуляций в сравнении с файловым хранилищем. Прямая работа с данными на столь низком уровне должна помочь учёным справиться с постоянно растущими объёмами информации. Оба участника альянса довольны полученными результатами и намереваются продолжить сотрудничество в деле разработки и выпуска вычислительных накопителей нового типа.

Идея «умных» накопителей не нова и довольно очевидна — накопители можно дополнить чипами, которые могут взять на себя первичную обработку данных непосредственно на месте их хранения, например, обслуживая рутинные операции с базами данных или (де-)компрессию на лету и без загрузки CPU хост-системы.

Samsung Electronics экспериментирует с данной технологией давно: компания демонстрировала прототипы «вычислительных SSD» ещё на SC18, а в 2020 году уже представила коммерческие накопители SmartSSD, оснащённые мощной ПЛИС Xilinx Kintex, дополненной 4 Гбайт оперативной памяти. Но пришло время двигаться дальше и сегодня компания анонсировала новое поколение накопителей.

Источник: Samsung Electronics

Во втором поколении SmartSSD компания-разработчик сменила FPGA Kintex на более универсальную и производительную платформу Versal. Сама AMD Xilinx называет эти чипы «адаптивной платформой ускорения вычислений», поскольку в них имеются блоки практически на любой случай, от классической ПЛИС до ядер Arm Cortex-A и R, а также DSP и криптодвижки.

Источник: Samsung Electronics

По словам Samsung, новые накопители обрабатывают «тяжёлые» запросы к БД на 50 % быстрее традиционных серверных SSD, при этом они на 70 % экономичнее, а выигрыш по нагрузке на CPU сервера составляет и вовсе 97 %, поскольку основную работу берёт на себя Versal. Главной областью применения SmartSSD нового поколения Samsung видит рынок машинного обучения и сетей пятого и шестого поколений, как требующий активной обработки больших объёмов данных.

Стартап Esperanto Technologies сообщил о том, что сразу несколько крупных IT-игроков тестируют её уникальный ИИ-ускоритель ET-SoC-1. В их число, в частности, входит Samsung SDS, подразделение южнокорейского гиганта, специализирующееся на IT-решениях и услугах. В конце прошлого года Samsung уже представила концепт SmartSSD, который как раз задействует ET-SoC-1 для «умной» обработки данных непосредственно на накопителе.

Чип Esperanto ET-SoC-1 использует архитектуру RISC-V. Он содержит 1088 энергоэффективных ядер ET-Minion и четыре высокопроизводительных ядра ET-Maxion. Подробно об особенностях новинки можно узнать в нашем материале. Чип предназначен для решения сложных задач, связанных с ИИ и машинным обучением. Утверждается, что изделие обеспечивает более высокую энергетическую эффективность, нежели другие специализированные решения.

Esperanto прямо не говорит, кто ещё, помимо Samsung SDS, тестирует решение. Отмечается лишь, что это «ведущие заказчики». Между тем Патрик Бангерт, вице-президент по ИИ-решениям в Samsung SDS, говорит, что его команда впечатлена результатами первых тестов ET-SoC-1: «Чип был быстрым, производительным и в целом простым в использовании. Кроме того, изделие продемонстрировало почти линейное масштабирование производительности в различных конфигурациях вычислительных ИИ-кластеров»

Изображение: Samsung

Аналитики Cambrian-AI Research также высоко оценили работу новинки в Resnet50, DLRM и BERT, отметив, что уровень энергопотребления укладывался в 20 Вт при максимальной рабочей частоте чипа. Отмечена и хорошая программная поддержка, которая позволит не только охватить будущие ИИ-нагрузки, но и потенциально позволит использовать ET-SoC-1 для других массивно-параллельных задач. Поскольку чип ориентирован на гиперскейлеров, качество ПО зачастую выходит на первый план.

Первый в мире «большой» ИИ-ускоритель на базе архитектуры RISC-V от молодой компании Esperanto, созданной ветераном индустрии Дэвидом Дитцелем (Dave Ditzel), который стоял у истоков легендарной Transmeta, может найти своё место в новых «умных» SSD Samsung. Корейский гигант раскрыл сведения о прототипе такого накопителя в рамках мероприятия SAFE, прошедшем осенью этого года.

Ускоритель Esperanto ET-SoC-1 изначально создавался с прицелом на энергоэффективные инференс-платформы для различных систем рекомендаций, и помимо 1088 ядер (ET-Minion), получил весьма объёмную подсистему SRAM (более 160 Мбайт) и восьмиканальный контроллер LPDDR4. Создатели ET-SoC-1 получили первые партии чипов, выпущенные с использованием 7-нм техпроцесса, и в настоящее время активно работают над различными сценариями использования своего детища.

Изображения: Samsung/Esperanto

Но не только они — на ET-SoC-1 обратила внимание компания Samsung. Такие системы сейчас используются повсюду, от стриминговых платформ до крупных магазинов и социальных сетей, поэтому рынок огромен, а преимущество на нём получат те, чьи движки рекомендаций работают быстрее и точнее. Они настолько прочно вошли в нашу жизнь, что по некоторым оценкам, у таких гигантов, как Google, Facebook* или Amazon, до 80% всех ИИ-нагрузок приходится именно на рекомендательные системы.

SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем и освобождает системные ресурсы

Увы, движки подобного рода оперируют с массивами информации объёмами в десятки гигабайт, но чтобы использовать их, системе надо сперва затребовать соответствующие данные с накопителей. В то же время от таких движков требуются практически мгновенные ответы на поступающие запросы, а сами массивы требуют регулярного обновления.

Но ET-SoC-1, по мнению Esperanto и Samsung, позволит перенести этот процесс ближе к накопителям — чип может быть непосредственно интегрирован в SSD и считывать массивы данных непосредственно из NAND-памяти. В концепции такого SmartSSD Samsung центральные процессоры серверов занимаются только диспетчеризацией пользовательских запросов, а вся работа с массивами, сопоставлением данных и выработкой решения ложится на плечи ET-SoC-1.

Первые результаты тестов, опубликованные Samsung

Такой подход разгружает не только процессоры, но и освобождает ресурсы PCIe-шины. Предварительные тесты показывают, что выигрыш в используемой пропускной способности между SSD и CPU может достигать от 10 до 100 раз, и это при том, что в прототипе задействуется лишь небольшая часть из 1088 ядер ET-SoC-1 — от 32 до 128. Но архитектура у творения Esperanto модульная, и ничто не мешает серийным «рекомендательным SSD» использовать более просты чипы с меньшим числом блоков ET-Minion.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Концепция «вычислительных» накопителей не нова и, в сущности, напоминает концепцию DPU/SPU. Такие продукты есть у Samsung и NGD Systems, а также у ScaleFlux. Последняя буквально вчера представила свою новую разработку —  сопроцессор SFX 3000 и решения на его основе.

С DPU/SPU «умные» SSD роднит наличие достаточно мощного процессора, берущего на себя специфические задачи — например, аппаратное ускорение сжатия, транскодирования видео или работы с базами данных. В первом случае чип ускорителя располагается, как правило, на отдельной PCIe-плате, а во втором — непосредственно внутри SSD, причём на чип возложены не только высокоуровневые задачи ускорения, но и обслуживание флеш-массива NAND.

Ещё в 2020 году компания ScaleFlux представила накопители CSD 2000, которые продемонстрировали впечатляющий выигрыш в производительности в MySQL в сравнении с обычными SSD. А сейчас она анонсировала новое поколение своих решений, основой которого стал чип SFX 3000. Новый процессор для «вычислительных» накопителей может похвастаться восемью ядрами ARM Cortex-A53 и массивом дополнительных ускорителей.

SFX 3000 имеет 16 каналов для флеш-памяти. Благодаря фирменной прослойке Variable-Length Mapping (изменяемая длина блока данных) чип эффективно использует все ресурсы флеш-массива. (Де-)шифрование и (де-)компрессия данных осуществляются им полностью прозрачно для остальной системы. Помимо этих функций в составе чипа имеются блоки хеширования и сравнения паттернов, есть также аппаратный RoT и собственное хранилище ключей.

Результаты тестов CSD 3000 в обычном режиме и при сжатии 2 к 1

Более высокоуровневые функции берут на себя Arm-ядра, которые разделены на два кластера по 4 ядра в каждом. Один кластер зарезервирован для пользовательских задач, второй же используется прошивкой ScaleFlux для внутренних целей, хотя в некоторых сценариях оба кластера могут быть задействованы пользователем. За общение с хост-системой отвечает конфигурируемый контроллер PCIe 4.0 (до 8 линий и до 2 портов). Заявлена скорость последовательной записи до 9 Гбайт/с, а скорость выполнения случайных операций составляет 2 и 1,1 млн IOPS на операциях чтения и записи соответственно.

Новинка будет доступна для разработчиков SSD и ускорителей, но представила компания также и собственные решения на основе SFX 3000. Это NVMe-модели CSD 3000, NSD 3000 и CSP 3000. Серия CSD 3000 заменяет упомянутую выше CSD 2000, это классические «вычислительные» SSD, могущие выполнять пользовательские сценарии, но, кроме этого, отличающиеся повышенной износостойкостью флеш-памяти (до 9 раз в сравнении с обычными SSD).

Новые накопители ScaleFlux будут выпускаться во всех популярных форм-факторах

Серия NSD 3000 является конкурентом традиционных высокопроизводительных NVMe SSD. В сравнении с решениями других производителей, для которых заявлен ресурс на уровне 1 DWPD, NSD 3000 предлагают вдвое более высокую выносливость и производительность. А CSP 3000 вообще не является накопителем — он ближе скорее к DPU/SPU, поскольку выполнен в виде PCIe-ускорителя. Не имея собственного массива флеш-памяти, он располагает набортными 16 Гбайт DRAM.

Все новинки ScaleFlux доступны в бета-версии уже сейчас, массовые поставки запланированы на весну 2022 года. Благодаря продвинутым алгоритмам обработки данных, решения ScaleFlux должны помочь внедрению более дешёвой памяти QLC NAND без потерь в производительности и надёжности накопителей. Tencent Cloud уже сообщил о том, что даже с предыдущим поколением решений ScaleFlux ему удалось снизить затраты на инфраструктуру хранения данных. Компания весьма оптимистично настроена по отношению к CSD 3000.

Так называемые «вычислительные» или «умные» накопители продолжают покорять рынок. Несколько дней назад компания NGD Systems завершила создание своей серии вычислительных SSD, дополнив существующие модели версией в форматe EDSFF E1.S.

Теперь к поставщикам такого рода решений присоединилась корпорация Samsung, наконец-то начавшая поставки накопителей SmartSSD, в основе которых лежат ПЛИС Xilinx.

Напомним, что сама концепция «умного» SSD проста: это накопитель, несущий на борту помимо традиционного контроллера флеш-массива и достаточно мощный процессор общего назначения, обычно на базе архитектуры ARM. Наличие такого процессора позволяет разгрузить сервер или систему хранения данных от ряда рутинных операций, выполняемых обычно центральными процессорами. Каких именно операций — зависит от программного обеспечения такого SSD.

Подход альянса Samsung и Xilinx к проектированию вычислительных SSD в корне отличается от принятого NGD: в качестве вычислительного ядра в SmartSSD используется не классический процессор, а программируемая логическая матрица Xilinx из серии UltraScale. Программирование для ПЛИС сложнее разработки обычного ПО, но это окупается расширенными возможностями, а в ряде случаев — и более высокой производительностью.

Впервые накопители SmartSSD были продемонстрированы на конференции SC18. Эти прототипы использовали форм-фактор классической платы расширения с разъёмом PCI Express. Это не самый удобный формат для сколько-нибудь масштабных систем хранения данных, поскольку количество слотов PCIe в системе обычно достаточно сильно ограничено, за исключением отдельных специализированных моделей серверов.

Но серийные накопители SmartSSD, которые Samsung, наконец, официально представила, имеют более традиционный форм-фактор U.2. Внутри такой накопитель состоит из двух основных функциональных блоков: обычного массива V-NAND TLC ёмкостью 4 Тбайт с контроллером Samsung и ПЛИС Xilinx Kintex UltraScale+ KU15P, которая имеет собственный пул оперативной памяти объёмом 4 Гбайт. В стандартном серверном корпусе высотой 2U можно разместить до 24 таких накопителей, суммарный объём флеш-массива при этом составит 96 Тбайт.

SmartSSD может работать в качестве классического SSD, но с помощью стандартного стека OpenCL и средств разработки Xilinx разработчик ПО может задействовать и ресурсы набортной ПЛИС для выполнения нужных ему задач. Для реализации различных ускорителей в ПЛИС доступно примерно 330 тысяч логических ячеек из 523 тысяч, имеющихся в составе Kintex UltraScale+ KU15P. В этих ячейках можно создать либо новый вычислительный модуль под уникальные нужды заказчика, либо использовать уже имеющиеся реализации различных ускорителей и вычислительных блоков для ПЛИС.

Некоторые возможности уже доступны в рамках инициативы Xilinx Storage Services, например, IP-блоки для сжатия/декомпрессии и шифрования данных. Но возможности SmartSSD намного шире, и ничто не мешает реализовывать более сложные сценарии обработки данных, вплоть до аналитики баз данных или обработки HDR-видеоконтента.

Накопители SmartSSD хороши ещё и тем, что вычислительные ресурсы СХД, построенной на базе таких SSD, будут расти по мере увеличения количества накопителей. К примеру, компания Lewis Rhodes Labs уже предлагает системы хранения данных NPUSearch, в которых все операции поиска и индексации данных выполняются за счет ПЛИС на борту накопителей. Другой партнёр Xilinx, Eideticom, сообщает о том, что в их системе, использующей фреймворк NoLoad SSD при коэффициенте сжатия данных 10x загрузка центрального процессора сервера на 70% ниже за счёт использования ресурсов SmartSSD.

К сожалению, несмотря на рост популярности стандарта PCI Express 4.0, в текущей версии Samsung SmartSSD реализована поддержка только PCIe 3.0 в виде стандартных для форм-фактора U.2 четырёх линий с совокупной пропускной способностью 32 Гбит/с. Освоение новых версий PCIe, впрочем, значится в планах альянса Samsung ‒ Xilinx.

Xilinx не без оснований считает, что за вычислительными накопителями будущее. Уже в течение ближайших лет компания ожидает, что на долю таких SSD будет приходиться не менее 5% рынка твердотельных накопителей. В настоящий момент SmartSSD доступны для предварительного заказа, а массовые поставки новинок планируется начать в январе следующего года. Среди других похожих проектов можно упомянуть сопроцессоры и smart-накопители PLIOPS и ScaleFlux для ускорения работы баз данных.

Концепция «вычислительного» накопителя проста: это SSD c собственным, достаточно мощным процессором, занятым не только обслуживанием флеш-памяти, но и такими операциями, как шифрование и компрессия данных, их индексация и поиск или даже перекодирование медиафайлов. NGD Systems, ранее уже представившая такой накопитель серии Newport для Azure IoT Edge, анонсировала новый SSD объёмом 12 Тбайт в форм-факторе E1.S.

До этого в серии «вычислительных» накопителей NGD были представлены лишь модели в форм-факторах M.2 (до 8 Тбайт) и более ёмкие варианты U.2 (до 32 Тбайт), так что новинка формата EDSFF автоматически заняла промежуточную нишу. На вычислительных возможностях форм-фактор не сказался: SSD всё так же имеет на борту 64-битный четырёхъядерный процессор с архитектурой ARM, способный запускать Ubuntu Linux и Docker и поддерживающий периферийные вычисления Azure IoT Edge.

Источник: Blocks & Files

Характеристики у накопителей U.2 и E1.S одинаковые: устоявшиеся 1,6 Гбайт/с на линейном чтении, 128 тыс. IOPS на случайных операциях, и 200 ты. IOPS при случайной записи блоками 4K. Флеш-массив набран памятью 3D TLC, а интерфейс ограничен возможностями PCIe 3.0. Следует также отметить, что цифра 12 Тбайт соответствует максимальной «чистой» ёмкости — при форматировании системе доступно лишь 9,6 Тбайт. Менее ёмкий вариант объёмом 6 Тбайт предоставляет всего 4,87 Тбайт.

СУБД MySQL в реализации от Percona работает быстрее с SSD ScaleFlux и есть замеры, подтверждающие это. В сравнительных тестах ScaleFlux CSD 2000 оказался почти в 3 раза быстрее, чем Intel DC P4610 (на определенных рабочих нагрузках, разумеется).

Основная идея ScaleFlux проста — отдельные аппаратные блоки в накопителях могут выполнять некоторые операции быстрее, чем сам сервер, где эти накопители находятся: сжатие/распаковка, перекодирование видео и тому подобное. В частности, ScaleFlux CSD 2000 поддерживает аппаратное сжатие GZIP, которое эффективно удваивает емкость и обеспечивает на 40-70 процентов больше операций ввода-вывода в секунду, чем аналогичные твердотельные NVMe-накопители при смешанных рабочих нагрузках чтения-записи OLTP.

В своих совместных тестах Percona и ScaleFlux сравнили CSD 2000 с твердотельным накопителем Intel DC P4610 емкостью 3,2 Тбайт (64-слойная TLC 3D NAND + NVMe PCIe 3.1 x4). Модель CSD 2000 во многом похожа на него: интерфейс NVMe PCIe 3.0, ёмкость 4 Тбайт, чипы памяти TLC 3D NAND. Однако у неё есть FPGA, выполняющий функции обработки данных (сжатие и кодирование) и функции ускорения для баз данных.

База данных Percona имеет буфер «DoubleWrite» для защиты от потери и повреждения данных, в котором набор страниц извлекается из буфера и хранится до тех пор, пока данные не будут окончательно записаны в базу данных. Твердотельный накопитель CSD 2000 имеет функцию «атомарной записи», которая делает двойной буфер избыточным и его можно отключить, что значительно ускоряет запись в базу данных. Intel P4610 не имеет функции атомарной записи.

Ниже представлены результаты тестов двух накопителей в Sysbench, причем CSD 2000 был протестирован как с функцией двойного буфера, так и без нее, а для накопителя Intel отдельно сделан тест со сжатием данных силами самого сервера:

По диаграммам видно, что по мере увеличения потоков от 8 до 256 преимущество ScaleFlux растет, при этом атомарная запись становится значительным фактором при 64 потоках и выше (темно-синий столбец). Отключение Percona DoubleWrite позволило CSD 2000 повысить производительность при 64 потоках с 2000 запросов в секунду до более чем 2700. При количестве потоков от 64 до 128 накопитель ScaleFlux почти в три раза быстрее, чем Intel.

Идея переноса вычислений «ближе к данным» существует уже не первый год, обычно для этого в СХД используются специализированные ускорители (ASIC), расположенные в контроллерах, однако в последние годы наметилась тенденция переноса некоторых рабочих нагрузок непосредственно в устройства хранения (накопители), что дает значительный прирост производительности, разгружая контроллер СХД и центральный процессор.