«Умными» SSD уже никого не удивишь. Но компания Seagate предлагает пойти ещё дальше. Этот крупный производитель средств хранения данных заключил с Лос-Аламоской национальной лабораторией (LANL) соглашение о сотрудничестве, одной из целей которого может стать создание «вычислительных» HDD.

На деле соглашение о совместных исследованиях и разработке (Cooperative Research and Development Agreement, CRADA), разумеется, охватывает намного более широкий спектр задач. В частности, это поиск эффективных методов оптимизации систем хранения данных в характерных для HPC-задач сценариях, нередко генерирующих огромные объёмы данных.

Источник изображения: pixabay.com

Как отметил представитель LANL, в серьёзных научных симуляциях задача может не просто потребовать порядка 1 Пбайт RAM, но ещё и записывать выходные данные аналогичного объёма в течение длительного периода времени. Именно поэтому LANL активно ищет методы оптимизации, в том числе рассматривается перенос функций аналитики на вычислительные мощности накопителей.

Определённые успехи уже достигнуты: так, LANL и SK Hynix доказала возможность переноса некоторых функций обработки данных на SSD-контроллеры. А соглашение с Seagate ставит целью создание универсальной архитектуры вычислительных накопителей, пригодной для реализации не только в SSD, но даже в традиционных механических HDD.

Seagate Exos 2X18: жёсткий диск с двумя актуаторами. Источник: Seagate

В частности, на такую архитектуру можно будет возложить задачи помехоустойчивого кодирования со стирающим кодом (erasure coding), а точнее, восстановление (de-erasure) данных, обычно требующее не только времени на чтение, но и на обработку силами CPU. При этом должна вырасти скорость доступа, а затраты энергии и тепловыделение, наоборот, должны уменьшиться.

Как отметила Seagate, речи о воплощении подобной технологии в ПО для объектных хранилищ CORTX или дисках Exos пока не идёт — это пока исключительно исследовательский проект. Стоит дополнить, что основой вычислительных накопителей Seagate могут стать процессоры с архитектурой RISC-V: два таких дизайна компания разработала ещё в 2020 году.

«Вычислительные» или «умные» SSD уже не являются новой технологией: один за другим разработчики на рынок новые продукты. А плодом сотрудничества между Лос-Аламосской национальной лабораторией (LANL) и компанией SK hynix стал новый класс подобного рода устройств.

На мероприятии Flash Memory Summit 2022 этот альянс продемонстрировал SSD, в котором доступ к данным основан не на традиционном блочном принципе и даже не на файловом, а на принципе хранилищ «ключ-значение» (key–value store, KV-CSD). Это не первый подобный проект. Более того, в спецификациях NVMe 2.0 уже определён необходимый набор команд.

Прототип KV-CSD. Источник: LANL

Структуры «ключ-значение» широко применяются в индустрии аналитики, так что накопитель, способный работать с таким форматом данных напрямую и на низком уровне может обеспечить огромный выигрыш в производительности в ряде сценариев. Детище LANL и SK hynix, работающее под управлением DeltaFS такой выигрыш и продемонстрировало, превзойдя классические SSD в 1000 раз за счёт эффективной индексации и сокращения объёмов передаваемых при запросе данных (data reduction).

Представитель LANL отметил, что такая эффективность в первичной обработке данных серьезно ускоряет анализ результатов крупномасштабных физических симуляций в сравнении с файловым хранилищем. Прямая работа с данными на столь низком уровне должна помочь учёным справиться с постоянно растущими объёмами информации. Оба участника альянса довольны полученными результатами и намереваются продолжить сотрудничество в деле разработки и выпуска вычислительных накопителей нового типа.