Материалы по тегу: smartssd

24.12.2021 [22:58], Алексей Степин

Samsung представила концепт SSD c тысячеядерным ИИ-ускорителем Esperanto

Первый в мире «большой» ИИ-ускоритель на базе архитектуры RISC-V от молодой компании Esperanto, созданной ветераном индустрии Дэвидом Дитцелем (Dave Ditzel), который стоял у истоков легендарной Transmeta, может найти своё место в новых «умных» SSD Samsung. Корейский гигант раскрыл сведения о прототипе такого накопителя в рамках мероприятия SAFE, прошедшем осенью этого года.

Ускоритель Esperanto ET-SoC-1 изначально создавался с прицелом на энергоэффективные инференс-платформы для различных систем рекомендаций, и помимо 1088 ядер (ET-Minion), получил весьма объёмную подсистему SRAM (более 160 Мбайт) и восьмиканальный контроллер LPDDR4. Создатели ET-SoC-1 получили первые партии чипов, выпущенные с использованием 7-нм техпроцесса, и в настоящее время активно работают над различными сценариями использования своего детища.

Изображения: Samsung/Esperanto

Изображения: Samsung/Esperanto

Но не только они — на ET-SoC-1 обратила внимание компания Samsung. Такие системы сейчас используются повсюду, от стриминговых платформ до крупных магазинов и социальных сетей, поэтому рынок огромен, а преимущество на нём получат те, чьи движки рекомендаций работают быстрее и точнее. Они настолько прочно вошли в нашу жизнь, что по некоторым оценкам, у таких гигантов, как Google, Facebook или Amazon, до 80% всех ИИ-нагрузок приходится именно на рекомендательные системы.

SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем

SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем и освобождает системные ресурсы

Увы, движки подобного рода оперируют с массивами информации объёмами в десятки гигабайт, но чтобы использовать их, системе надо сперва затребовать соответствующие данные с накопителей. В то же время от таких движков требуются практически мгновенные ответы на поступающие запросы, а сами массивы требуют регулярного обновления.

Но ET-SoC-1, по мнению Esperanto и Samsung, позволит перенести этот процесс ближе к накопителям — чип может быть непосредственно интегрирован в SSD и считывать массивы данных непосредственно из NAND-памяти. В концепции такого SmartSSD Samsung центральные процессоры серверов занимаются только диспетчеризацией пользовательских запросов, а вся работа с массивами, сопоставлением данных и выработкой решения ложится на плечи ET-SoC-1.

Первые результаты тестов, опубликованные Samsung

Первые результаты тестов, опубликованные Samsung

Такой подход разгружает не только процессоры, но и освобождает ресурсы PCIe-шины. Предварительные тесты показывают, что выигрыш в используемой пропускной способности между SSD и CPU может достигать от 10 до 100 раз, и это при том, что в прототипе задействуется лишь небольшая часть из 1088 ядер ET-SoC-1 — от 32 до 128. Но архитектура у творения Esperanto модульная, и ничто не мешает серийным «рекомендательным SSD» использовать более просты чипы с меньшим числом блоков ET-Minion.

Постоянный URL: http://servernews.ru/1056715
11.11.2020 [17:07], Алексей Степин

Умные накопители Samsung SmartSSD с FPGA Xilinx выходят на рынок

Так называемые «вычислительные» или «умные» накопители продолжают покорять рынок. Несколько дней назад компания NGD Systems завершила создание своей серии вычислительных SSD, дополнив существующие модели версией в форматe EDSFF E1.S.

Теперь к поставщикам такого рода решений присоединилась корпорация Samsung, наконец-то начавшая поставки накопителей SmartSSD, в основе которых лежат ПЛИС Xilinx.

Напомним, что сама концепция «умного» SSD проста: это накопитель, несущий на борту помимо традиционного контроллера флеш-массива и достаточно мощный процессор общего назначения, обычно на базе архитектуры ARM. Наличие такого процессора позволяет разгрузить сервер или систему хранения данных от ряда рутинных операций, выполняемых обычно центральными процессорами. Каких именно операций — зависит от программного обеспечения такого SSD.

Подход альянса Samsung и Xilinx к проектированию вычислительных SSD в корне отличается от принятого NGD: в качестве вычислительного ядра в SmartSSD используется не классический процессор, а программируемая логическая матрица Xilinx из серии UltraScale. Программирование для ПЛИС сложнее разработки обычного ПО, но это окупается расширенными возможностями, а в ряде случаев — и более высокой производительностью.

Впервые накопители SmartSSD были продемонстрированы на конференции SC18. Эти прототипы использовали форм-фактор классической платы расширения с разъёмом PCI Express. Это не самый удобный формат для сколько-нибудь масштабных систем хранения данных, поскольку количество слотов PCIe в системе обычно достаточно сильно ограничено, за исключением отдельных специализированных моделей серверов.

Но серийные накопители SmartSSD, которые Samsung, наконец, официально представила, имеют более традиционный форм-фактор U.2. Внутри такой накопитель состоит из двух основных функциональных блоков: обычного массива V-NAND TLC ёмкостью 4 Тбайт с контроллером Samsung и ПЛИС Xilinx Kintex UltraScale+ KU15P, которая имеет собственный пул оперативной памяти объёмом 4 Гбайт. В стандартном серверном корпусе высотой 2U можно разместить до 24 таких накопителей, суммарный объём флеш-массива при этом составит 96 Тбайт.

SmartSSD может работать в качестве классического SSD, но с помощью стандартного стека OpenCL и средств разработки Xilinx разработчик ПО может задействовать и ресурсы набортной ПЛИС для выполнения нужных ему задач. Для реализации различных ускорителей в ПЛИС доступно примерно 330 тысяч логических ячеек из 523 тысяч, имеющихся в составе Kintex UltraScale+ KU15P. В этих ячейках можно создать либо новый вычислительный модуль под уникальные нужды заказчика, либо использовать уже имеющиеся реализации различных ускорителей и вычислительных блоков для ПЛИС.

Некоторые возможности уже доступны в рамках инициативы Xilinx Storage Services, например, IP-блоки для сжатия/декомпрессии и шифрования данных. Но возможности SmartSSD намного шире, и ничто не мешает реализовывать более сложные сценарии обработки данных, вплоть до аналитики баз данных или обработки HDR-видеоконтента.

Накопители SmartSSD хороши ещё и тем, что вычислительные ресурсы СХД, построенной на базе таких SSD, будут расти по мере увеличения количества накопителей. К примеру, компания Lewis Rhodes Labs уже предлагает системы хранения данных NPUSearch, в которых все операции поиска и индексации данных выполняются за счет ПЛИС на борту накопителей. Другой партнёр Xilinx, Eideticom, сообщает о том, что в их системе, использующей фреймворк NoLoad SSD при коэффициенте сжатия данных 10x загрузка центрального процессора сервера на 70% ниже за счёт использования ресурсов SmartSSD.

К сожалению, несмотря на рост популярности стандарта PCI Express 4.0, в текущей версии Samsung SmartSSD реализована поддержка только PCIe 3.0 в виде стандартных для форм-фактора U.2 четырёх линий с совокупной пропускной способностью 32 Гбит/с. Освоение новых версий PCIe, впрочем, значится в планах альянса Samsung ‒ Xilinx.

Xilinx не без оснований считает, что за вычислительными накопителями будущее. Уже в течение ближайших лет компания ожидает, что на долю таких SSD будет приходиться не менее 5% рынка твердотельных накопителей. В настоящий момент SmartSSD доступны для предварительного заказа, а массовые поставки новинок планируется начать в январе следующего года. Среди других похожих проектов можно упомянуть сопроцессоры и smart-накопители PLIOPS и ScaleFlux для ускорения работы баз данных.

Постоянный URL: http://servernews.ru/1025144
06.11.2020 [23:52], Алексей Степин

NGD представила 12-Тбайт E1.S SSD с 4-ядерным CPU на борту

Концепция «вычислительного» накопителя проста: это SSD c собственным, достаточно мощным процессором, занятым не только обслуживанием флеш-памяти, но и такими операциями, как шифрование и компрессия данных, их индексация и поиск или даже перекодирование медиафайлов. NGD Systems, ранее уже представившая такой накопитель серии Newport для Azure IoT Edge, анонсировала новый SSD объёмом 12 Тбайт в форм-факторе E1.S.

До этого в серии «вычислительных» накопителей NGD были представлены лишь модели в форм-факторах M.2 (до 8 Тбайт) и более ёмкие варианты U.2 (до 32 Тбайт), так что новинка формата EDSFF автоматически заняла промежуточную нишу. На вычислительных возможностях форм-фактор не сказался: SSD всё так же имеет на борту 64-битный четырёхъядерный процессор с архитектурой ARM, способный запускать Ubuntu Linux и Docker и поддерживающий периферийные вычисления Azure IoT Edge.

Источник: Blocks & Files

Источник: Blocks & Files

Характеристики у накопителей U.2 и E1.S одинаковые: устоявшиеся 1,6 Гбайт/с на линейном чтении, 128 тыс. IOPS на случайных операциях, и 200 ты. IOPS при случайной записи блоками 4K. Флеш-массив набран памятью 3D TLC, а интерфейс ограничен возможностями PCIe 3.0. Следует также отметить, что цифра 12 Тбайт соответствует максимальной «чистой» ёмкости — при форматировании системе доступно лишь 9,6 Тбайт. Менее ёмкий вариант объёмом 6 Тбайт предоставляет всего 4,87 Тбайт.

Существуют и другие реализации «вычислительных» SSD. Так, сотрудничество Samsung и Xilinx привело к созданию накопителя SmartSSD, где в качестве процессора используется FPGA Xilinx ZU19EG. Но SmartSDD имеет существенно большие габариты и выполнен исключительно в виде платы расширения PCIe. А в арсенале ARM имеется даже специально предназначенный для «вычислительных» SSD дизайн процессора Cortex-R82.

Постоянный URL: http://servernews.ru/1024787
09.09.2019 [20:33], Сергей Тверье

Key:Value SSD Samsung меняет правила игры для объектных баз данных

Компания Samsung представила прототип KV Stacks — Key:Value SSD — и работает над новым открытым стандартом с Datrium, Minio, DDN Nexenta и другими разработчиками систем хранения и управления данными.

Anandtech

Anandtech

Key:value (KV, ключ:значение) SSD реализует подобие объектной схемы хранения информации на диске вместо традиционного блочного чтения/записи данных. По сути, накопитель имеет OTL (Object Translation Layer) — дополнительный слой трансляции, который соотносит конкретные объекты данных (KV) с блоками SSD.

Слайд с презентации Samsung на Flash Memory Summit 2017

Слайд с презентации Samsung на Flash Memory Summit

В презентации Samsung от 2017 года говорится: «Для Samsung Key Value необходимо только стандартные SSD, которые дополнены специальным программным обеспечением для Flash Translation Layer (FTL), обеспечивающим его возможности по обработке данных».

Samsung говорит, что есть немало приложений, работающих с неструктурированными данными: Ceph, Mongo DB, Redis и так далее. Использование традиционных блочных устройств c ФС в качестве хранилища добавляет лишние «прослойки», которые негативно влияют на производительность.

В своей презентации Samsung показывает, что RocksDB на базе в SSD Samsung KV работала значительно быстрее, как с точки зрения количества запросов в секунду (QPS), так и по количеству операций ввода-вывода устройства

В своей презентации Samsung показывает, что RocksDB на базе в SSD Samsung KV работала значительно быстрее, как с точки зрения количества запросов в секунду (QPS), так и по количеству операций ввода-вывода устройства

Международная некоммерческая организация SNIA уже опубликовала открытый стандарт API для взаимодействия с KV-накопителями, что должно положительно сказать на совместимости дисков и СХД разных производителей. Исполнительный директор SNIA Майкл Орос (Michael Oros) отметил: «Спецификация API SNIA KV прокладывает путь для широкого внедрения стандартизированного протокола KV API».

Представитель Datrium Хью Паттерсон (Hugh Patterson) в восторге от будущих перспектив: «API KV от SNIA обеспечивает новое поколение архитектур для больших хранилищ данных, которые будут более высокопроизводительными и масштабируемыми. Облачные хранилища объектов уже продемонстрировали эффективность KV для масштабирования, но ограничены из-за приложений с интенсивным использованием данных, требующих низкой задержки.»

Вероятное время появление первых Samsung Key Value SSD на рынке — вторая половина 2020 года.

Это не первая попытка изменить подход к хранению и обработке данных. Например, в 2015 году Seagate представила диски Kinetic — объектные накопители с прямым Ethernet-подключением. Но на тот момент не удалось впечатлить покупателей, и, похоже, проект был свёрнут. А в прошлом году Samsung показала SmartSSD с FPGA Xilinix на борту, который способен обрабатывать хранящиеся на нём данные.

Постоянный URL: http://servernews.ru/993791
14.08.2019 [13:17], Геннадий Детинич

NGD Newport: SSD с 4-ядерным 64-бит ARM-процессором для Azure IoT Edge

Совместимый с Azure IoT Edge код может исполняться на периферийных (пограничных) устройствах в виде смартфонов, вещей с подключением к Интернету или на других удалённых платформах. При этом также существенно снижаются задержки при работе с данными, что иногда не менее важно, чем отсутствие доступа к удалённому серверу.

Данные обрабатываются там же, где они хранятся. Если абсолютизировать принцип реализации Azure IoT Edge, то информацию можно обрабатывать непосредственно в накопителях, например, в SSD. Такие NVMe SSD на днях представила компания NGD Systems.

Новая серия накопителей NGD Newport получила флагманское решение с вдвое большей ёмкостью (32 Тбайт) и 2,5-дюймовый формфактор U.2. Самым интересным стало оснащение SSD Newport 4-ядерным 64-бит ARM-процессором с поддержкой Ubuntu и возможностью запуска Docker. Заявляется, что потребление накопителя не превышает 12 Вт.

Обычно данные только хранятся на SSD и для обработки загружаются в память сервера, после чего обрабатываются центральным процессором сервера. Накопители NGD Newport могут обрабатывать данные не загружая их в память сервера и не отдавая эту работу процессору. Правда, для этого понадобится «несущественная», как заявляют в компании NGD, доработка кода, поскольку необходимо портирование с x86 на ARM.

Цену вопроса источник не раскрывает, но утверждает, что новые накопители NGD с поддержкой локальных вычислений Azure IoT Edge готовы для развёртывания. Идея разгрузки CPU путём переноса части вычислений, а также обработки данных в непосредственной близости от места их хранения не нова. Из относительно свежих примеров можно вспомнить SmartSSD Samsung с FPGA Xilinx.

Постоянный URL: http://servernews.ru/992401
22.11.2018 [20:30], Андрей Созинов

Xilinx показала новые ускорители вычислений и «умные» SSD на чипах FPGA

Компания Xilinx развивает ускорители вычислений на FPGA, но не хочет ограничиваться только ими. Совместно с Samsung она создала «умные» твердотельные накопители SmartSSD. Более того, вместе с AMD компания Xilinx показала, что в сфере HPC вполне можно обойтись без Intel и NVIDIA.

На выставке SC18, которая на прошлой неделе состоялась в Далласе, штат Техас, было показано множество продуктов, использующих FPGA-матрицы от компании Xilinx. Среди них оказались фирменные ускорители вычислений и системы на их основе, а также новые «умные» твердотельные накопители SmartSSD.

На своём собственном стенде Xilinx продемонстрировала новейший ускоритель вычислений Alveo U280. Он построен на 16-нм FPGA-матрице с архитектурой Xilinx UltraScale. Её дополняет 8 Гбайт памяти HBM2 с пропускной способностью 460 Гбайт/с и два модуля памяти DDR4 по 16 Гбайт каждый. Также отметим использование интерфейса PCI Express 4.0 x8 и поддержку CCIX.

Напомним, что платформа CCIX разрабатывается для обеспечения связи между абсолютно всеми компонентами системы, которые не сочетаются напрямую. И теперь она получила реализацию в кремнии. Также отметим, что сейчас консорциум CCIX активно продвигает свой стандарт, и на многих стендах SC18 были замечены решения, использующие его.

Как и другие ускорители серии Alveo, новый Alveo U280 предназначен для центров обработки данных. По словам производителя, ускорители на FPGA способны наилучшим образом подстраиваться под те задачи, выполнение которых на него возложено, что в результате делает их универсальным решением. Здесь сразу стоит отметить, что Xilinx сейчас активно работает над средствами разработки и стремится сделать их как можно проще, чтобы облегчить работу с её ускорителями, дав возможность сборки кода C/C++/OpenCL для FPGA. Это один из главных моментов в борьбе с Intel, которая давно занимается аналогичными компиляторами для продуктов Altera.

Возможно, в том числе и по этой причине ускорители на базе FPGA от Xilinx получают всё большее распространение. В том числе в облаках: у Amazon уже есть Ryft, а Microsoft планирует внедрить продукты компании в Azure. На SC18 оказалось непривычно много решений с платами Alveo, которые производители готовы предлагать заказчикам в составе своих систем наряду с Altera или даже в качестве альтернативы NVIDIA, так как последние решения компании оптимизированы и для работы с ИИ.

Главной новинкой на стенде Xilinx стали так называемые SmartSSD, созданные совместно с Samsung. Данные «умные» накопители сочетают в себе однокристальную платформу с FPGA под названием Xilinx ZU19EG MPSoC, а также оперативную память (DDR или HBM), ну и, конечно же, саму твердотельную память V-NAND от Samsung. Ключевое отличие от обычных SSD в том, что SmartSSD сам частично занят вычислениями и обработкой данных, так сказать, не отходя от кассы. Такой подход обсуждается годами, но только сейчас получил хорошую реализацию в «железе».

Строго говоря, это не первая попытка совместить SSD и FPGA в «одном флаконе» — такие решения ещё два года назад демонстрировала компания SmartIOPS, но они были ориентированы скорее на оптимизацию потоков данных, обращений к накопителю и предварительной выборке. Понятно, что полностью всю обработку данных переложить на плечи SmartSSD нельзя, но вполне стандартные операции шифрования, архивирирования, дедупликации ему под силам. Кроме того, разработчики упоминают ещё и (де)кодирование видео или работу с ИИ. В любом случае важно то, что таким образом можно существенно снизить обмен между накопителем и остальной системой, так как передаваться будут уже предобработанные данные + значительно сокращается путь самих данных в сравнении с установленными порознь SSD и FPGA.

На стенде с этим SmartSSD свои решения демонстировала компания Bigstream, которая занимается акселерацией работы с базами данных и BigData-системами с помощью FPGA и GPU. Конкретный пример — значительное ускорение комплексной выборки данных из Spark за счёт обработки записей на FPGA. Отдельно отмечается, что для конечных пользователей всё это происходит прозрачно, так как слой оффлоада задач лежит ниже, на уровне фреймворка или драйвера БД. Похожие решения для гетерогенных вычислений, в том числе в облаках, совместно с Xilinx предлагает и BLACKLYNX. К слову, обратите внимание на слайд выше. С накопителем Samsung PM983 мы уже знакомы — это «линеечный» SSD формата NF-1. А вот PM983F, похоже, тот же SSD, но с FPGA на борту.

Были показаны также и «умные» сетевые адаптеры, оснащённые FPGA-матрицами Xilinx. Например, решение от Mellanox Technologies под названием Innova-2, которое было впервые представлено ещё год назад. Затея, в целом, та же, что у SmartSSD: переконфигурируемость и предварительная обработка данных на лету.

Huawei также создаёт ускорители на FPGA от Xilinx

Huawei также создаёт ускорители на FPGA от Xilinx

Как и говорилось в самом начале, на выставке было показано множество продуктов, использующих FPGA-матрицы Xilinx. Отдельного внимания заслуживает сотрудничество AMD и Xilinx, которое началось не так давно, но уже в следующем году может принести довольно интересные плоды.

На стенде AMD была показана разрабатываемая платформа на базе процессора EPYC «Rome» и ускорителей Xilinx Alveo с интерфейсом PCIe 4.0. Также эта платформа может иметь твердотельные накопители Samsung с NVMe PCIe 4.0, InfiniBand-карту Mellanox с пропускной способностью 200 Гбит/с и сетевой адаптер Ethernet Broadcom Thor, также со скоростью 200 Гбит/с. Отдельно стоит обратить внимание, что здесь нет компонентов от Intel и NVIDIA: CPU, накопителей, интерконнекта и ускорителей. Кроме того, AMD может предложить и собственные Instinct'ы для вычислений.

Постоянный URL: http://servernews.ru/978525
Система Orphus