Компания Western Digital, один из крупнейших разработчиков и производителей HDD и SSD, делает всё возможное, чтобы накопители нового поколения избавились от «проклятий» унаследованных технологий, став более производительными и удобными как с точки зрения разработчиков ПО и систем хранения данных, так и с точки зрения конечных пользователей.

С технологией накопителей с зонированием данных (Zoned Block Devices, ZBD) Western Digital экспериментирует достаточно давно: ещё в 2019 году мы рассказывали о разработке файловой системы Zonefs, в которой каждая зона на накопителе отображается, как отдельная область. А летом этого года сама концепция зонирования официально стала частью стандарта NVMe.

В обычных SSD данные пишутся без учёта расположения в блоках NAND

Зонирование имеет ряд преимуществ перед классической реализацией накопителей. Во-первых, параметрами записи можно управлять централизовано, на уровне хост-процессора или даже приложения. Во-вторых, зоны могут иметь разные скоростные характеристики. И, наконец, в-третьих, зонирование уменьшает износ NAND-памяти и при правильной реализации гарантирует отсутствие провалов в скорости, что особенно важно для корпоративных систем хранения данных.

Удаление одного файла требует перемещения данных, что тормозит накопитель и служит причиной повышенного износа NAND

Изначально концепция блочного хранения данных была создана для механических жёстких дисков, где её логика отвечала физическим принципам работы накопителя. С появлением твердотельных накопителей технология была адаптирована и для них — так проще всего оказалось сохранить совместимость. Однако флеш-память работает совсем не так, как магнитная запись: помимо операций записи и чтения она требует ещё и операции стирания блока.

В SSD с зонированием запись данных осуществляется упорядоченно. Нет «усиления записи», не требуется сборка мусора

Напоминаем, стирание в памяти NAND не может происходить произвольным образом: зачищается весь блок, а если часть хранимых в нём данных всё ещё нужна, их необходимо перед стиранием перенести в другое место. Процесс расчистки места под стирание блоков NAND называется «сборкой мусора». Этот процесс загружает контроллер SSD и нередко приводит к тому, что постоянство скоростных характеристик не обеспечивается. Кроме того, лишние циклы стирания-перезаписи отнюдь не идут флеш-памяти на пользу, и она быстрее изнашивается.

В итоге классический SSD строится с достаточно серьёзным запасом прочности: часть флеш-памяти в нём не используется напрямую, а применяется в качестве «подменного фонда» для замены выходящих из строя ячеек NAND. Объём этого фонда может достигать 20-30% от общего объёма NAND, что, естественно, не способствует снижению стоимости. Солидную часть стоимости современных SSD также составляет DRAM, которая используется для хранения таблиц трансляции и позволяет накопителю более-менее поддерживать постоянство скоростных характеристик.

Переход к концепции зонирования позволяет решить обе вышеописанных проблемы: данные в таких накопителях записываются упорядоченно (в пределах зоны запись осуществляется только последовательно), порядок записи полностью прозрачен, и им можно управлять даже со стороны приложения, а значит, лишних стираний и перезаписей можно избежать. За счёт этого можно сократить подменный фонд NAND-ячеек, а значит, и снизить удельную стоимость хранения данных. Таблицы трансляции также принимают более компактный вид и DRAM-буфер тоже можно сделать меньше.

Благодаря тому, что зонирование лучше соответствует самой технологии NAND, Western Digital удалось добиться впечатляющих результатов: SSD с поддержкой ZNS может обеспечивать коэффициент «усиления записи» (write amplification) на уровне 1x, поскольку ему не требуются лишние операции стирания и перезаписи блоков NAND. Поэтому гарантируется постоянная скорость записи во всём объёме SSD.

Благодаря зонированию скорость записи на накопитель всегда максимальна

Серьёзно улучшается и ситуация со временем отклика: если у обычных SSD оно сильно зависит от соотношения операций чтения к операциям записи, то у зонированного SSD этот параметр остаётся практически постоянным. А в целом латентность удаётся снизить на 57%. Итогом, венчающим проделанную Western Digital работу по внедрению концепции зонирования, стал новейший твердотельный накопитель Ultrastar DC ZN540.

Зонирование позволяет SSD поддерживать постоянную латентность при разных соотношениях чтение/запись

Это первый в мире корпоративный SSD, в котором полностью реализованы все преимущества технологии зонирования. Он полностью отвечает спецификациям ZNS Command Set 1.0 и NVMe 1.3c. В накопителе применён новый высоконадёжный двухпортовый контроллер с внешним интерфейсом PCI Express 3.1. Основой новинки является 96-слойная память 3D NAND TLC. Накопитель выполнен в форм-факторе U.2 и может иметь объём до 8 Тбайт.

Благодаря зонированию новинка идеально подходит для многопользовательских сценариев и сценариев с большими объёмами потоковых данных. Компания говорит о четырёхкратном превосходстве над традиционными SSD в скорости и о 2,5-кратном — в качестве обслуживания (QoS, постоянство скоростных характеристик и латентности). За счёт более эффективного использования ресурсов NAND и DRAM новинка обеспечивает пониженную стоимость владения СХД и более низкую удельную стоимость хранения информации.

Скорость записи у зонированного SSD остаётся постоянной, а время отклика практически не растёт

Western Digital опубликовала и результаты тестирования нового накопителя, сравнив его с сопоставимым по характеристикам обычным SSD. Как правило, SSD корпоративного типа проектируются с расчётом на постоянство производительности, но несовпадение принципов работы с данными на уровнях файловой системы и NAND приводят к закономерному результату: с номинальной скоростью удалось записать лишь около 1 Тбайт данных, после чего обычный SSD был вынужден заняться сборкой мусора, а скорость записи резко упала. Зонированный DC ZN540 с задачей справился, вообще не потеряв в скорости.

Если при чтении недостатки традиционного SSD можно компенсировать, то при записи зонированным накопителям нет равных

Аналогичным образом новинка проявила свои преимущества и при увеличении доли операций записи в нагрузке. У классического SSD время отклика выросло практически в два раза, в то время как у зонированной модели оно росло куда медленнее. Таким образом, можно с уверенностью говорить о том, что у зонированных SSD ситуация с предсказуемостью поведения обстоит куда лучше, нежели у классических моделей.

Поставки накопителей Western Digital DC ZN540 начались уже сейчас, правда, пока небольшими партиями. Можно с уверенностью сказать, что компания продолжит развивать данное направление. Особенно в свете роста популярности памяти QLC — внедрение зонирования позволит серьёзно поднять надёжность и производительность таких SSD, что сделает их более пригодными для использования в крупных СХД и облачных комплексах.

Но было бы ошибкой сказать, что зонирование актуально только для твердотельных накопителей. Конечно, в силу особенностей, свойственных NAND-памяти, оно лучше всего показывает себя именно в SSD, но польза есть и для традиционных жёстких дисков.

Технология SMR хорошо согласуется с принципами зонирования

Речь идёт о моделях с «черепичной» записью (SMR), где сам принцип пересекающихся дорожек требует последовательной записи, а при стирании удаляется вся зона, а не только одна дорожка. Такие HDD позволяют достичь большой ёмкости при относительно малой цене — модель Ultrastar DC HC650, к примеру, имеет объём 20 Тбайт. Среди первых пользователей таких жёстких дисков можно назвать очень популярное облачное файловое хранилище Dropbox.

Новые накопители WD используют единый программный стек вне зависимости от типа (SSD или HDD/SMR)

Компания продолжает активно участвовать в разработке программного обеспечения, а официальным сайтом проекта по внедрению зонирования по-прежнему остаётся ZonedStorage.io, где можно найти документацию и множество другой информации о зонировании. В частности, доступны сведения о дистрибутивах Linux, уже поддерживающих ZBD.

Если вы хотите получить более подробную информацию о решениях Western Digital, заполните форму выше.

Компания Western Digital расширила модельный ряд решений WD Purple, предназначенных в первую очередь для систем видеонаблюдения. В серию был добавлен жёсткий диск на 18 Тбайт, который позволит записать много часов видеопотока, а также карта памяти microSD на 1 Тбайт для камер наблюдения с функциями ИИ. Таким образом, Western Digital стремится придать дополнительный импульс растущему рынку умных систем безопасности.

Многие компании сейчас ускоренными темпами внедряют элементы ИИ и глубокого обучения в процессы автоматизации и повышения эффективности, что должно обеспечить в будущем создание более безопасной и привлекательной рабочей среды. Именно поэтому в современном мире компаниям важно получать качественные данные, которые позволят оптимизировать собственный бизнес, или же реализовывать полученную информацию.

Но чтобы ИИ-алгоритмы работали, им нужно много данных, которые по сути являются для них топливом. А как известно, чтобы машина работала хорошо, топливо должно быть высокого качества. И в случае с ИИ ситуация аналогична. Именно поэтому от систем видеонаблюдения требуется всё более высокое разрешение, которое обеспечит качественную и чёткую картинку. Но из-за этого растёт и объём видео, даже несмотря на современные алгоритмы сжатия. Это влечёт за собой необходимость хранить много информации непосредственно на камерах и сетевых видеорегистраторах, для чего как раз и предназначены новые ёмкие модели устройств серии WD Purple.

Western Digital предлагает решения для хранения данных в самых различных устройствах, применяемых в системах видеонаблюдения. Новые продукты серии WD Purple обладают большим объёмом, высокой производительностью и надёжностью, без чего не обойтись в умных системах видеонаблюдения. Всё же этим устройствам необходимо круглосуточно справляться с потоковой передачей видео со смарт-камер, записывающих устройств, сетевых видеорегистраторов с элементами глубокого обучения (NVR), а также работать с системами анализа видео.

Western Digital подчёркивает, что в накопителях WD Purple микрокод и средства управления данными оптимизированы с упором на повышение производительности и улучшение управления устройствами именно в системах для видеонаблюдения с функциями ИИ. Кроме того, производитель приложил максимум усилий, чтобы снизить коэффициент потери кадров и пикселизации, повысив при этом производительность воспроизведения видеоинформации и качество стриминга.

В итоге это обеспечивает более высокую производительность, надёжность, долговечность и эффективность работы в целом, а также позволяет снизить общую стоимость владения (TCO). В жёстких дисках WD Purple применена фирменная технология AllFrame, которая помогает предупредить потерю данных и с лёгкостью управлять исходящим потоком данных. Технология Western Digital Device Analytics позволяет не только проводить мониторинг и анализ состояния диска, что помогает выявлять проблемы, но и получить инструкции по заблаговременному устранению потенциальных проблем.

В серии жёстких дисков WD Purple представлены накопители двух семейств: WD Purple with AllFrame 4K и WD Purple with AllFrame AI. В первом представлены жёсткие диски для традиционных систем видеонаблюдения объёмом от 1 до 6 Тбайт, тогда как в другом — накопители для ИИ-систем NVR объёмом от 8 и, теперь, до 18 Тбайт. Кроме того, первые относятся к решениям класса 5400 об/мин, тогда как вторые к более скоростным — здесь шпиндель вращается со скоростью 7200 об/мин.

В отличие от обычных жёстких дисков, накопители WD Purple созданы с прицелом на непрерывную работу в режиме 24/7, что подтверждается трёхлетней гарантией и заявленным сроком наработки на отказ до 1,5 млн часов (MTBF). Заявляется также нагрузка в 360 Тбайт данных в год. Данные накопители в первую очередь ориентированы на использования в составе систем хранения и обработки данных с обычных и сетевых видеорегистраторов (DVR и NVR), а также в системах регистрации с элементами искусственного интеллекта.

Кроме того, Western Digital предлагает более продвинутые жёсткие диски WD Gold и Ultrastar, предназначенные для использования в связанных с видеонаблюдением облачных решениях, ЦОД и системах для анализа данных. Накопители Ultrastar не имеют ограничений по количеству подключённых к одному накопителю камер, а также имеют куда больший ресурс и гарантийный срок.

В свою очередь для использования непосредственно в умных камерах наблюдения, как потребительских, так и промышленных, Western Digital предлагает встраиваемые чипы и карты памяти WD Purple microSD. Зачем нужен накопитель в самой камере? Во-первых, не всегда есть возможность напрямую передавать данные на сервер, во-вторых, не помешает резервная запись на случай потери связи с сервером. Но главное, карта памяти в самой камере обеспечит более высокую скорость передачи данных, что очень важно для умных камер наблюдения с ИИ.

Однако отнюдь не каждая карта памяти подойдёт для использования в камере видеонаблюдения. В первую очередь карты для данных целей должны отличаться высокой надёжностью и большим ресурсом, то есть способностью выдержать множество перезаписей. Кроме того, важно чтобы карта могла работать в суровых условиях, в том числе на улице при очень низких или очень высоких температурах.

Карты microSD WD Purple SC QD101 разработаны специально для камер с элементами ИИ, камер видеонаблюдения и устройств захвата видео, для хранению или резервного копирования данных. В основе лежит 96-слойная флеш-память 3D NAND от Western Digital, которая обладает повышенной долговечностью — до 500 циклов перезаписи. Карточки уже некоторое время доступны в объёмах 32, 64, 128, 256 и 512 Гбайт, а теперь к ним добавилась модель на 1 Тбайт. Если же нужна более высокая надёжность, то WD предлагает карты памяти Purple SC QD312 с ресурсом до 3000 циклов перезаписи и ёмкостью до 256 Гбайт.

Усиленное и долговечное исполнение означает, что карта microSD WD Purple является погодо- и влагоустойчивой и работает в диапазоне температур от -25 до 85 °C. Если камера, в которую вставлена карта, поддерживает реализованную в самой карте функцию индикации состояния, пользователи смогут отслеживать оставшийся ресурс, что поможет избежать неожиданных поломок.

Жёсткие диски WD Purple объёмом 18 Тбайт поступили в продажу в текущем месяце, тогда как новая карта памяти microSD WD Purple SC QD101 на 1 Тбайт должна появиться в продаже в ноябре 2020 года.

Если вы хотите получить более подробную информацию о решениях Western Digital, заполните форму выше.

Компания Western Digital представила твердотельные накопители семейства IX SN530, которые будут доступны в форм-факторах M.2 2280 и M.2 2230 с интерфейсом PCIe 3.0 x4 (NVMe 1.4). Изделия рассчитаны на применение в промышленном и сетевом оборудовании, устройствах Интернета вещей, безвентиляторных компьютерах, робототехнических комплексах и пр.

Новинки могут эксплуатироваться в широком температурном диапазоне — от -40 до +85 градусов Цельсия. Средняя заявленная наработка на отказ (показатель MTTF) достигает 3 млн часов. Показательн UBER — 10^-16.

В семейство вошли семь модификаций: вместимостью 85, 170, 340, 256 и 512 Гбайт, а также 1 и 2 Тбайт. Скорость последовательного чтения у всех версий составляет до 2400 Мбайт/с, а у старшей модели достигает 2500 Мбайт/с. Скорость последовательной записи варьируется от 900 до 1950 Мбайт/с (см. таблицу ниже).

Версии объёмом 85, 170 и 340 Гбайт выполнены по технологии SLC — один бит информации в ячейке. Эти решения отличаются повышенной долговечностью: ресурс записи (величина TBW) варьируется от 6000 до 24 000 Тбайт.

Модели на 256 и 512 Гбайт, а также 1 и 2 Тбайт используют чипы памяти TLC — три бита информации в одной ячейке. Показатель TBW составляет от 650 до 5200 Тбайт. Для всех моделей заявлена сохранность данных в течение года при отсутствии питания и при температуре +55°C.

Western Digital анонсировала свой первый SSD с поддержкой зонирования — двухпортовый Ultrastar DC ZN540 ёмкостью до 8 Тбайт (96-слойная TLC NAND). Накопитель выпускается в форм-факторе 2,5” U.2 (15 мм), имеет интерфейс PCIe 3.1 и соответствует спецификациями NVMe 1.3c.

Однако он поддерживает и первую версию набора команд ZNS из NVMe 1.4a, который был принят летом этого года. Концепция зонирования отлично подходит для SSD и SMR HDD. Она подразумевает разбиение накопителя на независимые блоки (зоны), которые могут иметь разные скоростные характеристики. Данные в зоны (до-)записываются последовательно, но модифицировать или удалять их нельзя — можно очистить только всю зону целиком. В отличие от традиционных SSD, где управление данными на флеш-памяти занимается контроллер, в накопителях с зонированием данными управляет хост и его приложения, которые сами решают куда и когда записывать информацию.

Такой подход несколько усложняет архитектуру подсистемы хранения данных, но позволяет более тонко управлять её производительностью в зависимости от задачи, а также снижает износ памяти, что особенно актуально для набирающих популярность QLC-накопителей, к которым всё чаще обращаются гиперскейлеры и другие крупные игроки. Например, с зонированием не будет непредсказуемых скачков задержки и скорости обмена данными, связанными с фоновым сбором мусора и перемещением информации между ячейками памяти.

Western Digital приводит данные собственных тестов с накопителями нового типа. В частности, скорость удаётся удержать на постоянном уровне вне зависимости от уровня заполнения диска — разница с обычным SSD достигает четырёх раз. А в случае нарастающей интенсивности записи на накопитель удаётся снизить скорость роста задержки доступа. В реальных приложениях задержка при случайном чтении оказывается в 2,5 раза меньше, а случайной записи — аж в 18 раз.

Компания Western Digital сегодня сообщила о том, что облачный сервис Dropbox одним из первых возьмёт на вооружение передовые жёсткие диски Ultrastar DC HC650. Речь идёт о накопителях, вмещающих 20 Тбайт информации.

Названные диски используют технологию «черепичной» магнитной записи (SMR) с частичным перекрытием дорожек. Доступны модификации с интерфейсом SATA 3.0 и SAS: в первом случае пропускная способность может достигать 6 Гбит/с, во втором — 12 Гбит/с. Частота вращения шпинделя составляет 7200 оборотов в минуту. Расчётная нагрузка достигает 550 Тбайт в год, при этом накопители ориентированы на эксплуатацию в круглосуточном режиме.

Dropbox уже довльно давно использует в своей инфраструктуре SMR-накопители, управляемые хостом (host-managed). Это позволяет одновременно получить относительно невысокую стоимость хранения данных и избежать ряда проблем, характерных для drive-managed дисков. Кроме того, характер нагрузки Dropbox отлично подходит для SMR-накопителей — данные пишутся последовательно и крупными блоками, что хорошо сочетается с зонированием SMR. При этом данные редко удаляются.

Применение дисков Ultrastar DC HC650 на 20 Тбайт, как отмечается, позволит Dropbox увеличить плотность хранения данных при минимальной совокупной стоимости владения (ТСО). При этом будут обеспечиваться высокие показатели надёжности хранения и доступности информации для более чем 600 млн пользователей облачного сервиса по всему миру.

NVMe™ — это не только современный протокол, но и фундамент для IT инфраструктуры следующего поколения. Велика вероятность, что в будущем NVMe у вас будет сквозным, однако, в этом контексте возникает несколько вопросов, например, когда это будущее настанет и каким должен быть ваш первый шаг в его направлении?

Судя по новым решениям, выходящим на рынок, время воспользоваться всеми преимуществами NVMe и выжать максимум из NVMe-oF™ уже пришло, и тому есть пять причин.

Надеть на пробежку лыжные ботинки вместо спортивных шиповок — это плохая идея

Протокол NVMe сам по себе — это новая эпоха в производительности. Скорость хранилища на флеше всегда была выше, чем у жестких дисков, но в условиях типового ЦОД интерфейс не позволял пользоваться ею в полном объеме. SAS и SATA были удобными протоколами на начальном этапе, поскольку позволяли использовать SSD в инфраструктуре, созданной для жестких дисов. Но эти разработанные для жестких дисков интерфейсы оказались попросту неспособны справиться с рабочими характеристиками флеш-хранилища. Это все равно что попросить спринтера-олимпийца выйти на стометровку в лыжных ботинках.

Следующим шагом стало внедрение интерфейса NVMe для SSD-накопителей. Разработанный специально для флеша, он привнес в нашу жизнь повышенную пропускную способность, эффективность и поддержку параллельной обработки данных, позволив извлечь максимальную выгоду из присущей NAND малой задержки.

SSD-накопители с поддержкой NVMe постоянно модернизируются, и стандарт регулярно насыщается новыми функциями и спецификациями (например, зональные пространства имен (ZNS)). Наш последний Ultrastar® DC SN840 — это решение третьего поколения с вертикально интегрированным контроллером NVMe собственного производства, собственным микрокодом и 96-слойной флеш-памятью 3D TLC NAND. Это решение направлено в будущее: низкое значение задержки и высокая доступность двух портов позволяет вам использовать его для новых информационно-емких приложений.

NVMe-oF: рабочие характеристики NVMe теперь и за пределами сервера

Хотя в условиях ЦОД NVMe SSD-накопители прекрасно справляются со своей задачей по ускорению рабочих нагрузок сервера, есть одна проблема. Чтобы полностью использовать скорость NVMe, SSD-накопитель должен находиться на шине PCIe, рядом с процессорами. Шину PCIe невозможно расширить за пределы сервера, и даже если каждый сервер в отдельности ускорить можно, в результате это приведет к возникновению мини-«башен» или «силосов» из SSD-накопителей, которые будет нелегко поделить между хостами.

В дело вступает NVMe-over-Fabrics (кратко — NVMe-oF), знаменуя собой следующий шаг в развитии инфраструктуры ЦОД. NVMe-oF позволяет обеспечивать общий доступ к СХД на NVMe для нескольких хостов, и параметры работы при этом будут сравнимы с локально привязанными SSD-накопителями.

Насколько быстро это все работает? Сегодня мы объявили не только о выходе наших новых корпоративных SSD-накопителей Ultrastar® DC SN840 с поддержкой NVMe, но и о запуске платформы хранения OpenFlex™ Data24 с поддержкой NVMe-oF, собранной полностью на дисковых полках JBOF (Just a Bunch of Flash — просто пачка флеш-дисков) с NVMe. Наша платформа хранения Ultrastar 2U24 на флеше с SAS-интерфейсом всегда считалась очень быстрой: 4,7 млн IOPS, полоса пропускания 25 ГБ/с и задержка меньше миллисекунды. И хотя полный цикл испытаний и проверка рабочих характеристик OpenFlex Data24 пока не закончены, первые полученные значения очень впечатляют. Проведенные нами лабораторные тесты свидетельствуют о том, что производительность должна быть около 13,2 млн IOPS, полоса пропускания — 70,7 ГБ/с, а задержка записи — ничтожно малые 42 микросекунды. Именно в этом состоит мощь технологии NVMe при ее использовании в хранилище, к которому можно дать доступ нескольким хостам.

NVMe-oF позволяет обеспечить скорость NVMe-хранилища даже при работе с несколькими хостами

Быстрее или дешевле? Такой вопрос теперь не стоит

Мы привыкли, что за дополнительную производительность нужно платить. Но с помощью OpenFlex Data24 эта парадигма уходит в прошлое. Технология NVMe-oF не просто поддерживает значительно более интенсивные рабочие нагрузки, требующие высокой производительности, она еще и обходится дешевле. По факту мы ожидаем сокращения расходов на 17% по сравнению с дисковыми полками с SAS-интерфейсом. Отправная точка для этого — использованная нами вертикальная интеграция и философия «от чипа до интеграции». Я уже упоминал, что новые SSD-накопители вертикально интегрированы — от сырой флеш-памяти NAND до контроллера и собственного микрокода, а платформа OpenFlex Data24 вообще полностью разработана нашими силами, включая контроллеры RapidFlex™ с поддержкой NVMe-oF и интегральные схемы специального назначения (ASICs).

Простое внедрение благодаря передовым вариантам подключения

Общие хранилища, в которых доступ к ресурсам предоставлен нескольким серверам сразу, достаточно часто построены на дисковых полках JBOF. При таком подходе объем хранилища может выделяться или перераспределяться сообразно потребностям приложений, и сложность организации такого общего использования бывает разной.

OpenFlex Data24 представляет собой дисковую полку в форм-факторе 2U, рассчитанную на размещение до 24 NVMe SSD-накопителей DC SN840 с сырой емкостью до 368 Тбайт. Кроме того, на нее можно установить до шести контроллеров RapidFlex NVMe-oF. Использование таких контроллеров дает целый ряд преимуществ с точки зрения возможностей подключения, в том числе крайне низкое значение задержки, поддержка Ethernet на 100 Гбит (первоклассная скорость, которой вы можете в полной мере воспользоваться уже сейчас) и низкое энергопотребление.

До шести хостов можно подключить напрямую, без коммутатора, но весь спектр возможностей подключения раскрывается при использовании сетевой топологии на основе коммутаторов (так называемой «коммутационной фабрики» или switched fabric), которая позволяет обеспечить более высокую гибкость и максимальное использование.

Ваш первый шаг к построению компонуемости

Вся отрасль стремится к повышению эффективности, и единым вектором развития для достижения этой цели стала компонуемая дезагрегированная инфраструктура. Для нас это часть более широкой философии, описывающей инфраструктуру хранения и обработки данных завтрашнего дня. Она должна быть не просто компонуемой, а интероперабельной. Сама по себе OpenFlex Data24 совместима с Open Composable API и может быть реализована как часть компонуемой дезагрегированной инфраструктуры.

Кроме того, совместно с другими лидерами отрасти мы основали Лабораторию открытой компонуемости и совместимости (Open ComposableCompatibility Lab — OCCL), основной целью которой является расширение использования принципов компонуемости и совместимости и продвижение интероперабельности в рамках всей экосистемы привязанных к фабрике устройств. Вы также можете присоединиться к этой инициативе, вся информация доступна на сайте opencomposable.com. Если вы хотите получить более подробную информацию о решениях Western Digital, заполните форму выше.

От NVMe к NVMe-oF: время пришло

Платформа OpenFlex Data24, ее архитектура NVMe-oF и NVMe SSD-накопители Ultrastar DC SN840 — это прекрасные аргументы в пользу того, что пришло время для следующей модернизации вашего оборудования и оптимизации расходов и эффективности за счет распределения новых SSD-накопителей и, соответственно, инвестиций на их покупку на несколько серверов. Пора скинуть неудобные лыжные ботинки и отправиться на пробежку в новых быстрых кроссовках.

Рассматриваете возможность внедрения технологии NVMe-oF? Обратите внимание на эти полезные ресурсы:

• Вебинар: «Все, что нужно знать о платформе хранения OpenFlex™ Data24 NVMe-oF™»
• Статьи в блоге: Как технология NVMe-oF™ помогает развитию бизнеса
• Исследования показывают, что сквозной NVMe™ — это ваше будущее
• Изучите нашу линейку SSD-накопителей с поддержкой NVMe
• Прочитайте краткое описание OpenFlex
• Ознакомьтесь с преимуществами RapidFlex A1000

Несмотря на победное шествие твердотельных накопителей, механические жёсткие диски всё ещё применяются широко. Для увеличения плотности записи в них нередко применяется технология черепичной или черепичатой (shingled, SMR) записи, при которой дорожки секторов на пластине частично друг друга перекрывают. Если на скорость чтения это влияет слабо, то запись в режиме SMR производится достаточно медленно, поскольку требует перезаписи соседних дорожек, и даже в архивных сценариях такие скорости могут быть неприемлемо низкими. Однако компания Western Digital, похоже, нашла выход из ситуации.

Вкратце напомним: в технологии SMR для чтения и записи используется разная ширина дорожек, причём, в режиме записи, как более сложном, дорожка шире. Как следствие, дорожки «наползают» друг на друга подобно черепицам на крыше дома, отсюда и название технологии. Считать такую структуру нетрудно, однако если на диск поступают новые данные, приходится стирать и перезаписывать соседние дорожки, а это отнюдь не добавляет скорости, зато серьёзно повышает латентность, причём, непредсказуемым образом. Существует даже отдельный термин tail latencies.

Реализация алгоритмов SMR может быть как дисковая (выполняется на уровне контроллера на плате HDD), так и программная — в этом случае за неё отвечает хост-система. Последний подход обычно требует модификации приложений или даже введения отдельной программной прослойки, и это замедляло темпы внедрения SMR. Однако Western Digital полагает, что нашла выход из ситуации.

Компания смогла договориться о партнёрстве с разработчиком ПО Kalista.IO, разработавшей программное обеспечение под названием Olympus, призванное ускорить запись в накопителях с SMR или зонированием. Данная система состоит из двух сервисов: единого блочного, файлового и объектного интерфейса Phalanx и вычислительного Abacus, каждый из них может запускаться и масштабироваться отдельно. Система Olympus доступна в различных вариантах: как аппаратный блок, программное приложение и даже виртуальный образ.

Phalanx способен представить любой накопитель, будь то SSD или HDD, как диск с черепичной записью и не требует никакой рекомпиляции или иного внесения изменений в существующие приложения, не требуется также установка дополнительного модуля ядра в Linux — всё работает в пространстве пользователя. Данные при этом делятся на «строки и столбцы», при записи Phalanx гарантирует отсутствие одномоментной концентрации «горячих записей», что ликвидирует проблему с непредсказуемой латентностью. Масштабируется Phalanx добавлением дисков, для метаданных используется отдельное хранилище.

Как показывают предварительные тесты, использование ПО, разработанного Kalista.IO в накопителе WD Ultrastar HC600 с хост-управлением SMR, позволяет добиться уровня латентности ниже, нежели у Ultrastar HD530, который SMR-записи не использует. Результаты, полученные WD и Kalista.IO в Hadoop и Ceph можно загрузить по ссылке, в целом же, Phalanx продемонстрировала возрастание IOPS на 58%, а стабильность возросла в 10 раз.

Мы уже рассказывали о СХД WD OpenFlex E3000. Эти системы характеризуются уникальным форм-фактором, в рамках которого каждый твердотельный модуль имеет ёмкость до 61,4 Тбайт и поддержку NVMe-over-Fabrics. А сейчас WD представила пополнение семейства — модуль F3200, пришедший на смену серии F3000.

Шасси WD OpenFlex E3000 и модуль F3200 (сверху)

Составные системы хранения данных WD OpenFlex состоят из шасси E3000 и модулей F3x00; наибольший интерес представляют именно модули. Как правило, в современных флеш-СХД массово используются накопители стандартных форм-факторов: SATA/SAS, U.2 или линеечные EDSFF. Все они достаточно компактны. Но в OpenFlex накопителем является более крупный модуль, который, впрочем, также можно отнести к «линеечным».

В отличие от традиционных SSD, такой модуль сразу оснащается парой портов QSFP28 для 50GbE-подключений к сети. Линейная производительность при этом составляет до 12 Гбайт/с, а ёмкость варьируется от 12,8 до 61,4 Тбайт. В шасси таких «дисков» может устанавливаться до десяти.

Немного позднее модель F3000 сменилась более новой F3100, которая смогла похвастаться скоростями случайных операций до 2,1 млн IOPS при задержке, не превышающей 48 мкс. В ней компания перешла на использование 96-слойной памяти 3D TLC NAND. Новейшая модель F3200, представленная сейчас, не изменилась с точки зрения ёмкости, потолок всё так же составляет 61,4 Тбайт. Однако над скоростными показателями WD поработала: производительность на случайных операциях выросла на 48%, на линейных скорость записи увеличилась на 22%.

Доступные варианты накопителей WD OpenFlex 3200

А вот надёжность даже несколько снизилась: если ранее серия делилась на модели с выносливостью 1 DWPD и 3 DWPD, то теперь наиболее ёмкая модель гарантирует всего 0,8 DWPD, хотя есть варианты F3200 и выдерживающие две полные перезаписи в день в течение гарантийного срока.

Интерфейс не изменился, это всё так же пара портов 50GbE с поддержкой NVMe-oF и RoCE (RDMA over Converged Ethernet), но обновилось программное обеспечение: появилась поддержка VLAN tagging, secure erase, расширенного пространства имён NVMe. Поддерживается набор открытых API Open Composable, за счёт чего обеспечивается полноценный мониторинг и удалённое управление системой хранения данных.

Стоимость самого ёмкого модуля F3200 в серии составляет почти $32 тысячи, а младшую, но самую быструю по времени отклика модель объёмом 12,8 Тбайт можно приобрести и за $13,8 тысяч. Подробности можно узнать на сайте Western Digital.

Также напомним, что в рамках обновления ИТ-инфраструктуры платформа WD OpenFlex будет использоваться в Международном центре исследований головного и спинного мозга, который располагается в Париже: объёмы данных в современных нейрофизиологических исследованиях огромны и сочетание скорости и ёмкости WD OpenFlex придётся здесь как нельзя более к месту.

Стало известно, что Western Digital проведёт модернизацию инфраструктуры хранения данных Международного центра исследования головного и спинного мозга (ICM Brain and Spine Institute), базирующегося в Париже. Для этого будет использована СХД-платформа OpenFlex с открытой компоновкой.

Устаревшая инфраструктура хранения данных центра не соответствует возможностям современного оборудования. Современные микроскопы способны генерировать до 2 Тбайт данных в час, что превышает возможности локальных СХД, привязанных к рабочей станции. Из-за этого возникали длительные задержки в связи с необходимостью ожидания отклика от инфраструктуры хранения данных на каждом этапе анализа.

Выбрав OpenFlex, институт получил сверхбыструю СХД на более производительной и гибкой архитектуре с использованием технологии NVMe over Fabrics (NVMe-oF), и теперь учёные смогут распределять ресурсы хранилища через институтскую сеть Ethernet без потерь в производительности и задержках.

Решение OpenFlex от Western Digital обеспечивает учёным следующие преимущества:

• Высокая производительность, сопоставимая с параметрами локальной системы хранения. Благодаря этому институтская сеть Ethernet способна обеспечить скорость до 50 Гбит/с, а задержка, по информации института, для большинства операций с СХД не превышает 34 микросекунды.
• Ускорение темпов исследовательской деятельности за счёт устранения задержек и перебоев при анализе данных.
• Гибкая архитектура. С помощью OpenFlex IT-специалисты института могут выделять ресурсы общего хранилища под конкретные задачи любого исследователя, изменяя по запросу размер томов хранилища и перераспределяя их. В дальнейшем институт будет закупать новое оборудование, увеличивая разрешение медицинских изображений и размер файлов, поэтому такая гибкость имеет большое значение.
• Повышение эффективности и сокращение издержек. Поскольку данные хранятся централизованно в сетевом ЦОД, для IT-команды института упростится техническое обслуживание и обновление ПО. Также не будет необходимости в закупке дополнительных локальных накопителей отдельно под каждое новое устройство.

Во многих отраслях промышленности произошедшее в последние годы развитие перспективных технологий, в частности 5G, интернета вещей (IoT) и искусственного интеллекта (ИИ), было встречено с большим ажиотажем. Столь бурная реакция прежде всего объясняется огромным потенциалом таких технологий, ведь они способны кардинально изменить подход к хранению и использованию информации и данных, сделав их более понятными и повысив уровень безопасности, продуктивности и качество аналитики. Впрочем, широкое внедрение этих технологий также приведет и к значительному увеличению объема генерируемых данных, для работы с которыми так же оперативно и с упором на снижение уровня задержки и увеличение емкости должны модернизироваться СХД.

Хотя будущее предсказывать непросто, кое-что можно сказать с большой долей уверенности: в следующие десять лет объем создаваемых данных продолжит расти по экспоненте. Согласно недавнему прогнозу IDC, в текущем году человечество создаст, сохранит, скопирует и обработает 59 зеттабайт (Збайт) данных. Происходящий на наших глазах взрывной роста объема информации ставит перед компаниями из всех отраслей один и тот же вопрос — как подготовить и оптимизировать СХД?

Лавинообразный рост объемов данных в отраслевом масштабе

Во многих отраслях промышленности компании накопили значительные объемы ценных, но необработанных, сырых данных. Эти данные можно пропустить через мощные современные инструменты аналитики и извлечь из них полезные инсайты, которые помогут компании улучшить свои операционные показатели и открыть для себя новые рыночные возможности. Те участники рынка, которые научатся эффективно оперировать этими инструментами, значительно повысят ценность своего предложения и смогут выделиться из конкурентной массы, а остальные будут постепенно сдавать свои позиции.

Хорошим примером вертикально выстроенной отрасли может служить финансовый сектор. Его постоянно заливает огромными объемами самых разных данных: от информации о банковских транзакциях до проектной аналитики и цен на акции. Стоит упомянуть и отрасль промышленного производства, в которой автоматизация, затрагивая интернет вещей, аналитику и технологические линии, позволяет повысить отдачу производственных систем и масштабировать их, нарастив выпуск с сотен единиц в час до тысяч или даже миллионов.

По мере того как во всех отраслях компании будут сталкиваться с непрекращающимся ростом объемов данных, им придется переосмыслить свой подход к сбору, хранению и преобразованию данных, а также пересмотреть организацию доступа к ним. И неважно, идет ли речь о высокопроизводительном ИИ, гипермасштабируемых круглосуточно доступных системах или всего лишь о домашних компьютерных играх, многие устаревшие СДХ не в состоянии беспроблемно справиться с новыми вызовами, которые перед ними ставят быстрые данные, — их производительность и качество обслуживания ухудшается, а уровень задержки растет.

Новое решение с поддержкой NVMe™ для больших данных

Для преодоления возникающих трудностей многие компании выбирают накопители с поддержкой Non-Volatile Memory Express (NVMe) — единственного протокола, подходящего для ресурсоемких корпоративных экосистем с большими вычислительными мощностями, в которых используются облачные ресурсы и периферийная обработка данных. В NVMe реализован целый ряд передовых характеристик, которые дают компании возможность не только улучшить свои бизнес-показатели, но и более эффективно использовать имеющиеся данные. Ниже приведены некоторые из таких характеристик.

• 1. Повышенная производительность

Первый SSD-накопитель на флеше вернул часть былого величия устаревшим физическим интерфейсам SATA/SAS и соответствующим протоколам и форм-факторам, но ни один из этих интерфейсов и протоколов не разрабатывался под высокоскоростные СХД. Следующим логическим интерфейсом для хранилищ стал PCI Express (PCIe), но ранние версии PCIe SSD были завязаны на фирменное программно-техническое обеспечение, из-за чего масштабировать систему было весьма проблематично. Протокол NVMe возник как решение этих проблем, поскольку он дает гораздо более высокую производительность и меньшие задержки по сравнению со старыми протоколами SAS и SATA.

• 2. Простота установки

Реализация СДХ с накопителями со стандартом подключения NVMe не требует специализированной сетевой инфраструктуры, достаточно обычного соединения по Ethernet или Fibre Channel.  Это очень важно, потому что компаниям не приходится вносить изменения в приложение.

• 3. Экономические преимущества

Доступ к данным для приложений по обычным протоколам потребляет много циклов ЦП, и эти нерачительно использованные циклы вычислений стоят компаниям реальных денег. Бюджеты на IT не растут теми же темпами, что объемы данных, поэтому компании оказываются под огромным давлением — от их инфраструктуры требуется максимальная отдача, как в части емкости, так и вычислительных мощностей. Поскольку NVMe умеет справляться с серьезными рабочими нагрузками от приложений даже в условиях ограниченной инфраструктуры, организации могут снизить общую стоимость владения и ускорить рост валовой выручки.

И нам видна только самая верхушка айсберга революции данных. По мере дальнейшего развития интернета вещей и машинного обучения и появления новых приложений ценность данных также будет меняться, и для эффективного использования новых технологий компаниям следует концептуально поменять свой подход к организации СХД. С помощью NVMe компания может реализовать невиданные доселе функции, открывая для себя совершенно новую парадигму проектирования и построения приложений — с большей эффективностью, более низким значением задержки и за гораздо меньшие деньги. Переход на NVMe станет жизненно необходимым шагом для любой компании, стремящейся во всеоружии встретить революцию больших данных, которая продлится не одно десятилетие.

Для более гладкого перехода на технологию NVMe компания Western Digital предлагает накопители из модельного ряда Ultrastar® с поддержкой NVMe™, характеризующиеся низким значением задержки и максимальной пропускной способностью для рабочих нагрузок с большим количеством транзакций. Вслед за серверным накопителем Ultrastar DC SN640, представленным Western Digital в 2019 г., в июне 2020 г. компания запустила еще одно революционное решение для ЦОД, объединяющее в себе три ключевые технологические новинки: новую платформу OpenFlex™ Data24 NVMe-oF™ и входящие в ее состав новый SSD-накопитель Ultrastar DC SN840 NVMe и контроллеры RapidFlex™.

С появлением NVMe значительно увеличились объемы хранилищ в ЦОД по сравнению с твердотельными накопителями с SATA и SAS, и теперь, благодаря высокоскоростному подключению RapidFlex к СХД OpenFlex, технология NVMe over Fabric (NVMe-oF) позволяет вам создавать дезагрегированные NVMe-хранилища поверх вашей сети с производительностью, сопоставимой с локальной СХД.

Заявления прогнозного характера

В настоящей статье могут содержаться заявления прогнозного характера, в том числе заявления об ожидаемых продуктах Western Digital для хранения данных с поддержкой NVMe, рынке для этих продуктов, а также будущих характеристиках этих продуктов и примененных в них технологиях. Фактические результаты могут значительно отличаться от обозначенных в заявлениях прогнозного характера, поскольку данные заявления прогнозного характера подвержены действию рисков и неопределенности, включая сложности и задержки, связанные с разработкой, проблемы с цепочкой поставок или логистикой, изменения рыночной конъюнктуры, спроса, глобальных экономических условий, а также другие риски и неопределенности, приведенные в переданных в Федеральную комиссию по ценным бумагам и биржам США (Securities and Exchange Commission) последних квартальных и годовых отчетах Western Digital Corporation, на которые следует обратить внимание. Читатели предостерегаются от того, чтобы всецело полагаться на подобные заявления прогнозного характера, и мы не планируем в дальнейшем актуализировать настоящие заявления прогнозного характера, чтобы отразить в них позднее наступившие события или обстоятельства.

Автор: Давид Вилла, директор по развитию бизнеса Western Digital в регионе Европа, Ближний Восток, Африка и Индия (EMEAI)

Если вы хотите получить более детальную информацию о решениях Western Digital, заполните форму выше.