Британская компания Disk Archive Corporation, основанная в 2008 году, по сообщению ресурса Blocks & Files, добилась существенных успехов в продвижении своей платформы длительного хранение информации ALTO. Говорится, что данную систему для архивирования данных выбрали около 350 крупных клиентов, в число которых входят телерадиовещательные станции и медиакорпорации.

ALTO, или Alternative to LTO, позиционируется в качестве альтернативы традиционным ленточным хранилищам. По сравнению с последними, как утверждает Disk Archive Corporation, платформа ALTO обеспечивает ряд преимуществ, включая независимость от поставщиков накопителей

Архитектура ALTO предусматривает применение традиционных HDD. Система включает основной узел 4U со встроенным контроллером и посадочными местами для 60 дисков. Кроме того, могут быть подключены до 10 модулей расширения на 60 накопителей каждый. Таким образом, суммарное количество HDD достигает 660. При использовании дисков ёмкостью 24 Тбайт это даёт ёмкость в 15,84 Пбайт. По мере появления новых накопителей вместимость может быть увеличена.

Источник изображения: Disk Archive Corporation

Разработчик отмечает, что в составе ALTO применяются обычные HDD с интерфейсом SATA, с поставками которых проблем в обозримом будущем не будет. Вместе с тем, как отмечается, архивы на основе оптических носителей или ленточных картриджей не застрахованы от «непредвиденных событий и прихотей ограниченного круга поставщиков».

Диски в системе ALTO могут быть активными только в течение 50 часов в год. Такое ограничение призвано продлить срок службы HDD до 15 лет и более. Кроме того, сокращается энергопотребление. Необработанная информация записывается на два идентичных накопителя. Оба могут оставаться в системе или же один из них можно извлечь для хранения «на полке».

Все HDD получают идентификатор UUID (Universal Unique Identifier); кроме того, для них генерируется QR-код, который может быть нанесён на корпус в виде наклейки. Это упрощает работу с архивами большого объёма. Говорится о высоком уровне безопасности благодаря возможности использования «воздушного зазора» (air gap). При необходимости третья копия информации может быть записана в облако. В отличие от ленточных библиотек, в системе ALTO не используется робототехника для работы с накопителями, что повышает общую надёжность.

На накопители приходится значительная доля углеродных выбросов и энергозатрат IT-индустрии. Как сообщает портал IEEE Spectrum, эксперты уверены — в обозримом будущем обеспечить экологическую безопасность и экономическую эффективность хранения можно с помощью технологии хранения информации на магнитных лентах.

По данным экспертов, в 2019 году 60 % всех данных были «холодными», т.е. редко востребованными, но всё ещё очень важными. Полный переход на ленточные накопители (LTO) для таких данных позволит снизить не только выбросы CO₂, но и улучшить экономические показатели. По некоторым оценкам, при переходе на LTO мировые выбросы углекислого газа, связанные с накопителями, снизятся на 58 % или на 79 млн т.

Источник изображения: Brad Johns Consulting

Потребность в накопителях только растёт, и уже в 2025 году, по данным IDC, придётся хранить 17 Збайт данных. Как выяснили IDC совместно с Seagate, в 2021 году 62 % данных хранились на HDD, 9 % на SSD и 15 % — на LTO. Хотя HDD объективно удобнее и значительно быстрее LTO, средний срок эксплуатации жёстких дисков составляет всего 5 лет, в течение которых генерируется эквивалент 2,55 кг CO₂ на 1 Тбайт ежегодно. Для ленточных хранилищ этот показатель составляет всего 0,07 кг/год.

При переходе на LTO снизятся и объёмы электронных отходов. Если HDD в среднем работают 5 лет, то ленточные накопители — 10; поэтому их придётся менять вдвое реже. Например, если ЦОД хранит 100 Пбайт данных в течение 10 лет, то использование HDD приведёт к появлению 7,4 т электронных отходов. Если 60 % информации перенести на ленты, отходов станет меньше на 51 % — 3,6 т. Таким образом, по ряду параметров ленточные накопители будут предпочтительнее HDD ещё минимум десятилетие.

Источник изображения: Brad Johns Consulting

Финансовая выгода такого подхода тоже очевидна. По оценкам Fujifilm, хранение 100 Пбайт обойдётся в $17 707 468, тогда как при переносе 60 % данных на ленты стоимость хранения снизится до $9 476 339. И если крупные операторы активно закупают LTO, то для многих других верная оценка того, какие именно данные являются «холодными», является непростой и дорогой задачей — это одна из причин медленного отказа от HDD в пользу ленточных решений в малых ЦОД.

Тем не менее, будущее ленточных накопителей остаётся под вопросом. Хотя у них пока имеется конкурентное преимущество перед жёсткими дисками, уже ведутся разработки накопителей нового типа. Впрочем, технологии LTO тоже не стоят на месте. Так, в начале года Western Digital предложила новый тип накопителей — высокоинтегрированный LTO-картридж в корпусе HDD.

Некоторые эксперты считают, что жизненный цикл жёстких накопителей подходит к концу. В их числе Шон Розмарин (Shawn Rosemarin), вице-президент по исследованиям и разработкам в подразделении по работе с клиентами (Customer Engineering) компании Pure Storage, заявивший, что после 2028 года жёсткие диски больше продаваться не будут из-за их плохой энергоэффективности и ограниченности применения, а также снижения стоимости флеш-накопителей.

Розмарин подчеркнул, что главным фактором падения конкурентоспособности жёстких дисков по сравнению с SSD станет высокий расход электроэнергии, а не снижение стоимости SSD или появление DFM ёмкостью 300 Тбайт собственной разработки Pure. Он отметил, что даже новейшие технологии магнитной записи с энергетической поддержкой, позволяющие значительно увеличить плотность записи, не спасут ситуацию.

Фото: Pixabay/FilipFilipovic

Производители HDD придерживаются другого мнения. Ещё в 2021 году Seagate заявила, что SSD не станут убийцами жёстких дисков. Мнения VAST и Infinidat по этому поводу заметно отличаются. Если VAST считает, что низкий уровень IOPS приведёт к ограничению использования ёмких HDD в хранилищах данных петабайтного масштаба, то Infidat отвечает, что это «должно быть шутка». Согласно оценкам Gartner, к 2026 году на долю SSD придётся 35 % от общего объёма поставок накопителей корпоративного класса (в Эбайт), что это делает маловероятным прогноз Розмарина.

«3 % мирового энергопотребления приходится на ЦОД, — приводит слова гендиректора Pure Розмарин. — Примерно треть от этого приходится на хранение. Почти всё это — HDD. Если отказаться от HDD и перейти на флеш-память, мы сможем, по сути, снизить энергопотребление на 80–90 %, увеличив плотность [хранения] на порядок в условиях, когда цены на NAND продолжают падать. Становится очевидным, что HDD уходят в прошлое».

Изображение: Pure Storage

Розмарин также отметил проблемы с поставками электроэнергии, доступность которой придётся учитывать при создании или расширении ЦОД — компаниям придётся выбирать между энергоэффективными SSD или ёмкими HDD. Скачок в развитии ИИ-технологий увеличил потребность в хранилищах, добавил Розмарин, что, по его словам, усугубляет проблему с точки зрения того, сколько данных смогут хранить провайдеры в связи с грядущим повышением спроса на электроэнергию.

Следует отметить, что Pure Storage является конкурентом производителей жёстких дисков, поэтому заявление её топ-менеджера необходимо оценивать с учётом этого факта. На данный момент массового перехода на флеш-память не наблюдается — ни один из гиперскейлеров пока не объявил о таком шаге. «Если же кто-то из них это сделает, то это будет сигналом того, что Pure Storage не одинока в своём убеждении », — пишет Blocks & Files.

Классические ленточные накопители устроены так, что в картридже хранится только катушка с лентой, а головки и вся лентопротяжная механика отделены. Компания Western Digital предлагает кардинально изменить эту концепцию. Компания опубликовала ряд новых патентов (11393498, 20200258544 и 11081132), описывающих конструкцию высокоинтегрированного ленточного накопителя, устроенного подобно традиционным жёстким дискам.

Новый ленточный накопитель WD в HDD-корпусе. Внизу плата с обычным интерфейсом SAS. Источник здесь и далее: Western Digital

Концепция предусматривает не только перенос всех компонентов в единый корпус, подобно HDD, но и заимствует некоторые элементы у жёстких дисков: так, патент описывает конструкцию подвеса головок, устроенную аналогично HDD. Внешне тип ленточных накопителей механически и электрически не будет отличаться от обычных жёстких дисков. Совпадают и размеры корпуса — 147 × 102 × 26 мм, что даст возможность устанавливать накопители в обычные LFF-отсеки.

WD предлагает использовать HDD-подобные узлы

Такая конструкция сделает накопитель дороже и не столь универсальным, нежели обычные картриджи LTO, но позволит повысить надёжность, а удельная стоимость хранения данных всё равно окажется ниже, нежели на HDD — $4 за 1 Тбайт против $20 у жёсткого диска. При этом не стоит забывать о возможности модификации уже имеющихся HDD-массивов. Проблема с низкой скоростью случайного доступа к данным останется на месте, что, впрочем, можно компенсировать буфером достаточного объёма на базе флеш-памяти. Зато общий объём сможет достигнуть 100+ Тбайт.

Размеры нового накопителя WD в сравнении с картриджем LTO

При растущей популярности ленточных систем у операторов облачных платформ новинка WD вполне может увидеть жизнь, хотя компании, продвигающие технологию LTO — HPE, IBM и Quantum — могут отреагировать на неё и негативно. Напомним, что в планах консорциума LTO уже заложено развитие технологии вплоть до 14-го поколения с объёмом картриджа до 576 Тбайт несжатых данных.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

✴/Iceotope/ASME " height="441" width="709" />

Источник изображения: Meta✴/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

Western Digital анонсировала технологию OptiNAND, которая, по её словам, полностью меняет архитектуру жёстких дисков и вместе с ePMR открывает путь к созданию накопителей ёмкостью более 20 Тбайт (от 2,2 Тбайт на пластину) даже при использовании CMR — вплоть до 50 Тбайт во второй половине этого десятилетия. OptiNAND предполагает интеграцию индустриального UFS-накопителя серии iNAND непосредственно в HDD. Но это не просто ещё один вариант NAND-кеша.

Увеличение ёмкости одной пластины происходит благодаря повышению плотности размещения дорожек, что, правда, на современном этапе развития жёстких дисков требует различных ухищрений: заполнение корпуса гелием, использование продвинутых актуаторов, применение новых материалов, требующих энергетической поддержки записи (MAMR, HAMR и т.д.). Вместе с тем механическая часть накопителей не столь «тонка» и подвержена различным колебаниям, которые могут повлиять на запись и считывание столь плотно упакованных дорожек.

При производстве жёстких дисков делается калибровка и учёт этих ошибок в позиционировании головки (RRO, repeatable run out), а данные (речь идёт о гигабайтах) обычно записываются непосредственно на пластины, откуда и считываются во время работы накопителя. В случае OptiNAND эти мета✴-данные попадают во флеш-память, позволяя высвободить место. Правда, пока не уточняется, насколько это значимо на фоне общей ёмкости пластины.

Второй важный тип мета✴-данных, который теперь попадает в iNAND, — это информация о произведённых операциях записи. При повышении плотности размещения риск того, что запись на одну дорожку повлияет на данные в соседней, резко увеличивается. Поэтому, опираясь на данные о прошлых записях, жёсткий диск периодически перезаписывает данные соседних дорожек для повышения сохранности информации.

В старых накопителях одна такая операция приходилась примерно на 10 тыс. записей, в современных — на менее, чем на 10 записей. Причём учёт ведётся именно на уровне дорожек. iNAND же позволяет повысить точность отслеживания записей до секторов, что, в свою очередь, позволяет разнести операции перезаписи в пространстве и времени, снизив общую нагрузку на накопитель и повысив плотность размещения дорожек без ущерба для производительности, поскольку надо тратить меньше времени на «самообслуживание».

Наконец, быстрая и ёмкая UFS (вплоть до 3.1) позволяет сохранить в 50 раз больше данных и мета✴-данных из DRAM в сравнении с жёсткими дисками без OptiNAND в случае аварийного отключения накопителя и в целом повысить его производительность, причём в независимости от того, включено ли кеширование записи или нет. Кроме того, новый слой памяти позволяет лучше оптимизировать прошивку под конкретные задачи — будут использоваться 162-слойные TLC-чипы от Kioxia, которые можно настроить в том числе на работу в режиме SLC.

Western Digital планирует использовать OptiNAND в большинстве серий своих жёстких дисков, предназначенных для облаков и гиперскейлеров, корпоративных нужд (Gold), систем видеонаблюдения (Purple) и NAS (Red). Первые образцы 20-Тбайт накопителей (CMR + ePMR) с OptiNAND уже тестируются избранными клиентами компании. А вот о потребительских решениях пока ничего сказано не было.

Вчера был опубликован релиз спецификаций NVMe 2.0. Из скромного протокола для блочных устройств хранения данных, использующих PCI Express, NVMe эволюционирует в один из самых важных и универсальных протоколов для хранилищ практически любого типа. Новые спецификации будут способствовать развитию экосистемы устройств NVMe: SSD, карт памяти, ускорителей и даже HDD.

Вместо базовой спецификации для типовых PCIe SSD и отдельной спецификации NVMe-over-Fabrics (NVMe-oF), версия 2.0 изначально разработана как модульная и включает целый ряд отдельных стандартов: базовый набор (NVMe Base), отдельные наборы команд (NVM, ZNS, KV), спецификации транспортного уровня (PCIe, Fibre Channel, RDMA, TCP) и спецификации интерфейса управления (NVMe Management Interface). Вместе они определяют то, как программное обеспечение хоста взаимодействует с накопителями и пулами хранения данных через интерфейсы PCI Express, RDMA и т.д.

Базовая спецификация теперь охватывает и локальные устройства, и NVMe-oF, но является намного более абстрактной и не привязанной к реальному миру — было изъято столько всего, что её уже недостаточно для определения всей функциональности, необходимой для реализации даже простого SSD. Реальные устройства должны ссылаться ещё как минимум на одну спецификацию транспортного уровня и на одну спецификацию набора команд. В частности, для типовых SSD, к которым все привыкли, это означает использование спецификации транспорта PCIe и набора команд блочного хранилища.

Три стандартизированных набора команд (блочный доступ, ZNS и Key-Value) охватывают области применения от простых твердотельных накопителей с «тонкими» абстракциями над базовой флеш-памятью до относительно сложных интеллектуальных накопителей, которые берут на себя часть задач по управлению хранением данных, традиционно выполнявшихся программным обеспечением на хост-системе. При этом различным пространствам имен, расположенным за одним контроллером, дозволено поддерживать разные наборы команд.

В NVMe 2.0 также добавлен стандартный механизм управления пулами хранения данных, который позволяет более тонко управлять нагрузкой в зависимости от производительности, ёмкости и выносливости конкретных устройств. Иерархия пулов также была расширена ещё одним уровнем доменов, внутри которых теперь существуют группы, где, в свою очередь, находятся отдельные наборы NVM-устройств.

Будущие наборы команд, например для вычислительных накопителей (computational storage), все еще находятся в стадии разработки и пока не готовы к стандартизации, но новый подход NVMe 2.0 позволит легко добавить их при необходимости. В принципе, в состав NVMe мог бы войти и стандарт Open Channel, но отрасль считает, что парадигма зонированного хранения обеспечивает более разумный баланс, и интерес к Open Channel SSD ослабевает в пользу ZNS-решений.

Из прочих изенений в NVMe 2.0 можно отметить поддержку 32-бит и 64-бит CRC, новые правила безопасного отключения устройств в составе общих хранилищ (при доступе через несколько контроллеров), более тонкое управление правами доступа — можно разрешить чтение и запись, но запретить команды, меняющие настройки или состояние накопителя — и дополнительные протоколы, касающиеся обновления прошивок.

Также в NVMe 2.0 появилась явная поддержка жёстких дисков. Хотя маловероятно, что HDD в ближайшее время перейдут на использование PCIe вместо SAS или SATA, поддержка таких носителей означает, что в будущем предприятия смогут унифицировать свои SAN c помощью NVMe-oF и отказаться от старых протоколов, таких как iSCSI.

В целом, NVMe 2.0 приносит не та уж много новых функций, как это было с прошлыми версиями. Однако сама реорганизация спецификации поощряет итеративный подход и эксперименты с новыми функциями. Так что в ближайшие несколько лет, вероятно, обновления будут менее масштабными и станут выходить чаще.