Huawei, по сообщению Blocks​&​Files, разрабатывает технологию хранения больших объёмов данных на основе так называемых магнитоэлектрических дисков (MED). Фактически речь идёт о совмещении SSD и ленточных накопителей в одном корпусе, что позволит объединить преимущества «горячего» и «холодного» хранения. Необходимость создания СХД нового типа обусловлена жёсткими санкциями со стороны США — Huawei опасается возможных перебоев с закупками традиционных HDD.

Концепция MED заключается в объединении в одном герметичном корпусе носителей разных типов. Это твердотельный накопитель на основе флеш-памяти NAND и ленточная система, включающая привод, катушки с лентой и головки чтения-записи. Таким образом, для работы с «горячими» данными может использоваться SSD, обеспечивающий низкие задержки и высокие скорости чтения/записи, а с «холодными» — ленточный модуль. Длина ленты приблизительно вдвое меньше, чем в LTO-картриджах, т.е. около 480 м вместо 960 м.

Конструктивно MED напоминает кассету для магнитофона и содержит две катушки для ленты, электромотор и головки. MED имеет блочный интерфейс и два слоя трансляции. При записи информация попадает сначала на SSD, а после переупорядочивания последовательно записывается на ленту. При чтении накопитель, опираясь на метаданные во флеш-памяти, считывает данные либо с SSD («тёплые»), либо с ленты («холодные»). В последнем случае задержка доступа может составлять до двух минут.

Источник изображения: Blocks & Files

В составе платформы MED не используются технологии ленточных накопителей IBM, Fujifilm или Sony. Вместо этого Huawei разработала необходимые компоненты совместно с китайскими партнёрами, а чипы NAND и так производятся в КНР. Это обеспечивает независимость от зарубежных изделий, которые могут подпасть под санкции. Шасси MED не нуждается в роботизированных манипуляторах и обеспечивает высокую плотность размещения накопителей.

MED первого поколения вмещает 72 Тбайт информации, потребляя при этом всего 10 % электроэнергии, необходимой обычному жёсткому диску. Совокупная стоимость владения (TCO) примерно на 20 % ниже по сравнению с другими ленточными системами эквивалентной ёмкости. Стойка MED первого поколения обеспечивает скорость передачи данных на уровне 8 Гбит/с, вмещает более 10 Пбайт информации и потребляет менее 2 кВт. Системам MED не грозит перегрев, поскольку они в основном рассчитаны на хранение архивных данных.

На систему MED и её компоненты компанией Huawei получен ряд патентов. Решения первого поколения, как ожидается, выйдут в 2025 году. А на 2026–2027 гг. запланирован выпуск устройств второго поколения с отсеками формата 3,5″ (LFF). Нечто похожее предложила и Western Digital — компания запатентовала высокоинтегрированный LTO-картридж в корпусе HDD. Что касается дальнейших планов Huawei, то сейчас она разрабатывает собственные SSD вместимостью 60 Тбайт на основе флеш-памяти QLC NAND с SLC-кешированием.

«Инфосистемы Джет» и «Аэродиск» сообщили об успешных испытаниях первого отечественного метрокластера на базе СХД с использованием сценариев эмуляции различных отказов и сбоев. В «Инфосистемы Джет» отметили, что протестированный метрокластер является первым отечественным решением такого класса.

Метрокластер представляет собой отказоустойчивую ИТ-инфраструктуру на базе синхронной репликации данных средствами СХД. Метрокластер включает две идентичные СХД, размещённые в разных локациях с зеркалированием данных в синхронном режиме. Выход из строя одной СХД или целой площадки не отражается на сохранности данных, которые остаются доступны на второй СХД, а функционирование прикладных систем продолжается. Работа такого кластера полностью автоматизирована и не требует вмешательства администратора в случае сбоя.

Тестируемая конфигурация была построена на отечественных решениях «Аквариуса»: две СХД «Аэродиск» Engine AQ 440, соединённые между собой оптическими каналами связи через 25GbE-коммутаторы AQ-N5001, и ферма виртуализации на серверах T50 с использованием отечественного ПО. В ходе испытания проводилась эмуляции прикладной тестовой нагрузки на СХД со стороны СУБД PostgreSQL, запущенной в виртуальной машине. Также вносились сетевые задержки для эмуляции протяжённой линии связи межу ЦОД.

Источник изображения: «Инфосистемы Джет»

Как сообщается, сначала работу кластера проверили при смоделированном отказе СХД на одной площадке из-за аварийного отключения электропитания. Для миграции виртуального интерфейса (VIP) метрокластера на другую СХД потребовалось 30 секунд, что не отразилось на стабильности работы виртуальной машины.

Затем провели эмуляцию отказа всей площадки из-за отключения электропитания оборудования (сервер, коммутатор, СХД). В этом случае помимо переключения VIP СХД метрокластера на другую СХД произошло переключение виртуальной машины из-за отказа хоста виртуализации. После этого тестовая нагрузка была перезапущена на второй площадке. Всего на восстановление нагрузки после крушения системы ушло не более трёх минут.

В третьем тесте проверили работу метрокластера при сбое каналов связи, который приводит к изоляции узлов кластера. В ходе теста эксперты проверили работу механизма арбитража между двумя СХД при участии сервера-арбитра. В этом случае СХД, сохраняющая с ним связь, становится основной и принимает на себя нагрузку, а вторая СХД исключается из кластера.

В рамках масштабной программы импортозамещения Сбербанк успешно осуществил перенос хранилищ данных на собственное решение SberData Platform. При этом программно-аппаратные комплексы Teradata выведены из эксплуатации.

Платформа по работе с данными SberData Platform объединяет ряд ключевых сервисов. Это SDP DataFlow (загрузка и преобразование данных), SDP Hadoop (хранение и обработка больших данных), SDP Analytics (анализ и визуализация информации), SDP DataLab (разработка моделей машинного обучения) и пр. Дополнительные сервисы — SDP Data Quality (контроль качества данных), Platform V Pangolin (реляционная СУБД на базе PostgreSQL) и SDP AnalyticDB (аналитическое хранилище данных).

Как отмечается, Сбербанк начал переводить хранилища данных на SberData Platform в 2022 году. В 2023-м на использование собственного решения мигрировала основная часть служб кредитной организации, а в 2024 году процесс полностью завершился. В проекте были задействованы 205 команд, представляющих все подразделения банка. При этом количество активных участников проекта превысило 2 тыс. человек.

Источник изображения: Сбербанк

Компания подчёркивает, что перевод хранилищ на SberData Platform снял для исследователей данных существенные ограничения, обусловленные архитектурными особенностями зарубежного решения. Кроме того, значительно снизилась стоимость хранения информации. В целом, реализация проекта повысила доступность технологий работы с данными для широкого круга пользователей. Платформа SberData Platform включена в Реестр программного обеспечения Минцифры РФ.

Сбербанк осуществляет активное импортозамещение в различных сферах. В частности, кредитная организация намерена полностью отказаться от зарубежных СУБД в значимых объектах критической инфраструктуры. Кроме того, ведётся переход с Citrix на отечественную VDI-платформу Termidesk, а на замену SAP ERP создаётся несколько прикладных платформ по управлению финансами, закупками, недвижимостью и кадрами.

Центр научных данных и вычислений (SDCC) Брукхейвенской национальной лаборатории (BNL) Министерства энергетики США (DoE) похвастался, что в его хранилищах находится уже свыше 300 Пбайт информации. Как сообщает Datacenter Dynamics, речь идёт о третьем по величине хранилище научных данных в Соединённых Штатах и крупнейшем в США архиве ленточных накопителей.

Хранящиеся данные связаны с экспериментами в области ядерной физики и физики элементарных частиц. В пресс-релизе Брукхейвенской лаборатории руководство SDCC заявляет, что в архиве хранится вшестеро больше данных, чем составила бы вся письменная история человечества, начиная с источников на санскрите (50 Пбайт). В частности, в хранилище находятся данные, полученные в экспериментах на Релятивистском коллайдере тяжелых ионов (RHIC) Министерства энергетики США, который с 2000 года работает в Брукхейвенской лаборатории, и данные эксперимента ATLAS на Большом адронном коллайдере (БАК).

Источник изображения: Roger Stoutenburgh / Brookhaven National Laboratory

Вся информация доступна онлайн и по запросу. Сведения хранятся в высокотехнологичной роботизированной ленточной библиотеке. В лаборатории уже разработано собственное ПО и веб-сайт для мониторинга передачи данных, структура также сотрудничает с другими лабораториями Министерства энергетики и IBM над развитием системы управления информацией — High-Performance Storage System (HPSS). Последняя гарантирует, что разные системы хранения данных, от лент до дисков, могут эффективно использоваться в различных комбинациях. Также разработано ПО, используемое физиками для доступа к информации SDCC.

Представители SDCC сообщают, что лаборатория пользуется преимуществами гибридной СХД: данные хранятся в основном на лентах и переносятся на диски только в случае необходимости, что снижает стоимость эксплуатации и повышает экологичность хранения. Так, диски требуют охлаждения и энергию, тогда как ленты вне периода эксплуатации попросту лежат в библиотеках. Сами ленточные библиотеки размещены в специальных залах с оптимизированными энергопотреблением и охлаждением.

Источник изображения: David Rahner / Brookhaven National Laboratory

Также имеются запасные ёмкости для растущего «кеша» данных, собираемых лабораториями. В рамках эксперимента sPHENIX учёные намерены получить около 565 Пбайт данных, которые одновременно пишутся и на диски, и на ленты. В следующем году на смену RHIC придёт EIC, который, как ожидается, будет генерировать 220 Пбайт/год.

Отмечается, что ёмкость ленточных хранилищ обычно удваивается каждые 4–5 лет, а сами они становятся всё более компактными. Периодически перенося данные со старых носителей на новые, специалисты освобождают в библиотеке немало места. Сейчас потенциальная ёмкость библиотек Лаборатории составляет порядка 1,5 Эбайт, но учёные надеются, что со временем доведут её до 3 Эбайт. Примечательно, что спрос на ленточные картриджи только растёт. В 2023 году поставки достигли рекордного значения в 153 Эбайт. Правда, помогло это не всем вендорам.

Российская компания YADRO, занимающаяся разработкой и производством программного и аппаратного обеспечения на базе собственных R&D-центров и сборочных мощностей, сообщила о выпуске обновлённой системы хранения данных резервных копий TATLIN.BACKUP 1.1.

TATLIN.BACKUP представляет собой решение для среднего и крупного бизнеса и может использоваться для резервного копирования различных данных (СУБД, виртуальные машины, файлы, электронные письма). Система поддерживает технологию многопоточной дедупликации блоками переменной длины, компрессию по алгоритму ZSTD (обеспечивает сжатие до 2,5:1 в рамках фрагмента данных), включает средства балансировки нагрузки, проверки целостности резервируемой информации (верификация реализована на аппаратном уровне технологиями ECC, T10 PI), упреждающей журнализации и прочие востребованные в профессиональной среде функции.

Источник изображения: YADRO

Продукт зарегистрирован в реестре российской радиоэлектронной продукции Минпромторга, поддерживает работу с ОС Astra Linux, Debian, Ubuntu, «Ред ОС», SberLinux OS Server, интеграцию с программными комплексами «Кибер Бэкап», RuBackup, Veritas, NetBackup, Veeam Backup, Vinchin Backup и СУБД Postgres Pro.

Особенностью TATLIN.BACKUP версии 1.1 является поддержка проприетарного протокола T-Boost — фирменной разработки инженеров YADRO, обеспечивающей повышение эффективности и производительности процессов резервного копирования за счёт распределения нагрузки. Технология обеспечивает дедупликацию на источнике (клиенте) и передачу только уникальных данных, что позволяет существенно сократить нагрузку на сеть и ускорить процесс записи резервных копий. T-Boost позволяет использовать NFS/CIFS и требует плагина (агента) со стороны клиента.

Особенности технологии T-Boost (Источник изображения: YADRO)

Согласно проведённым тестам, при одновременной записи резервных копий с повторяющимися блоками данных через протокол T-Boost в среднем скорость записи может увеличиться до трёх раз, а нагрузка на сеть снизиться на порядок и более. Также новая разработка обеспечивает безопасную передачу данных и защищает их от вирусов-шифровальщиков.

Кроме того, в обновлённой версии TATLIN.BACKUP 1.1 была оптимизирована аппаратная платформа, улучшена общая производительность системы в среднем на 70 %, добавлена поддержка VLAN для организации виртуальных локальных сетей и обеспечения безопасности передачи данных, расширены сервисы для сбора и анализа логов системы. Также был улучшен графический интерфейс для удобства пользователей и администраторов.

Система резервного копирования TATLIN.BACKUP в полной мере отвечает задачам импортозамещения и может использоваться заказчиками при реализации программ по переходу на отечественные продукты с решений зарубежных разработчиков.

Компания Huawei анонсировала системы хранения данных OceanStor Dorado следующего поколения (V7), относящиеся к классу All-Flash. В семейство вошли модели high-end-класса OceanStor Dorado 8000/18000, решения среднего уровня OceanStor Dorado 5000/6000, а также версия начального уровня OceanStor Dorado 3000.

В основу СХД положена полностью взаимосвязанная архитектура SmartMatrix 4.0 типа «активный — активный», которая обеспечивает стабильную работу систем даже в случае отказа семи из восьми контроллеров. Реализована поддержка протоколов FC, iSCSI, NFS, CIFS, FC-NVMe, NVMe over RoCE, NDMP, S3, NFS over RDMA.

Источник изображения: Huawei

По заявлениям Huawei, решение Dorado 18000 обеспечивает в три раза большую производительность по сравнению с массивами предыдущего поколения, чему способствует разгрузка CPU на аппаратном уровне. В частности, применяются карты SmartNIC на базе DPU для разделения потоков данных и управления. Модернизированный интеллектуальный алгоритм взаимодействия FlashLink между контроллерами и DPU обеспечивает более 100 млн IOPS и «чрезвычайно низкую задержку в 0,03 мс» в системе, насчитывающей до 32 контроллеров. СХД обеспечивают гарантированную доступность данных на уровне 99,9999 %. Кроме того, реализована защита от программ-вымогателей с эффективностью до 99,99 %.

Заявлена совместимость между разными СХД на уровне поколений. Это означает, что в одном кластере могут быть задействованы системы V7, ранее выпущенные V6 и будущие V8. Максимальная общая вместимость достигает 500 Пбайт. Интегрированная непрерывная защита данных на уровне ввода-вывода гарантирует, что информация может быть восстановлена в любой момент времени.

Компания NetApp анонсировала новые высокопроизводительные СХД семейства ASA A-Series класса All-Flash, оптимизированные для блочного хранения. Дебютировали модели ASA A1K, ASA A90 и ASA A70, которые, как утверждается, обеспечивают доступность данных на уровне 99,9999 %.

Все новинки имеют 12-узловую конфигурацию и используют два контроллера в режиме «активный — активный». Модель ASA A1K получила исполнение 2 × 2U (плюс дисковая полка NS224 на 24 накопителя), а варианты ASA A90 и ASA A70 — 4U с 48 внутренними отсеками для SSD.

У всех СХД максимальная конфигурация может включать 1440 накопителей. Эффективная ёмкость достигает 67 Пбайт с учётом компрессии 5:1. Доступны 18 слотов расширения PCIe. Говорится о поддержке 24 портов 200GbE и 36 портов 100GbE/40GbE. Младшая версия также поддерживает 48 портов 25GbE/10GbE/1GbE, две другие — 56. Среднее энергопотребление составляет 2718 Вт (с полкой NS224) у ASA A1K, 1950 Вт у ASA A90 и 1232 Вт у ASA A70.

Источник изображения: NetApp

Заявлена совместимость с NVMe/TCP, NVMe/FC, FC, iSCSI, а также с платформами Windows Server, Linux, Oracle Solaris, AIX, HP-UX, VMware. Вместе с выпуском новых СХД компания NetApp усовершенствовала свой сервис Data Infrastructure Insights (ранее Cloud Insights) с целью улучшения возможностей мониторинга и анализа. Клиентам предоставляются дополнительные инструменты по управлению оптимизацией и надежностью инфраструктуры хранения данных, что позволяет повысить эффективность и производительность. Вместе с тем средства NetApp ONTAP Autonomous Ransomware Protection with AI (ARP/AI) обеспечивают обнаружение программ-вымогателей с точностью 99 %.

По словам специалистов Национальной лаборатории Ок-Ридж (ORNL) Министерства энергетики США, суперкомпьютеры и их компоненты утилизируются точно так же, как и ненужная бумага — буквально отправляются в измельчитель. И совсем скоро сотрудникам лаборатории предстоит разобрать суперкомпьютер Summit, который морально устарел, хотя всё ещё входит в десятку самых производительных систем мирового рейтинга TOP500.

Summit хотели вывести из эксплуатации ещё в 2023 году, но из-за довольно высокой производительности пока решено оставить его в строю почти до ноября 2024 года в рамках программы SummitPLUS. Впрочем, часть комплекса уже модернизируется. Так, на смену хранилищу Alpine придёт Alpine 2. Данные из Alpine были переданы в другие СХД суперкомпьютерного центра Oak Ridge Leadership Computing Facility (OLCF). 19 ноября Alpine2 переключат в режим «только для чтения», а потом изменят конфигурацию хранилища для использования в других проектах.

Alpine, основанная на параллельной файловой системе IBM Spectrum Scale, создавалась для временного хранения данных Summit и других систем. По словам учёных, Summit строили для симуляции процессов в сверхновых и термоядерных реакторах и вряд ли где-либо ещё есть такая же концентрация жёстких дисков в одном месте, как в системах ORNL, за исключением, возможно, гиперскейлеров. Другими словами, даже разборка Alpine, которая началась ещё летом — чрезвычайно трудоёмкий процесс, поскольку накопители приходится извлекать вручную и по одному.

Источник изображения: ORNL

Alpine состояло из 40 стоек на площади около 130 м². Хранилище суммарной ёмкостью 250 Пбайт включало 32 494 HDD. Речь идёт о почти 20 т оборудования. Чтобы обеспечить по-настоящему безопасное удаление данных, HDD отвозят для физического уничтожения. За этот процесс отвечает компания ShredPro Secure. HDD буквально крошатся металлическими зубьями до небольших фрагментов. На переработку одного диска уходит приблизительно 10 с, а за день можно уничтожить до 3,5 тыс. накопителей. Полученные остатки окончательно утилизируются в рамках программы по переработке металла ORNL, так что лаборатория ещё и получает деньги за сдачу вторичного сырья.

Вывод из эксплуатации крупных вычислительных систем — постоянно совершенствуемый процесс, который с годами становится всё эффективнее. В последний раз крупное хранилище (Atlas) утилизировали в 2019 году, оно включало около 20 тыс. HDD. Утилизация своими силами заняла около 9 месяцев и оказалась очень дорогой. ShredPro Secure справилась гораздо быстрее, а сам процесс оказался гораздо дешевле. Поэтому компании в итоге отдали на уничтожение ещё около 10 тыс. HDD из других систем. Правда, теперь ORNL раздумывает над покупкой собственного измельчителя, чтобы дополнительно повысить безопасность и сэкономить ещё больше в долгосрочной перспективе.

Подразделение Microsoft Research, работающая в Кембридже (штат Массачусетс, США), занялась разработкой и созданием прототипов систем облачного хранения нового поколения. Datacenter Dynamics напоминает, что именно это подразделение стоит за проектом Project Silica, в рамках которого создавались носители, способные хранить данные 10 тыс. лет.

В описании одной из вакансий говорится, что исследователи пересматривают фронт работ, переключаясь с создания носителей для архивных хранилищ на более «горячие» решения. В частности, упоминается, что недавние успехи с сфере ИИ и машинного обучения фундаментально изменили рамки возможного во многих сферах, включая разработку новых материалов, создание научных симуляций, обработку сигналов и т.п. От кандидата требуется докторская степень в области информатики или компьютерной инженерии или эквивалентный опыт работы в R&D в области СХД, ОС, сетей, распределённых систем и т.п.

Источник изображения: Microsoft

Новые подходы приводят к пересмотру возможностей облачных хранилищ в эпоху ЦОД, ограниченных в энергии — никогда запрос на недорогие и устойчивые хранилища данных не был столь высок. В рамках нового проекта исследователи намерены внедрять инновации на уровне носителей и методов записи и чтения информации. Проект потребует «изобретения новых методов исследования» для быстрой оценки того, как изменения на физическом уровне повлияют на ключевые показатели производительности хранилища.

Создание эффективной системы с нуля также включает решение более традиционных задач — оценку рабочих нагрузок, планирование записи и чтения данных оптимальным образом, эффективное размещение информации на носителе, коррекция ошибок для защиты данных от ошибок и стирания. Главой проект является Ричард Блэк (Richard Black), который ранее работал над инициативой Pelican — под его руководством компания пыталась создать наиболее дешёвый массив дисковых накопителей.

Компания YADRO объявила о выходе обновления программного обеспечения v3.1 для систем хранения данных TATLIN.UNIFIED первого и второго поколения, включающего целый ряд значительных функциональных изменений, разработанных в ответ на актуальные потребности российских заказчиков.

YADRO TATLIN.UNIFIED — российская гибридная СХД корпоративного уровня, обеспечивающая блочный доступ к данным по протоколам FC и iSCSI и поддерживающая одновременное использование дисковых и твердотельных накопителей.

В обновлённой версии ПО полноценно реализована технология создания мгновенных снимков (snapshot, снапшот), позволяющая получать снимки тома («ресурса» в терминологии TATLIN.UNIFIED) или группы томов для быстрого восстановления данных в случае их потери или поломки, выполнять резервное копирование данных через Backup Agent, а также создавать компактные временные копии мастер-тома для чтения и записи.

Источник изображений: YADRO

Для реализации функции снапшотов в архитектуре TATLIN.UNIFIED были сделаны фундаментальные изменения. Был добавлен «маппер» (пул косвенной адресации), позволяющий динамически отображать адресное пространство тома на физический адрес, используя дополнительное хранилище с мета-данными. Речь идёт о «тонких» томах с косвенной адресацией, обеспечивающих высокую гранулярность работы с данными на уровне 4K-блоков. При этом используется технология Redirect-On-Write, позволяющая превратить паттерн случайной нагрузки в последовательную запись на диск, увеличивая производительность. Таким образом, эффективно реализовано создание снимков, клонирование и откат к выбранному снимку.

Косвенная адресация как раз и позволяет создавать мгновенные снимки, не занимающие дополнительного места, поскольку фактически речь идёт только о создании копии мета-данных со ссылками на физические адреса хранения. Новые данные в родительском ресурсе (или клоне), естественно, записываются в новые физически блоки, если, конечно, они не совпадают с уже имеющимися. В дальнейшем «маппер» послужит фундаментом для реализации таких функций, как дедупликация и компрессия данных. По словам разработчиков, снапшоты делают их на шаг ближе к асинхронной репликации и метро-кластеру.

Наконец, ресурсы с косвенной адресацией (до 8 шт.) можно объединить в группы консистентности, для которых гарантируется очередность записи в момент снятия снимка. Фактически в этот момент ресурсы замораживаются, чтобы не нарушить целостность данных во время создания снапшота. На данный момент ведутся работы по интеграции с zVirt, Basis DynamiX, Киберпротект и RuBackup, что позволит создавать консистентные с точки зрения приложений снимки. Кроме того, упомянута интеграция с OpenStack в рамках TATLIN.SATELLITES.

Также был усовершенствован интерфейс WebUI: переработаны разделы «Логическая структура» и «Аппаратная платформа», добавлена секция со списком документации в настройках системы, расширена интеграция с корпоративными каталогами для файлового протокола SMB, доработан механизм Call Home.