DNA Data Storage Alliance, сообщество при ассоциации SNIA (Storage Networking Industry Association), подготовило обзор технологии хранения данных на основе синтетических ДНК. В числе прочего, рассматриваются технологии кодирования/декодирования информации, метрики готовности к коммерческому использованию и основные вызовы, сообщает Blocks & Files.

Данные в ДНК кодируются с помощью четырёх нуклеотидов: аденина (A), гуанина (G), цитозина (C) и тимина (T). Они формируют спираль биополимерной молекулы. Данные в этом случае могут храниться в очень небольшом объёме и веками. Хранение данных в ДНК уже неоднократно опробовано экспериментально, но невысокая скорость записи и чтения, а также размеры оборудования для этого, его большая сложность и высокая стоимость пока не позволяют даже мечтать о коммерчески успешном продукте.

Источник изображения: SNIA

В обзорном документе выделены пять ключевых вызовов:

• Низкая скорость записи/чтения из-за химической природы реакций;
• Высокая совокупная стоимость владения (TCO);
• Надёжность носителя и сохранность данных;
• Био- и информационная безопасность;
• Стандартизации.

Авторы доклада подчёркивают, что скорость передачи данных в традиционных накопителях заметно выше и значительно превышает возможности биотехнологических методов чтения и записи ДНК. Увеличение скорости — одна из фундаментальных задач. Поскольку речь идёт о медленных химических реакциях, достигнуть роста скорости можно было бы масштабированием параллельных операций записи/чтения. Кроме того, нужно уменьшать совокупную стоимость владения.

Документ заключает, что технология хранения данных в ДНК находится на ранней стадии развития и пока далека от коммерциализации, но базовые процессы записи/чтения, а также хранения информации уже доказали работоспособность и возможность масштабирования платформ. Более того, непрекращающиеся инвестиции в технологии работы с ДНК помогут дальнейшим инновациям.

Источник изображения: SNIA

Ожидается, что ДНК-хранилища дополнят, а не заменят существующие технологии архивирования, позволяя создавать относительно недорогие долгосрочные хранилища зеттабайтного уровня. Предполагается, что сценарии прикладного использования технологии появятся в ближайшие три-пять лет. По оценкам Blocks & Files, ключевыми игроками станут Biomemory, Catalog и Atlas Data Storage.

Есть и другие перспективные альтернативы. Так, HoloMem предложила недорогую и эффективную замену LTO и другим системам — 200-Тбайт картриджи HoloDrive, которые прослужат не менее 50 лет.

Российская компания ATLAS анонсировала ограниченную серию СХД начального уровня ATLAS E для предприятий малого и среднего бизнеса. Решения будут предлагаться по специальной цене, что, как ожидается, поможет заказчикам существенно сократить затраты на построение и обслуживание IT-инфраструктуры.

Представленная модификация ATLAS E выполнена в форм-факторе 4U и оснащена двумя контроллерами, функционирующими в режиме «активный — активный». Допускается установка 24 накопителей LFF с интерфейсом SAS-3. Система несёт на борту два неназванных многоядерных процессора с архитектурой х86.

Решение ограниченной серии предоставляет «сырую» ёмкость в 396 Тбайт на базе HDD. Реализована функция SSD-кеширования с включенными в комплект двумя накопителями вместимостью 800 Гбайт каждый. Устройство может быть оборудовано четырьмя портами 25GbE или четырьмя портами FC16. Габариты составляют 600 × 448 × 176 мм. Установлены два блока питания мощностью 800 Вт с сертификатом 80 PLUS Platinum. СХД поставляется вместе с сертификатом технической поддержки на один год.

Источник изображения: ATLAS

ATLAS отмечает, что российский рынок оборудования для хранения данных сталкивается с рядом проблем. Доступные продукты зачастую имеют высокую стоимость, а их эксплуатация может быть сопряжена с определёнными сложностями. Это вынуждает компании малого и среднего бизнеса искать баланс между необходимой функциональностью и ценой, часто жертвуя определёнными параметрами. Решение ATLAS E предлагает оптимальное сочетание стоимости, доступности и удобства эксплуатации.

Британский стартап HoloMem разработал технологию голографического долгосрочного холодного хранения данных HoloDrive, способную вытеснить традиционные ленточные накопители благодаря преимуществу по целому ряду показателей. Основатель компании Чарли Гейл (Charlie Gale) в интервью ресурсу Blocks & Files сообщил, что технология HoloMem использует недорогие готовые компоненты — лазерный диод стоимостью $5 и серийно выпускаемые полимерные листы — что позволяет создать надёжные и доступные накопители и шасси без дорогостоящих высокотехнологичных элементов.

В отличие от решений компаний Cerabyte и Microsoft Project Silica, в HoloDrive используется лента с оптическим считыванием для устойчивого хранения данных на протяжении более 50 лет, а не более хрупкие керамические или стеклянные пластины или диски. Проприетарные ленты также используют Piql и Archiflix, но они применяют традиционную схему записи изображения. HoloDrive использует полимерную ленту с многослойной голографической записью изображений (разновидность QR-кодов).

Источник изображений: HoloMem

Лента изготавливается из серийно выпускаемого светочувствительного полимера, разработанного для автомобильной промышленности для использования в лобовых стёклах и проекционных дисплеях. Полимер толщиной 16 мк помещается между двумя слоями ПЭТ, так что итоговая толщина ленты составляет 120 мк. Также лента отличается высокой прочностью с возможностью эксплуатации при температуре от –40 до +160 C°. Кроме того, она невосприимчива к электромагнитным импульсам, что позволит использовать её для архивных хранилищ, связанных с обороной.

Длина ленты внутри картриджа составляет примерно 100 м, она вмещает до 200 Тбайт данных, рассчитана на WORM-нагрузки и рассчитана на работу в течение полувека без ухудшения сохранности данных. Для сравнения, длина ленты LTO-10 составляет 1000 м, ёмкость — до 75 Тбайт (со сжатием). Срок службы LTO составляет 15–30 лет при соблюдении строго контролируемых условий, причём лента подвержена деградации данных со временем, что отражается на читаемости в худшую сторону.

Картридж HoloDrive очень похож на обычный LTO-картридж. Строго говоря, прототипы и являются LTO-картриджами, в которых заменена лента. Таким образом, накопители совместимы с существующими роботизированными LTO-библиотеками, не нужно даже изменений в ПО. Также для нового решения нет необходимости в климат-контроле, и оно обеспечивает сохранение читаемости без деградации на протяжении всего срока службы.

Как сообщил Гейл ресурсу tech.eu, HoloDrive обеспечивает высокоскоростное хранение высокой плотности, снижающее энергопотребление на 90 % и годовые затраты примерно на 99 %. «Чем это устройство не может похвастаться, так это высочайшей плотностью данных. Мы намеренно снизили параметры системы, чтобы сделать её надёжной и устойчивой», — говорит Гейл. Скорость чтения нового решения примерно такая же, как у LTO-9.

Как сообщил Blocks & Files, HoloMem не имеет венчурного финансирования. В марте 2023 года компания получила грант в размере £350 тыс. ($472 тыс.) от Национального агентства по исследованиям и инновациям Великобритании (UK Research and Innovation, UKRI). В июне организация Innovate UK выделила HoloMem грант в размере £550 тыс. ($742 тыс.) на проект HoloDrive, реализуемый в партнёрстве с консалтинговой компанией TechRe.

«Наше решение HoloDrive разработано для интеграции с устаревшими системами с минимальными нарушениями работы оборудования и ПО, и этот грант от Innovate UK поможет нам завершить разработку и полностью проверить эту революционную технологию», — заявил Гейл. TechRe развернёт прототипы HoloDrive в LTO-библиотеках своих британских ЦОД для тестирования производительности, надёжности и отказоустойчивости продукта.

Также HoloMem сотрудничает с Qstar, что предполагает интеграцию её накопителей с продуктами QStar Archive Manager (для одного сервера) и Global ArchiveSpace (для нескольких серверов). Это позволит потенциальным клиентам Qstar тестировать ранние версии продукта в своих средах. В мае этого года HoloMem присоединилась к британской Коалиции по сохранению цифровых данных (Digital Preservation Coalition, DPC).

Полиция Великобритании намерена закупить технологии и услуги для оцифровки своего архива видеокассет VHS. На эти цели планируется потратить £75 млн ($102 млн), сообщает The Register. Полиции нужны или собственные технологии для оцифровки VHS-контента, или возможность отдать соответствующие задачи на аутсорсинг. Органы правопорядка хотят не только преобразовать в «цифру» записи с аналоговых носителей, но и, что немаловажно, перенести метаданные в цифровую систему управления уликами.

Формат VHS появился в 1970-х годах и стал очень популярным по всему миру не только у коммерческих и домашних пользователей, но и у полицейских разных стран, например, для проведения оперативной съёмки. В 1990-х годах на смену видеокассетам пришли DVD, но переносить видео с VHS на новые носители спешили не все.

Источник изображения: Josh Chiodo/unspalsh.com

Первый лот тендера НКО BlueLight Commercial, которая отвечает за закупки для экстренных служб, предусматривает приобретение ПО для оцифровки видео с VHS-носителей, закупку оборудования и обучение сотрудников полиции процессу конвертации аналогового видео в цифровые файлы. На это готовы выделить до £50 млн ($68 млн) в течение четырёх лет (без учёта НДС). Второй лот предусматривает передачу VHS-носителей третьим лицам для конвертации видео в «цифру» с передачей полученных файлов безопасным способом. Этот контракт оценивается в сумму до £25 млн ($34 млн) за аналогичный период. Ещё столько же готовы выделить на преобразование в файлы данных с микрофильмов, CD, DVD и других медиа.

BlueLight Commercial была основана в 2020 году Министерством внутренних дел Великобритании для совместной работы с экстренными службами и является национальной структурой. Она финансируется государством и работает на некоммерческой основе. Госсектор Великобритании часто не торопится отказываться от технологий докомпьютерной эпохи. Например, только в 2020 году Национальная служба здравоохранения решила заменить пейджеры в больницах.

Национальная лаборатория им. Лоуренса в Беркли (Berkeley Lab), принадлежащая Министерству энергетики США (DOE), сообщила о том, что суперкомпьютер Doudna получит передовую подсистему хранения данных на основе технологий IBM и VAST Data. Эта платформа сможет с высокой эффективностью справляться с интенсивными нагрузками, связанными с обучением ИИ-моделей и инференсом.

НРС-комплекс Doudna (NERSC-10) расположится в Национальном вычислительном центре энергетических исследований США (NERSC) в составе Berkeley Lab. Основой суперкомпьютера послужат системы Dell Integrated Rack Scalable Systems и серверы PowerEdge с ускорителями NVIDIA Vera Rubin. По предварительным данным, машина обеспечит FP64-быстродействие до 790 Пфлопс при потреблении 5,8–8,7 МВт.

С целью достижения стабильной и предсказуемой производительности в задачах, требующих анализа данных в режиме, близком к реальному времени, для Doudna выбрана гибридная подсистема хранения, включающая зоны QSS (Quality-of-service Storage System) и PSS (Platform Storage System). Первая ориентирована прежде всего на ИИ-нагрузки: предполагается применение решений VAST Data, включая платформу VAST AI OS. Эта платформа, как утверждается, «объединяет возможности хранения информации, базы данных, вычислений, обмена сообщениями и рассуждений в единую инфраструктуру, созданную с нуля для ИИ и программных агентов».

Источник изображения: Berkeley Lab

В свою очередь, PSS использует в качестве основы программно-определяемое решение IBM Storage Scale: этот сегмент будет функционировать как быстродействующая параллельная файловая система. Говорится о высокой производительности, масштабируемости и эффективности, что поможет устранить узкие места и оптимизировать рабочие процессы, связанные с обработкой данных.

Для обоих сегментов СХД предусмотрено использование архитектуры All-Flash, то есть, будут задействованы исключительно SSD. Как отмечает Berkeley Lab, гибридная подсистема хранения обеспечит в пять раз более высокую производительность, нежели нынешний НРС-комплекс NERSC. Это позволит справляться с крупномасштабными рабочими нагрузками в таких областях исследований, как молекулярная динамика и геофизическое моделирование. Ввести суперкомпьютер в эксплуатацию планируется в 2026 году.

Cerabyte занимается разработкой керамических накопителей ёмкостью от 100 Пбайт, обеспечивающих скорость передачи данных 2 Гбайт/с с задержкой доступа менее 10 с. На днях она сообщила о намерении обеспечить готовность архивных накопителей к 2030 году, сообщает Blocks & Files.

На мероприятии A3 Tech Live в Мюнхене компания анонсировала решение, способное заменить LTO-хранилища. Компания использует технологию записи данных на покрывающей стекло керамике с помощью фемтосекундных лазерных импульсов. Стеклянные субстраты хранятся в картриджах, а роботизированные системы перемещают картриджи между полками хранилища, а также на станции записи и чтения, как это происходит и в обычных ленточных библиотеках.

Источник изображения: Cerabyte

Компания ведёт разработки в партнёрстве и при финансовой помощи Pure Storage, Western Digital и In-Q-Tel. Также в проекте принимает участие фонд Европейского совета по инновациям (European Innovation Council, EIC). Решение конкурирует с продвигаемым Microsoft проектом Project Silica, тоже предусматривающим использование стеклянных пластин для записи информации, а также Holomem, Piql, Archiflix и др. Суммарно Cerabyte привлекла около $10 млн в ходе начального финансирования и более $4 млн в виде грантов. Теперь компания работает над привлечением средств в ходе венчурного финансирования в ходе раунда серии А.

Источник изображения: Cerabyte

В Cerabyte утверждают, что её технология позволяет хранить данные дольше и дешевле, чем на лентах — более 100 лет против 7–15. Кроме того, скорость передачи данных составляет 1–2 Гбайт/с против 1 Гбайт/с у ленточных решений. Стоимость хранения составляет $1/Тбайт против $2/Тбайт у LTO. Наконец, по словам компании, глобальные углеродные выбросы от хранилищ данных можно будет снизить с 2 % от мировых сейчас до 1,25 % в будущем благодаря замене ленточных и иных решений на продукты Cerabyte.

Источник: Furthur Market Research

В 2025–2026 гг. планируется представить пилотную систему ёмкостью 1 Пбайт на стойку, скоростью передачи данных 100 Мбайт/с и задержкой доступа на уровне 90 с. В 2029–2030 гг. технология позволит разместить более 100 Пбайт в одной стойке, скорость передачи увеличится до 2 Гбайт/с, а задержка доступа к данным сократится до 10 с. За эти пять лет совокупная стоимость владения (TCO) 1 Пбайт упадёт с $7–$8 тыс. до $6–$8.

Источник: Furthur Market Research

В Cerabyte рассчитывают, что прогресс лазерных технологий в будущем позволит использовать для записи пучок ионов гелия, что снизит размер бита с 300 нм до 3 нм к 2045 году. В результате можно будет создавать стойки ёмкостью 100 Эбайт. LTO таких значений вряд ли успеет добиться. Более того, даже при внедрении LTO-10 компании уже отстают от намеченных планов по ёмкости картриджей.

Компании MIND Software и YADRO сообщили о завершении совместного тестирования, которое подтвердило функциональную совместимость продуктов компаний — программного модуля MIND Guard #platform Protect и системы хранения данных TATLIN.BACKUP. MIND Guard #platform Protect — это программный модуль в составе MIND Suite, который отвечает за создание непрерывной асинхронной репликации на уровне гипервизора на внешние хранилища.

В ходе совместных испытаний была проверена корректность выполнения ключевых операций: подключение дисковых ресурсов в качестве хранилища резервных копий, выполнение задач резервного копирования и восстановления. Тестирование подтвердило, что ПО MIND Guard #platform Protect в полном объёме поддерживает функциональность хранения и восстановления данных с использованием СХД TATLIN.BACKUP.

Источник изображения: YADRO

Также отмечено, что поддержка протокола T-BOOST TATLIN.BACKUP модулем Guard #platform Protect позволяет за счёт эффективной дедупликации на стороне ОС гипервизора обеспечивать высокую производительность копирования данных, существенно снижая утилизацию сетевых соединений.

ПСБ и YADRO успешно интегрировали в ИТ-инфраструктуру банка более 100 систем хранения данных (СХД) TATLIN.UNIFIED и разработали систему мониторинга ресурсов СХД, чтобы отслеживать состояние оборудования, динамику работы систем и измерять их производительность.

Система мониторинга позволяет собирать метрики производительности компонентов, обрабатывать сообщения, мониторить состояние сервера, отображать данные мониторинга в виде графических интерфейсов и оповещать о нештатных ситуациях и пороговых состояниях.

Решение было разработано на базе продукта TATLIN.SATELLITES, в который входит набор драйверов, плагинов и шаблонов для интеграции СХД TATLIN со сторонними системами.

Источник изображения: YADRO

«В конечном итоге мы получили инструмент, который ПСБ использует на ежедневной основе, экономя при этом ресурсы, как вычислительные, так и кадровые, за счёт автоматизации процесса мониторинга состояния и нагрузки на отечественные системы хранения данных. За это время в систему мониторинга были внесены дополнительные улучшения в ходе её эксплуатации. Наше сотрудничество позволило добиться более точечной, адресной настройки решения в соответствии с актуальными потребностями бизнеса», — сказал Игорь Панов, директор департамента трансформации и информационного контроля информационных технологий ПСБ.

«С помощью новой системы мониторинга задачи решаются за считанные минуты. Можно быстро узнать, какая часть хранилища занята, сколько свободного места осталось, какие пулы переполнены, отсортировать их по нагрузке и объёму, а также проверить количество доступных слотов в массивах, — прокомментировал Егор Литвинов, директор продуктового направления СХД компании YADRO. — Профессиональная экспертиза ПСБ сыграла ключевую роль в создании продукта, необходимого отрасли. Благодаря такому сотрудничеству заказчика и вендора было разработано решение, которое отвечает актуальным требованиям рынка».

Компания YADRO представила обновлённую версию специализированных корпоративных систем для хранения и восстановления данных резервных копий TATLIN.BACKUP v1.3. Функциональные возможности были расширены, в том числе за счёт внедрения технологии создания мгновенных снимков (snapshots), одного из самых надёжных инструментов защиты данных от атак злоумышленников и вредоносных вирусов-шифровальщиков.

В версии TATLIN.BACKUP v1.3 технология мгновенных логических снимков (snapshots) реализована в трёх режимах с разным уровнем доступа и защищённости — Basic, Secure и Locked. Basic-снимки позволяют задавать срок хранения и управляются напрямую администратором. Secure-снимки доступны только через специального пользователя с ролью Security, что защищает от несанкционированного удаления. Locked-снимки не могут быть удалены или изменены вообще, даже администратором — это уровень защиты, который может быть снят только службой поддержки YADRO, что позволяет навсегда зафиксировать данные, если есть такое требование. Данный подход обеспечивает максимальную степень защиты от различных киберугроз, а также от потери логической целостности данных из-за ошибки пользователя.

Кроме того, в новой версии дополнительную защиту обеспечивает аутентифицированное соединение по протоколу T-BOOST, дополненное разграничением прав доступа к файловым системам и генерацией отдельных паролей-токенов. Такой механизм позволяет передавать доступ к отдельным виртуальным файловым системам без раскрытия паролей, включая учётные данные AD/LDAP, а также гибко управлять безопасностью и изоляцией данных.

Источник изображения: YADRO

Среди других нововведений: публичный REST API для автоматизации и интеграции, поддержка NFS Kerberos для повышения безопасности и контроля доступа к файловым ресурсам, улучшенное управление и мониторинг системы за счёт обновления CLI/Web-интерфейса и другие изменения, направленные на повышение производительности и стабильности всей системы.

«Мы развиваем продуктовые возможности TATLIN.BACKUP так, чтобы наши заказчики получали надёжное и адаптивное решение, которое соответствует самым высоким требованиям к безопасности. Реализация технологии мгновенных снимков с несколькими уровнями защиты данных — это важный шаг к тому, чтобы сделать управление данными не только удобным, но и максимально защищённым», — отметил Егор Литвинов, директор продуктового направления TATLIN в компании YADRO.

Сейчас инженерная команда TATLIN работает над следующим релизом v1.4, в котором планируется реализация поддержки HA (high availability) в режиме раннего доступа и SDK T-BOOST, а также появится расширенная статистика дедупликации и поддержка квот.

HPE представила комплексный набор решений, предназначенных для ускорения создания, внедрения и управления ИИ-фабриками на протяжении всего жизненного цикла ИИ. Эти решения адаптированы для использования практически для всех организаций, независимо от размера или отрасли, говорит компания.

HPE расширила своё портфолио NVIDIA AI Computing by HPE, добавив ускорители NVIDIA Blackwell, включая новые компонуемые решения, оптимизированные для поставщиков услуг, разработчиков моделей и суверенных субъектов. Также было добавлено следующее поколение решений HPE Private Cloud AI — готового решения для ИИ-фабрик на предприятиях. Предлагаемые интегрированные, комплексные решения и услуги для ИИ-фабрик позволяют устранить для клиентов необходимость самостоятельно собирать полный стек ИИ-технологий при создании современного ИИ ЦОД.

В основе портфолио NVIDIA AI Computing by HPE лежит решение HPE Private Cloud AI, представляющее собой полностью интегрированную, готовую ИИ-фабрику. Private Cloud AI обеспечит:

• Поддержку ускорителей Blackwell серверами HPE ProLiant Compute Gen12, которые предоставляют защищённые анклавы для предотвращения несанкционированного доступа, используют постквантовую криптографию и предлагают надёжную цепочку поставок на уровне стойки и сервера.
• Защиту инвестиций и бесшовную масштабируемость от одного поколения ускорителей к другому, включая H200 NVL и новейшие RTX PRO 6000 Server Edition, для поддержки широкого спектра ИИ-нагрузок, включая агентские и физические ИИ-приложения. Новая федеративная архитектура обеспечивает эффективное объединение ресурсов, позволяя всем ИИ-нагрузкам использовать новейшие ускорители и аппаратные ресурсы.
• Управление с физической изоляцией (air-gap) для организаций со строгими требованиями к конфиденциальности данных.
• Многопользовательский доступ, которые позволяет предприятиям разделять ресурсы между командами.
• Участие в новейших проектах NVIDIA AI Blueprint, включая NVIDIA AI-Q Blueprint для создания ИИ-агентов и шаблонов рабочих процессов.
• Участие в новой программе «попробуй и купи», которая позволяет клиентам оценить частное ИИ-облако в сети ЦОД Equinix перед принятием решения о покупке.

Источник изображения: HPE

Новые ИИ-фабрики объединяют инновации и опыт HPE в области ИИ, достижения в области разработки жидкостного охлаждения и ПО HPE Morpheus Enterprise.

• ПО HPE OpsRamp обеспечивает полную наблюдаемость в Private Cloud AI, оно же сертифицировано для NVIDIA Enterprise AI Factory.
• Для крупных клиентов HPE предлагает для системы HPE ProLiant Compute XD, ПО NVIDIA AI Enterprise, технологии воздушного и жидкостного охлаждения, а также полный спектр консультационных и профессиональных услуг.
• Для государств, правительств и госорганизаций предлагаются дополнительные возможности, такие как автономное управление, а также решения и услуги, которые обеспечивают суверенитет данных, технологий и операций.

Источник изображения: HPE

Благодаря совместимости с архитектурой NVIDIA Enterprise AI Factory ИИ-фабрики HPE могут быть развёрнуты с использованием новейших ускорителей NVIDIA, решений Spectrum-X Ethernet, DPU NVIDIA BlueField-3 и ПО NVIDIA AI Enterprise. Портфолио NVIDIA AI Computing by HPE также пополнила система HPE Compute XD690 (поставки начнутся в октябре) на платформе NVIDIA HGX B300. HPE Performance Cluster Manager обеспечивает полностью интегрированное управление системами и расширенный мониторинг инфраструктуры и оповещения в больших, сложных ИИ-средах с масштабированием до тысячи узлов.

Чтобы обеспечить непрерывную подачу готовых к ИИ-нагрузкам неструктурированных данных для ИИ-фабрик и приложений, СХД HPE Alletra Storage MP X10000 будет поддерживать серверы с поддержкой Model Context Protocol (MCP), которая появится во II половине 2025 года. В дополнение X10000 поддерживает эталонный дизайн NVIDIA AI Data Platform и предлагает SDK для оптимизации неструктурированных конвейеров данных для обработки, инференса, обучения и процесса непрерывного приобретения знаний и навыков.

HPE сообщила, что программа Unleash AI пополнилась 26 новыми партнёрами. Также было объявлено, что сотрудничество HPE и Accenture с целью создания агентских ИИ-решений для финансовых сервисов и закупок, получило реализацию в новом совместном предложении для выхода на рынок, которое использует платформу Accenture AI Refinery, созданную на базе NVIDIA AI Enterprise и развёрнутую на HPE Private Cloud AI.