По словам специалистов Национальной лаборатории Ок-Ридж (ORNL) Министерства энергетики США, суперкомпьютеры и их компоненты утилизируются точно так же, как и ненужная бумага — буквально отправляются в измельчитель. И совсем скоро сотрудникам лаборатории предстоит разобрать суперкомпьютер Summit, который морально устарел, хотя всё ещё входит в десятку самых производительных систем мирового рейтинга TOP500.

Summit хотели вывести из эксплуатации ещё в 2023 году, но из-за довольно высокой производительности пока решено оставить его в строю почти до ноября 2024 года в рамках программы SummitPLUS. Впрочем, часть комплекса уже модернизируется. Так, на смену хранилищу Alpine придёт Alpine 2. Данные из Alpine были переданы в другие СХД суперкомпьютерного центра Oak Ridge Leadership Computing Facility (OLCF). 19 ноября Alpine2 переключат в режим «только для чтения», а потом изменят конфигурацию хранилища для использования в других проектах.

Alpine, основанная на параллельной файловой системе IBM Spectrum Scale, создавалась для временного хранения данных Summit и других систем. По словам учёных, Summit строили для симуляции процессов в сверхновых и термоядерных реакторах и вряд ли где-либо ещё есть такая же концентрация жёстких дисков в одном месте, как в системах ORNL, за исключением, возможно, гиперскейлеров. Другими словами, даже разборка Alpine, которая началась ещё летом — чрезвычайно трудоёмкий процесс, поскольку накопители приходится извлекать вручную и по одному.

Источник изображения: ORNL

Alpine состояло из 40 стоек на площади около 130 м². Хранилище суммарной ёмкостью 250 Пбайт включало 32 494 HDD. Речь идёт о почти 20 т оборудования. Чтобы обеспечить по-настоящему безопасное удаление данных, HDD отвозят для физического уничтожения. За этот процесс отвечает компания ShredPro Secure. HDD буквально крошатся металлическими зубьями до небольших фрагментов. На переработку одного диска уходит приблизительно 10 с, а за день можно уничтожить до 3,5 тыс. накопителей. Полученные остатки окончательно утилизируются в рамках программы по переработке металла ORNL, так что лаборатория ещё и получает деньги за сдачу вторичного сырья.

Вывод из эксплуатации крупных вычислительных систем — постоянно совершенствуемый процесс, который с годами становится всё эффективнее. В последний раз крупное хранилище (Atlas) утилизировали в 2019 году, оно включало около 20 тыс. HDD. Утилизация своими силами заняла около 9 месяцев и оказалась очень дорогой. ShredPro Secure справилась гораздо быстрее, а сам процесс оказался гораздо дешевле. Поэтому компании в итоге отдали на уничтожение ещё около 10 тыс. HDD из других систем. Правда, теперь ORNL раздумывает над покупкой собственного измельчителя, чтобы дополнительно повысить безопасность и сэкономить ещё больше в долгосрочной перспективе.

Подразделение Microsoft Research, работающая в Кембридже (штат Массачусетс, США), занялась разработкой и созданием прототипов систем облачного хранения нового поколения. Datacenter Dynamics напоминает, что именно это подразделение стоит за проектом Project Silica, в рамках которого создавались носители, способные хранить данные 10 тыс. лет.

В описании одной из вакансий говорится, что исследователи пересматривают фронт работ, переключаясь с создания носителей для архивных хранилищ на более «горячие» решения. В частности, упоминается, что недавние успехи с сфере ИИ и машинного обучения фундаментально изменили рамки возможного во многих сферах, включая разработку новых материалов, создание научных симуляций, обработку сигналов и т.п. От кандидата требуется докторская степень в области информатики или компьютерной инженерии или эквивалентный опыт работы в R&D в области СХД, ОС, сетей, распределённых систем и т.п.

Источник изображения: Microsoft

Новые подходы приводят к пересмотру возможностей облачных хранилищ в эпоху ЦОД, ограниченных в энергии — никогда запрос на недорогие и устойчивые хранилища данных не был столь высок. В рамках нового проекта исследователи намерены внедрять инновации на уровне носителей и методов записи и чтения информации. Проект потребует «изобретения новых методов исследования» для быстрой оценки того, как изменения на физическом уровне повлияют на ключевые показатели производительности хранилища.

Создание эффективной системы с нуля также включает решение более традиционных задач — оценку рабочих нагрузок, планирование записи и чтения данных оптимальным образом, эффективное размещение информации на носителе, коррекция ошибок для защиты данных от ошибок и стирания. Главой проект является Ричард Блэк (Richard Black), который ранее работал над инициативой Pelican — под его руководством компания пыталась создать наиболее дешёвый массив дисковых накопителей.

Компания YADRO объявила о выходе обновления программного обеспечения v3.1 для систем хранения данных TATLIN.UNIFIED первого и второго поколения, включающего целый ряд значительных функциональных изменений, разработанных в ответ на актуальные потребности российских заказчиков.

YADRO TATLIN.UNIFIED — российская гибридная СХД корпоративного уровня, обеспечивающая блочный доступ к данным по протоколам FC и iSCSI и поддерживающая одновременное использование дисковых и твердотельных накопителей.

В обновлённой версии ПО полноценно реализована технология создания мгновенных снимков (snapshot, снапшот), позволяющая получать снимки тома («ресурса» в терминологии TATLIN.UNIFIED) или группы томов для быстрого восстановления данных в случае их потери или поломки, выполнять резервное копирование данных через Backup Agent, а также создавать компактные временные копии мастер-тома для чтения и записи.

Источник изображений: YADRO

Для реализации функции снапшотов в архитектуре TATLIN.UNIFIED были сделаны фундаментальные изменения. Был добавлен «маппер» (пул косвенной адресации), позволяющий динамически отображать адресное пространство тома на физический адрес, используя дополнительное хранилище с мета-данными. Речь идёт о «тонких» томах с косвенной адресацией, обеспечивающих высокую гранулярность работы с данными на уровне 4K-блоков. При этом используется технология Redirect-On-Write, позволяющая превратить паттерн случайной нагрузки в последовательную запись на диск, увеличивая производительность. Таким образом, эффективно реализовано создание снимков, клонирование и откат к выбранному снимку.

Косвенная адресация как раз и позволяет создавать мгновенные снимки, не занимающие дополнительного места, поскольку фактически речь идёт только о создании копии мета-данных со ссылками на физические адреса хранения. Новые данные в родительском ресурсе (или клоне), естественно, записываются в новые физически блоки, если, конечно, они не совпадают с уже имеющимися. В дальнейшем «маппер» послужит фундаментом для реализации таких функций, как дедупликация и компрессия данных. По словам разработчиков, снапшоты делают их на шаг ближе к асинхронной репликации и метро-кластеру.

Наконец, ресурсы с косвенной адресацией (до 8 шт.) можно объединить в группы консистентности, для которых гарантируется очередность записи в момент снятия снимка. Фактически в этот момент ресурсы замораживаются, чтобы не нарушить целостность данных во время создания снапшота. На данный момент ведутся работы по интеграции с zVirt, Basis DynamiX, Киберпротект и RuBackup, что позволит создавать консистентные с точки зрения приложений снимки. Кроме того, упомянута интеграция с OpenStack в рамках TATLIN.SATELLITES.

Также был усовершенствован интерфейс WebUI: переработаны разделы «Логическая структура» и «Аппаратная платформа», добавлена секция со списком документации в настройках системы, расширена интеграция с корпоративными каталогами для файлового протокола SMB, доработан механизм Call Home.

Dell Technologies и Nutanix объединили усилия для повышения простоты, гибкости и масштабируемости гибридных облачных инфраструктур с помощью двух новых решений — Dell XC Plus и Dell PowerFlex with Nutanix Cloud Platform, сообщил ресурс SiliconANGLE. Новинки, как ожидается, помогут предприятиям более эффективно управлять приложениями и рабочими нагрузками в средах Nutanix. Новые программно-аппаратные комплексы будут поставляться Dell.

Dell XC Plus представляет собой готовую гиперконвергентную платформу на базе программного стека Nutanix Cloud Platform и серверов Dell PowerEdge. По словам компаний, Dell XC Plus обеспечивает бесперебойное управление в рамках единой структуры, предлагая клиентам больше выбора и контроля для удовлетворения меняющихся ИТ-требований. Платформа, по словам компаний, предоставляет безопасную, устойчивую и гибкую ИТ-среду, централизованное управление гибридным облаком, автоматизацию, оптимизацию планирования ресурсов и повышение производительности посредством ИИ-алгоритмов.

Источник изображения: Dell

В свою очередь, решение Dell PowerFlex with Nutanix Cloud Platform объединяет программно-определяемую инфраструктуру Dell с гипервизором Nutanix AHV и Cloud Platform. Dell PowerFlex — масштабируемая vSAN и гиперконвергентная система с поддержкой нескольких гипервизоров. PowerFlex станет первым внешним хранилищем, поддерживаемым и интегрированным с Nutanix Cloud Platform. Ключевые атрибуты этой новой интеграции включают защиту корпоративных данных и аварийное восстановление, сетевые функции и защиту.

Nutanix и Dell подписали партнёрское соглашение в мае, пытаясь побудить клиентов Broadcom VMware перейти на совместную платформу Dell-Nutanix. Dell и Nutanix сообщили, что решение Dell PowerFlex with Nutanix Cloud Platform в настоящее время находится в разработке и будет доступно для раннего доступа клиентам в конце этого года, в то время как Dell XC Plus доступно уже сейчас. Примечательно, что в анонсе новых решений имя VMware не упоминается ни разу.

Компания Nimbus Data создала мобильное хранилище BatArray, представляющее собой комбинацию All-Flash СХД FlashRack Turbo с электромобилем Tesla Cybertruck. По словам компании, BatArray позволит продемонстрировать энергоэффективность решений Nimbus Data и преимущества аккумуляторных технологий Tesla — это новый способ решать задачи по обработке или хранению данных в эпоху ИИ.

BatArray использует шесть 2U-систем FlashRack Turbo (глубина 21″), каждая из которых способна хранить 1,5 Пбайт, что суммарно даёт 9 Пбайт чистой ёмкости. Эффективная же ёмкость после компрессии и дедупликации может достигать 25 Пбайт. Кластер СХД запитан от розетки 240В/40А в кузове Cybertruck. Заряда таяговых АКБ хватит на 24 часа работы хранилища данных.

Патентованная архитектура Parallel Memory Architecture позволяет BatArray принимать данные со скоростью до 360 Гбайт/с. Это втрое быстрее, чем могли обеспечить фуры AWS Snowmobile. Все данные автоматически шифруются с использованием AES-256 с поддержкой KIMP. Скорость выгрузки данных и вовсе достигает 600 Гбайт/с. В наилучшем случае целиком заполнить BatArray можно за 7 часов, при этом оставшегося заряда АКБ хватит на проезд более 300 км без подзарядки. А используя 400G-трансиверы с FR4-волокном можно связать BatArray с нужным объектом на расстоянии до 2 км.

Источник изображения: Nimbus Data

Двухконтроллерная СХД FlashRack Turbo поддерживает установку 24 NVMe SSD (PCIe 4.0) ёмкостью до 64 Тбайт, а также 512-Тбайт SSP (Solid State Pack). Пиковая производительность составляет до 100 Гбайт/с (блоки 1 Мбайт) и 10 млн IOPS (4K-блоки). СХД поддерживает NVMe-oF (TCP/RoCE), iSCSI, iSER, FCP, SRP, NFS, SMB, AFP, S3, WebDAV, FTP. Для связи с миром доступны порты 10/25/50/100/200/400GbE, InfiniBand EDR/HDR/NDR и FC32/64. Энергопотребление не превышает 1100 Вт.

Компания Western Digital анонсировала платформу хранения данных OpenFlex Data24 4000 класса NVMe-oF JBOF с возможностью установки 24 NVMe SSD стандарта U.2. Например, могут применяться накопители Ultrastar DC SN655 вместимостью 15,36 Тбайт, что в сумме даст около 368 Тбайт ёмкости.

Система выполнена в форм-факторе 2U с размерами 85,5 × 491,1 × 628,65 мм. Задействованы хост-адаптеры RapidFlex на основе фирменных ASIC A2000 с возможностью использования в общей сложности до 12 портов 100GbE. Говорится о поддержке TCP и RoCEv2.

Производительность RoCEv2 достигает 27 млн операций ввода/вывода в секунду (IOPS) при произвольном чтении данных блоками по 4 Кбайт и 3 млн операций при произвольной записи. Скорость последовательного чтения и записи — до 135 и 92 Гбайт/с соответственно. В случае TCP показатель IOPS составляет до 21 млн при произвольном чтении и до 3 млн при произвольной записи. Скорость последовательного чтения и записи — до 113 и 86 Гбайт/с.

Источник изображения: Western Digital

Устройство OpenFlex Data24 4000 несёт на борту чип BMC с ядром Arm; имеется выделенный порт 1GbE для удалённого мониторинга и управления. Диапазон рабочих температур — от +10 до +35 °C. Питание обеспечивают два блока мощностью 800 Вт с сертификатом Titanium. Производитель предоставляет пятилетнюю гарантию.

Компания Pure Storage, разрабатывающая All-Flash СХД, инвестировала неназванную сумму в стартап Cerabyte, занимающийся созданием систем архивного хранения с использованием керамики. Основатель Pure Storage также получит место в совете директоров Cerabyte. В случае успеха новая технология сможет потеснить ленточные накопители, отгрузки которых в последние годы только растут. Сама Pure Storage тем временем намерена окончательно расправиться с HDD.

Разработка Cerabyte предусматривает использование покрытого тонким слоем керамики стекла или плёнки. Информация записывается на керамический слой в виде «ямок», быстро наносимых на поверхность лазером. Фактически речь идёт о вариации QR-кодов, считывать которые тоже можно с помощью лазера. Накопители можно хранить в роботизированной библиотеке на манер тех, что используются для ленточных накопителей. Но если последние необходимо менять приблизительно каждые десять лет, данные на керамике хранятся практически вечно, говорят создатели. Кроме того, плотность записи выше, чем у LTO.

Источник изображения: Cerabyte via Blocks&Files

Объём стратегических инвестиций не раскрывается, но известно, что в совет директоров Cerabyte войдёт основатель и директор по стратегии (Chief Visionary Officer) Pure Storage Джон Колгроув (John Colgrove). По его словам, партнёрство позволит предложить клиентам экобезопасные и надёжные решения для хранения данных, способные произвести революцию в индустрии. В Cerabyte рассчитывают, что партнёрство обеспечит её технологии коммерческое внедрение. В 2023 году компания начала работу в США и уже открыла офисы в Калифорнии и Колорадо.

Источник изображения: Cerabyte

По мнению экспертов Furthur Market Research, мировой запрос на хранилища зеттабайтного уровня плохо удовлетворяется из-за дороговизны и высокого энергопотребления текущих решений. СХД на основе технологий Cerabyte обеспечат экономически и экологически целесообразные альтернативы LTO для корпоративных клиентов. Фактически новое решение в случае успеха может серьёзно подорвать рынок ленточных накопителей и сопутствующих технологий. Демонстрация полностью готовых продуктов (чтение/запись 1+ Гбайт/с, задержка первого обращения не более 15 с, 10–30 Пбайт на стойку) ожидается приблизительно в 2026 году. Пока что у Cerabyte есть только рабочий прототип.

Аргоннская национальная лаборатория (ANL) Министерства энергетики США (DOE) обнародовала запрос на создание нового кластера хранения данных для своего парка суперкомпьютеров. Как сообщает ресурс Datacenter Dynamics, реализация проекта может обойтись в $15–$20 млн.

Речь идёт о создании СХД, которая обеспечит ёмкость и производительность, необходимые для поддержания работы действующих НРС-комплексов, а также будущих суперкомпьютеров. Отмечается, что на площадке Argonne Leadership Computing Facility (ALCF) развёрнуты несколько высокопроизводительных параллельных файловых систем для обработки данных, генерируемых исследователями и инженерами. Это, в частности две системы Lustre вместимостью 100 Пбайт с пропускной способностью 650 Гбайт/с. Обе они используют интерконнект Infiniband HDR.

Источник изображения: DOE

Новая СХД будет обладать ёмкостью на уровне 400 Пбайт. В число требований входят IOPS-производительность до 240 млн, пиковая пропускная способность в 6 Тбайт/с, совместимость с POSIX и возможность одновременного монтирования до 30 тыс. узлов. Поставщик должен обеспечивать поддержку в течение пяти лет.

Предполагается, что платформа будет использоваться суперкомпьютером Aurora, который в нынешнем рейтинге TOP500 занимает второе место с быстродействием 1,012 Эфлопс. Кроме того, доступ к СХД получит НРС-комплекс Polaris: его пиковая производительность составляет около 44 Пфлопс.

Проектируемая СХД должна обеспечивать «надёжность и масштабируемость, необходимые для следующего поколения HPC и ИИ». Поставку платформы исполнителю работ необходимо осуществить ко II или к IV кварталу 2025 года, если дополнительные полгода позволят внедрить новые технологии.

Дерек Дикер (Derek Dicker), генеральный директор Nyriad, рассказал о ходе продаж активов компании в рамках сворачивания бизнеса. Как сообщает ресурс Blocks & Files, правление Nyriad заключило три сделки при содействии неназванной третьей стороны.

Напомним, Nyriad была основана в 2014 году в Новой Зеландии, а первоначальной задачей было создание быстрого хранилища для обработки данных от радиоинтерферометра SKA (Square Kilometre Array), строительство которого затянулось. Nyriad разработала архитектуру СХД базе x86-процессоров и GPU NVIDIA, а также создала сопутствующее ПО Nsulate. Решение предлагалось сторонним клиентам в составе серверов хранения с ускорителями NVIDIA T4 и NVDIMM-модулями.

Источник изображения: Nyriad

Однако с развитием бизнеса возникли проблемы. Компания была вынуждена сократить штат приблизительно в два раза, а в руководстве начались перестановки. В июне 2023 года Nyriad объявила о необходимости привлечения дополнительного финансирования, а в январе 2024-го была вынуждена выставить себя на продажу. Тогда отмечалось, что компания ищет покупателя на все или часть своих активов.

И вот теперь Дикер сообщил о заключении трёх соглашений. Одна из сделок предусматривает продажу патентов Nyriad, вторая — основной части «оставшихся системных ресурсов». Кроме того, достигнута договорённость с третьей стороной о поддержке клиентов Nyriad, которые запросили обслуживание систем по условиям своих контрактов. «В настоящее время мы находимся в процессе выплаты средств кредиторам. Вскоре управление компанией будет передано третьей стороне, которая завершит процесс закрытия бизнеса», — отметил Дикер.

Компания YADRO анонсировала обновление в семействе отечественных СХД начального уровня TATLIN.FLEX — TATLIN.FLEX.PRO v2. Семейство TATLIN.FLEX отличаются как доступной ценой, так и гибкостью конфигурирования. TATLIN.FLEX.PRO изначально спроектирована как максимально гибкая платформа с широким спектром возможностей, свойственных СХД среднего класса, и вместе с тем попадающая в ценовой класс хранилищ начального уровня.

Спектр потенциальных сценариев работы у TATLIN.FLEX.PRO чрезвычайно широк — она может стать «рабочей лошадкой» для любых малых и средних предприятий. Хранилища совместимы с широким спектром современных ОС и средств виртуализации. Отдельно стоит отметить крайне простую для заказчика модель лицензирования: лицензия изначально установлена в системе и каких-либо дополнительных действий не требует, а вся заявленная функциональность доступна сразу «из коробки».

Источник изображений: YADRO

В этом качестве системы TATLIN.FLEX выделяются повышенной надёжностью и простотой развёртывания и использования. Они предлагают блочный (FC, iSCSI) и файловый (NFS v3/v4, SMB v3 и FTP) доступ. Есть интеграция с LDAP/AD и локальное распределение прав. Доступен шаблон для Zabbix, а также отправка уведомлений по почте и SNMP v2/v3. Системы имеют интуитивно понятный полностью русскоязычный интерфейс.

TATLIN.FLEX.PRO v2 имеет два двухпроцессорных контроллера с 256 Гбайт RAM у каждого. Сетевая часть, изначально представленная двумя парами портов 1GbE, может быть расширена двумя картами с различными интерфейсами: 2 × 10/25GbE, 4 × 10GbE, 2 × FC32, 4 × FC16. СХД поддерживает подключение двух дисковых полок. В первоначальном варианте это могли быть полки S24 (24 × SFF) или L12 (12 × LFF), но в версии v2 появилась новая опция — 4U-модули L78 на 78 накопителей LFF. Максимальное количество поддерживаемых дисков по-прежнему равняется 156.

Интерфейс подключения накопителей — SAS-3. Допускается установка SFF SSD объёмом до 7,68 Тбайт на диск, Nearline LFF HDD ёмкостью до 16 Тбайт, а также 2,4-Тбайт SFF HDD 10k RPM. Пара SSD может быть отведена под кеширование. С точки зрения пользователей доступное пространство ограничено размерами массива RAID — до 1 Пбайт. Таких пулов в системе может быть до 20, а сами массивы допускают включение до 64 накопителей.

Отказоустойчивость обеспечивается на нескольких уровнях: это и дублирование контроллеров, и защита на уровне программного слоя, и резервирование систем питания и охлаждения, и, разумеется, гибкие политики организации самих накопителей. Доступны как традиционные варианты RAID 0/1/10/5/6/50/60, так и произвольные вида N+M, а также характерные именно для TATLIN.FLEX режимы 7.3 и 70. Последние допускают одновременный выход из строя до трёх накопителей. Дополнительно целостность данных обеспечивается механизмами фонового сканирования и алгоритмами защиты от скрытого повреждения данных.

Таким образом, TATLIN.FLEX.PRO v2 — очень простая и удобная в использовании СХД класса Entry Level, весьма гибкая в части конфигурации дискового хранилища, высоконадёжная, а по сочетанию возможностей и технических характеристик приближающаяся к решениям среднего уровня. СХД разработана и произведена в России, имеет сертификацию МПТ и внесена в реестр ЕРРП.