Amazon представила сервис AWS Data Transfer Terminal — пункты, где можно быстро и безопасно выгрузить большие объёмы данных в облако AWS. Первые терминалы расположены в Лос-Анджелесе и Нью-Йорке, в будущем планируется добавить пункты приёма данных и в других локациях по всему миру.

Использование пунктов AWS Data Transfer Terminal позволит значительно снизить время передачи данных (не считая времени на дорогу и обратно) в хранилища S3, EFS и др. Например, можно выгрузить большие датасеты от парка беспилотных машин, видеофайлы или картографические данные для дальнейшего анализа и обработки. Также с собой можно принести носители Snowball, хотя в целом AWS постепенно сворачивает сервисы Snow по физической доставке данных в облако.

Источник изображения: AWS

Список терминалов доступен в AWS Management Console, где можно заранее назначить дату и время визита и вписать участников. В назначенный час сотрудник AWS проверит документы и проводит до отдельной комнаты, где есть патч-панель, оптоволоконный кабель и ПК. Патч-панель интегрирована в небольшую стойку, а компьютер можно использовать для контроля процесса передачи данных. Примечательно, что в целях безопасности на зданиях и в помещениях нет никаких символов AWS. Плата за гигабайты не предусмотрена, вместо этого платить придётся за время загрузки в регионы AWS. При этом доступны только те регионы, которые находятся на том же континенте, где и пользователь.

Облачная платформа Amazon Web Services (AWS) анонсировала инстансы EC2 I8g, оптимизированные для хранения данных. Утверждается, что по сравнению с решениями предыдущего поколения EC2 I4g достигается прирост производительности на операциях хранения в реальном времени до 65 % в расчёте на 1 Гбайт.

Инстансы EC2 I8g базируются на фирменных процессорах Graviton4, насчитывающих до 96 ядер Arm. Кроме того, впервые применены накопители AWS Nitro SSD третьего поколения, которые изготавливаются по индивидуальному заказу Amazon. Эти устройства, как утверждается, обеспечивают высокую производительность ввода-вывода, низкую задержку, минимальную изменчивость задержки и безопасность благодаря шифрованию.

В зависимости от модификации инстансы EC2 I8g предлагают от 2 до 96 vCPU, а объём памяти варьируется от 16 до 768 ГиБ. Вместимость хранилища составляет от 468 Гбайт до 22,5 Тбайт. Пропускная способность сетевого подключения находится в диапазоне от 10 Гбит/с до 56,25 Гбит/с, пропускная способность EBS-томов — от 10 до 30 Гбит/с.

Источник изображения: AWS

Отмечается, что инстансы I8g предназначены для рабочих нагрузок с интенсивными IO-операциями, требующими доступа к информации с минимальными задержками. Это могут быть различные базы данных, включая платформы реального времени (MySQL, PostgreSQL, Aerospike, Apache Druid, MongoDB), а также аналитика реального времени.

Задействована система AWS Nitro, которая переносит функции виртуализации, хранения и сетевые операции на выделенное оборудование и ПО для повышения производительности и улучшения безопасности. Говорится о совместимости с Amazon Linux 2023, Amazon Linux 2, CentOS Stream 8 или новее, Ubuntu 18.04 или новее, SUSE 15 SP2 или новее, Debian 11 или новее, Red Hat Enterprise 8.2 или новее, CentOS 8.2 или новее, FreeBSD 13 или новее, Rocky Linux 8.4 или новее, Alma Linux 8.4 или новее и Alpine Linux 3.12.7 или новее.

Компании AIC и ScaleFlux анонсировали систему F2026 Inference AI для ресурсоёмких приложений ИИ с интенсивным использованием данных. Решение выполнено в форм-факторе 2U. В оснащение входят два DPU NVIDIA BlueField-3, которые могут работать на скорости до 400 Гбит/с. Эти изделия способны ускорять различные сетевые функции, а также операции, связанные с передачей и обработкой больших массивов информации.

Во фронтальной части F2026 Inference AI расположены 26 отсеков для высокопроизводительных вычислительных SSD семейства ScaleFlux CSD5000 (U.2). Накопители с интерфейсом PCIe 5.0 (NVMe 2.0b) имеют вместимость 3,84, 7,68, 15,36, 30,72, 61,44 и 122,88 Тбайт, а с учётом компрессии эффективная ёмкость может достигать приблизительно 256 Тбайт. Реализована поддержка TCG Opal 2.02 и шифрования AES-256, NVMe Thin Provisioned Namespaces Virtualization (48PF/32VF), ZNS, FDP.

Платформа F2026 Inference AI представляет собой JBOF-массив, способный на сегодняшний день хранить 1,6 Пбайт информации (эффективный объём). В следующем году показатель будет доведён до 6,6 Пбайт. Утверждается, что сочетание BlueField-3 и энергоэффективной технологии хранения ScaleFlux помогает минимизировать энергопотребление, а также повысить долговечность и надёжность.

Результаты проведённого тестирования F2026 Inference AI демонстрируют пропускную способность при чтении до 59,49 Гбайт/с, при записи — более 74,52 Гбайт/с. Благодаря объединению средств хранения, сетевых функций и инструментов безопасности в одну систему достигается снижение эксплуатационных расходов, что позволяет оптимизировать совокупную стоимость владения (TCO).

Источник изображения: AIC

Новинка является лишь одной из вариаций решений на базе F2026. Платформа, в частности, поддерживает работу других DPU, включая Kalray 200 и Chelsio T7. Также упоминается вариант шасси на 32 накопителя EDSFF E3.S/E3.L.

Компания HPE анонсировала обновление модельного ряда HPC-систем HPE Cray Supercomputing EX, а также представила новые модели серверов из серии Proliant. По словам компании, новые HPC-решения предназначены в первую очередь для научно-исследовательских институтов, работающих над решением ресурсоёмких задач.

Источник изображений: HPE

Обновление касается всех компонентов HPE Cray Supercomputing EX. Открывают список новые процессорные модули HPE Cray Supercomputing EX4252 Gen 2 Compute Blade. В их основе лежит пятое поколение серверных процессоров AMD EPYС Turin, которое на сегодняшний день является самым высокоплотным x86-решениями. Новые модули позволят разместить до 98304 ядер в одном шкафу. Отчасти это также заслуга фирменной системы прямого жидкостного охлаждения. Она охватывает все части суперкомпьютера, включая СХД и сетевые коммутаторы. Начало поставок узлов намечено на весну 2025 года.

Процессорные «лезвия» дополнены новыми GPU-модулями HPE Cray Supercomputing EX154n Accelerator Blade, позволяющими разместить в одном шкафу до 224 ускорителей NVIDIA Blackwell. Речь идёт о новейших сборках NVIDIA GB200 NVL4 Superchip. Этот компонент появится на рынке позднее — HPE говорит о конце 2025 года. Обновление коснулось и управляющего ПО HPE Cray Supercomputing User Services Software, получившего новые возможности для пользовательской оптимизации вычислений, в том числе путём управления энергопотреблением.

Апдейт получит и фирменный интерконнект HPE Slingshot, который «дорастёт» до 400 Гбит/с, т.е. станет вдвое быстрее нынешнего поколения Slingshot. Пропускная способность коммутаторов составит 51,2 Тбит/c. В новом поколении будут реализованы функции автоматического устранения сетевых заторов и адаптивноой маршрутизации с минимальной латентностью. Дебютирует HPE Slingshot interconnect 400 осенью 2024 года.

Ещё одна новинка — СХД HPE Cray Supercomputing Storage Systems E2000, специально разработанная для применения в суперкомпьютерах HPE Cray. В сравнении с предыдущим поколением, новая система должна обеспечить более чем двукратный прирост производительности: с 85 и 65 Гбайт/с до 190 и 140 Гбайт/с при чтении и записи соответственно. В основе новой СХД будет использована ФС Lustre. Появится Supercomputing Storage Systems E2000 уже в начале 2025 года.

Что касается новинок из серии Proliant, то они, в отличие от вышеупомянутых решений HPE Cray, нацелены на рынок обычных ИИ-систем. 5U-сервер HPE ProLiant Compute XD680 с воздушным охлаждением представляет собой решение с оптимальным соотношением производительности к цене, рассчитанное как на обучение ИИ-моделей и их тюнинг, так и на инференс. Он оснащён восемью ускорителями Intel Gaudi3 и двумя процессорами Intel Xeon Emerald Rapids. Новинка поступит на рынок в декабре текущего года.

Более производительный HPE ProLiant Compute XD685 всё так же выполнен в корпусе высотой 5U, но рассчитан на жидкостное охлаждение. Он будет оснащаться восемью ускорителями NVIDIA H200 в формате SXM, либо более новыми решениями Blackwell, но последняя конфигурация будет доступна не ранее 2025 года, когда ускорители поступят на рынок. Уже доступен ранее анонсированный вариант с восемью ускорителями AMD Instinict MI325X и процессорами AMD EPYC Turin.

Российский поставщик решений корпоративного класса ITPOD анонсировал собственное семейство СХД с поддержкой протокола NVMe/TCP. Импортозамещающие устройства, как утверждается, подходят как для небольших, так и для крупных компаний.

В серию вошли три модели типа All-Flash — ITPOD FF-100, ITPOD FF-300 и ITPOD FF-500 с поддержкой соответственно 24, 48 и 72 NVMe-накопителей. Максимальная сырая ёмкость достигает 367 Тбайт, 734 Тбайт и 1,1 Пбайт, эффективная — 1,5 Пбайт, 3 Пбайт и 4 Пбайт соответственно.

Все новинки используют два контроллера в режиме Active–Active. Допускается установка TLC SSD вместимостью 3,2, 6,4 и 12,8 Тбайт, а также накопителей QLC SSD на 15,3 Тбайт. Поддерживаются протоколы iSCSI, NVMe/TCP и NFS. Возможно подключение двух NVMe-полок без дополнительных коммутаторов.

Источник изображений: ITPOD

Есть два порта 1GbE и выделенный сетевой порт управления 1GbE. Кроме того, предусмотрены четыре слота расширения для установки адаптеров 10GbE SFP+ (4 порта), 25GbE SFP28 (два порта) или 40/100GbE QSFP28 (два порта). Диапазон рабочих температур — от +10 до +35 °C. Аппаратная платформа, судя по всему, заказана у Gooxi.

Версия начального уровня ITPOD FF-100 несёт на борту 512 Гбайт памяти и обеспечивает производительность до 400 тыс. IOPS. Вариант среднего уровня ITPOD FF-300 оснащён 1024 Гбайт памяти, а значение IOPS достигает 600 тыс. Наиболее производительная модель ITPOD FF-500 комплектуется 1536 Гбайт памяти и имеет показатель IOPS до 1 млн. Все устройства наделены 64 Гбайт памяти NVRAM.

СХД устойчивы к отказам до трёх накопителей, поддерживают транзакционную целостность и автоматическое восстановление данных. Все ключевые компоненты имеют резервирование, обеспечивая непрерывную эксплуатацию.

В семейство СХД ITPOD также войдут гибридные модели на основе SSD и HDD, но их характеристики пока не раскрываются. Системы подойдут для компаний, работающих с большими массивами данных, аналитикой, облачными технологиями и другими информационными системами.

Компания AIC представила JBOD-массив J4108-02-04X, предназначенный для формирования систем хранения данных большой ёмкости. Решение, рассчитанное на установку в стойку, выполнено в форм-факторе 4U с габаритами 434 × 1050 × 176 мм.

Новинка допускает использование 108 накопителей LFF или SFF, для монтажа/демонтажа которых не требуются инструменты. Поддерживается горячая замена, что обеспечивает простоту обслуживания и сокращает время простоя.

Задействованы карты расширения Expander с поддержкой SAS4 × 48 (Hub), а также SAS35 × 40, SAS35 × 36/SAS4 × 40, SAS4 × 32 (Edge). Реализованы четыре хост-интерфейса Mini SAS HD (SFF-8674; обратно совместим с SFF-8644 SAS12G) в расчёте на модуль расширения.

Источник изображений: AIC

Интерфейсы накопителей — 24 Гбит/с и 12 Гбит/с SAS при использовании двух модулей расширения или 24 Гбит/с и 12 Гбит/с SAS + 6 Гбит/с SAS/SATA при использовании одного модуля расширения.

Модель J4108-02-04X комплектуется двумя блоками питания с сертификатом 80 Plus Platinum или 80 Plus Titanium мощностью 2000 Вт каждый с возможностью горячей замены. За охлаждение отвечают восемь вентиляторов размером 60 × 56 мм (плюс по одному вентилятору 40 × 56 мм на модуль расширения). Диапазон рабочих температур — от 0 до +35 °C.

Помимо модели на 108 накопителей, компания AIC анонсировала JBOD-массив J4078-02-04X типоразмера 4U с возможностью установки 78 устройств LFF/SFF, а также модель J2024-07-04X стандарта 2U, которая рассчитана на 24 накопителя SFF.

Huawei, по сообщению Blocks​&​Files, разрабатывает технологию хранения больших объёмов данных на основе так называемых магнитоэлектрических дисков (MED). Фактически речь идёт о совмещении SSD и ленточных накопителей в одном корпусе, что позволит объединить преимущества «горячего» и «холодного» хранения. Необходимость создания СХД нового типа обусловлена жёсткими санкциями со стороны США — Huawei опасается возможных перебоев с закупками традиционных HDD.

Концепция MED заключается в объединении в одном герметичном корпусе носителей разных типов. Это твердотельный накопитель на основе флеш-памяти NAND и ленточная система, включающая привод, катушки с лентой и головки чтения-записи. Таким образом, для работы с «горячими» данными может использоваться SSD, обеспечивающий низкие задержки и высокие скорости чтения/записи, а с «холодными» — ленточный модуль. Длина ленты приблизительно вдвое меньше, чем в LTO-картриджах, т.е. около 480 м вместо 960 м.

Конструктивно MED напоминает кассету для магнитофона и содержит две катушки для ленты, электромотор и головки. MED имеет блочный интерфейс и два слоя трансляции. При записи информация попадает сначала на SSD, а после переупорядочивания последовательно записывается на ленту. При чтении накопитель, опираясь на метаданные во флеш-памяти, считывает данные либо с SSD («тёплые»), либо с ленты («холодные»). В последнем случае задержка доступа может составлять до двух минут.

Источник изображения: Blocks & Files

В составе платформы MED не используются технологии ленточных накопителей IBM, Fujifilm или Sony. Вместо этого Huawei разработала необходимые компоненты совместно с китайскими партнёрами, а чипы NAND и так производятся в КНР. Это обеспечивает независимость от зарубежных изделий, которые могут подпасть под санкции. Шасси MED не нуждается в роботизированных манипуляторах и обеспечивает высокую плотность размещения накопителей.

MED первого поколения вмещает 72 Тбайт информации, потребляя при этом всего 10 % электроэнергии, необходимой обычному жёсткому диску. Совокупная стоимость владения (TCO) примерно на 20 % ниже по сравнению с другими ленточными системами эквивалентной ёмкости. Стойка MED первого поколения обеспечивает скорость передачи данных на уровне 8 Гбит/с, вмещает более 10 Пбайт информации и потребляет менее 2 кВт. Системам MED не грозит перегрев, поскольку они в основном рассчитаны на хранение архивных данных.

На систему MED и её компоненты компанией Huawei получен ряд патентов. Решения первого поколения, как ожидается, выйдут в 2025 году. А на 2026–2027 гг. запланирован выпуск устройств второго поколения с отсеками формата 3,5″ (LFF). Нечто похожее предложила и Western Digital — компания запатентовала высокоинтегрированный LTO-картридж в корпусе HDD. Что касается дальнейших планов Huawei, то сейчас она разрабатывает собственные SSD вместимостью 60 Тбайт на основе флеш-памяти QLC NAND с SLC-кешированием.

«Инфосистемы Джет» и «Аэродиск» сообщили об успешных испытаниях первого отечественного метрокластера на базе СХД с использованием сценариев эмуляции различных отказов и сбоев. В «Инфосистемы Джет» отметили, что протестированный метрокластер является первым отечественным решением такого класса.

Метрокластер представляет собой отказоустойчивую ИТ-инфраструктуру на базе синхронной репликации данных средствами СХД. Метрокластер включает две идентичные СХД, размещённые в разных локациях с зеркалированием данных в синхронном режиме. Выход из строя одной СХД или целой площадки не отражается на сохранности данных, которые остаются доступны на второй СХД, а функционирование прикладных систем продолжается. Работа такого кластера полностью автоматизирована и не требует вмешательства администратора в случае сбоя.

Тестируемая конфигурация была построена на отечественных решениях «Аквариуса»: две СХД «Аэродиск» Engine AQ 440, соединённые между собой оптическими каналами связи через 25GbE-коммутаторы AQ-N5001, и ферма виртуализации на серверах T50 с использованием отечественного ПО. В ходе испытания проводилась эмуляции прикладной тестовой нагрузки на СХД со стороны СУБД PostgreSQL, запущенной в виртуальной машине. Также вносились сетевые задержки для эмуляции протяжённой линии связи межу ЦОД.

Источник изображения: «Инфосистемы Джет»

Как сообщается, сначала работу кластера проверили при смоделированном отказе СХД на одной площадке из-за аварийного отключения электропитания. Для миграции виртуального интерфейса (VIP) метрокластера на другую СХД потребовалось 30 секунд, что не отразилось на стабильности работы виртуальной машины.

Затем провели эмуляцию отказа всей площадки из-за отключения электропитания оборудования (сервер, коммутатор, СХД). В этом случае помимо переключения VIP СХД метрокластера на другую СХД произошло переключение виртуальной машины из-за отказа хоста виртуализации. После этого тестовая нагрузка была перезапущена на второй площадке. Всего на восстановление нагрузки после крушения системы ушло не более трёх минут.

В третьем тесте проверили работу метрокластера при сбое каналов связи, который приводит к изоляции узлов кластера. В ходе теста эксперты проверили работу механизма арбитража между двумя СХД при участии сервера-арбитра. В этом случае СХД, сохраняющая с ним связь, становится основной и принимает на себя нагрузку, а вторая СХД исключается из кластера.

В рамках масштабной программы импортозамещения Сбербанк успешно осуществил перенос хранилищ данных на собственное решение SberData Platform. При этом программно-аппаратные комплексы Teradata выведены из эксплуатации.

Платформа по работе с данными SberData Platform объединяет ряд ключевых сервисов. Это SDP DataFlow (загрузка и преобразование данных), SDP Hadoop (хранение и обработка больших данных), SDP Analytics (анализ и визуализация информации), SDP DataLab (разработка моделей машинного обучения) и пр. Дополнительные сервисы — SDP Data Quality (контроль качества данных), Platform V Pangolin (реляционная СУБД на базе PostgreSQL) и SDP AnalyticDB (аналитическое хранилище данных).

Как отмечается, Сбербанк начал переводить хранилища данных на SberData Platform в 2022 году. В 2023-м на использование собственного решения мигрировала основная часть служб кредитной организации, а в 2024 году процесс полностью завершился. В проекте были задействованы 205 команд, представляющих все подразделения банка. При этом количество активных участников проекта превысило 2 тыс. человек.

Источник изображения: Сбербанк

Компания подчёркивает, что перевод хранилищ на SberData Platform снял для исследователей данных существенные ограничения, обусловленные архитектурными особенностями зарубежного решения. Кроме того, значительно снизилась стоимость хранения информации. В целом, реализация проекта повысила доступность технологий работы с данными для широкого круга пользователей. Платформа SberData Platform включена в Реестр программного обеспечения Минцифры РФ.

Сбербанк осуществляет активное импортозамещение в различных сферах. В частности, кредитная организация намерена полностью отказаться от зарубежных СУБД в значимых объектах критической инфраструктуры. Кроме того, ведётся переход с Citrix на отечественную VDI-платформу Termidesk, а на замену SAP ERP создаётся несколько прикладных платформ по управлению финансами, закупками, недвижимостью и кадрами.

Центр научных данных и вычислений (SDCC) Брукхейвенской национальной лаборатории (BNL) Министерства энергетики США (DoE) похвастался, что в его хранилищах находится уже свыше 300 Пбайт информации. Как сообщает Datacenter Dynamics, речь идёт о третьем по величине хранилище научных данных в Соединённых Штатах и крупнейшем в США архиве ленточных накопителей.

Хранящиеся данные связаны с экспериментами в области ядерной физики и физики элементарных частиц. В пресс-релизе Брукхейвенской лаборатории руководство SDCC заявляет, что в архиве хранится вшестеро больше данных, чем составила бы вся письменная история человечества, начиная с источников на санскрите (50 Пбайт). В частности, в хранилище находятся данные, полученные в экспериментах на Релятивистском коллайдере тяжелых ионов (RHIC) Министерства энергетики США, который с 2000 года работает в Брукхейвенской лаборатории, и данные эксперимента ATLAS на Большом адронном коллайдере (БАК).

Источник изображения: Roger Stoutenburgh / Brookhaven National Laboratory

Вся информация доступна онлайн и по запросу. Сведения хранятся в высокотехнологичной роботизированной ленточной библиотеке. В лаборатории уже разработано собственное ПО и веб-сайт для мониторинга передачи данных, структура также сотрудничает с другими лабораториями Министерства энергетики и IBM над развитием системы управления информацией — High-Performance Storage System (HPSS). Последняя гарантирует, что разные системы хранения данных, от лент до дисков, могут эффективно использоваться в различных комбинациях. Также разработано ПО, используемое физиками для доступа к информации SDCC.

Представители SDCC сообщают, что лаборатория пользуется преимуществами гибридной СХД: данные хранятся в основном на лентах и переносятся на диски только в случае необходимости, что снижает стоимость эксплуатации и повышает экологичность хранения. Так, диски требуют охлаждения и энергию, тогда как ленты вне периода эксплуатации попросту лежат в библиотеках. Сами ленточные библиотеки размещены в специальных залах с оптимизированными энергопотреблением и охлаждением.

Источник изображения: David Rahner / Brookhaven National Laboratory

Также имеются запасные ёмкости для растущего «кеша» данных, собираемых лабораториями. В рамках эксперимента sPHENIX учёные намерены получить около 565 Пбайт данных, которые одновременно пишутся и на диски, и на ленты. В следующем году на смену RHIC придёт EIC, который, как ожидается, будет генерировать 220 Пбайт/год.

Отмечается, что ёмкость ленточных хранилищ обычно удваивается каждые 4–5 лет, а сами они становятся всё более компактными. Периодически перенося данные со старых носителей на новые, специалисты освобождают в библиотеке немало места. Сейчас потенциальная ёмкость библиотек Лаборатории составляет порядка 1,5 Эбайт, но учёные надеются, что со временем доведут её до 3 Эбайт. Примечательно, что спрос на ленточные картриджи только растёт. В 2023 году поставки достигли рекордного значения в 153 Эбайт. Правда, помогло это не всем вендорам.