Корпорация IBM анонсировала систему Storage DS8000 Release 10.2 — обновлённую версию флагманской платформы хранения данных, разработанной специально для мейнфреймов IBM Z и IBM LinuxONE. В этой СХД применяются новейшие фирменные накопители — устройства FlashCore Module пятого поколения (FCM5).

Источник изображений: IBM

SSD семейства FCM5, заключённые в усовершенствованный корпус High-Performance Flash Enclosure (HPFE) Gen 3 E3, выполнены в форм-факторе EDSFF. Говорится об улучшенной циркуляции воздуха и интеграции с системой AEM (Active Energy Management) для мониторинга энергопотребления и охлаждения в реальном времени.

Накопители выполнены на чипах флеш-памяти QLC NAND с pSLC-кешированием. Задействован интерфейс PCIe 4.0 (NVMe). Скорости чтения/записи и показатель IOPS не раскрываются. «Сырая» ёмкость составляет до 76,8 Тбайт, эффективная доступная ёмкость — до 134 Тбайт. Впрочем, FCM5 включает аппаратные ускорителя сжатия (до 3:1) и шифрования (с поддержкой постквантового шифрования), ИИ-детектор программ-шифровальщиков и механизм глубокой телеметрии, а также — впервые в семействе — аппаратную фоновую дедупликацию. Накопитель оснащён FGPA Xilinx с четырьмя Arm-ядрами.

В состав IBM Storage DS8000 Release 10.2 интегрирована телеметрия IBM Storage Insights: мониторинг состояния, а также показатели производительности системы хранения и сетей SAN совмещены в единый интерфейс. При развёртывании на мэйнфреймах доступна расширенная статистика производительности zHyperLink. Упомянуты развитые средства обнаружения угроз. Так, например, система Copy Services Manager (CSM) при обнаружении аномальной активности запускает автоматический сценарий для изоляции затронутых сред и защиты данных.

Клиенты также могут повысить уровень кибербезопасности благодаря сервисам IBM Z Cyber ​​Vault и IBM Expert Labs Cyber ​​Vault. Первый предназначен для защиты от программ-вымогателей, вредоносного ПО и повреждения данных, тогда как второй предусматривает привлечение экспертов IBM для проектирования, развёртывания, настройки и тестирования СХД в инфраструктуре заказчика.

Everpure (ранее Pure Storage) объявила о победе в тендере на проектирование и поставку решения для «второго из пяти крупнейших гиперскейлеров». Первым клиентом Everpure из числа гиперскейлеров стала Meta✴, с которой она заключила контракт в конце 2024 года. Everpure не стала раскрывать имя нового клиента, отметив, что более важным является то, что теперь две крупнейшие в мире инфраструктурные среды будут использовать технологию Everpure.

Ресурс Blocks & Files указал на то, что в пятёрку крупнейших провайдеров входят AWS, Azure, Google, Meta✴ и Alibaba или Oracle, поэтому, возможно, это один из них. Everpure также сообщила, что значительная часть доходов от нового контракта начнёт поступать, начиная с 2028 финансового года с нарастанием в дальнейшем.

Технология Everpure DirectFlash (DFM) позволяет гиперскейлерам развёртывать согласованную и унифицированную архитектуру на нескольких уровнях производительности в своей иерархии хранения данных. Благодаря высокой плотности, производительности и надёжности она позволяет значительно снизить эксплуатационные расходы, одновременно высвобождая жизненно важные ресурсы — электроэнергию и место в стойках — для рабочих ИИ-нагрузок, заявляет Everpure.

Аналитик William Blair Джейсон Адер (Jason Ader) отметил, что новый контракт является ещё одним важным подтверждением эффективности архитектуры DirectFlash и программно-ориентированного подхода к хранилищам гиперскейлеров: «Дифференцированная архитектура Everpure продолжает завоёвывать доверие как альтернатива традиционным конструкциям на основе SSD и HDD, при этом руководство постоянно подчёркивает преимущества DirectFlash в плане плотности, эффективности и совокупной стоимости владения по сравнению с устаревшей инфраструктурой хранения данных».

Источник изображения: Everpure

Контракт оформлен как генеральное соглашение о поставках (Master Supply Agreement), включающее ПО и компоненты, отличные от NAND. Гиперскейлер будет закупать собственные аппаратные модули, включая NAND, через свою собственную цепочку поставок. Это важный пункт, поскольку ранее Everpure как раз критиковали за невозможность контроля цен и доступности NAND, что отражается на стоимости её СХД в условиях дефицита. Кроме того, у компании есть платформа FlashBlade//EXA для ИИ/HPC-нагрузок, которая лишь частично полагается на фирменные DFM-накопители и позволяет задействовать для хранения обычные x86-узлы с традиционными SSD.

Остальные поставщики массивов All-Flash на основе SSD, за исключением IBM, используют стандартные SSD. Технология DFM от Everpure обладает большей ёмкостью, чем SSD-накопители, теперь до 300 Тбайт на модуль, и управляется на уровне системы, а не на уровне накопителя, что означает меньшую потребность в избыточной ёмкости. Для достижения целевых показателей ёмкости или пропускной способности требуется меньшее количество накопителей DFM, что означает меньшую потребность в электроэнергии.

У IBM есть собственная разработка — накопители Flash Core Module (FCM), теперь уже пятого поколения, которые используются в средах IBM FlashSystem, Elastic Storage System (ESS) и Storage Scale System (SSS). Однако их «сырая» ёмкость составляет 106,6 Тбайт на основе 176-слойной 3D NAND QLC, в то время как ёмкость обычных SSD сейчас достигает 256 Тбайт.

Компания Supermicro пополнила ассортимент серверов моделью Storage SuperServer ASG-4116S-NU160R на аппаратной платформе AMD. Это система хранения высокой плотности типоразмера 4U, допускающая установку более 160 твердотельных накопителей с интерфейсом PCIe.

Источник изображения: Supermicro

Устройство оснащается процессором семейства AMD EPYC 9005 Turin с показателем TDP до 360 Вт (до 96C/192T). Предусмотрены 12 слотов для модулей оперативной памяти DDR5-6400 RDIMM ECC суммарным объёмом до 6 Тбайт. В оснащение входят два сетевых порта 10GbE RJ45 на основе контроллера Broadcom BCM57416 и выделенный сетевой порт управления 1GbE RJ45 на базе ASPEED AST2600. Есть три слота PCIe 5.0 x16 для карт формата FHHL, два фронтальных порта USB 3.0 Type-A и аналоговый порт D-Sub.

Сервер оснащён 160 слотами для SSD стандарта SFF U.2 (PCIe 4.0 x1; NVMe) с вертикальной загрузкой и возможностью горячей замены. Кроме того, предусмотрены четыре фронтальных отсека для накопителей E1.S (PCIe 5.0; x4 NVMe) с поддержкой горячей замены, а также два внутренних коннектора для SSD типоразмера M.2 M-key 22110/2280 (NVMe). Таким образом, в общей сложности могут быть задействованы до 166 накопителей.

Источник изображения: Supermicro

Новинка оборудована системой воздушного охлаждения. Диапазон рабочих температур простирается от +10 до +35 °C. Питание обеспечивают два блока мощностью 2600 Вт с резервированием и сертификатом 80 PLUS Titanium. Габариты системы составляют 845 × 448,4 × 176 мм, масса — 92 кг. Присутствует модуль TPM 2.0 для обеспечения безопасности.

Компания Dell сообщила о том, что её система ObjectScale стала первым в мире объектным хранилищем, получившим поддержку SSD вместимостью 245,76 Тбайт. Речь идёт о накопителях Kioxia LC9, которые были анонсированы ещё в июле прошлого года.

В основу платформы ObjectScale положен 2U-сервер PowerEdge R7725 (более ранний анонс говорил об использовании модели с процессорами AMD). Он допускает установку 40 накопителей Kioxia LC9 типоразмера E3.L на 245,76 Тбайт. В сумме это даёт 9,83 Пбайт «сырой» ёмкости. В одной стойке могут быть смонтированы до 20 серверов, в результате чего совокупный объём СХД достигнет 196,6 Пбайт.

Собственно SSD серии Kioxia LC9 построены на чипах флеш-памяти BiCS FLASH QLC 3D с технологией CBA (CMOS directly Bonded to Array). Применяется интерфейс PCIe 5.0 x4 (NVMe 2.0); реализована поддержка двух портов. Скорость последовательного чтения составляет до 12 Гбайт/с, скорость последовательной записи — до 3 Гбайт/с. Предусмотрены средства защиты от сбоев питания.

Решение ObjectScale предназначено для построения высокоэффективной инфраструктуры для работы с неструктурированными данными. Это могут быть огромные массивы информации для аналитики и машинного обучения, резервные копии и архивы, медиаконтент и пр. Платформа также подходит для определённых ИИ-задач.

Источник изображения: Dell

Нужно отметить, что СХД высокой плотности формата 2U типа All-Flash предлагают и другие компании. В частности, в ассортименте HPE присутствует система Alletra Storage Server 4120 с поддержкой 48 накопителей SFF. Supermicro предлагает решение 2U SBB, рассчитанное на 48 двухпортовых NVMe SSD. А у Lenovo есть сервер ThinkSystem SR650 V2, допускающий установку до 40 SSD.

Компании Smart IOPS и H3 Platform, по сообщению ресурса Storage Review, разработали высокопроизводительную систему хранения данных, ориентированную на наиболее требовательные рабочие нагрузки в области ИИ. Платформа обеспечивает показатель IOPS на уровне 1 млрд при произвольном чтении.

В основу СХД положены накопители Smart IOPS Unobtanium T50 в форм-факторе E3.S 2T. Эти SSD выполнены на чипах флеш-памяти TLC NAND, которые функционируют в режиме pseudo-SLC. Для подключения служит интерфейс PCIe 6 x4 (NVMe 2.0). Вместимость составляет 9, 18 и 36 Тбайт. Заявленная скорость передачи информации достигает 28 Гбайт/с при последовательном чтении и 24 Гбайт/с при последовательной записи. Величина IOPS при произвольном чтении данных блоками по 512 байт составляет до 50 млн, при произвольной записи — до 10 млн.

Собственно СХД несёт на борту четыре ускорителя NVIDIA RTX PRO 6000 Blackwell Server Edition с 96 Гбайт GDDR7 и четыре сетевых адаптера NVIDIA ConnectX-8. Доступны 20 посадочных мест для накопителей E3.S 2T с бюджетом питания 60 Вт на каждый слот. Задействовано воздушно охлаждение. При установке 20 изделий семейства Unobtanium T50 достигается суммарное значение IOPS до 1 млрд.

Источник изображения: Storage Review

Платформа ориентирована на такие рабочие нагрузки, как графовые нейронные сети, векторный поиск, рекомендательные системы, генерация с дополненной выборкой (RAG) и аналитические задачи, при которых формируются огромные объёмы случайных запросов небольшого размера. Пробные поставки новых SSD и самой платформы хранения начнутся в I квартале 2027-го, а массовое производство намечено на II четверть следующего года.

Kioxia анонсировала CXL-модули XL1, предназначенные для расширения памяти в ИИ-системах. В основу изделий положена фирменная флеш-память Kioxia XL-Flash (SCM). Она отличается низкой задержкой и высокой производительностью. По заявлениям разработчика, XL-Flash создана, чтобы устранить разрыв в быстродействии между энергозависимой памятью (включая DRAM) и обычной флеш-памятью. Как и любая флеш-память, XL-Flash способна сохранять данные при отключении питания.

Полностью характеристики CXL-модулей XL1 пока не раскрываются. Но известно, что память XL-Flash использует технологию BiCS FLASH 3D. В случае SLC применяются кристаллы на 128 Гбит, а в случае MLC — на 256 Гбит. Возможны исполнения с двумя, четырьмя и восемью кристаллами в одном корпусе.

Источник изображения: Kioxia

Идея XL1 заключается в том, что эти модули берут на себя хранение «холодных» данных, к которым система обращается сравнительно редко. Вместе с тем часто используемые «горячие» данные остаются в более быстрой DRAM. Иными словами, XL-Flash выступает в качестве слоя расширения оперативной памяти. Для обмена информацией служит интерфейс CXL на основе PCIe. Таким образом, изделия XL1 помогут решить проблему нехватки памяти в составе ИИ-платформ и снизить затраты на масштабирование инфраструктуры. Пробные поставки новых модулей отдельным заказчикам начнутся в текущем месяце.

Компания Kioxia анонсировала SSD семейства GP1, спроектированные с прицелом на ИИ-системы. Новинки будут предлагаться в различных вариантах исполнения, включая E3.S и E1.S с толщиной корпуса 9,5 и 15 мм. Устройства используют флеш-память Kioxia XL-Flash второго поколения с низкой задержкой и улучшенной производительностью. Для обмена данными служит интерфейс PCIe 6.0 (NVMe 2.2). Накопители, как утверждается, выдерживают до 50 полных перезаписей в сутки (значение DWPD).

Изделия GP1 стали первыми продуктами серии Super High IOPS SSD. Их особенностью является то, что графический ускоритель в составе системы может получать прямой доступ к SSD. Таким образом, флеш-память используется для расширения встроенной памяти HBM. В результате, улучшается быстродействие на операциях ИИ и повышается эффективность использования имеющихся вычислительных ресурсов.

«Устройства Kioxia GP1 — это прорывной продукт, который позволит создать новую, передовую топологию памяти для ИИ-систем», — отмечает Невилл Ичхапория (Neville Ichhaporia), старший вице-президент и генеральный директор подразделения твердотельных накопителей Kioxia America.

Источник изображения: Kioxia

Решения GP1 обеспечивают показатель IOPS (количество операций ввода-вывода в секунду) до 10 млн при произвольном чтении данных блоками по 512 байт. Более того, применённая в устройствах архитектура предусматривает возможность повышения значения до 100 млн IOPS в будущих поколениях SSD.

Новые накопители будут предлагаться в вариантах с воздушным и жидкостным (только у версий толщиной 9,5 мм) охлаждением. Вместимость и прочие технические характеристики пока не раскрываются. Поставки опытных образцов отдельным заказчикам будут организованы к концу текущего года.

Компания WEKA анонсировала специализированные системы хранения данных третьего поколения — устройства WEKApod 3, оптимизированные для ресурсоёмких ИИ-нагрузок. Решения, как утверждается, обеспечивают до 1,1 Эбайт эффективной вместимости в расчёте на серверную стойку (с учётом сжатия и дедупликации на основе технологии NeuralMesh).

В семейство WEKApod 3 вошли три модели: WEKApod Nitro, WEKApod Prime и WEKApod Prime Max. Все они выполнены в форм-факторе 2U. Заявленная пропускная способность достигает 10,2 Тбайт/с на стойку (56U), производительность — 210 млн IOPS (операций ввода/вывода в секунду).

Изделие WEKApod Nitro получило двухсекционное шасси с четырьмя узлами, благодаря чему формируются четыре полностью независимых домена отказоустойчивости. Допускается установка 56 NVMe SSD с TLC-памятью. «Сырая» ёмкость составляет до 1,72 Пбайт или 48,2 Пбайт на стойку 56U (эффективная ёмкость — до 122 Пбайт). Задействована сеть NVIDIA ConnectX, обеспечивающая пропускную способность до 800 Гбит/с. WEKApod Prime имеет схожую конфигурацию, но допускает применение не только TLC-накопителей, но и QLC. «Сырая» ёмкость достигает 12,8 Пбайт, или 358,5 Пбайт на стойку 56U (эффективная ёмкость — до 906,5 Пбайт).

Источник изображения: WEKA

Наконец, версия WEKApod Prime Max получила двухузловую конструкцию с возможностью монтажа 70 накопителей QLC/TLC. «Сырая» ёмкость — до 15,8 Пбайт или 441,5 Пбайт на стойку 56U (эффективная ёмкость — до 1,1 Эбайт). Для всех новинок заявлена поддержка протоколов POSIX, NFS, SMB, S3, GPUDirect Storage. Системы могут эксплуатироваться при температуре окружающей среды до +35 °C.

СХД семейства WEKApod 3 рассчитаны на работу с новейшей программной платформой NeuralMesh 6, которая объединяет хранение и управление данными в едином стеке. Эта система предоставляет многопользовательскую архитектуру, которая сочетает физическую изоляцию оборудования с логической сетевой изоляцией. Новые решения WEKApod уже доступны для заказа, а их массовые поставки начнутся предстоящей осенью.

Компания StorONE, по сообщению ресурса Blocks & Files, расширила возможности своей технологии перераспределения информации между различными уровнями СХД в реальном времени. Теперь массив All-Flash на основе SSD может применяться в качестве кеш-памяти для менее производительных HDD.

Решение StorONE предполагает применение специального ПО для интеллектуального перераспределения файлов между накопителями разных типов. В частности, важные «горячие» данные хранятся на дорогостоящих SSD, которые обеспечивают быстрый доступ и высокие скорости чтения/записи. В свою очередь, «холодные» данные, используемые сравнительно редко, переносятся на менее дорогие HDD. В результате, достигается оптимальный баланс между быстродействием и стоимостью СХД.

На фоне стремительного расширения ИИ-инфраструктуры на мировом рынке сформировался дефицит чипов памяти, в том числе изделий NAND, которые являются основой SSD. В результате, твердотельные накопители сейчас стоят примерно в 15 раз дороже, чем HDD, а выполнение заказов на поставки нового серверного оборудования на основе флеш-памяти может затягиваться на 9–15 мес. В таких условиях набирает популярность модель, при которой SSD выполнят функции кеша для HDD большой вместимости.

Источник изображения: William Warby / Unsplash

Ранее технология StorONE позволяла использовать свободную ёмкость SSD. Нововведение даёт возможность задействовать выделенную область в активных флеш-массивах в качестве высокопроизводительного уровня хранения. При этом для конечных приложений технология работает прозрачно, они по-прежнему видят один том, тогда как StorONE в фоне перемещает блоки между разными типами накопителей. По словам компании, таким образом эффективную ёмкость All-Flash СХД можно увеличить до девяти раз.

В связи с дефицитом чипов NAND и ростом стоимости SSD различные производители предлагают разные варианты расширения возможностей СХД. Так, Dell поддерживает многоуровневое хранение данных на устройствах All-Flash, гибридных и дисковых массивах. VAST Data развивает программу Amplify для повышения эффективности использования имеющихся накопителей. VDURA анонсировала инициативу Flash Relief Program: благодаря гибридной архитектуре, основанной на накопителях разных типов. DDN также предлагает гибридный подход, сочетающий три уровня хранения — на базе SSD высокого класса, недорогих SSD и HDD, которые при желании можно дополнить также облачным уровнем. А WEKA выпустила руководство по решению проблем с СХД в условиях дефицита NAND-памяти.

Meta✴ полностью перестроила своё хранилище для ИИ, чтобы предотвратить простой ускорителей. Как сообщает SDxCentral, система, лежащая в основе её операций с ИИ, позволила кратно сократить время, необходимое исследователям для перемещения обучающих данных ИИ между регионами. Согласно опубликованным аналитическим выкладкам, скорость работы имеющихся СХД не поспевала за растущими вычислительными мощностями GPU, которые примерно утраивались каждые два года.

Стремясь устранить этот разрыв и обеспечить поддержку кластеров хранения данных, охватывающих все продукты Meta✴, включая Meta✴ AI, Reality Labs, платформы социальных сетей и потребности потенциальных облачных клиентов, специалисты компании перестроили слой хранения BLOB-объектов (Binary Large Object), работающий поверх её глобальной многопользовательской СХД Tectonic, обслуживающей экзабайты данных.

Загрузка данных на два GPU (Источник изображений: Meta✴)

Компания отметила, что хотя устаревшая архитектура BLOB-хранилищ Meta✴ вполне подходила для веб-приложений, таких как Facebook✴ и Instagram✴, для обучения ИИ она оказалась неэффективной. У неё было слишком много слоёв сервисов, и она должна была выполнять множественные запросы к метаданным на нескольких уровнях, прежде чем определить путь к файлу и его фактическое местоположение в хранилище, что увеличивало задержку и отражалось на производительности.

Прежний алгоритм обработки запросов для API getObject

Перестройка СХД была основана на трёх ключевых изменениях. Во-первых, разрозненная система метаданных была объединена в единую схему, поддерживаемую ZippyDB, что позволило сделать практически мгновенным поиск путей. Во-вторых, были убраны прослойки, не позволявшие передавать байты напрямую с серверов хранения (fat client), что повысило энергоэффективность и снизило задержку. В-третьих, был осуществлён переход от глобальной модели развёртывания к региональной, в рамках которой хранилище данных размещается рядом с GPU, которые в нём действительно нуждаются. Всё это позволило свести к нулю накладные расходы при работе с Tectonic, уложиться в бюджет по энергопотреблению и упростить архитектуру хранения. Более того, Meta✴ задействовала свободную память GPU для распределённого кеша «горячих» данных.

Новый алгоритм обработки запросов для API getObject

Команда воспользовалась опытом разработки Owl — системой дистрибуции больших объектов, которая сочетает децентрализованную P2P-плоскость данных с централизованной плоскостью управления. Специалисты интегрировали логику однорангового обмена из Owl SDK на уровне клиента, что снизило частоту запросов GPU к хранилищу. Также был добавлен отдельный кеш метаданных, который возвращает адреса часто запрашиваемых файлов за 1–2 мс. Это позволило справляться с пиками обращений, например, когда GPU одновременно запрашивают одни и те же «горячие» веса модели, а также улучшить задержку, поскольку данные берутся из памяти, а не с диска.

Эволюция архитектуры загрузки данных

В финальной версии стека хранилища BLOB-объектов были приняты меры к устранению узких мест, таких как пики исходящего трафика, которые в конечном итоге приводили к перегрузке и таймаутам, а также к остановке работы GPU. В частности, было добавлено ПО для динамического управления параллельным доступом на поведения приложений. При высокой нагрузке система автоматически уменьшает количество доступных приложению запросов.

Также в Meta✴ решили проблему доставки данных исследователям. Поскольку вычислительные мощности были разбросаны по регионам, сотрудникам регулярно приходилось часами ждать, пока наборы данных будут скопированы и отправлены в конкретный регион мира, где будет выполняться их задача обучения. Для этого была создана многоуровневая система кеширования. RAM и SSD на GPU-хостах выступают в качестве самого быстрого слоя, которые получают данные от региональных флеш-хранилищ BLOB-объектов, куда, в свою очередь, данные попадают из глобальных озёр данных на базе HDD.

Для ускорения используется механизм предвыборки, который заранее загружает данные, которые исследователь собирается использовать. Эта схема уже позволила значительно сократить время загрузки во всех рабочих нагрузках Meta✴. В среднем время загрузки сократилось со 150 мин. до всего 10 мин. (сокращение на 93 %). Meta✴ зафиксировала максимальное сокращение времени загрузки с 89 ч. до всего 182 мин.