Консорциум NVM Express обнародовал ряд новых спецификаций, призванных ускорить и упростить разработку изделий с архитектурой NVMe. Реализованы функции, которые помогают в решении эксплуатационных задач, предоставляя администраторам улучшенную прозрачность и контроль над хранилищами для критически важных бизнес-приложений и нагрузок в дата-центрах.

В частности, обновлены базовая спецификация NVMe 2.3, спецификация набора команд (NVM Command Set 1.2, ZNS Command Set 1.4, Key Value Command Set 1.3, Subsystem Local Memory Command Set 1.2, Computational Programs Command Set 1.2), транспортная спецификация (NVMe over PCIe Transport 1.3, NVMe over RDMA Transport 1.2, NVMe over TCP Transport 1.2), а также спецификации NVM Express Management Interface (NVMe-MI) 2.1 и NVMe Boot 1.3.

Источник изображения: NVM Express

Одной из новых функций является восстановление после сбоев Rapid Path Failure Recovery. Этот инструмент обеспечивает связь с подсистемой NVM через альтернативные каналы, что позволяет быстро восстанавливать подключение в случае потери связи с контроллером, избегая повреждения данных и дублирования невыполненных команд.

Кроме того, появилась возможность ограничения мощности (Power Limit Config): эта функция обеспечивает полный контроль над максимальной мощностью устройств NVMe, что особенно важно для старых платформ с ограниченным потенциалом в плане питания. В свою очередь, режим Self-reported Drive Power позволяет хосту измерять и контролировать мощность устройства NVMe, а также энергопотребление в течение всего срока его службы. Это помогает в решении вопросов, связанных с обслуживанием хранилищ и устойчивым развитием.

Инструмент Sanitize Per Namespace обеспечивает криптографическую очистку отдельных пространств имен, не затрагивая всю подсистему NVM. Кроме того, упомянут механизм индивидуальной настройки устройств Configurable Device Personality.

Marvell Technology анонсировала новый подход к интеграции HBM (CHBM) в специализированные XPU, который предоставляет адаптированные интерфейсы для оптимизации производительности, мощности, размера кристалла и стоимости для конкретных конструкций ИИ-ускорителей. Как указано в пресс-релизе, этот подход учитывает вычислительный «кремний», стеки HBM и упаковку. Marvell сотрудничает с облачными клиентами и ведущими производителями HBM, такими, как Micron, Samsung и SK hynix.

CHBM повышает возможности XPU, ускоряя ввода-вывод между внутренними кристаллами самого ускорителя и базовыми кристаллами HBM. Это приводит к повышению производительности и снижению энергопотребления интерфейса памяти до 70 % по сравнению со стандартными интерфейсами HBM. Оптимизированные интерфейсы также уменьшают требуемую площадь кремния в каждом кристалле, позволяя интегрировать логику для поддержки HBM в базовый кристалл и сэкономить до 25 % площади.

Источник изображений: Marvell

Высвободившееся пространство может быть использовано для размещения дополнительных вычислительных или функциональных блоков и поддержки до 33 % большего количества стеков HBM. Всё это повышает производительность и энергоэффективность XPU, одновременно снижая совокупную стоимость владения для операторов облачных инфраструктур. Правда, это же означает и несоответствие стандартами JEDEC. Как отметил ресурс ServeTheHome, HBM4 требует более 2000 контактов, т.е. вдвое больше, чем HBM3. Для кастомного решения нет необходимости в таком количестве контактов, что также высвобождает место для размещения других компонентов.

«Ведущие операторы ЦОД масштабируются с помощью индивидуальной инфраструктуры. Улучшение XPU путем адаптации HBM к конкретной производительности, мощности и общей стоимости владения — это последний шаг в новой парадигме разработки и поставки ускорителей ИИ», — сказал Уилл Чу (Will Chu), старший вице-президент Marvell и генеральный менеджер группы Custom, Compute and Storage. В свою очередь, Гарри Юн (Harry Yoon), корпоративный исполнительный вице-президент Samsung Electronics, отметил, что оптимизация HBM для конкретных XPU и программных сред значительно повысит производительность облачной инфраструктуры операторов и её энергоэффективность.

Согласно данным ServeTheHome, в этом году гиперскейлеры увеличили капзатраты примерно на $100 млрд. Следующее поколение ИИ-кластеров будет в десять и более раз превосходить по мощности систему xAI Colossus на базе 100 тыс. NVIDIA H100. Отказ от стандартов JEDEC и появление возможности настройки памяти с учётом потребностей гиперскейлеров является монументальным шагом для отрасли. Также этого говорит о нацеленности архитектуры Marvell XPU на гиперскейлеров, поскольку в таком «тюнинге» памяти небольшие заказчики не нуждаются.

Консорциум NVM Express обновил спецификации, добавив возможность работы с вычислительными хранилищами NVMe Computational Storage Feature. Речь идёт о возможности использования устройств хранения, которые могут самостоятельно обрабатывать хранящуюся на них информацию по команде извне. Это позволит снизить совокупную стоимость владения IT-системами и повысить их общую производительность.

Спецификация включает два новых набора команд: Computational Programs и Subsystem Local Memory Command Sets. Первый отвечает за исполнение программ на устройстве хранения, в том числе их загрузку, поиск уже загруженных программ и их запуск. Набор обеспечивает модульный подход к программам, управляемым хостом. Второй предоставляет доступ к памяти в подсистеме NVM и позволяет работать с данными, обрабатываемыми программами на устройстве хранения.

Источник изображения: NVM Express

Вычислительное хранилище сокращает необходимость в перемещении данных между накопителями и процессором/ускорителем. Определённые операции могут производиться непосредственно на устройстве хранения, что повышает время отклика приложений, критичных к задержке. Это могут быть базы данных, модели ИИ и системы доставки контента.

В целом, функция NVMe Computational Storage Feature обеспечивает стандартизированную, не зависящую от поставщика оборудования архитектуру для хранения и обработки данных на накопителях NVMe. Решение ориентировано прежде всего на операторов дата-центров и гиперскейлеров.

Отраслевая группа STA (SCSI Trade Association), по сообщению ресурса Blocks & Files, разрабатывает стандарт SAS (Serial Attached SCSI) следующего поколения, предназначенный для подключения накопителей в дата-центрах и корпоративных инфраструктурах.

В настоящее время наиболее распространённой является версия SAS-3, обеспечивающая пропускную способность до 12 Гбит/с. Спецификация SAS предусматривает возможность использования кабелей длиной до 10 м против 1 м у SATA. Кроме того, SAS обратно совместим с интерфейсом SATA, но не наоборот.

Источник изображения: STA

Новейшая версия стандарта SAS носит обозначение SAS-4, или SAS 24G. Она предполагает увеличение пропускной способности до 24 Гбит/с, но эффективная скорость составляет 22,5 Гбит/с. На сегодняшний день на коммерческом рынке нет HDD, использующих SAS-4. Этот интерфейс применяется лишь в некоторых высокопроизводительных SSD, таких как Kioxia PM7. Дело в том, что в корпоративном сегменте диски со скоростью вращения шпинделя 10 000 об/мин. уступают место изделиям SSD NVMe. А для HDD со скоростью вращения шпинделя 7200 об/мин. достаточно возможностей SAS-3.

Вместе с тем, как сообщается, ведутся работы над интерфейсом SAS 24G+, который дебютирует в 2025–2026 гг. Он не предусматривает увеличение скорости передачи данных — она останется в пределах 24 Гбит/с. Кроме того, не планируется переход к 4-портовой конфигурации. Вместо этого разработчики сосредоточат усилия на улучшении других характеристик. Ожидается, что SAS останется доминирующим стандартом в сегменте HDD для корпоративных СХД ещё долгие годы. В перспективе планируется разработка спецификации SAS-5, предусматривающей эффективную скорость в 45 Гбит/с.

Консорциумы OpenCAPI Consortium (OCC) и Compute Express Link (CXL) подписали соглашение, которое подразумевает передачу в пользу CXL всех наработок и спецификаций OpenCAPI и OMI. Если будет получено одобрения всех участвующих сторон, то это будет ещё один шаг в сторону унификации ключевых системных интерфейсов и возможности реализации новых архитектурных решений. Во всяком случае, на бумаге.

Консорциумы OpenCAPI (Open Coherent Accelerator Processor Interface) был сформирован в 2016 году с целью создание единого, универсального, скоростного и согласованного интерфейса для связи CPU с ускорителями, сетевыми адаптерами, памятью, контроллерами и устройствами хранения и т.д. Причём в независимости от типа и архитектуры самого CPU. На тот момент новый интерфейс был определённо лучше распространённого тогда PCIe 3.0. С течением времени дела у OpenCAPI шли ни шатко ни валко, однако фактически его использование было ограничено только POWER-платформами от IBM.

Источник: OpenCAPI

Тем не менее, в недрах OpenCAPI родился ещё один очень интересный стандарт — Open Memory Interface (OMI). OMI, если коротко, предлагает некоторую дезагрегацию путём добавления буферной прослойки между CPU и RAM. С одной стороны у OMI есть унифицированный последовательный интерфейс для подключения к CPU, с другой — интерфейсы для подключения какой угодно памяти, на выбор конкретного производителя.

Источник: Open Memory Interface (OMI)

OMI позволяет поднять пропускную способность памяти, не раздувая число контактов и физические размеры и самого CPU, и модулей. Однако и в данном случае массовая поддержка OMI по факту есть только в процессорах IBM POWER10. Концептуально CXL в части работы с памятью повторяет идею OMI, только в данном случае в качестве физического интерфейса используется распространённый PCIe.

Изображение: SK Hynix

Существенная разница c OMI в том, что начальная поддержка CXL будет в грядущих процессорах AMD и Intel. А Samsung и SK Hynix уже готовят соответствующие DDR5-модули. Да и в целом поддержка CXL в индустрии намного шире. Так что консорциуму CXL, по-видимому, осталось поглотить только ещё один конкурирующий стандарт в лице CCIX, как это уже произошло с Gen-Z.

Комментируя соглашение, президент консорциума CXL отметил, что сейчас наиболее удачное время для объединения усилий, которое принесёт пользу всей IT-индустрии. Участники OpenCAPI имеют богатый опыт, который поможет улучшить грядущие спецификации CXL и избежать ошибок.

Консорциумы CXL и Gen-Z сообщили, что их руководящие органы подписали договор о взаимопонимании. Пописанный меморандум раскрывает планы сотрудничества между двумя организациями, обещая совместимые протоколы и расширенные возможности каждого из представленных интерфейсов.

Первые версии спецификаций Gen-Z и CXL (Compute Express Link) вышли, соответственно, в феврале 2018 года и в марте 2019 года. Каждый из этих интерфейсов призван обойти ограничения по пропускной способности, накладываемые на многоядерные и многоузловые конфигурации процессоров и ускорителей.

Как один, так и другой интерфейс отвечают за согласованность кешей множества подключённых решений и обеспечивают минимальные задержки при доступе к вычислительным ресурсам и хранилищам данных на основе ОЗУ или долговременных накопителей.

В то же время интерфейс CXL специализируется на согласованной работе внутри шасси, а интерфейс Gen-Z позволяет согласовывать работу на уровне блоков, стоек и массивов. В целом, участники консорциума Gen-Z поддержали идею Compute Express Link и признали её как дополняющую для развития интерфейса Gen-Z.

В течение прошлого года в консорциум CXL, за организацией которого стоит компания Intel, вошли много компаний, включая AMD и ARM. Дело оставалось за малым ― объединить усилия и добиться совместимости протоколов и архитектур.

Сегодня такой день настал. Консорциумы CXL и Gen-Z договорились организовать совместные смешанные рабочие группы для разработки «мостов» между протоколами обеих спецификаций и сделать всё необходимое, чтобы расширить возможности каждого из стандартов за счёт возможностей другого.