Kioxia анонсировала CXL-модули XL1, предназначенные для расширения памяти в ИИ-системах. В основу изделий положена фирменная флеш-память Kioxia XL-Flash (SCM). Она отличается низкой задержкой и высокой производительностью. По заявлениям разработчика, XL-Flash создана, чтобы устранить разрыв в быстродействии между энергозависимой памятью (включая DRAM) и обычной флеш-памятью. Как и любая флеш-память, XL-Flash способна сохранять данные при отключении питания.

Полностью характеристики CXL-модулей XL1 пока не раскрываются. Но известно, что память XL-Flash использует технологию BiCS FLASH 3D. В случае SLC применяются кристаллы на 128 Гбит, а в случае MLC — на 256 Гбит. Возможны исполнения с двумя, четырьмя и восемью кристаллами в одном корпусе.

Источник изображения: Kioxia

Идея XL1 заключается в том, что эти модули берут на себя хранение «холодных» данных, к которым система обращается сравнительно редко. Вместе с тем часто используемые «горячие» данные остаются в более быстрой DRAM. Иными словами, XL-Flash выступает в качестве слоя расширения оперативной памяти. Для обмена информацией служит интерфейс CXL на основе PCIe. Таким образом, изделия XL1 помогут решить проблему нехватки памяти в составе ИИ-платформ и снизить затраты на масштабирование инфраструктуры. Пробные поставки новых модулей отдельным заказчикам начнутся в текущем месяце.

Южнокорейский стартап Xcena анонсировал продукты семейства MX1, призванные решить проблему дефицита памяти в масштабных платформах, ориентированных на задачи генеративного ИИ.

По мере того как генеративный ИИ требует всё более крупных моделей, более длинных контекстных окон и стремительно растущих объёмов KV-кеша, память становится главным ограничивающим фактором для инфраструктуры ИИ. Изделия HBM остаются крайне дорогими при ограниченной ёмкости, тогда как расширение путём добавления серверов приводит к формированию избытка вычислительных ресурсов и росту совокупной стоимости владения, говорит Xcena.

Устройства MX1 призваны переломить ситуацию. Речь идёт об использовании вычислительной памяти. Идея заключается в том, чтобы увеличить основную память системы, добавив модули DDR5 DIMM вкупе с ядрами RISC-V. Реализована поддержка PCIe 6.0 и CXL 3.2, а технология NDP (Near Data Processing) сводит к минимуму задержку при перемещении данных между интерфейсами. В результате, значительно ускоряется выполнение ресурсоёмких задач при одновременном снижении нагрузки на CPU.

Источник изображения: Xcena

В семейство входят изделия MX1 Compute и MX1 Expand. Первое представляет собой CXL-решение с 2048 ядрами RISC-V и четырьмя слотами DRAM, что позволяет выполнять вычисления рядом с памятью. Благодаря этому устраняется перемещения данных между CPU и памятью, что повышает производительность инференса и сокращает энергопотребление. В свою очередь, MX1 Expand предоставляет восемь слотов DRAM для эффективного масштабирования пула памяти.

Компания Liqid объявила о стратегическом сотрудничестве с AMD, направленном на создание решений следующего поколения для ИИ-инфраструктур. В рамках партнёрства представлена аппаратная платформа Liqid UltraStack 30, оптимизированная для задач инференса.

В состав системы входят сервер с двумя процессорами AMD EPYC 9005 Turin и коммутатор Liqid PCIe Fabric Switch. Ключевыми компонентами являются три GPU-блока, каждый из которых содержит десять ускорителей AMD Instinct MI350P (144 Гбайт памяти HBM3E с 4096-бит шиной). Таким образом, в общей сложности задействованы 30 названных карт и 4,3 Тбайт памяти HBM3E.

Заявленная производительность достигает 69 Пфлопс в режиме FP8. Говорится о возможности работы с общими пулами памяти по высокоскоростному стандарту CXL. Суммарное энергопотребление платформы находится на уровне 22 кВт. По заявлениям Liqid, система обеспечивает 3,7-кратный прирост показателя токенов в секунду по сравнению с традиционными решениями. Количество токенов в пересчете на $1 увеличивается в 2,1 раза, а токенов на 1 Вт затрачиваемой энергии — в 1,8 раза. Затраты на развёртывание могут быть уменьшены на 65 %.

Источник изображения: Liqid

Программное обеспечение Liqid Matrix объединяет GPU-ускорители и в реальном времени распределяет их ресурсы между рабочими нагрузками через высокоскоростную PCIe-шину. При этом все карты остаются в пределах одного узла. В целом, платформа Liqid UltraStack 30, как утверждается, устраняет накладные расходы, связанные с использованием нескольких узлов, обеспечивает предсказуемое линейное масштабирование и доводит загрузку GPU почти до 100 %. Упомянута поддержка Kubernetes для работы с несколькими моделями.

Meta✴ подготовила ASIC Vistara, который позволит посредством CXL установить старую память, например, DDR4, взятую из списанных серверов, в новые серверы, что позволит хотя бы частично сгладить дефицит DRAM, из-за которого компания уже вынужденно продлила срок жизни оборудования. В числе преимуществ такого подхода авторы называют практически бесплатное добавление памяти за счёт повторного использования, повышение производительности благодаря использованию большей ёмкости памяти и снижение выбросов углекислого газа.

Meta✴ отметила, что технология CXL в целом не получила широкого распространения из-за «низкой пропускной способности, высокой задержки и высоких накладных расходов». «Например, расширенная память, которую мы используем в производстве, обеспечивает примерно в 10 раз меньшую пропускную способность и примерно на 60 % большую задержку, чем локальная память», — отмечает компания.

В частности, дополнительные контроллеры и мостики между различными интерфейсами добавляют порядка 150 нс задержек. Кроме того, сообщается, что «большинство решений CXL интегрируют DRAM с контроллером, что препятствует повторному использованию DIMM, и часто не поддерживают DDR4, что является обязательным условием для повторного использования старой памяти». При этом у компании были и есть в использовании около десятка различных DDR4 DIMM. По словам Meta✴, эти проблемы решают в компании с помощью совместной разработки аппаратного и программного обеспечения.

Источник изображений: Meta✴

«В аппаратной части мы разрабатываем собственную микросхему CXL ASIC, Vistara, оптимизированную для повторного использования DRAM, энергоэффективности и низкой задержки. В программной части мы создаем оптимизированное решение на основе TPP (Transparent Page Placement), определяем подходящее соотношение локальной и расширенной памяти для каждой рабочей нагрузки и автоматизируем конфигурацию для каждой задачи, в том числе отключая расширенную память для нагрузок, чувствительных к увеличению задержки», — говорит компания.

ASIC Vistara имеет два 72-бит канала DDR4-3200 (на практике частота снижена до 2400) с ECC с поддержкой 2DPC, позволяющими установить до 256 Гбайт памяти (на практике 128 Гбайт в четырёх DIMM). Для общения с хостом используется интерфейс PCIe 5.0 x16 (на практике достаточно и x8) с поддержкой CXL 1.1/2.0 Type 3. ASIC потребляет около 9 Вт, а задержка обращений к памяти составляет порядка 50 нс. В состав контроллера входят три управляющих ядра RISC-V. Модули с Vistara, по два на каждый односокетный узел, устанавливаются в отдельные слоты в задней части шасси и обдуваются отдельным потоком воздуха во избежание перегрева и для повышения стабильности работы.

Как сообщается, это решение обеспечивает существенный прирост производительности для различных рабочих нагрузок, включая сокращение количества используемых серверов до 25 % для дезагрегированного машинного обучения и сокращение средней задержки на 29 % для распределённых кешей. Стоит отметить, что Microsoft также озаботилась возможностью использования старых модулей DDR4 и морально устаревших SSD в новых серверах в рамках проекта GreenSKU.

Компания ScaleFlux анонсировала контроллер MC500 CXL Type 3, разработанный в сотрудничестве с ключевыми отраслевыми партнёрами. Изделие, оптимизированное для обеспечения максимальной производительности в расчёте на 1 Вт энергоптребления, ориентировано на высоконагруженные инфраструктуры ИИ и облачные платформы.

Чип поддерживает стандарты JEDEC SPDM 1.2 и Caliptra, а также передовую технологию коррекции ошибок (ECC) с применением декодирования по списку (list decoding) для обработки сложных сбоев. Применяется интерфейс PCIe 5.0 с возможностью работы в режимах x4, x8, 2x4 и 2x8.

Контроллер совместим с памятью DDR5-4800 (4 канала; 2DPC) и DDR4-3200 (2 канала; 2DPC). В первом случае её объём может достигать 1 Тбайт, во втором — 512 Гбайт. На базе чипа могут проектироваться устройства типоразмера FHHL, HHHL, EDSFF E3.S 1T и E3.S 2T. Типовое заявленное энергопотребление изделия MC500 CXL Type 3 составляет около 6 Вт при использовании восьми линий PCIe или приблизительно 10 Вт в режиме 2×8 линий. Изделие выполнено в корпусе Flip Chip BGA с размерами 23 × 23 мм.

Источник изображения: ScaleFlux

Чип предназначен для объединения процессоров, памяти и ускорителей в серверах. Говорится о совместимости с компонентами ведущих отраслевых игроков, что упрощает построение систем. Контроллер поможет устранить узкие места в архитектуре дата-центров и обеспечить бесшовную совместную работу оборудования, что важно в свете стремительного увеличения объёмов обрабатываемых и передаваемых данных.

Нужно отметить, что в конце прошлого года консорциум CXL Consortium представил спецификацию Compute Express Link (CXL) 4.0. В её основе лежит интерфейс PCIe 7.0, что обеспечивает поддержку линий с пропускной способности в 128 ГТ/с.

Китайская компания InnoGrit представила свой первый контроллер для SSD с интерфейсом PCIe 6.0 x4. Изделие IG5686 Crestone предназначено для построения накопителей для дата-центров и облачных платформ, ориентированных ресурсоёмкие ИИ-нагрузки.

Контроллер поддерживает стандарт NVMe 2.3. Допускается использование чипов флеш-памяти SLC/MLC/TLC/QLC NAND и SCM. При этом сами SSD могут выполняться в различных форм-факторах, включая E1.S и E3.S. Решение IG5686 Crestone обеспечивает скорость чтения информации до 28 Гбайт/с и скорость записи до 22 Гбайт/с. Величина IOPS при произвольном чтении данных теоретически достигает 7 млн, при произвольной записи — 5 млн. Максимально допустимая вместимость накопителей — 256 Тбайт.

Помимо этого, компания InnoGrit разработала контроллер Cascade IG5676 для устройств CXL 3.1 Type-3. Это решение поддерживает высокоскоростную память с низкой задержкой XL-Flash. Возможно создание накопителей ёмкостью до 2 Тбайт.

Источник изображения: InnoGrit

В дальнейшем InnoGrit планирует повышать производительность своих контроллеров. Так, к 2027 году компания рассчитывает довести показатель IOPS в передовых устройствах до 25–50 млн путём оптимизации и более глубокой интеграции стандартов PCIe 6.0 и CXL. В 2028 году величина IOPS, как предполагается, приблизится к 100 млн. Это позволит вывести на новый уровень быстродействие платформ хранения данных для ИИ.

Нужно отметить, что контроллеры для SSD с интерфейсом PCIe 6.0 проектируют и другие участники рынка. В частности, такое решение недавно продемонстрировала компания Phison. Кроме того, соответствующими разработками занимается Silicon Motion.

Китайская компания PetaIO, по сообщениям сетевых источников, разработала высокопроизводительные SSD нового поколения с интерфейсом PCIe 6.0, предназначенные для использования в дата-центрах, ориентированных на ресурсоёмкие ИИ-нагрузки.

Полностью характеристики устройств не раскрываются. Известно, что в их основу положен передовой контроллер Titanium Himalaya, при изготовлении которого применяется 6-нм техпроцесс. Говорится о поддержке CXL 3.0, а также о возможности формирования пулов памяти объёмом до 256 Тбайт.

Заявленная скорость передачи данных при последовательном чтении превышает 28 Гбайт/с. Накопители специально оптимизированы для выполнения задач в области ИИ. Показатель IOPS при произвольном чтении информации блоками по 512 байт составляет до 50 млн. При этом обеспечивается задержка на уровне 2,7 мкс.

Источник изображения: PetaIO

Предполагается, что новые SSD помогут решить проблему «стены памяти» в масштабных инфраструктурах ИИ. О ёмкости накопителей и их форм-факторе пока ничего не сообщается. При этом подчёркивается, что устройства совместимы с современными высокопроизводительными сетевыми экосистемами.

Нужно отметить, что в настоящее время на сайте PetaIO упомянуты SSD нескольких семейств. Это, в частности, решения PETA8118 формата U.2 (PCIe 4.0 x4) вместимостью до 8 Тбайт, PETA8118 типоразмера M.2 2280 (PCIe 4.0 x4) ёмкостью до 4 Тбайт, PETA8118 стандарта E1.S (PCIe 4.0 x4) на 2–8 Тбайт и изделия PETA8118 в виде карт расширения PCIe 4.0 x4 ёмкостью до 4 Тбайт.

Южнокорейский стартап Panmnesia, специализирующийся на разработке интерконнекта для ИИ-инфраструктур, сообщил о получении финансирования в размере около $10 млн на разработку интерконнекта следующего поколения для ИИ ЦОД. Проект включает разработку контроллеров и коммутаторов на основе открытых стандартов, таких как UALink и протоколов интерконнекта на основе Ethernet.

Уже имея обширный портфель продуктов CXL, Panmnesia теперь расширяет свою деятельность в области интерконнекта, ориентированного на ускорители. Компания отметила, что по мере распространения крупномасштабных ИИ-моделей в различных отраслях, ИИ ЦОД всё чаще полагаются на ИИ-ускорители разных вендоров. В этом контексте технологии интерконнекта, обеспечивающие высокоскоростную передачу данных между ускорителями, стали критически важным фактором, определяющим общую производительность ИИ-системы.

Источник изображений: Panmnesia

Также Panmnesia планирует оптимизировать топологию разработанных устройств для ускорения обмена данными между ними и провести валидацию на уровне стойки. Ожидается, что чип-коммутатор с поддержкой интерконнекта, ориентированного на ускорители, такого как UALink, станет доступен во II половине 2027 года.

Портфолио продуктов CXL компании включает комплексные решения, в том числе контроллеры и IP-блоки PCIe/CXL, аппаратные SoC, такие, как коммутаторы PCIe/CXL, и специализированные кремниевые решения. В прошлом году Panmnesia представила архитектуру CXL-over-XLink, которая интегрирует специализированные каналы связи для ускорителей (известные как XLink), включая UALink, с CXL для обеспечения расширенной связи в крупных ИИ ЦОД.

Компания Marvell Technology анонсировала коммутатор Structera S 60260 — это, как утверждается, первое в отрасли решение с поддержкой 260 линий PCIe 6.0. Новинка предназначена для использования в дата-центрах, ориентированных на ресурсоёмкие задачи ИИ. Одновременно компания представила и коммутатор Structera S 30260 с поддержкой 260 линий CXL 3.0.

Marvell отмечает, что современные ИИ ЦОД оперируют серверами с большим количеством GPU и ускорителей других типов. На этом фоне критически важным элементом становятся коммутационные системы на основе PCIe, способные обеспечить высокую плотность вычислений и максимально эффективное использование доступных ресурсов. В традиционных инфраструктурах применяется множество коммутаторов, что приводит к увеличению энергопотребления, задержек и общей стоимости владения. Изделие Structera S 60260 позволяет решить эти проблемы.

Источник изображения: Marvell

Новинка базируется на разработках компании XConn Technologies, которую Marvell приобрела в начале текущего года за $540 млн. XConn специализируется на разработке передовых коммутаторов PCIe и CXL: в частности, с 2022 года она поставляет коммутаторы с 256 линиями PCIe 5.0. В случае решения Structera S 60260 количество линий PCIe 6.0 практически в два раза больше, чем у сопоставимых по классу продуктов конкурентов.

Источник изображения: Marvell

«Коммутатор Structera S PCIe оптимизирован для обеспечения лучших в отрасли показателей производительности, гибкости, задержки и энергоэффективности при работе с ресурсоёмкими приложениями, включая ИИ, задачи машинного обучения следующего поколения и НРС», — говорит Джерри Фан (Gerry Fan), старший вице-президент Marvell.

Благодаря объединению коммутаторов Structera S PCIe с ретаймерами Marvell Alaska P PCIe гиперскейлеры и операторы ИИ ЦОД получают комплексную платформу интерконнекта на основе PCIe. При использовании активных электрических кабелей (AEC) протяжённость соединений PCIe 6.0 может достигать 7 м, а при использовании активных оптических кабелей — превышать 7 м. Изделия Structera S PCIe совместимы по выводам с новыми коммутаторами Marvell Structera S CXL 3.0.

Поставки тестовых образцов Structera S PCIe 6.0 уже начались. Отгрузки коммерческих коммутаторов Structera S PCIe 60260 клиентам будут организованы в III квартале 2026 года.

Компания Penguin Solutions анонсировала систему MemoryAI KV Cache Server призванную решить проблему «стены памяти» в современных инфраструктурах, ориентированных на ресурсоёмкие задачи ИИ-инференса. Устройство предоставляет до 11 Тбайт CXL-памяти, что позволяет максимально эффективно использовать доступные вычислительные мощности.

Сервер (модель Altus XE4318GT-KVC) выполнен в форм-факторе 4U. Он несёт на борту два процессора AMD EPYC 9005 Turin в исполнении Socket SP5 (LGA 6096) с показателем TDP до 500 Вт. В оснащение входят контроллер ASpeed AST2600 и сетевой адаптер Intel I350-AM2. Реализованы два коннектора для SSD формата M.2 2280/22110 с интерфейсом PCIe 3.0, восемь слотов для карт PCIe 5.0 x16 FHFL и два слота для карт PCIe 5.0 x16 LP, два сетевых порта 400GbE (RJ45), два порта USB 3.0 (5 Гбит/с), а также аналоговый интерфейс D-Sub.

Устройство поддерживает до 3 Тбайт памяти DDR5-6400. Кроме того, установлены восемь карт CXL, каждая из которых содержит 1 Тбайт памяти. Благодаря этому расширяются возможности применяемых в инфраструктуре ИИ-ускорителей с ограниченным объёмом HBM. Говорится о совместимости с программной средой NVIDIA Dynamo, предназначенной в том числе для ускорения инференса. В целом, как отмечает Penguin Solutions, новый сервер позволяет компаниям максимально эффективно использовать GPU-ускорители благодаря добавлению больших пулов памяти.

Источник изображения: Penguin Solutions

Устройство оборудовано четырьмя блоками питания мощностью 3000 Вт с сертификатом 80 Plus Titanium. Диапазон рабочих температур — от +10 до +35 °C. Заявлена совместимость с Red Hat Enterprise Linux (RHEL) и Rocky Linux. На систему предоставляется трёхлетняя гарантия.