Компания Synopsys анонсировала, как утверждается, первый в отрасли полный набор решений стандарта CXL 4.0 для построения «систем на кристалле» (SoC), призванных ускорить развёртывание высокопроизводительных инфраструктур для ресурсоёмких задач ИИ. В состав стека интеллектуальной собственности (IP) входят четыре ключевых компонента: контроллер CXL, модули безопасности IDE, физический уровень (PHY) и средства верификации.

Ключевое преимущество CXL 4.0 по сравнению со стандартом предыдущего поколения — удвоение пропускной способности: она достигает 128 ГТ/с, что соответствует показателям PCIe 7.0, при сохранении задержек на уровне CXL 3.x. Благодаря агрегации портов четыре линии x16 обеспечивают суммарную пропускную способность свыше 2 Тбайт/с, а восемь линий — более 4 Тбайт/с. Это критически важно на фоне взрывного роста ИИ-нагрузок.

Источник изображения: Synopsys

Новый контроллер CXL поддерживает все поколения соответствующего стандарта — от 1.x до 4.0. Реализованы агрегация физических портов (Bundled Ports) и 256-байт режим FLIT для снижения задержек. Стандарт CXL 4.0 позволяет задействовать до четырёх ретаймеров.

Модули безопасности IDE используют шифрование и аутентификацию AES-GCM, а также поддерживают функции TSP и TDISP. Говорится о соответствии стандарту FIPS 140-3. В свою очередь, физический уровень реализован на базе PCIe 7.0 SerDes (128 ГТ/с) и адаптирован для техпроцессов с нормами от 5 до 2 нм. Средства верификации в составе стека Synopsys CXL 4.0 помогают сократить риски на этапе тестирования и ускорить вывод SoC на рынок.

Новые возможности CXL 4.0 позволяют создавать более эффективные архитектуры. Например, при работе с KV-кешем через CXL обеспечивается прирост производительности в 3–6 раз по сравнению с решениями на базе SSD. Задержка доступа к памяти (CXL.mem) составляет менее 200 нс, а размер пулов памяти в рамках стойки может превышать 100 Тбайт. По оценкам Synopsys, такие преимущества позволяют снизить стоимость инференса на 50 %, что достигается благодаря более гибкому использованию ресурсов.

Marvell анонсировала набор CXL-продуктов, призванных решить проблему дефицита памяти в системах, ориентированных на ресурсоёмкие ИИ-нагрузки. В частности, дебютировали специализированные контроллеры расширения памяти Structera X, чипы-ускорители Structera A и коммутаторы Structera S.

Источник изображений: Marvell

Платформа Structera X оптимизирована специально для развёртывания на площадках гиперскейлеров. Изделия, как отмечается, разработаны в партнёрстве с ведущими мировыми компаниями в сфере облачных вычислений. В данное семейство вошли чипы Structera X 2404 и Structera X 2504, предназначенные для работы с памятью DDR4 и DDR5 соответственно.

В свою очередь, решения Structera A предназначены для организации вычислений вблизи памяти (near-memory). В частности, представлен чип Structera A 2504, который объединяет 16 ядер Arm Neoverse V2, работающих на частоте 3,2 ГГц. Изделие поддерживает до 4 Тбайт памяти с пропускной способностью до 200 Гбайт/с, сжатие LZ4 и 256-бит шифрование XTS-AES. Чип позволяет снять часть нагрузки с CPU сервера, беря на себя такие задачи, как ИИ-инференс, обслуживание моделей рекомендаций на основе глубокого обучения (DLRM), векторный поиск и запуск резидентных баз данны. Вместе решения Structera X и Structera A предоставляют крупным компаниям комплексный инструментарий для масштабирования и оптимизации памяти в условиях дезагрегированной инфраструктуры ИИ.

Наконец, в серию Structera S вошло устройство 30260 — это коммутатор PCIe 6.0 / CXL 3.x на 260 линий, который позволяет подключать до 16 или 32 CPU или GPU к общему пулу памяти объёмом до 48 Тбайт. При этом обеспечивается суммарная пропускная способность до 4 Тбайт/с, тогда как задержки составляют менее 460 нс. Говорится о совместимости с памятью DDR4 и DDR5. По заявлениям Marvell, Structera S демонстрирует до 16 раз лучшую масштабируемость по сравнению с локальной памятью и на 72 % меньшую задержку, чем при использовании пула на основе RDMA. В конфигурациях на базе GPU достигается до 4,8 раза более высокая пропускная способность при инференсе, тогда как время до получения первого токена сокращается на 82,7 %.

Marvell отметила, что по мере масштабирования ИИ-инференса его производительность всё больше зависит не просто от увеличения вычислительных мощностей, а от того, насколько эффективно вычислительные мощности, память и интерконнекты работают в рамках единой инфраструктуры, а также насколько быстро ускорители могут получать доступ, перемещать и использовать ресурсы памяти.

Также Marvell заявила, что современная иерархия памяти для ИИ не рассчитана на инференс в масштабах, необходимых для современных рабочих нагрузок. Память HBM, напрямую подключённая к GPU, обеспечивает исключительную производительность, но имеет ограниченную ёмкость и высокую стоимость. Системная DRAM обеспечивает большие пулы памяти, но не может экономично масштабироваться вместе со всеми ускорителями. NVMe SSD имеют большую ёмкость, но и большую задержку, что делает их непригодными для обслуживания активных рабочих нагрузок инференса.

В связи с этим Marvell предложила расширить иерархию ИИ-памяти за счёт нового промежуточного уровня, обеспечивающего значительно большую ёмкость, обычно ожидаемую от хранилищ, находясь при этом гораздо ближе к вычислительным ресурсам, с очень низкой задержкой, близкой к непосредственно подключённой памяти.

Источник изображений: Marvell

Анонсированная Marvell платформа Marvell Photonic Fabric использует новую архитектуру оптического подключения для выполнения ИИ-задач, которая обеспечивает уровень общей для нескольких узлов памяти. Платформа, построенная на основе модуля памяти Marvell Photonic Fabric Memory Module (PFMM), сетевой карты Photonic Fabric NIC (PF-NIC) и чиплета Marvell Photonic Fabric, позволяет совместно использовать память в нескольких ИИ-стойках, расположенных на расстоянии до 30 м друг от друга, что даёт возможность значительно увеличить доступную для обработки ИИ-нагрузок память без пропорционального масштабирования вычислительных ресурсов.

PFMM объединяет совместно используемую память DDR5, кеш HBM и высокоскоростной оптический интерконнект, обеспечивая расширение, объединение и дезагрегацию памяти в ИИ-инфраструктуре.

В основе платформы лежит первая в отрасли SoC с оптическим I/O, интегрированным в середину кремниевого кристалла. Разработанный специально для дезагрегации ИИ-памяти модуль PFMM поддерживает до 8 модулей DDR5 DIMM, дополненных кешем HBM объёмом 72 Гбайт и пропускной способностью оптической сети 7,2 Тбит/с. Архитектура обеспечивает NUMA-доступ за менее 350 нс на нескольких стойках, что позволяет ускорителям получать доступ к значительно большим объёмам ИИ-памяти без задержек, традиционно связанных с внешними СХД.

В дополнение к PFMM, сетевой адаптер PF-NIC предоставляет оптический сетевой интерфейс CXL 3.1 и PCIe 6.0, который соединяет ИИ-серверы с совместно используемой памятью. Вместе PFMM и PF-NIC позволяют использовать сторонние устройства с общей памятью, способные поддерживать увеличивающиеся KV-кеши, более крупные контексты моделей и всё более требовательные рабочие нагрузки инференса, сохраняя при этом совместимость с существующими программными ИИ-платформами.

Сочетание оптического соединения с дезагрегацией памяти позволяет масштабировать объём памяти независимо от вычислительных ресурсов, сохраняя при этом пропускную способность и задержку, необходимые для крупномасштабного ИИ-инфренса. Результатом являются большие KV-кеши, улучшенное использование GPU, рост эффективности токенов и снижение энергопотребления при перемещении данных.

Kioxia анонсировала CXL-модули XL1, предназначенные для расширения памяти в ИИ-системах. В основу изделий положена фирменная флеш-память Kioxia XL-Flash (SCM). Она отличается низкой задержкой и высокой производительностью. По заявлениям разработчика, XL-Flash создана, чтобы устранить разрыв в быстродействии между энергозависимой памятью (включая DRAM) и обычной флеш-памятью. Как и любая флеш-память, XL-Flash способна сохранять данные при отключении питания.

Полностью характеристики CXL-модулей XL1 пока не раскрываются. Но известно, что память XL-Flash использует технологию BiCS FLASH 3D. В случае SLC применяются кристаллы на 128 Гбит, а в случае MLC — на 256 Гбит. Возможны исполнения с двумя, четырьмя и восемью кристаллами в одном корпусе.

Источник изображения: Kioxia

Идея XL1 заключается в том, что эти модули берут на себя хранение «холодных» данных, к которым система обращается сравнительно редко. Вместе с тем часто используемые «горячие» данные остаются в более быстрой DRAM. Иными словами, XL-Flash выступает в качестве слоя расширения оперативной памяти. Для обмена информацией служит интерфейс CXL на основе PCIe. Таким образом, изделия XL1 помогут решить проблему нехватки памяти в составе ИИ-платформ и снизить затраты на масштабирование инфраструктуры. Пробные поставки новых модулей отдельным заказчикам начнутся в текущем месяце.

Южнокорейский стартап Xcena анонсировал продукты семейства MX1, призванные решить проблему дефицита памяти в масштабных платформах, ориентированных на задачи генеративного ИИ.

По мере того как генеративный ИИ требует всё более крупных моделей, более длинных контекстных окон и стремительно растущих объёмов KV-кеша, память становится главным ограничивающим фактором для инфраструктуры ИИ. Изделия HBM остаются крайне дорогими при ограниченной ёмкости, тогда как расширение путём добавления серверов приводит к формированию избытка вычислительных ресурсов и росту совокупной стоимости владения, говорит Xcena.

Устройства MX1 призваны переломить ситуацию. Речь идёт об использовании вычислительной памяти. Идея заключается в том, чтобы увеличить основную память системы, добавив модули DDR5 DIMM вкупе с ядрами RISC-V. Реализована поддержка PCIe 6.0 и CXL 3.2, а технология NDP (Near Data Processing) сводит к минимуму задержку при перемещении данных между интерфейсами. В результате, значительно ускоряется выполнение ресурсоёмких задач при одновременном снижении нагрузки на CPU.

Источник изображения: Xcena

В семейство входят изделия MX1 Compute и MX1 Expand. Первое представляет собой CXL-решение с 2048 ядрами RISC-V и четырьмя слотами DRAM, что позволяет выполнять вычисления рядом с памятью. Благодаря этому устраняется перемещения данных между CPU и памятью, что повышает производительность инференса и сокращает энергопотребление. В свою очередь, MX1 Expand предоставляет восемь слотов DRAM для эффективного масштабирования пула памяти.

Компания Liqid объявила о стратегическом сотрудничестве с AMD, направленном на создание решений следующего поколения для ИИ-инфраструктур. В рамках партнёрства представлена аппаратная платформа Liqid UltraStack 30, оптимизированная для задач инференса.

В состав системы входят сервер с двумя процессорами AMD EPYC 9005 Turin и коммутатор Liqid PCIe Fabric Switch. Ключевыми компонентами являются три GPU-блока, каждый из которых содержит десять ускорителей AMD Instinct MI350P (144 Гбайт памяти HBM3E с 4096-бит шиной). Таким образом, в общей сложности задействованы 30 названных карт и 4,3 Тбайт памяти HBM3E.

Заявленная производительность достигает 69 Пфлопс в режиме FP8. Говорится о возможности работы с общими пулами памяти по высокоскоростному стандарту CXL. Суммарное энергопотребление платформы находится на уровне 22 кВт. По заявлениям Liqid, система обеспечивает 3,7-кратный прирост показателя токенов в секунду по сравнению с традиционными решениями. Количество токенов в пересчете на $1 увеличивается в 2,1 раза, а токенов на 1 Вт затрачиваемой энергии — в 1,8 раза. Затраты на развёртывание могут быть уменьшены на 65 %.

Источник изображения: Liqid

Программное обеспечение Liqid Matrix объединяет GPU-ускорители и в реальном времени распределяет их ресурсы между рабочими нагрузками через высокоскоростную PCIe-шину. При этом все карты остаются в пределах одного узла. В целом, платформа Liqid UltraStack 30, как утверждается, устраняет накладные расходы, связанные с использованием нескольких узлов, обеспечивает предсказуемое линейное масштабирование и доводит загрузку GPU почти до 100 %. Упомянута поддержка Kubernetes для работы с несколькими моделями.

Meta✴ подготовила ASIC Vistara, который позволит посредством CXL установить старую память, например, DDR4, взятую из списанных серверов, в новые серверы, что позволит хотя бы частично сгладить дефицит DRAM, из-за которого компания уже вынужденно продлила срок жизни оборудования. В числе преимуществ такого подхода авторы называют практически бесплатное добавление памяти за счёт повторного использования, повышение производительности благодаря использованию большей ёмкости памяти и снижение выбросов углекислого газа.

Meta✴ отметила, что технология CXL в целом не получила широкого распространения из-за «низкой пропускной способности, высокой задержки и высоких накладных расходов». «Например, расширенная память, которую мы используем в производстве, обеспечивает примерно в 10 раз меньшую пропускную способность и примерно на 60 % большую задержку, чем локальная память», — отмечает компания.

В частности, дополнительные контроллеры и мостики между различными интерфейсами добавляют порядка 150 нс задержек. Кроме того, сообщается, что «большинство решений CXL интегрируют DRAM с контроллером, что препятствует повторному использованию DIMM, и часто не поддерживают DDR4, что является обязательным условием для повторного использования старой памяти». При этом у компании были и есть в использовании около десятка различных DDR4 DIMM. По словам Meta✴, эти проблемы решают в компании с помощью совместной разработки аппаратного и программного обеспечения.

Источник изображений: Meta✴

«В аппаратной части мы разрабатываем собственную микросхему CXL ASIC, Vistara, оптимизированную для повторного использования DRAM, энергоэффективности и низкой задержки. В программной части мы создаем оптимизированное решение на основе TPP (Transparent Page Placement), определяем подходящее соотношение локальной и расширенной памяти для каждой рабочей нагрузки и автоматизируем конфигурацию для каждой задачи, в том числе отключая расширенную память для нагрузок, чувствительных к увеличению задержки», — говорит компания.

ASIC Vistara имеет два 72-бит канала DDR4-3200 (на практике частота снижена до 2400) с ECC с поддержкой 2DPC, позволяющими установить до 256 Гбайт памяти (на практике 128 Гбайт в четырёх DIMM). Для общения с хостом используется интерфейс PCIe 5.0 x16 (на практике достаточно и x8) с поддержкой CXL 1.1/2.0 Type 3. ASIC потребляет около 9 Вт, а задержка обращений к памяти составляет порядка 50 нс. В состав контроллера входят три управляющих ядра RISC-V. Модули с Vistara, по два на каждый односокетный узел, устанавливаются в отдельные слоты в задней части шасси и обдуваются отдельным потоком воздуха во избежание перегрева и для повышения стабильности работы.

Как сообщается, это решение обеспечивает существенный прирост производительности для различных рабочих нагрузок, включая сокращение количества используемых серверов до 25 % для дезагрегированного машинного обучения и сокращение средней задержки на 29 % для распределённых кешей. Стоит отметить, что Microsoft также озаботилась возможностью использования старых модулей DDR4 и морально устаревших SSD в новых серверах в рамках проекта GreenSKU.

Компания ScaleFlux анонсировала контроллер MC500 CXL Type 3, разработанный в сотрудничестве с ключевыми отраслевыми партнёрами. Изделие, оптимизированное для обеспечения максимальной производительности в расчёте на 1 Вт энергоптребления, ориентировано на высоконагруженные инфраструктуры ИИ и облачные платформы.

Чип поддерживает стандарты JEDEC SPDM 1.2 и Caliptra, а также передовую технологию коррекции ошибок (ECC) с применением декодирования по списку (list decoding) для обработки сложных сбоев. Применяется интерфейс PCIe 5.0 с возможностью работы в режимах x4, x8, 2x4 и 2x8.

Контроллер совместим с памятью DDR5-4800 (4 канала; 2DPC) и DDR4-3200 (2 канала; 2DPC). В первом случае её объём может достигать 1 Тбайт, во втором — 512 Гбайт. На базе чипа могут проектироваться устройства типоразмера FHHL, HHHL, EDSFF E3.S 1T и E3.S 2T. Типовое заявленное энергопотребление изделия MC500 CXL Type 3 составляет около 6 Вт при использовании восьми линий PCIe или приблизительно 10 Вт в режиме 2×8 линий. Изделие выполнено в корпусе Flip Chip BGA с размерами 23 × 23 мм.

Источник изображения: ScaleFlux

Чип предназначен для объединения процессоров, памяти и ускорителей в серверах. Говорится о совместимости с компонентами ведущих отраслевых игроков, что упрощает построение систем. Контроллер поможет устранить узкие места в архитектуре дата-центров и обеспечить бесшовную совместную работу оборудования, что важно в свете стремительного увеличения объёмов обрабатываемых и передаваемых данных.

Нужно отметить, что в конце прошлого года консорциум CXL Consortium представил спецификацию Compute Express Link (CXL) 4.0. В её основе лежит интерфейс PCIe 7.0, что обеспечивает поддержку линий с пропускной способности в 128 ГТ/с.

Китайская компания InnoGrit представила свой первый контроллер для SSD с интерфейсом PCIe 6.0 x4. Изделие IG5686 Crestone предназначено для построения накопителей для дата-центров и облачных платформ, ориентированных ресурсоёмкие ИИ-нагрузки.

Контроллер поддерживает стандарт NVMe 2.3. Допускается использование чипов флеш-памяти SLC/MLC/TLC/QLC NAND и SCM. При этом сами SSD могут выполняться в различных форм-факторах, включая E1.S и E3.S. Решение IG5686 Crestone обеспечивает скорость чтения информации до 28 Гбайт/с и скорость записи до 22 Гбайт/с. Величина IOPS при произвольном чтении данных теоретически достигает 7 млн, при произвольной записи — 5 млн. Максимально допустимая вместимость накопителей — 256 Тбайт.

Помимо этого, компания InnoGrit разработала контроллер Cascade IG5676 для устройств CXL 3.1 Type-3. Это решение поддерживает высокоскоростную память с низкой задержкой XL-Flash. Возможно создание накопителей ёмкостью до 2 Тбайт.

Источник изображения: InnoGrit

В дальнейшем InnoGrit планирует повышать производительность своих контроллеров. Так, к 2027 году компания рассчитывает довести показатель IOPS в передовых устройствах до 25–50 млн путём оптимизации и более глубокой интеграции стандартов PCIe 6.0 и CXL. В 2028 году величина IOPS, как предполагается, приблизится к 100 млн. Это позволит вывести на новый уровень быстродействие платформ хранения данных для ИИ.

Нужно отметить, что контроллеры для SSD с интерфейсом PCIe 6.0 проектируют и другие участники рынка. В частности, такое решение недавно продемонстрировала компания Phison. Кроме того, соответствующими разработками занимается Silicon Motion.

Китайская компания PetaIO, по сообщениям сетевых источников, разработала высокопроизводительные SSD нового поколения с интерфейсом PCIe 6.0, предназначенные для использования в дата-центрах, ориентированных на ресурсоёмкие ИИ-нагрузки.

Полностью характеристики устройств не раскрываются. Известно, что в их основу положен передовой контроллер Titanium Himalaya, при изготовлении которого применяется 6-нм техпроцесс. Говорится о поддержке CXL 3.0, а также о возможности формирования пулов памяти объёмом до 256 Тбайт.

Заявленная скорость передачи данных при последовательном чтении превышает 28 Гбайт/с. Накопители специально оптимизированы для выполнения задач в области ИИ. Показатель IOPS при произвольном чтении информации блоками по 512 байт составляет до 50 млн. При этом обеспечивается задержка на уровне 2,7 мкс.

Источник изображения: PetaIO

Предполагается, что новые SSD помогут решить проблему «стены памяти» в масштабных инфраструктурах ИИ. О ёмкости накопителей и их форм-факторе пока ничего не сообщается. При этом подчёркивается, что устройства совместимы с современными высокопроизводительными сетевыми экосистемами.

Нужно отметить, что в настоящее время на сайте PetaIO упомянуты SSD нескольких семейств. Это, в частности, решения PETA8118 формата U.2 (PCIe 4.0 x4) вместимостью до 8 Тбайт, PETA8118 типоразмера M.2 2280 (PCIe 4.0 x4) ёмкостью до 4 Тбайт, PETA8118 стандарта E1.S (PCIe 4.0 x4) на 2–8 Тбайт и изделия PETA8118 в виде карт расширения PCIe 4.0 x4 ёмкостью до 4 Тбайт.