На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

XConn Technologies представила первый, по её словам, в индустрии гибридный чип-коммутатор CXL 2.0/PCIe 5.0 XC50256, получивший кодовое название Apollo. Утверждается, что он обеспечивает самую низкую латентность port-to-port, а также самое низкое энергопотребление в отрасли.

Коммутатор способен работать с 256 линиями интерфейса и разработан с учётом потребностей, характерных для мира ИИ и машинного обучения, а также HPC-сегмента. Чип Apollo совместим с существующей инфраструктурой CXL 1.1, но поддерживает и режим 2.0, включая актуальные режимы CXL.mem или CXL.cache.

Источник изображений здесь и далее: XConn Technologies

Но наиболее интересной особенностью Apollo является возможность работы нового коммутатора в гибридном режиме — он способен одновременно обслуживать CXL и PCI Express, что в ряде случаев позволит избежать использования дополнительных коммутаторов под каждый стандарт, а значит, и снизить стоимость и сложность разработки конечной системы.

Новый коммутатор поддерживает подключение нескольких хостов к единому CXL-пулу памяти

Также компания анонсировала другой коммутатор, XC51256. Он также работает с 256 линиями, но поддерживает только PCI Express 5.0. Тем не менее, это самый высокоплотный PCIe-коммутатор на сегодня, поскольку большинство решений конкурентов обеспечивает в лучшем случае вдвое меньше линий PCI Express, утверждает XConn. ТXC51256 идеален для построения систем класса JBOA (Just-a-Bunch-Of-Accelerators).

В настоящее время образцы Apollo XC50256 и XC51256 уже доступны для заказчиков.

Компания Lightelligence, специализирующаяся в области фотоники и оптических вычислений, анонсировала любопытную новинку — систему оптического интерконнекта для ЦОД нового поколения. Решение под названием Photowave реализовано на базе стандарта CXL и призвано упростить и сделать более надёжными системы с композитной инфраструктурой, заменив традиционные медные кабели оптоволокном.

Решение Photowave — дальнейшее развитие парадигмы Lightelligence, уже представившей ранее первый оптический ускоритель Hummingbird для ИИ-систем. Сердцем Photowave является оптический трансивер oNET на базе фирменных технологий компании. Согласно заявлениям Lightelligence, уровень задержки составляет менее 20 нс на уровне адаптера, кабель добавляет к этой цифре менее 1 нс.

Источник изображений здесь и далее: Lightelligence

Серия Photowave включает в себя трансиверы в разных форм-факторах — как в виде традиционной платы расширения PCI Express, так и в виде карты OCP 3.0 SFF. Платы трансиверов поддерживают CXL 2.0/PCIe 5.0 с числом линий от 2 до 16. Пропускная способность каждой линии составляет 32 Гбит/с.

Как уже упоминалось, главная задача Photowave — создание эффективных и надёжных композитных инфраструктур в ЦОД нового поколения, где благодаря всесторонней поддержки CXL будет достигнута высокая степень дезагрегации вычислительных ресурсов, а также памяти и хранилищ.

Компания Micron Technology анонсировала доступность первых партий CXL-модулей расширения памяти CZ120 для своих партнёров. Новые модули соответствуют стандарту CXL 2.0 Type 3 и имеют двухканальную архитектуру. Они выполнены в форм-факторе E3.S 2T (PCI Express 5.0 x8) и представлены в вариантах ёмкостью 128 и 256 Гбайт.

Заявленная пропускная способность новых модулей благодаря фирменной двухканальной архитектуре составляет 36 Гбайт/с (впрочем, это может быть опечатка). В качестве сценариев применения своих новинок Micron называет ситуации, где из-за возросших нагрузок требуется всё больший объём памяти, например, для работы с ИИ или in-memory задачами — с восемью модулями CZ120 можно дополнительно получить до 2 Тбайт RAM. Также новинки должны заинтересовать гиперскейлеров.

Источник изображений здеь и далее: Micron Technology

Но дело не только в объёмах — CZ120 выручит и там, где требуется дополнительная пропускная способность. В варианте с восемью модулями это означает дополнительные 256 Гбайт/с. CXL-модули несколько проигрывают в латентности традиционным DIMM, но «штраф» в этом случае не больше, нежели один переход в NUMA-системе.

В настоящее время компания тесно сотрудничает с Intel в деле валидации модулей CZ120 на платформе Xeon Sapphire Rapids, которая в полном объёме поддерживает лишь CXL 1.1, но не 2.0. Также новинки показали отличный результат на платформе AMD EPYC 9754 (Bergamo) в тестах TPC-H, сообщил представитель AMD.

Стоит отметить, что Micron не первой освоила DRAM-модули CXL 2.0 — ещё в мае Samsung представила свои модули объёмом 128 Гбайт в форм-факторе E3.S, всего год спустя после анонса первых в мире CXL-модулей DDR5. Свои E3.S-решения также представили SK hynix и ADATA, а Astera Labs и Montage Technology предложили экспандеры в форм-факторе плат расширения.

Celestial AI, получившая $100 млн инвестиций, объявила о разработке интерконнекта Photonic Fabric, покрывающего все ниши: межкристалльного (chip-to-chip), межчипового (package-to-package) и межузлового (node-to-node) обмена данными.

На рынке уже есть решения вроде Lightmatter Passage или Ayar Labs TeraPhy I/O. Тем не менее, Celestial AI привлекла внимание множества инвесторов, в том числе Broadcom. Последняя поможет в разработке прототипов, которые должны увидеть свет в течение 18 месяцев. В основе технологий Celestial AI лежит сочетание кремниевой фотоники и техпроцесса CMOS (TSMC, 4 или 5 нм), разработанных совместно с Broadcom.

При этом речь идёт не об обычном «глупом» интерконнекте — разработчики говорят о блоках маршрутизации и коммутации на любом «конце» волокна. Разработка позволит объединить в одной упаковке несколько ASIC или даже SoC посредством оптического интерпозера или моста OMIB (multi-chip interconnect bridge). Celestial AI утверждает, что её технологии эффективнее, чем у конкурентов, и позволяет объединить несколько чипов с теплопакетами в районе сотен ватт.

Источник здесь и далее: Celestial AI

Пока что технология опирается на 56-Гбит/с трансиверы SerDes. С четырьмя портами на узел и четырьмя линиями на порт речь идёт о пропускной способности до 1,8 Тбит/с на 1 мм² чипа, что позволяет «прокормить» полноценную сборку из четырёх кристаллов HBM3. Второе поколение Photonic Fabric будет использовать уже 112-Гбит/с SerDes-блоки, что поднимет пропускную способность вчетверо, до 7,2 Тбит/с на мм².

Интерконнект Celestial AI не зависит от проприетарных протоколов, в его основе лежат стандарты Compute Express Link (CXL) и Universal Chiplet Interconnect (UCIe), а также JEDEC HBM. В настоящее время сдерживающим фактором разработчики называют сами шины PCIe и UCIe. Их интерконнект, считают они, способен на большее.

Корпорация Intel, по сообщению ресурса Businesskorea, планирует открыть в Сеуле (Южная Корея) специализированную лабораторию для тестирования компонентов для дата-центров. Ожидается, что новая исследовательская площадка начнёт функционировать до конца текущего года.

Информации о размере лаборатории и планируемой численности персонала пока нет. Но известно, что Intel в рамках данной инициативы намерена взаимодействовать с южнокорейскими поставщиками серверных компонентов — прежде всего с Samsung и SK hynix. Речь идёт о тестировании передовых типов памяти, в том числе DRAM с поддержкой стандарта Compute Express Link (CXL) и DDR5.

«ЦОД-лаборатория в Сеуле будет играть важную роль в проверке и сертификации памяти DRAM для использования в оборудовании с процессорами Intel. Ожидается, что Intel в рамках новой исследовательской площадки начнёт более тесно сотрудничать с Samsung Electronics и SK hynix», — заявили осведомлённые лица.

Источник изображения: Intel

Отмечается также, что Intel намерена открыть в общей сложности шесть новых лабораторий. Помимо Южной Кореи, такие структуры появятся в США, Мексике, Китае, Тайване и Индии. Все они сосредоточатся на работах, связанных с полупроводниковыми и другими компонентами для серверов. Вместе с тем компания отказалась от проекта огромной лаборатории по разработке систем охлаждения для ЦОД будущего, который оценивался в $700 млн.

Для Intel важно укрепление позиций на рынке ЦОД. Дело в том, что выручка корпорации в соответствующем сегменте сокращается. По итогам I четверти 2023 финансового года группа Datacenter and AI Group (DCAI) показала снижение продаж в годовом исчислении на 39 % — с $6,1 млрд до $3,7 млрд. Операционные убытки составили $518 млн против $1,4 млрд прибыли годом ранее.

На ежегодной выставке Computex 2023 компания ADATA продемонстрировала свои первые модули памяти нового поколения, которые будут использоваться в современных вычислительных системах: CAMM, CXL и MR-DIMM.

Для серверных систем компания продемонстрировала решение на базе стандарта CXL 1.1 с интерфейсом PCI Express 5.0 x4, выполненное в форм-факторе E3.S. Модуль несёт на борту контроллер Montage Technology и предназначен для расширения основного объёма оперативной памяти, подобно решениям DCPMM. При этом у Samsung, например, уже есть DRAM с поддержкой CXL 2.0.

Интересно выглядит также другое серверное решение — MR-DIMM (multi-ranked buffered DIMM). Это новое поколение буферизированной памяти, поддержка которой появится в следующих поколениях процессоров AMD и Intel. По сути, такой модуль объединяет два RDIMM в одном, что позволяет поднять ёмкость и производительность «малой кровью».

Скорость этих последних новинок стартует с отметки 8400 Мт/с, максимальное значение пока составляет 17600 Мт/с. Модули MR-DIMM Adata будут поставляться в объёмах 16, 32, 64, 128 и 192 Гбайт. Одним из инициаторов создания стандарта MR-DIMM (или MRDIMM) стала AMD. Intel, Renesas и SK hynix работают над похожим решением — MCR DIMM.

Наконец, у компании уже есть готовый дизайн модуля CAMM в форм-факторе, который призван заменить SO-DIMM в компактных, сверхкомпактных и переносных системах. Интересно, что каждый модуль CAMM на базе LPDDR5 изначально будет поддерживать работу в двухканальном режиме. Правда, спецификации CAMM будут завершены только во второй половине этого года, так что некоторые характеристики могут измениться.

По мере внедрения новых версий PCI Express растут и линейные скорости SSD. Не столь давно 3-4 Гбайт/с было рекордно высоким показателем, но разработчики уже штурмуют вершины за пределами 10 Гбайт/с. Компания Kioxia, крупный производитель флеш-памяти и устройств на её основе, объявила на конференции 2023 China Flash Market о новом поколении серверных накопителей, способных читать данные со скоростью 13,5 Гбайт/с.

Новые высокоскоростные SSD будут построены на базе технологии XL-FLASH второго поколения. Первое поколение этих чипов компания (тогда Toshiba) представила ещё в 2019 году. В основе лежат наработки по BiCS 3D в однобитовом варианте, что позволяет устройствам на базе этой памяти занимать нишу Storage Class Memory (SCM) и служить заменой ушедшей с рынка технологии Intel Optane.

Источник здесь и далее: Twitter@9550pro

Как уже сообщалось ранее, XL-FLASH второго поколения использует двухбитовый режим MLC, но в любом случае новые SSD Kioxia в полной мере раскроют потенциал PCI Express 5.0. Они не только смогут читать данные на скорости 13,5 Гбайт/с и записывать их на скорости 9,7 Гбайт/с, но и обеспечат высокую производительность на случайных операциях: до 3 млн IOPS при чтении и 1,06 млн IOPS при записи. Время отклика для операций чтения заявлено на уровне 27 мкс, против 29 мкс у XL-FLASH первого поколения.

Kioxia полагает, что PCI Express 5.0 и CXL 1.x станут стандартами для серверных флеш-платформ класса SCM надолго — господство этих интерфейсов продлится минимум до конца 2025 года, лишь в 2026 году следует ожидать появления первых решений с поддержкой PCI Express 6.0. Активный переход на более новую версию CXL ожидается в течение 2025 года. Пока неизвестно, как планирует ответить на активность Kioxia другой крупный производитель флеш-памяти, Samsung Electronics, которая также располагает высокопроизводительной разновидностью NAND под названием Z-NAND.

Мало-помалу стандарт Compute Express Link пробивает себе путь на рынок: хотя процессоров с поддержкой ещё нет, многие из элементов инфраструктуры для нового интерконнекта и базирующихся на нём концепций уже готово — в частности, регулярно демонстрируются новые контроллеры и модули памяти. Но развивается и сам стандарт. В версии 1.1, спецификации на которую были опубликованы ещё в 2019 году, были только заложены основы.

Но уже в версии 2.0 CXL получил массу нововведений, позволяющих говорить не просто о новой шине, но о целой концепции и смене подхода к архитектуре серверов. А сейчас консорциум, ответственный за разработку стандарта, опубликовал свежие спецификации версии 3.0, ещё более расширяющие возможности CXL.

Источник: CXL Consortium

И не только расширяющие: в версии 3.0 новый стандарт получил поддержку скорости 64 ГТ/с, при этом без повышения задержки. Что неудивительно, поскольку в основе лежит стандарт PCIe 6.0. Но основные усилия разработчиков были сконцентрированы на дальнейшем развитии идей дезагрегации ресурсов и создания компонуемой инфраструктуры.

Сама фабрика CXL 3.0 теперь допускает создание и подключение «многоголовых» (multi-headed) устройств, расширены возможности по управлению фабрикой, улучшена поддержка пулов памяти, введены продвинутые режимы когерентности, а также появилась поддержка многоуровневой коммутации. При этом CXL 3.0 сохранил обратную совместимость со всеми предыдущими версиями — 2.0, 1.1 и даже 1.0. В этом случае часть имеющихся функций попросту не будет активирована.

Одно из ключевых новшеств — многоуровневая коммутация. Теперь топология фабрики CXL 3.0 может быть практически любой, от линейной до каскадной с группами коммутаторов, подключенных к коммутаторам более высокого уровня. При этом каждый корневой порт процессора поддерживает одновременное подключение через коммутатор устройств различных типов в любой комбинации.

Ещё одним интересным нововведением стала поддержка прямого доступа к памяти типа peer-to-peer (P2P). Проще говоря, несколько ускорителей, расположенных, к примеру, в соседних стойках, смогут напрямую общаться друг с другом, не затрагивая хост-процессоры. Во всех случаях обеспечивается защита доступа и безопасность коммуникаций. Кроме того, есть возможность разделить память каждого устройства на 16 независимых сегментов.

При этом поддерживается иерархическая организация групп, внутри которых обеспечивается когерентность содержимого памяти и кешей (предусмотрена инвалидация). Теперь помимо эксклюзивного доступа к памяти из пула доступен и общий доступ сразу нескольких хостов к одному блоку памяти, причём с аппаратной поддержкой когерентности. Организация пулов теперь не отдаётся на откуп стороннему ПО, а осуществляется посредством стандартизированного менеджера фабрики.

Сочетание новых возможностей выводит идею разделения памяти и вычислительных ресурсов на новый уровень: теперь возможно построение систем, где единый пул подключенной к фабрике CXL 3.0 памяти (Global Fabric Attached Memory, GFAM) действительно существует отдельно от вычислительных модулей. При этом возможность адресовать до 4096 точек подключения скорее упрётся в физические лимиты фабрики.

Пул может содержать разные типы памяти — DRAM, NAND, SCM — и подключаться к вычислительным мощностями как напрямую, так и через коммутаторы CXL. Предусмотрен механизм сообщения самими устройствами об их типе, возможностях и прочих характеристиках. Подобная архитектура обещает стать востребованной в мире машинного обучения, в котором наборы данных для нейросетей нового поколения достигают уже поистине гигантских размеров.

В настоящее время группа CXL уже включает 206 участников, в число которых входят компании Intel, Arm, AMD, IBM, NVIDIA, Huawei, крупные облачные провайдеры, включая Microsoft, Alibaba Group, Google и Meta✴, а также ряд крупных производителей серверного оборудования, в том числе, HPE и Dell EMC.

Консорциумы OpenCAPI Consortium (OCC) и Compute Express Link (CXL) подписали соглашение, которое подразумевает передачу в пользу CXL всех наработок и спецификаций OpenCAPI и OMI. Если будет получено одобрения всех участвующих сторон, то это будет ещё один шаг в сторону унификации ключевых системных интерфейсов и возможности реализации новых архитектурных решений. Во всяком случае, на бумаге.

Консорциумы OpenCAPI (Open Coherent Accelerator Processor Interface) был сформирован в 2016 году с целью создание единого, универсального, скоростного и согласованного интерфейса для связи CPU с ускорителями, сетевыми адаптерами, памятью, контроллерами и устройствами хранения и т.д. Причём в независимости от типа и архитектуры самого CPU. На тот момент новый интерфейс был определённо лучше распространённого тогда PCIe 3.0. С течением времени дела у OpenCAPI шли ни шатко ни валко, однако фактически его использование было ограничено только POWER-платформами от IBM.

Источник: OpenCAPI

Тем не менее, в недрах OpenCAPI родился ещё один очень интересный стандарт — Open Memory Interface (OMI). OMI, если коротко, предлагает некоторую дезагрегацию путём добавления буферной прослойки между CPU и RAM. С одной стороны у OMI есть унифицированный последовательный интерфейс для подключения к CPU, с другой — интерфейсы для подключения какой угодно памяти, на выбор конкретного производителя.

Источник: Open Memory Interface (OMI)

OMI позволяет поднять пропускную способность памяти, не раздувая число контактов и физические размеры и самого CPU, и модулей. Однако и в данном случае массовая поддержка OMI по факту есть только в процессорах IBM POWER10. Концептуально CXL в части работы с памятью повторяет идею OMI, только в данном случае в качестве физического интерфейса используется распространённый PCIe.

Изображение: SK Hynix

Существенная разница c OMI в том, что начальная поддержка CXL будет в грядущих процессорах AMD и Intel. А Samsung и SK Hynix уже готовят соответствующие DDR5-модули. Да и в целом поддержка CXL в индустрии намного шире. Так что консорциуму CXL, по-видимому, осталось поглотить только ещё один конкурирующий стандарт в лице CCIX, как это уже произошло с Gen-Z.

Комментируя соглашение, президент консорциума CXL отметил, что сейчас наиболее удачное время для объединения усилий, которое принесёт пользу всей IT-индустрии. Участники OpenCAPI имеют богатый опыт, который поможет улучшить грядущие спецификации CXL и избежать ошибок.