Одну из интереснейших экспозиций на выставке SC19 продемонстрировал консорциум Gen-Z, в который входят крупнейшие игроки на рынке серверного оборудования, такие, как IBM, HPE, Dell EMC, Huawei, Samsung, Seagate и ряд других известных компаний.

Напомним, что целью Gen-Z является разработка и создание технологий HPC нового поколения. Главным образом, речь идёт о новой инфраструктуре межсоединений (interconnect). Решения Gen-Z должны решить проблему истощения пропускной способности подсистем памяти и хранения данных по мере роста вычислительных мощностей.

Разработка спецификаций была начата ещё в 2016 году, в 2018-м была ратифицирована версия Gen-Z 1.0, а в этом году консорциум показал вполне работоспособные прототипы решений, пригодных для использования в системах, чувствительных к пропускной способности межсоединений.

Модуль Samsung NVDIMM-P с поддержкой Gen-Z

В частности, были продемонстрированы модули Samsung NVDIMM-P с поддержкой Gen-Z. Использовался сценарий машинного обучения с двумя серверами, обращающимися по Gen-Z к системе хранения данных Samsung Media Box.

DDIMM вблизи. Контроллер SMC 1000, память SKHynix

Были в экспозиции и модули DDIMM ‒ нового прогрессивного формата оперативной памяти, продвигаемого компанией IBM и группой Open Compute Project. Известно, что Gen-Z разрабатывает свой стандарт модулей памяти. Какой из них победит, покажет время.

Мост UPI<‒>Gen-Z позволит использовать новую память в существующих системах на базе Intel Xeon

Повторимся, что одновременно с DDIMM консорциум продвигает новый формат модулей памяти EDSFF 3″, и уже существуют прототипы таких модулей объёмом 256 Гбайт. Они построены на чипах Samsung и используют контроллер IntelliProp Mamba. Также этой компанией разработан контроллер гибридной памяти под кодовым названием Cobra.

Новая технология межсоединений уже совместима с инфраструктурой Intel UPI

Стоит отметить, что основой контроллера Gen-Z является микросхема FPGA производства Intel, хотя сама компания не входит в консорциум. Тем не менее, поскольку процессоры Xeon пока продолжают доминировать на серверном рынке, консорциум разработал мост между шинами UPI и Gen-Z.

Gen-Z и ARM: налаживая мосты

Также на одном из стендов демонстрировалась совместная работа Gen-Z с процессорами с архитектурой ARM, которая сейчас набирает популярность в сегменте серверных систем и HPC-решений. Два прототипа вполне успешно использовали ресурсы друг друга, используя волоконно-оптическое соединение. При этом обеспечивалась целостность данных, как и заявлено в спецификациях Gen-Z.

Хотя сам контроллер Gen-Z в данном случае был реализован с помощью отладочной платы с гибридной матрицей Zynq UltraSCALE+, создание специализированного чипа явно не за горами. Консорциумом разработаны средства отладки и тестирования нового протокола и решений на его основе; в частности, был показан первый в мире анализатор Gen-Z, созданный в сотрудничестве с известным производителем контрольно-измерительного оборудования, компанией Teledyne LeCroy.

Пока это прототип, но Gen-Z находится в самом начале жизненного пути

О массовом внедрении Gen-Z говорить пока не приходится, но переход на новый тип межсоединений обещает многое. В частности, задержки при обращении к общему пулу памяти, могущему содержать различные её типы, от DDRAM до Optane и NAND, удастся снизить до 100 наносекунд и менее. Контролер для такого пула был разработан SMART Modular Technologies ещё в 2017 году. А не так давно HPE опубликовала детали о разработанном ей коммутаторе Gen-Z с поддержкой PCIe 4.0 и оптических соединений. Он продемонстрировал пропускную способность 90 Гбайт/с на пакетах размером 4К.

Практически у всех современных процессоров контроллер памяти давно и прочно является частью самого ЦП, будь то монолитный кристалл или чиплетная сборка. Но не всегда подобная монолитность является плюсом — к примеру, она усложняет задачу увеличения количества каналов доступа к памяти.

Таких каналов уже 8 и существуют проекты процессоров с 10 каналами памяти. Но это усложняет как сами ЦП, так и системные платы, ведь только на подсистему памяти, без учёта интерфейса PCI Express, может уйти 300 и более контактов, которые ещё требуется корректно развести и подключить.

Организация подсистемы памяти у POWER8

У IBM есть ответ, и заключается он в переносе части функций контроллера памяти на сторону модулей DIMM. Сам интерфейс между ЦП и модулями памяти становится последовательным и предельно унифицированным. Похожая схема использовалась в стандарте FB-DIMM, аналогичную компоновку применила и сама IBM в процессорах POWER8 и POWER9 в варианте Scale-Up.

Роль и возможности буфера Centaur у POWER8

Контроллер памяти у этих процессоров упрощён, в нём отсутствует контроллер физического уровня (PHY). Его задачи возложены на чип-буфер Centaur, который посредством одноимённого последовательного интерфейса и связывается с процессором на скорости 28,8 Гбайт/с.

Контроллеров интерфейса Centaur в процессорах IBM целых восемь, что дает ПСП в районе 230 Гбайт/с. За счёт выноса ряда функций в чипы-буфера удалось сократить площадь кристалла, и без того немалую (свыше 700 мм2), но за это пришлось заплатить увеличением задержек в среднем на 10 нс. Частично это сглажено за счёт наличия в составе Centaur кеша L4.

Сравнительные размеры модулей Centaur, RDIMM и OMI DDIMM

Стандарт не является открытым, но IBM предлагает ему на смену полностью открытый вариант под названием Open Memory Interface (OMI). В его основу положена семантика и протоколы, описанные в стандарте OpenCAPI 3.1, а физический уровень представлен шиной BlueLink (25 Гбит/с на линию), которая уже используется для реализации NVLink и OpenCAPI.

Реализация OMI проще Centaur, что позволяет сделать чип-буфер более компактным и выделяющим меньше тепла. Но все преимущества сохраняются: так, число контактов процессора, отвечающих за интерфейс памяти, можно снизить с примерно 300 до 75, поскольку посылаются только простые команды загрузки и сохранения данных. Вся реализация физического интерфейса осуществляется силами чипа-компаньона OMI, и в нём же может находиться дополнительный кеш.

Модули OMI DDIMM станут стандартом JEDEC

Помимо экономии контактов есть и ещё одна выгода: можно реализовать любой тип памяти, будь то DDR, GDDR и даже NVDIMM — вся PHY-часть придётся на различные варианты чипов OMI, но со стороны стандартного разъёма любой модуль OMI будет выглядеть одинаково. Сейчас взят прицел на реализацию модулей с памятью DDR5.

При использовании существующих чипов DDR4 система с интерфейсом OMI может достичь совокупной ПСП порядка 650 Гбайт/с. Дополнительные задержки составят 5 ‒ 10 нс для RDIMM и лишь 4 нс для LRDIMM. Из всех соперников технологии на такое способны только сборки HBM, которые в силу своей природы имеют ограниченную ёмкость, дороги в реализации и не могут быть вынесены с общей с ЦП подложки.

Новый стандарт упростит процессоры и позволит увеличить ёмкость подсистемы памяти

Чипы-буферы OMI можно разместить как на модуле памяти, так и на системной плате. Разумеется, для стандартизации выбран первый вариант. В нём предусмотрено 84 контакта на модуль, сами же модули получили название Dual-Inline Memory Module (DDIMM).

DDIMM вышли существенно компактнее своих традиционных собратьев: ширина модуля сократилась со 133 до 85 мм. Реализация буфера OMI ↔ DDR4 уже существует в кремнии: компания Microsemi продемонстрировала чип SMC 1000 (PM8596), поддерживающего 8 линий OMI со скоростью 25 Гбит/с каждая. Допустима также работа в режиме 4 × 1 с вдвое меньшей общей пропускной способностью.

DDIMM: меньше ширина, проще разъём

Со стороны чипов памяти SMC 1000 имеет стандартный 72-битный интерфейс с ECC и поддержкой различных комбинаций DRAM и NAND-устройств. Тактовая частота DRAM — до 3,2 ГГц, высота модуля зависит от количества и типов устанавливаемых чипов.

В случае одиночной высоты модули могут иметь ёмкость до 128 Гбайт, двойная высота позволит создать DDIMM объёмом свыше 256 Гбайт. Сам чип SMC 1000 невелик, всего 17 × 17 мм, а невысокое тепловыделение гарантирует отсутствие проблем с перегревом, свойственных FB-DIMM.

Процессоры IBM POWER9 AIO дополнили существующую серию

Архитектура подсистем памяти у семейства IBM POWER9

Поставки POWER9 AIO начнутся в этом году, цены неизвестны, но с учётом 8 миллиардов транзисторов и кристалла площадью 728 мм2 они не могут быть низкими. Однако без OMI эти процессоры были бы ещё более дорогими. В комплект поставки входит и чип-буфер OMI, правда, не самая быстрая версия с пропускной способностью на уровне 410 Гбайт/с. Задел для модернизации есть, и для расширения ПСП достаточно будет заменить модули DDIMM на более быстрые варианты.

Сравнительная таблица существующих и будущих версий OpenCAPI

Следующее поколение процессоров IBM, POWER10, появится только в 2021 году. К этому времени ожидается принятие стандарта OMI на рынке высокопроизводительных многопроцессорных систем. Попутно IBM готовит новые версии OpenCAPI, не привязанные к архитектуре POWER, а значит, путь к OMI будет открыт и другим вендорам.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».