Одну из интереснейших экспозиций на выставке SC19 продемонстрировал консорциум Gen-Z, в который входят крупнейшие игроки на рынке серверного оборудования, такие, как IBM, HPE, Dell EMC, Huawei, Samsung, Seagate и ряд других известных компаний.

Напомним, что целью Gen-Z является разработка и создание технологий HPC нового поколения. Главным образом, речь идёт о новой инфраструктуре межсоединений (interconnect). Решения Gen-Z должны решить проблему истощения пропускной способности подсистем памяти и хранения данных по мере роста вычислительных мощностей.

Разработка спецификаций была начата ещё в 2016 году, в 2018-м была ратифицирована версия Gen-Z 1.0, а в этом году консорциум показал вполне работоспособные прототипы решений, пригодных для использования в системах, чувствительных к пропускной способности межсоединений.

Модуль Samsung NVDIMM-P с поддержкой Gen-Z

В частности, были продемонстрированы модули Samsung NVDIMM-P с поддержкой Gen-Z. Использовался сценарий машинного обучения с двумя серверами, обращающимися по Gen-Z к системе хранения данных Samsung Media Box.

DDIMM вблизи. Контроллер SMC 1000, память SKHynix

Были в экспозиции и модули DDIMM ‒ нового прогрессивного формата оперативной памяти, продвигаемого компанией IBM и группой Open Compute Project. Известно, что Gen-Z разрабатывает свой стандарт модулей памяти. Какой из них победит, покажет время.

Мост UPI<‒>Gen-Z позволит использовать новую память в существующих системах на базе Intel Xeon

Повторимся, что одновременно с DDIMM консорциум продвигает новый формат модулей памяти EDSFF 3″, и уже существуют прототипы таких модулей объёмом 256 Гбайт. Они построены на чипах Samsung и используют контроллер IntelliProp Mamba. Также этой компанией разработан контроллер гибридной памяти под кодовым названием Cobra.

Новая технология межсоединений уже совместима с инфраструктурой Intel UPI

Стоит отметить, что основой контроллера Gen-Z является микросхема FPGA производства Intel, хотя сама компания не входит в консорциум. Тем не менее, поскольку процессоры Xeon пока продолжают доминировать на серверном рынке, консорциум разработал мост между шинами UPI и Gen-Z.

Gen-Z и ARM: налаживая мосты

Также на одном из стендов демонстрировалась совместная работа Gen-Z с процессорами с архитектурой ARM, которая сейчас набирает популярность в сегменте серверных систем и HPC-решений. Два прототипа вполне успешно использовали ресурсы друг друга, используя волоконно-оптическое соединение. При этом обеспечивалась целостность данных, как и заявлено в спецификациях Gen-Z.

Хотя сам контроллер Gen-Z в данном случае был реализован с помощью отладочной платы с гибридной матрицей Zynq UltraSCALE+, создание специализированного чипа явно не за горами. Консорциумом разработаны средства отладки и тестирования нового протокола и решений на его основе; в частности, был показан первый в мире анализатор Gen-Z, созданный в сотрудничестве с известным производителем контрольно-измерительного оборудования, компанией Teledyne LeCroy.

Пока это прототип, но Gen-Z находится в самом начале жизненного пути

О массовом внедрении Gen-Z говорить пока не приходится, но переход на новый тип межсоединений обещает многое. В частности, задержки при обращении к общему пулу памяти, могущему содержать различные её типы, от DDRAM до Optane и NAND, удастся снизить до 100 наносекунд и менее. Контролер для такого пула был разработан SMART Modular Technologies ещё в 2017 году. А не так давно HPE опубликовала детали о разработанном ей коммутаторе Gen-Z с поддержкой PCIe 4.0 и оптических соединений. Он продемонстрировал пропускную способность 90 Гбайт/с на пакетах размером 4К.

Практически у всех современных процессоров контроллер памяти давно и прочно является частью самого ЦП, будь то монолитный кристалл или чиплетная сборка. Но не всегда подобная монолитность является плюсом — к примеру, она усложняет задачу увеличения количества каналов доступа к памяти.

Таких каналов уже 8 и существуют проекты процессоров с 10 каналами памяти. Но это усложняет как сами ЦП, так и системные платы, ведь только на подсистему памяти, без учёта интерфейса PCI Express, может уйти 300 и более контактов, которые ещё требуется корректно развести и подключить.

Организация подсистемы памяти у POWER8

У IBM есть ответ, и заключается он в переносе части функций контроллера памяти на сторону модулей DIMM. Сам интерфейс между ЦП и модулями памяти становится последовательным и предельно унифицированным. Похожая схема использовалась в стандарте FB-DIMM, аналогичную компоновку применила и сама IBM в процессорах POWER8 и POWER9 в варианте Scale-Up.

Роль и возможности буфера Centaur у POWER8

Контроллер памяти у этих процессоров упрощён, в нём отсутствует контроллер физического уровня (PHY). Его задачи возложены на чип-буфер Centaur, который посредством одноимённого последовательного интерфейса и связывается с процессором на скорости 28,8 Гбайт/с.

Контроллеров интерфейса Centaur в процессорах IBM целых восемь, что дает ПСП в районе 230 Гбайт/с. За счёт выноса ряда функций в чипы-буфера удалось сократить площадь кристалла, и без того немалую (свыше 700 мм2), но за это пришлось заплатить увеличением задержек в среднем на 10 нс. Частично это сглажено за счёт наличия в составе Centaur кеша L4.

Сравнительные размеры модулей Centaur, RDIMM и OMI DDIMM

Стандарт не является открытым, но IBM предлагает ему на смену полностью открытый вариант под названием Open Memory Interface (OMI). В его основу положена семантика и протоколы, описанные в стандарте OpenCAPI 3.1, а физический уровень представлен шиной BlueLink (25 Гбит/с на линию), которая уже используется для реализации NVLink и OpenCAPI.

Реализация OMI проще Centaur, что позволяет сделать чип-буфер более компактным и выделяющим меньше тепла. Но все преимущества сохраняются: так, число контактов процессора, отвечающих за интерфейс памяти, можно снизить с примерно 300 до 75, поскольку посылаются только простые команды загрузки и сохранения данных. Вся реализация физического интерфейса осуществляется силами чипа-компаньона OMI, и в нём же может находиться дополнительный кеш.

Модули OMI DDIMM станут стандартом JEDEC

Помимо экономии контактов есть и ещё одна выгода: можно реализовать любой тип памяти, будь то DDR, GDDR и даже NVDIMM — вся PHY-часть придётся на различные варианты чипов OMI, но со стороны стандартного разъёма любой модуль OMI будет выглядеть одинаково. Сейчас взят прицел на реализацию модулей с памятью DDR5.

При использовании существующих чипов DDR4 система с интерфейсом OMI может достичь совокупной ПСП порядка 650 Гбайт/с. Дополнительные задержки составят 5 ‒ 10 нс для RDIMM и лишь 4 нс для LRDIMM. Из всех соперников технологии на такое способны только сборки HBM, которые в силу своей природы имеют ограниченную ёмкость, дороги в реализации и не могут быть вынесены с общей с ЦП подложки.

Новый стандарт упростит процессоры и позволит увеличить ёмкость подсистемы памяти

Чипы-буферы OMI можно разместить как на модуле памяти, так и на системной плате. Разумеется, для стандартизации выбран первый вариант. В нём предусмотрено 84 контакта на модуль, сами же модули получили название Dual-Inline Memory Module (DDIMM).

DDIMM вышли существенно компактнее своих традиционных собратьев: ширина модуля сократилась со 133 до 85 мм. Реализация буфера OMI ↔ DDR4 уже существует в кремнии: компания Microsemi продемонстрировала чип SMC 1000 (PM8596), поддерживающего 8 линий OMI со скоростью 25 Гбит/с каждая. Допустима также работа в режиме 4 × 1 с вдвое меньшей общей пропускной способностью.

DDIMM: меньше ширина, проще разъём

Со стороны чипов памяти SMC 1000 имеет стандартный 72-битный интерфейс с ECC и поддержкой различных комбинаций DRAM и NAND-устройств. Тактовая частота DRAM — до 3,2 ГГц, высота модуля зависит от количества и типов устанавливаемых чипов.

В случае одиночной высоты модули могут иметь ёмкость до 128 Гбайт, двойная высота позволит создать DDIMM объёмом свыше 256 Гбайт. Сам чип SMC 1000 невелик, всего 17 × 17 мм, а невысокое тепловыделение гарантирует отсутствие проблем с перегревом, свойственных FB-DIMM.

Процессоры IBM POWER9 AIO дополнили существующую серию

Архитектура подсистем памяти у семейства IBM POWER9

Поставки POWER9 AIO начнутся в этом году, цены неизвестны, но с учётом 8 миллиардов транзисторов и кристалла площадью 728 мм2 они не могут быть низкими. Однако без OMI эти процессоры были бы ещё более дорогими. В комплект поставки входит и чип-буфер OMI, правда, не самая быстрая версия с пропускной способностью на уровне 410 Гбайт/с. Задел для модернизации есть, и для расширения ПСП достаточно будет заменить модули DDIMM на более быстрые варианты.

Сравнительная таблица существующих и будущих версий OpenCAPI

Следующее поколение процессоров IBM, POWER10, появится только в 2021 году. К этому времени ожидается принятие стандарта OMI на рынке высокопроизводительных многопроцессорных систем. Попутно IBM готовит новые версии OpenCAPI, не привязанные к архитектуре POWER, а значит, путь к OMI будет открыт и другим вендорам.

Компания SK Hynix вновь под прицелом американских органов по надзору за нечестным поведением в торговле. Претензии к определённой продукции этого южнокорейского производителя предъявила американская компания Netlist ― один из пионеров по выпуску серверных энергонезависимых модулей памяти NVDIMM.

Впрочем, новый иск подан по поводу нарушения патентов Netlist при разработке компанией SK Hynix модулей памяти RDIMM и LRDIMM.

Исковое заявление Netlist было подано в Комиссию по международной торговле США (ITC). Комиссия успела даже сделать предварительное заключение, которое гласит, что с RDIMM производства SK Hynix проблем нет, а вот модули LRDIMM (кстати, более сложные и дорогие, чем RDIMM) нарушают один из патентов Netlist, связанный с технологиями проектирования модулей памяти.

В южнокорейской компании не спешат огорчаться по этому поводу. Юридические споры между технологическими компаниями длятся годами и проходят массу промежуточных этапов и экспертиз, так что время на урегулирование есть и есть в избытке. Интересно другое — Netlist не в первый раз нападает на SK Hynix.

В 2016 году Netlist обвинила SK Hynix в нарушении шести своих патентов, но через пару лет дело развалилось в суде и SK Hynix была признана невиновной. Тогда же юристы Netlist подали апелляцию и потребовали пересмотр дела. Но даже на этом они не угомонились, чему стало свидетельством новое обвинение SK Hynix в нарушении патентов при разработке RDIMM и LRDIMM.

Кроме ITC компания Netlist подала аналогичные иски в суды Китая и Германии. Пекин и Берлин уже прекратили расследования по ним в пользу SK Hynix. Осталось решить спор в США. В заключение напомним, что в дела с Netlist косвенным, но интересным образом вовлечена компания Rambus. Правда, это уже другая история.

Вчера компания Intel представила новое поколение серверных процессоров Cascade Lake-SP. Специально для этих процессоров компания Kingston подготовила новые модули оперативной памяти в семействе Server Premier, которые отличаются более высокой скоростью работы.

Семейство Kingston Server Premier пополнили регистровые модули памяти DDR4 объёмом 8, 16 и 32 Гбайт, отличающиеся эффективной частотой 2933 МГц. Ранее Kingston предлагала серверные модули памяти лишь с частотой до 2666 МГц. Данное изменение обусловлено тем, что новые процессоры Cascade Lake-SP стали поддерживать более быструю оперативную память. 

Увеличение частоты с 2666 до 2933 МГц обеспечило рост теоретической максимальной пропускной способности примерно на 10 %. Максимальная пропускная способность одного модуля составит 23,46 Гбайт/с, а в шестиканальном режиме общая пропускная способность подсистемы памяти будет достигать 140,76 Гбайт/с.

Латентность новых модулей соответствует индустриальному стандарту JEDEC для модулей DDR4-2933 и составляет CL21 вне зависимости от объёма. Рабочее напряжение новых модулей Server Premier составляет 1,2 В. К сожалению, производитель не уточняет, какие именно микросхемы памяти использованы в новых модулях. Конечно же, новинки были протестированы самой Kingston и прошли валидацию Intel на полную совместимость с платформой Cascade Lake-SP. Новые скоростные модули серверной памяти Kingston Server Premier уже доступны для заказа, а их поставки начнутся в ближайшем будущем.

Компания Rambus анонсировала, что она приобрела технологии, патенты и другие активы компании Diablo Technologies для расширения собственных позиций на рынке гибридной памяти DRAM и накопителей на памяти типа флеш. Покупка активов Diablo Technologies дополнит разработки Rambus в области создания технологий для подсистем памяти с высочайшей пропускной способностью и низким потреблением. Также новое приобретение пойдёт на пользу объявленному в марте прошлого года сотрудничеству между компаниями Rambus и IBM на ниве создания гибридных систем хранения данных. Финансовая сторона сделки не раскрывается, что в обычаях компании Rambus.

Модули NVDIMM Diablo Memory 1

Компания Rambus вряд ли нуждается в представлении. Её неофициальное прозвище ― самая юридическая компания Кремниевой долины. В многочисленных и продолжительных судах она отстояла своё сомнительное право взимать лицензионные отчисления с производителей памяти и интерфейсов памяти (контроллеров). В своё время она предложила популярную до сих пор сигнальную структуру интерфейса DRAM и скрыла, что эти разработки защищены патентами. Когда индустрия подсела на этот интерфейс, Rambus начала предъявлять счета.

С компанией Diablo Technologies тоже не всё так просто. Она была создана в 2003 году и отметилась разработкой контроллеров (буферов) памяти NAND и прошивок для выпуска энергонезависимых модулей NVDIMM. В частности, около пяти лет назад Diablo Technologies для компании NetList разработала контроллеры для модулей NVDIMM. Контроллеры создавались совместно с компанией SMART Storage Systems. В 2014 году компанию SMART Storage Systems приобрела компания SanDisk, и на основе купленных разработок начала выпускать фирменные модули памяти ULLtraDIMM, которые, по сути, представляли собой SSD в формфакторе DIMM. Почти сразу после анонса ULLtraDIMM выяснилось, что контроллеры SMART Storage Systems и Diablo Technologies используют украденные у NetList патентованные разработки.

Модули ULLtraDIMM компании SanDisk

Насколько нам известно, судебный спор между NetList и Diablo Technologies до сих пор не улажен. Компания Diablo Technologies красиво ушла от ответственности ещё в декабре 2017 года. Тогда на судебном заседании юрист компании заявил, что Diablo Technologies просто прекратила свою повседневную деятельность, а высшее руководство разошлось по другим компаниям. Что и как приобрела в таком случае Rambus, остаётся только догадываться. В чём наверняка можно быть уверенным, компания NetList вряд ли так просто оставит её в покое даже несмотря на «юридический» авторитет Rambus.

Бренд Crucial, принадлежащий компании Micron Technology, анонсировал новые модули памяти NVDIMM, предназначенные для использования в серверном оборудовании.

Напомним, что изделия NVDIMM, или Non-Volatile Dual In-line Memory Module, представляют собой энергонезависимые решения. По сути, это гибрид традиционной памяти DRAM и NAND.

Новые модули Crucial NVDIMM имеют ёмкость 32 Гбайт. В случае внезапного сбоя питания информация из DRAM переписывается в память NAND, благодаря чему впоследствии возможно её полное восстановление.

Важно отметить, что комплект поставки включает специальный суперконденсаторный блок в формате 2,5-дюймового накопителя. Это устройство выполняет функции резервного источника питания.

Выпущенные изделия обеспечивают производительность в 2933 млн пересылок в секунду (MT/s). На модули памяти предоставляется пожизненная гарантия.

О цене представленных решений, к сожалению, ничего не сообщается. 

Компания Samsung Electronics объявила о начале массового производства модулей оперативной памяти RDIMM (Registered Dual In-line Memory Module), рассчитанных на использование в серверах.

Reuters

Изделия выполнены с применением монолитных чипов ёмкостью 16 Гбит. Ёмкость модулей составляет 64 Гбайт. Утверждается, что это первые в отрасли решения с указанным набором характеристик.

Применение монолитных микросхем большой ёмкости, в частности 16 Гбит, позволяет создавать модули и подсистемы оперативной памяти с меньшим количеством чипов, что способствует снижению энергопотребления.

Выпущенные решения рассчитаны на скорость передачи данных 2666 МТрансферов/с. В перспективе, как ожидается, данный показатель будет увеличен.

Одной из первых серверных платформ, использующих новые модули памяти Samsung, станет система HPE ProLiant DL385 Gen10, полагающаяся на процессоры AMD EPYC 7000.

Компания Samsung Electronics также сообщила, что в скором времени начнутся пробные поставки модулей памяти DIMM ёмкостью 256 Гбайт, в основу которых лягут 16-гигабитные чипы. 

Корпорация Intel поделилась планами по выпуску модулей DIMM, изготовленных с использованием передовой технологии 3D XPoint.

Напомним, что 3D XPoint представляет собой энергонезавиcимую память, по принципу действия совершенно отличную от традиционной флеш-памяти NAND. В то время как NAND Flash для хранения информации использует электроны, захваченные в затворе транзистора, ячейка 3D XPoint меняет сопротивление для различения между нулём и единицей.

3D XPoint является основой накопителей семейства Optane, которые сейчас выпускаются в виде карт расширения PCIe 3.0, 2,5-дюймовых U.2-устройств и модулей М.2. Кроме того, ещё в начале 2016 года демонстрировались прототипы модулей DIMM на основе этой памяти, но с тех пор о таких изделиях практически ничего не было слышно.

И вот теперь Навин Шеной (Navin Shenoy), исполнительный вице-президент Intel и глава группы центров обработки данных (Data Center Group), сообщил, что решения DIMM с памятью 3D XPoint появятся на рынке во второй половине следующего года.

Изделия нового типа будут нацелены на серверы и различные вычислительные платформы. Поэтому Intel придётся обеспечить требуемую надёжность, долговечность и производительность.

«Технология Intel Optane для центров обработки данных сочетает в себе характерные особенности, присущие памяти и подсистемам хранения, обеспечивая низкий уровень задержек, высокую надежность, исключительные показатели качества обслуживания и высокую пропускную способность, что позволяет реализовать новый слой данных, который увеличивает масштабируемость в пределах сервера и помогает снизить стоимость транзакций», — заявляет корпорация. 

Компания Micron Technology анонсировала модули памяти DDR4 NVDIMM-N ёмкостью 32 Гбайт, рассчитанные на использование в серверах.

Концепция NVDIMM, или Non-Volatile Dual In-line Memory Module, предусматривает создание энергонезависимой памяти. В случае NVDIMM-N объединены чипы DRAM и NAND. При этом NAND используется лишь с целью сохранения и последующего восстановления данных с DRAM в случае перебоя электроэнергии.

При возникновении неожиданных проблем с питанием запись данных в память NAND может осуществляться за счёт суперконденсатора. Это позволяет избежать потери важной информации и предотвратить потенциальный сбой программного обеспечения, что в серьёзных серверных системах крайне важно.

Micron Technology отмечает, что память NVDIMM-N обеспечивает уникальный баланс пропускной способности, ёмкости, надёжности и цены. Изделия нацелены на серверные системы, применяющиеся в сегменте аналитики данных, финансовом секторе, медицине, торговле и других критичных областях.

Более подробную информацию о памяти NVDIMM-N можно найти здесь. 

Ранее мы сообщали, что летом 2015 года компания Rambus внесла коррективы в модель ведения бизнеса и стала бесфабричным производителем компонентов для выпуска оперативной памяти. Первой продукцией Rambus стали буферизированные драйверы RB26 для регистровой памяти RDIMM и LRDIMM в версии DDR4. На днях компания расширила ассортимент фирменной продукции регистровыми драйверами NVRCD (non-volatile register clock driver) для производства так называемых энергонезависимых модулей DIMM или NVDIMM.

Буферы RB26 (Rambus)

Модули NVDIMM стандартизованы в виде двух типов: NVDIMM-F и NVDIMM-N. Третий тип — NVDIMM-P — станет стандартом в 2018 году применительно к памяти стандарта DDR5. Память NVDIMM-F представляет собой SSD в формфакторе и с интерфейсом DDR DIMM. Планка NVDIMM-F свободно устанавливается в стандартный слот для памяти на материнской плате и благодаря особой версии BIOS и специализированному программному обеспечению работает как оперативная память. То же самое можно сказать про планки памяти NVDIMM-N и NVDIMM-P. Все они работают в обычных слотах для памяти.

Блок-схема модуля NVDIMM и роль драйвера NVRCD в его составе (Rambus)

Регистровые NVRCD-драйверы Rambus ориентированы на выпуск модулей типа NVDIMM-N и NVDIMM-P, когда последняя станет стандартом. Модули NVDIMM-N сочетают на одной планке обычную память DRAM и флеш-память. Такие модули памяти всегда можно отличить по наличию отдельной батарейки на модуле или в виде выносного блока.

Батарейка и DDR4 NVDIMM компании Micron (Micron)

Драйверы Rambus NVRCD стали первым в индустрии решением, полностью соответствующим спецификациям JEDEC DDR4 RCD. Заявлено, что драйверы Rambus NVRCD обеспечат скорость работы NVDIMM-памяти DDR4 вплоть до 3200 МТ/с. С подобными модулями, уверены в Rambus, серверы и облачные сервисы смогут достичь новых высот производительности. Поставки решений уже стартовали. В будущем драйверы Rambus NVRCD станут основой памяти NVDIMM-P, у которой вместо DRAM и (или) NAND основной и единственной памятью станут микросхемы ReRAM или MRAM.