Компания Innodisk анонсировала модули памяти DDR5-6400 ёмкостью 64 Гбайт, предназначенные для задач с интенсивным использованием данных. Это могут быть приложения ИИ (в том числе генеративного), платформы смешанной реальности, большие языковые модели (LLM), автономные транспортные средства, телемедицинские системы и пр.

Изделия доступны в различных вариантах исполнения — CUDIMM, CSODIMM, ECC CUDIMM, ECC CSODIMM и RDIMM. Помимо версии на 64 Гбайт, серия включает варианты объёмом 8, 16, 32, 24 и 48 Гбайт.

Источник изображения: Innodisk

Модули функционируют при напряжении питания 1,1 В. Диапазон рабочих температур простирается от 0 до +95 °C. Реализована технология TVS (Transient Voltage Suppressor), которая обеспечивает защиту от перепадов напряжения. Контакты модулей имеют покрытие золотом толщиной 30 мкм, благодаря чему улучшается проводимость и обеспечивается защита от окисления: это увеличивает срок службы.

По заявлениям Innodisk, модули памяти DDR5-6400 полностью совместимы с новейшими процессорами AMD и Intel. Среди ключевых сфер применения изделий названы индустриальные и встраиваемые устройства, серверное оборудование, системы видеонаблюдения, платформы промышленной автоматизации и пр. В частности, память может поддерживать работу ресурсоёмких приложений ИИ на периферии. Применительно к телемедицине 3D-визуализация с высоким разрешением и анализ данных в режиме реального времени позволят удалённо проводить пациентам хирургические операции с высокой точностью, говорит компания.

Компания SK hynix на мероприятии SK AI Summit в Сеуле (Южная Корея) сообщила о разработке первых в отрасли 16-ярусных чипов памяти HBM3E, ёмкость которых составляет 48 Гбайт. Клиенты получат образцы таких изделий в начале 2025 года.

Генеральный директор SK hynix Квак Но-Джунг (Kwak Noh-Jung) сообщил, что компания намерена трансформироваться в поставщика ИИ-памяти «полного стека». Ассортимент продукции будет охватывать изделия всех типов — от DRAM до NAND. При этом планируется налаживание тесного сотрудничества с заинтересованными сторонами.

Источник изображения: techpowerup.com

При производстве 16-Hi HBM3E компания будет применять передовую технологию Advanced MR-MUF, которая ранее использовалась при изготовлении 12-слойных продуктов. Память рассчитана на высокопроизводительные ИИ-ускорители. Утверждается, что 16-ярусные изделия по сравнению с 12-слойными аналогами обеспечивают прирост быстродействия на 18 % при обучении ИИ-моделей и на 32 % при инференсе.

SK hynix намерена предложить заказчикам кастомизируемые решения HBM с оптимизированной производительностью, которые будут соответствовать различным требованиям к ёмкости, пропускной способности и функциональности. Плюс к этому SK hynix планирует интегрировать логику непосредственно в кристаллы HBM4. Ранее говорилось, что компания рассчитывает начать поставки памяти HBM4 заказчикам во II половине 2025 года.

В числе других готовящихся продуктов SK hynix упоминает модули LPCAMM2 (Compression Attached Memory Module 2) для ПК и ЦОД, решения LPDDR5 и LPDDR6 с технологией производства 1c-класса, SSD с интерфейсом PCIe 6.0, накопители eSSD и UFS 5.0 большой вместимости на основе чипов флеш-памяти QLC NAND.

Компания TeamGroup анонсировала модули оперативной памяти DDR5 стандарта CAMM2 (Compression Attached Memory Module 2), предназначенные для использования в промышленной и корпоративной сферах. Изделия подходят для edge-систем, приложений ИИ, платформ управления производственным процессом и пр.

Отмечается, что модули CAMM2 обладают рядом преимуществ по сравнению с SO-DIMM, U-DIMM и R-DIMM. В частности, решения CAMM2 поддерживает двухканальный режим работы с одним модулем, что упрощает архитектуру системы и значительно снижает энергопотребление.

Источник изображения: TeamGroup

Модули CAMM2 используют горизонтальное расположение, то есть монтируются параллельно материнской плате. Благодаря этому повышается эффективность рассеяния тепла. Для установки применяются резьбовые стойки. Утверждается, что память CAMM2 превосходит предыдущие стандарты по возможностям разгона, скорости чтения и задержкам.

Полностью характеристики анонсированных изделий компания TeamGroup пока не раскрывает. Известно, что они функционируют на частоте 6400 МГц. Массовые поставки планируется организовать в I квартале 2025 года.

Нужно отметить, что Комитет стандартизации полупроводниковой продукции (JEDEC) утвердил стандарт CAMM2 в декабре 2023 года. Ширина модулей данного типа составляет 78 мм. На момент анонса спецификации говорилось о поддержке ёмкостей до 128 Гбайт. Предусмотрена возможность использования памяти DDR5 для настольных компьютеров и рабочих станций, а также LPDDR5X для тонких и лёгких ноутбуков. При необходимости модули могут оснащаться радиатором охлаждения.

Компания ADATA Technology анонсировала под брендом XPG свои первые разогнанные модули оперативной памяти DDR5 RDIMM: изделия серии AICORE предназначены для рабочих станций, ориентированных на 3D-рендеринг, приложения ИИ и другие ресурсоёмкие задачи.

Регистровая память AICORE будет предлагаться в версиях DDR5-6400/7200/8000. Ёмкость модулей составляет 16 Гбайт. Изделия совместимы с процессорами AMD Ryzen Threadripper 7000 и Ryzen Threadripper Pro 7000WX, а также с чипами Intel Xeon Emerald Rapids и Xeon Sapphire Rapids. Говорится о поддержке профилей AMD Expo и Intel XMP 3.0. Реализованы две технологии коррекции ошибок — On-die ECC и Side-band ECC, что, по заявлениям разработчика, гарантирует точную и надёжную передачу данных.

Источник изображения: XPG

Контакты модулей имеют покрытие золотом толщиной 30 мкм, благодаря чему улучшается проводимость, обеспечивается защита от окисления и увеличивается долговечность. Применены графеновые радиаторы, которые эффективно отводят тепло, позволяя памяти стабильно работать при длительных высоких нагрузках. Упомянут датчик мониторинга температуры в режиме реального времени.

«Разогнанная память AICORE RDIMM спроектирована для высокой скорости и стабильности, идеально подходя для обработки больших объёмов данных, искусственного интеллекта, 3D-рендеринга и графики, видеомонтажа и многозадачности», — заявляет XPG. Изделия будут предлагаться по отдельности, а также в комплектах из двух штук суммарным объёмом 32 Гбайт. Такие наборы появятся в продаже в I квартале 2025 года.

Компания TeamGroup анонсировала, как утверждается, первые в отрасли модули оперативной памяти промышленного класса DDR5-6400 стандартов CU-DIMM (Clocked Unbuffered DIMM) и CSO-DIMM (Clocked Small Outline DIMM). Эти изделия, обладающие повышенной надёжностью, ориентированы на требовательные приложения, в том числе связанные с ИИ.

Team Group использует технологию, которая даёт возможность регулировать частоту и напряжение в зависимости от нагрузки на систему и условий эксплуатации. Благодаря этому достигаются оптимальные показатели производительности и энергопотребления. Напряжение питания модулей составляет 1,1 В. Реализована поддержка ECC (Error Correction Code).

Источник изображения: TeamGroup

Полностью технические характеристики модулей DDR5-6400 CU-DIMM/CSO-DIMM компания TeamGroup пока не раскрывает. Но отмечается, что они изготавливаются с применением высококачественных чипов DRAM производства SK Hynix. При производстве продуктов применяется уникальная запатентованная технология тестирования и оценки (американский патент №11488679 B1; тайваньский патент №I751093). Модули обоих типов будут предлагаться в нескольких вариантах ёмкости, включая 16 Гбайт.

Компания Rambus объявила о выпуске наборов электронных SMD-компонентов, необходимых для производства модулей ОЗУ RDIMM и MRDIMM нового поколения для серверов. Наборы включают тактовые генераторы, драйверы для управления питанием и некоторые другие компоненты.

В представленный Rambus набор вошли следующие базовый компоненты:

• первый в отрасли регистровый чип пятого поколения (Registering Clock Driver, RCD), позволяющий модулям RDIMM работать со скоростью 8000 МТ/с;
• мультиплексированный регистровый чип (MRCD) и мультиплексированный буфер данных (MDB), позволяющие будущим модулям MRDIMM работать со скоростью до 12 800 MT/с;
• чип управления питанием второго поколения (PMIC5030), разработанный для модулей DDR5 RDIMM-8000 и MRDIMM-12800, поддерживающий сверхвысокие токи при низком напряжении для реализации более высоких скоростей памяти и большего количества DRAM и логических микросхем на модуль;
• чип Serial Presence Detect Hub (SPD) и температурный сенсор (TS).

Источник изображения: Rambus

Компания поясняет, что DDR5 MRDIMM-12800 использует новую конструкцию модуля, которая повышает скорость передачи данных и производительность системы за счёт мультиплексирования двух рангов, эффективно чередуя два потока данных. Это позволяет шине памяти хоста удвоить скорость передачи данных в сравнении с традиционными модулями при использовании тех же физических соединений DDR5 RDIMM.

Для этого требуется чип MRCD, который может адресовать два ранга DRAM в чередующихся тактовых циклах, а также чипы MDB для управления потоками данных к микросхемам DRAM и от них. Для каждого модуля DDR5 MRDIMM-12800 требуется один MRCD и десять чипов MDB. MRCD и MDB также будут поддерживать формфактор Tall MRDIMM с четырьмя рангами.

Компания Micron Technology сообщила о начале пробных поставок 12-ярусных (12-Hi) чипов памяти HBM3E, предназначенных для высокопроизводительных ИИ-ускорителей. Изделия проходят квалификацию в экосистеме отраслевых партнёров, после чего начнутся их массовые отгрузки.

Новые чипы имеют ёмкость 36 Гбайт, что на 50 % больше по сравнению с существующими 8-слойными вариантами HBM3E (24 Гбайт). При этом, как утверждает Micron, достигается значительно более низкое энергопотребление. Благодаря применению 12-ярусных чипов HBM3E крупные модели ИИ, такие как Llama 2 с 70 млрд параметров, могут запускаться на одном ускорителе.

Источник изображений: Micron

Заявленная пропускная способность превышает 9,2 Гбит/с на контакт, что в сумме обеспечивает свыше 1,2 Тбайт/с. Появление новой памяти поможет гиперскейлерам и крупным операторам дата-центров масштабировать растущие рабочие нагрузки ИИ в соответствии с запросами клиентов.

Реализована полностью программируемая функция MBIST (Memory Built-In Self Test), которая способна работать на скоростях, соответствующих системному трафику. Это повышает эффективность тестирования, что позволяет сократить время вывода продукции на рынок и повысить надёжность оборудования. При изготовлении памяти HBM3E компания Micron применяет современные методики упаковки чипов, включая усовершенствованную технологию сквозных соединений TSV (Through-Silicon Via).

Нужно отметить, что о разработке 12-слойных чипов HBM3E ёмкостью 36 Гбайт в начале 2024 года объявила компания Samsung. Эти решения обеспечивают пропускную способность до 1,28 Тбайт/с. По данному показателю, как утверждается, чипы более чем на 50 % превосходят доступные на рынке 8-слойные стеки HBM3. Наконец, старт массового производства 12-Hi модулей HBM3E от SK hynix с ПСП 1,15 Тбайт/с намечен на октябрь.

Компания Innodisk анонсировала модуль памяти CXL (Compute Express Link), разработанный с прицелом на системы ИИ и облачные дата-центры. Массовые поставки изделия планируется организовать в I квартале 2025 года.

Спрос на ИИ-серверы быстро растет. Согласно прогнозам Trendforce, в 2024 году такие системы займут примерно 65 % глобального рынка серверов (в деньгах). По словам Innodisk, сейчас ИИ-системам требуется не менее 1,2 Тбайт оперативной памяти для эффективной работы. Традиционные изделия DDR не всегда способны удовлетворить предъявляемые требования, что приводит к таким проблемам, как недоиспользование ресурсов CPU и увеличение задержек, говорит компания. Модули CXL призваны устранить подобные ограничения.

Источник изображения: Innodisk

Напомним, CXL — это высокоскоростной интерконнект, обеспечивающий взаимодействие хост-процессора с акселераторами, буферами памяти, устройствами ввода/вывода и пр. Решение Innodisk использует интерфейс PCIe 5.0 x8 и имеет ёмкость 64 Гбайт. Модуль обеспечивает пропускную способность до 32 Гбайт/с. Говорится о совместимости с CXL 1.1/2.0. Устройство выполнено в форм-факторе E3.S 2T и оснащено коннектором EDSFF 2C. Диапазон рабочих температур простирается от 0 до +70 °C.

Отмечается, что в случае установки четырёх модулей Innodisk CXL на 64 Гбайт каждый в сервер, который несёт на борту восемь DIMM по 128 Гбайт, общий объём памяти может быть увеличен на четверть, а общая пропускная способность — на 40 %. При этом CXL обеспечивает пулинг памяти, что позволяет оптимизировать совместное использование ресурсов и повысить общую эффективность системы.

Гибридный ускоритель NVIDIA Grace Hopper объединяет CPU- и GPU-модули, которые связаны интерконнектом NVLink C2C. Но, как передаёт HPCWire, в строении и работе суперчипа есть некоторые нюансы, о которых рассказали шведские исследователи.

Им удалось замерить производительность подсистем памяти Grace Hopper и интерконнекта NVLink в реальных сценариях, дабы сравнить полученные результаты с характеристиками, заявленными NVIDIA. Напомним, для интерконнекта изначально заявлена скорость 900 Гбайт/с, что в семь раз превышает возможности PCIe 5.0. Память HBM3 в составе GPU-части имеет ПСП до 4 Тбайт/с, а вариант с HBM3e предлагает уже до 4,9 Тбайт/с. Процессорная часть (Grace) использует LPDDR5x с ПСП до 512 Гбайт/с.

В руках исследователей оказалась базовая версия Grace Hopper с 480 Гбайт LPDDR5X и 96 Гбайт HBM3. Система работала под управлением Red Hat Enterprise Linux 9.3 и использовала CUDA 12.4. В бенчмарке STREAM исследователям удалось получить следующие показатели ПСП: 486 Гбайт/с для CPU и 3,4 Тбайт/с для GPU, что близко к заявленным характеристиками. Однако результат скорость NVLink-C2C составила всего 375 Гбайт/с в направлении host-to-device и лишь 297 Гбайт/с в обратном направлении. Совокупно выходит 672 Гбайт/с, что далеко от заявленных 900 Гбайт/с (75 % от теоретического максимума).

Источник: NVIDIA

Grace Hopper в силу своей конструкции предлагает два вида таблицы для страниц памяти: общесистемную (по умолчанию страницы размером 4 Кбайт или 64 Кбайт), которая охватывает CPU и GPU, и эксклюзивную для GPU-части (2 Мбайт). При этом скорость инициализации зависит от того, откуда приходит запрос. Если инициализация памяти происходит на стороне CPU, то данные по умолчанию помещаются в LPDDR5x, к которой у GPU-части есть прямой доступ посредством NVLink C2C (без миграции), а таблица памяти видна и GPU, и CPU.

Источник: arxiv.org

Если же памятью управляет не ОС, а CUDA, то инициализацию можно сразу организовать на стороне GPU, что обычно гораздо быстрее, а данные поместить в HBM. При этом предоставляется единое виртуальное адресное пространство, но таблиц памяти две, для CPU и GPU, а сам механизм обмена данными между ними подразумевает миграцию страниц. Впрочем, несмотря на наличие NVLink C2C, идеальной остаётся ситуация, когда GPU-нагрузке хватает HBM, а CPU-нагрузкам достаточно LPDDR5x.

Источник: arxiv.org

Также исследователи затронули вопрос производительности при использовании страниц памяти разного размера. 4-Кбайт страницы обычно используются процессорной частью с LPDDR5X, а также в тех случаях, когда GPU нужно получить данные от CPU через NVLink-C2C. Но как правило в HPC-нагрузках оптимальнее использовать 64-Кбайт страницы, на управление которыми расходуется меньше ресурсов. Когда же доступ в память хаотичен и непостоянен, страницы размером 4 Кбайт позволяют более тонко управлять ресурсами. В некоторых случаях возможно двукратное преимущество в производительности за счёт отсутствия перемещения неиспользуемых данных в страницах объёмом 64 Кбайт.

В опубликованной работе отмечается, что для более глубокого понимания механизмов работы унифицированной памяти у гетерогенных решений, подобных Grace Hopper, потребуются дальнейшие исследования.

Компания Micron Technology объявила о старте рассылки образцов модулей памяти DDR5 MRDIMM (Multiplexed Rank Dual Inline Memory Module), специально разработанной для приложений ИИ и HPC. По сравнению с обычными RDIMM у модулей MRDIMM до 39 % выше пропускная способность памяти, на 15 % выше эффективность работы шины и до 40 % ниже задержка. MRDIMM-модули будут иметь ёмкость 32, 64, 96, 128 и 256 Гбайт.

Модули памяти обеспечивают скорость передачи данных 8800 МТ/с и выпускаются в двух форматах: стандартной и увеличенной (TFF, Tall Form Factor) высоты, которые подходят для серверов высотой 1U и 2U. Благодаря улучшенной конструкции модулей TFF температура DRAM снижается до 20 °С при той же мощности и потоке воздуха, обеспечивая более эффективное охлаждение в ЦОД и оптимизируя общее энергопотребление системы для рабочих нагрузок с интенсивным использованием памяти.

Источник изображения: Micron Technology

Сообщается, что новое предложение представляет собой первое поколение семейства Micron MRDIMM и будет совместимо только с процессорами Intel Xeon 6, поскольку стандарт JEDEC для памяти MRDIMM официально ещё не выпущен. Массовые поставки Micron MRDIMM начнутся во II половине 2024 года. Компания сообщила, что последующие поколения MRDIMM будут по-прежнему обеспечивать до 45 % лучшую пропускную способность памяти на канал по сравнению с RDIMM аналогичного поколения.

Ранее образцы MRDIMM (или MR-DIMM) показала ADATA. А SK hynix совместно с Intel и Renesas ещё в конце 2022 года объявила о создании похожего типа памяти — DDR5 MCR (Multiplexer Combined Ranks) DIMM. Весной этого года Micron также показала образцы DDR5-8800 MCR DIMM.