В 2024 году нельзя пожаловаться на отсутствие подходящего интерконнекта, если целью является «сшивка» в единую систему сотен, тысяч или даже десятков тысяч ускорителей. Есть NVIDIA NVLink и InfiniBand. Google использует оптические коммутаторы OCS, AMD вскоре выведет Infinity Fabric на межузловой уровень, да и старый добрый Ethernet отнюдь не собирается сдавать позиций и обретает новую жизнь в виде Ultra Ethernet.

Проблема не в наличии и выборе подходящего интерконнекта, а в резкой потере пропускной способности за пределами упаковки чипа (т.н. Memory Wall). Да, память HBM быстра, но намертво привязана к вычислительным ресурсам, а в итоге, как отметил глава Celestial AI в комментарии изданию The Next Platform, индустрия ИИ использует ускорители NVIDIA в качестве самых дорогих в мире контроллеров памяти.

Celestial AI ещё в прошлом году объявила, что ставит своей целью создание универсального «умного» интерконнекта на основе фотоники, который смог бы использоваться во всех нишах, требующих активного обмена большими потоками данных, от межкристалльной (chip-to-chip) до межузловой (node-to-node). Недавно она получила дополнительный пакет инвестиций объёмом $175 млн.

Источник изображений здесь и далее: Celestial AI

Технология, названная Photonic Fabric, если верить заявлениям Celestial AI, способна в 25 раз увеличить пропускную способность и объёмы доступной памяти при на порядок меньшем энергопотреблении в сравнении с существующими системами соединений. Развивается она в трёх направлениях: чиплеты, интерпозеры и оптический аналог технологии Intel EMIB под названием OMIB.

Наиболее простым способом интеграции своей технологии Celestial AI справедливо считает чиплеты. В настоящее время разработанный компанией модуль обеспечивает пропускную способность за пределами чипа на уровне 14,4 Тбит/с (1,8 Тбайт/с), а по размерам он немного уступает стандартной сборке HBM. Но это лишь первое поколение: во втором поколении Photonic Fabric 56-Гбит/с SerDes-блоки SerDes будут заменены на блоки класса 112 Гбит/с (PAM4).

Пресловутая «Стена Памяти»

Поскольку речь идёт о системах с дезагрегацией ресурсов, проблему быстрого доступа к большому объёму памяти Celestial AI предлагает решить следующим образом: новый чиплет, содержащий помимо интерконнекта две сборки HBM общим объёмом 72 Гбайт, получит также поддержку четырёх DDR5 DIMM суммарным объёмом до 2 Тбайт. С использованием 5-нм техпроцесса такой чиплет сможет легко превратить HBM в быстрый сквозной кеш (write through) для DDR5.

Фактически речь идёт об относительно простом и сравнительно доступном способе превратить любой процессор с чиплетной компоновкой в дезагрегированный аналог Intel Xeon Max или NVIDIA Grace Hopper. При этом латентность при удалённом обращении к памяти не превысит 120 нс, а энергозатраты в данном случае составят на порядок меньшую величину, нежели в случае с NVLink — всего 6,2 пДж/бит против 62,5 пДж/бит у NVIDIA.

Новый чиплет Celestial породнит HBM с DDR5 теснее, нежели это сделала NVIDIA

Таким образом, с использованием новых чиплетных контроллеров памяти становятся реальными системы, где все чипы, от CPU до сетевых процессоров и ускорителей, будут объединены единым фотонным интерконнектом и при этом будут иметь общий пул памяти DDR5 большого объёма с эффективным HBM-кешированием. По словам Celestial AI, она уже сотрудничает с некоторыми гиперскейлерами и с одним «крупным производителем процессоров».

По словам руководителя Celestial AI, образцы чиплетов с поддержкой Photonic Fabric появятся во II половине 2025 года, а массовое внедрение начнется уже в 2027 году. Однако это может оказаться гонкой на выживание: Ayar Labs, другой разработчик фотоники, получившая поддержку со стороны Intel, уже показала прототип процессора с интегрированным фотонным интерконнектом.

А Lightmatter ещё в декабре получила финансирование в объёме $155 млн на разработку фотонного интерпозера Passage и якобы уже сотрудничает с клиентами, заинтересованными в создании суперкомпьютера с 300 тыс. узлов. Нельзя сбрасывать со счетов и Eliyan, предлагающую вообще отказаться от технологии интерпозеров и заменить её на контроллеры физического уровня NuLink.

Компания Micron, по сообщению ресурса Tom's Hardware, продемонстрировала на конференции NVIDIA GTC 2024 модули оперативной памяти MCR DIMM ёмкостью 256 Гбайт для серверов следующего поколения, в том числе для систем, построенных на процессорах Intel Xeon Granite Rapids. Модули имеют увеличенную высоту, но Micron также намерена выпустить варианты стандартной высоты для серверов типоразмера 1U.

Изделия соответствуют стандарту DDR5-8800. С каждой стороны модуля расположены по 40 чипов памяти. Заявленное энергопотребление изделия составляет 20 Вт, тогда как у RDIMM объёмом 128 Гбайт при использовании профиля DDR5-4800 оно равно 10 Вт. Новые изделия Micron позволяют оснащать серверы 3 Тбайт памяти при наличии 12 слотов ОЗУ и 6 Тбайт при наличии 24 слотов.

Источник изображения: Micron

MCR DIMM использует специальный буфер между DRAM и CPU, который позволяет двум физическим рангам функционировать так, как если бы они были двумя отдельными модулями памяти, работающими параллельно. Это позволяет извлекать из памяти вдвое больше данных за каждый такт, а также увеличить скорость обмена информацией с CPU. Таким образом, можно одновременно поднять и ёмкость, и производительность памяти.

SK hynix также поддерживает MCR DIMM, а вот AMD и JEDEC готовят альтернативный стандарт MRDIMM, который тоже поддерживает создание высокоёмких модулей DDR5-8800. Впрочем, концептуально оба решения восходят к OMI/DDIMM от IBM и даже FB-DIMM.

Компания Apacer, сообщила о доступности, как утверждается, первых в мире модулей оперативной памяти стандарта DDR5, компоненты которых полностью не содержат свинца. Изделия превосходят требования действующей директивы защиты окружающей среды RoHS, принятой Европейским союзом.

Отмечается, что обычные модули ОЗУ, представленные на рынке, содержат свинец в своих резисторных элементах. Вместе с тем во всём миру принимаются всё более жёсткие экологические нормы, требующие в том числе отказа от применения этого тяжёлого металла.

Источник изображения: Apacer

Чтобы решить указанную проблему, компания Apacer после длительного периода исследований и разработок успешно создала полностью бессвинцовые модули памяти с резисторными компонентами нового типа. Эти решения в полной мере соответствуют стандартам RoHS без потери производительности.

В семействе представлены модули (ECC) UDIMM, (ECC) SO-DIMM и RDIMM стандарта DDR5-4800/5600. Напряжение питания во всех случаях равно 1,1 В; диапазон рабочих температур простирается от 0 до +85 °C. Изделия UDIMM и SO-DIMM доступны в вариантах ёмкостью 8, 16 и 32 Гбайт, а ECC UDIMM и ECC SO-DIMM — 16 и 32 Гбайт. В случае RDIMM объём варьируется от 16 до 128 Гбайт. В качестве сфер применения модулей названы оборона, автоматизация производства, здравоохранение, Интернет вещей, серверы, сетевое оборудование и пр.

Компания Rambus анонсировала первый в отрасли чип RCD (Registering Clock Driver) четвёртого поколения, предназначенный для создания высокопроизводительных модулей регистровой оперативной памяти DDR5 (RDIMM) для серверов. RCD действует как буфер между компонентами DRAM и контроллером памяти, что позволяет использовать в одном модуле больше компонентов DRAM для достижения более высокой ёмкости. Образцы новинки уже поставляются производителям ОЗУ.

Источник изображения: Rambus

Новый чип Rambus RCD позволяет выпускать серверные модули DDR5 RDIMM со скоростью передачи данных до 7200 МТ/с. Прирост производительности, как отмечается, составляет 50 % по сравнению с современными изделиями DDR5-4800. Повышение пропускной способности ОЗУ, по заявлениям Rambus, необходимо для эффективного решения задач в области генеративного ИИ, стремительно набирающего популярность. Кроме того, модули DDR5-7200 помогут ускорить выполнение рабочих нагрузок в дата-центрах.

Компания Micron Technology анонсировала модули оперативной памяти DDR5-8000 RDIMM ёмкостью 128 Гбайт для дата-центров и облачных платформ. Изделия рассчитаны на использование в системах с высокими вычислительными нагрузками: это могут быть ресурсоёмкие приложения ИИ, резидентные базы данных и пр.

Модули выполнены на основе монолитных чипов на 32 Гбит по технологии 1β (1-бета) — самому передовому технологическому процессу производителя. Применяется инновационная архитектура кристалла, обеспечивающая максимальную эффективность массива, а также самую высокую плотность DRAM.

Источник изображения: Micron

Задействованная технология, как утверждается, обеспечивает ряд преимуществ перед конкурирующей 3DS TSV (through-silicon via). Заявлено повышение битовой плотности более чем на 45 %, увеличение энергоэффективности до 24 %, снижение задержек до 16 % и повышение эффективности обучения ИИ до 28 %.

Реализована функция управления напряжением питания, которая помогает оптимизировать энергопотребление. Номинальное напряжение VDD, VDDQ и VPP равно соответственно 1,1 В, 1,1 В и 1,8 В. Диапазон рабочих температур простирается от 0 до +95 °C.

В 2024 году компания Micron намерена организовать поставки модулей DDR5 RDIMM на 128 Гбайт с частотой 4800, 5600 и 6400 МГц, а позднее появятся изделия с частотой до 8000 МГц.

Компания TeamGroup анонсировала модули оперативной памяти DDR5 VLP ECC U-DIMM, предназначенные для использования в дата-центрах. Особенностью изделий является низкопрофильное исполнение, благодаря чему они могут устанавливаться в устройства с ограниченным пространством внутри корпуса, например, в blade-серверы.

Модули доступны в модификациях DDR5-4800 и DDR5-5600. Ёмкость варьируется от 16 до 48 Гбайт. Высота изделий DDR5 VLP ECC U-DIMM составляет только 18,7 мм.

Источник изображения: TeamGroup

Применяя запатентованную технологию тестирования микросхем, TeamGroup отбирает наиболее качественные чипы, чтобы обеспечить стабильность и надёжность, а также минимизировать количество сбоев. Предусмотрены варианты со стандартным и расширенным диапазоном рабочих температур: во втором случае он простирается от -40 до +85 °C. Защита от серы и специальное покрытие позволяют эксплуатировать модули в неблагоприятных условиях.

Компания TeamGroup отмечает, что продолжает активно заниматься исследованиями и разработками в области памяти DDR5, тесно сотрудничая с участниками рынка. Это гарантирует совместимость с различными аппаратными платформами, включая решения промышленного класса, сообщается в пресс-релизе.

Компания Micron Technology анонсировала доступность первых партий CXL-модулей расширения памяти CZ120 для своих партнёров. Новые модули соответствуют стандарту CXL 2.0 Type 3 и имеют двухканальную архитектуру. Они выполнены в форм-факторе E3.S 2T (PCI Express 5.0 x8) и представлены в вариантах ёмкостью 128 и 256 Гбайт.

Заявленная пропускная способность новых модулей благодаря фирменной двухканальной архитектуре составляет 36 Гбайт/с (впрочем, это может быть опечатка). В качестве сценариев применения своих новинок Micron называет ситуации, где из-за возросших нагрузок требуется всё больший объём памяти, например, для работы с ИИ или in-memory задачами — с восемью модулями CZ120 можно дополнительно получить до 2 Тбайт RAM. Также новинки должны заинтересовать гиперскейлеров.

Источник изображений здеь и далее: Micron Technology

Но дело не только в объёмах — CZ120 выручит и там, где требуется дополнительная пропускная способность. В варианте с восемью модулями это означает дополнительные 256 Гбайт/с. CXL-модули несколько проигрывают в латентности традиционным DIMM, но «штраф» в этом случае не больше, нежели один переход в NUMA-системе.

В настоящее время компания тесно сотрудничает с Intel в деле валидации модулей CZ120 на платформе Xeon Sapphire Rapids, которая в полном объёме поддерживает лишь CXL 1.1, но не 2.0. Также новинки показали отличный результат на платформе AMD EPYC 9754 (Bergamo) в тестах TPC-H, сообщил представитель AMD.

Стоит отметить, что Micron не первой освоила DRAM-модули CXL 2.0 — ещё в мае Samsung представила свои модули объёмом 128 Гбайт в форм-факторе E3.S, всего год спустя после анонса первых в мире CXL-модулей DDR5. Свои E3.S-решения также представили SK hynix и ADATA, а Astera Labs и Montage Technology предложили экспандеры в форм-факторе плат расширения.

Компания Team Group анонсировала модули оперативной памяти стандарта DDR5 для промышленного и коммерческого секторов. Это могут быть встраиваемые компьютеры, системы периферийных вычислений, высокопроизводительные рабочие станции, автомобильные компьютеры и пр.

Отмечается, что обычно промышленная память DDR5 имеет ёмкость до 32 Гбайт на модуль. Однако с развитием облачных вычислений, IoT, платформ ИИ и Big Data потребность в наращивании ёмкости DDR5 возрастает.

Источник изображения: Team Group

Чтобы удовлетворить спрос в корпоративном сегменте, Team Group увеличила объём промышленных изделий DDR5 до 48 Гбайт. Кроме того, заказчикам будут предлагаться решения ёмкостью 24 Гбайт. Они, как говорится, обеспечивают более высокую гибкость при развёртывании приложений разного типа и позволяют клиентам лучше справляться с обработкой больших массивов данных, сложным моделированием и аналитическими задачами.

Вся промышленная память Team Group стандарта DDR5 может быть оснащена запатентованными графеновыми радиаторами, которые обеспечивают более высокую и стабильную производительность в различных температурных условиях. Новая память доступна в различных вариантах исполнения — DDR5 non-ECC U/SO-DIMM, DDR5 ECC U/SO-DIMM и DDR5 ECC R-DIMM.

Чем активнее внедряются ИИ-системы, тем важнее становится роль памяти HBM и DDR5, а в особенности её энергоэффективность. Так, в крупномасштабных системах на базе NVIDIA A100 на долю памяти может приходиться до 40 % потребляемой энергии. Неудивительно, что крупные производители памяти объединяют свои усилия с академическими кругами, чтобы разработать более экономичную память нового поколения.

В частности, Samsung на базе CXL и 12-нм техпроцесса уже разработала чипы DDR5 ёмкостью 16 Гбайт, который на 23 % экономичнее в сравнении с аналогичными чипами предыдущего поколения. В содействии с Сеульским национальным университетом (Seoul National University) Samsung продолжает вести работы по дальнейшему снижению энергопотребления. Сам университет также ведёт исследования в этом направлении и уже разработал новую технологию DRAM Translation Layer. Ожидается, что её внедрение поможет снизить энергопотребление DRAM ещё на 31,6 %.

Источник: SK Hynix

Не отстаёт от Samsung и другой крупный производитель устройств памяти, компания SK Hynix. Она представила новое поколение LPDDR5X, в котором применен техпроцесс High-K Metal Gate (HKMG). Благодаря материалу с оптимизированной диэлектрической проницаемостью удалось впятеро повысить заряд в ячейке, снизив при этом токи утечки. В итоге новая память LPDDR5X от SK Hynix может похвастаться на 33 % более высокой производительностью при 20 % экономии в энергопотреблении, в сравнении с предыдущим поколением.

Компания Team Group анонсировала индустриальные модули оперативной памяти DDR5 WT U-DIMM и DDR5 WT SO-DIMM, а также SSD серии N745-M80. Продукты предназначены для эксплуатации в экстремальных условиях: это могут быть автомобильные компьютеры, встраиваемые безвентиляторные системы, промышленное оборудование и пр.

Модули DDR5 WT U-DIMM и DDR5 WT SO-DIMM доступны в вариантах с частотой 4800 и 5600 МГц. Ёмкость может составлять 8, 16 и 32 Гбайт. Диапазон рабочих температур — от -40 до +85 °C. Напряжение питания равно 1,1 В.

Накопители N745-M80 выполнены в формате М.2 2280. Применены микрочипы флеш-памяти 3D TLC, а для обмена данными служит интерфейс PCIe 3.0 x4. Доступны три варианта — вместимостью 256 и 512 Гбайт, а также 1 Тбайт. Заявленная скорость последовательного чтения информации достигает 2100 Мбайт/с, скорость последовательной записи — 1700 Мбайт/с. Величина MTBF превышает 3 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Источник изображения: Team Group

Team Group подчёркивает, что все представленные продукты способны переживать повышение температуры до +105 °C. Они соответствуют стандартам MIL-STD-202G, MIL-STD-883K и MIL-STD810G, что означает устойчивость к ударам и другим физическим воздействиям. На память DDR5 предоставляется пожизненная гарантия, на SSD — трёхлетняя.