Компания Micron Technology анонсировала модули оперативной памяти DDR5-8000 RDIMM ёмкостью 128 Гбайт для дата-центров и облачных платформ. Изделия рассчитаны на использование в системах с высокими вычислительными нагрузками: это могут быть ресурсоёмкие приложения ИИ, резидентные базы данных и пр.

Модули выполнены на основе монолитных чипов на 32 Гбит по технологии 1β (1-бета) — самому передовому технологическому процессу производителя. Применяется инновационная архитектура кристалла, обеспечивающая максимальную эффективность массива, а также самую высокую плотность DRAM.

Источник изображения: Micron

Задействованная технология, как утверждается, обеспечивает ряд преимуществ перед конкурирующей 3DS TSV (through-silicon via). Заявлено повышение битовой плотности более чем на 45 %, увеличение энергоэффективности до 24 %, снижение задержек до 16 % и повышение эффективности обучения ИИ до 28 %.

Реализована функция управления напряжением питания, которая помогает оптимизировать энергопотребление. Номинальное напряжение VDD, VDDQ и VPP равно соответственно 1,1 В, 1,1 В и 1,8 В. Диапазон рабочих температур простирается от 0 до +95 °C.

В 2024 году компания Micron намерена организовать поставки модулей DDR5 RDIMM на 128 Гбайт с частотой 4800, 5600 и 6400 МГц, а позднее появятся изделия с частотой до 8000 МГц.

Компания Everspin Technologies, разработчик магниторезистивной памяти с произвольным доступом (MRAM), анонсировала новые чипы STT-MRAM высокой плотности семейства EMxxLX. Изделия рассчитаны на применение в устройствах промышленного Интернета вещей, системах автоматизации, медицинских приборах, авиационном оборудовании и пр.

Утверждается, что EMxxLX — это наиболее высокопроизводительная энергонезависимая память, доступная в настоящее время на коммерческом рынке. Задействована технология STT-MRAM, то есть запись данных с помощью переноса спинового момента.

Источник изображения: Everspin

Память Everspin использует последовательный интерфейс xSPI. Заявленная скорость передачи информации в режимах чтения и записи достигает 400 Мбайт/с через восемь IO-линий с тактовой частотой 200 МГц. Плотность анонсированных изделий варьируется от 4 до 64 Мбит. Использована корпусировка DFN размером 5 × 6 мм, которая обеспечивает экономию площади на 37 % по сравнению с существующими решениями. Диапазон рабочих температур простирается от -40 до +105 °C.

Разработчик заявляет, что решения EMxxLX могут стать альтернативой SRAM, BBSRAM, FRAM, NVSRAM и NOR. В настоящее время поставляются образцы EMxxLX ёмкостью 4 Мбит.

Компания Samsung Electronics в ходе ежегодного мероприятия Memory Tech Day сообщила о начале поставок образцов микросхем памяти HBM3E нового поколения с кодовым названием Shinebolt. Утверждается, что изделия Shinebolt обеспечивают прирост производительности примерно на 50 % по сравнению с чипами HBM3E предыдущего поколения (Icebolt). Пропускная способность в расчёте на контакт достигает 9,8 Гбит/с против 6,4 Гбит/с у Icebolt.

Источник изображения: Samsung

Таким образом, общая пропускная способность микросхем Shinebolt составляет до 1,228 Тбайт/с. Это позволяет использовать память в высоконагруженных системах, обрабатывающих приложения генеративного ИИ и машинного обучения. С целью повышения плотности компоновки и улучшения тепловых характеристик Samsung оптимизировала свою технологию непроводящей пленки (NCF): это позволило минимизировать зазоры между слоями чипа и максимизировать теплопроводность. Samsung планирует производить 12-ярусные чипы Shinebolt с максимальной ёмкостью 36 Гбайт.

Среди других продуктов, представленных компанией Samsung на мероприятии Memory Tech Day, — 32-гигабитные чипы DDR5 DRAM, первая в отрасли память GDDR7 с пропускной способностью 32 Гбит/с и архитектура PBSSD для создания решений «петабайтного класса».

Компания TeamGroup анонсировала модули оперативной памяти DDR5 VLP ECC U-DIMM, предназначенные для использования в дата-центрах. Особенностью изделий является низкопрофильное исполнение, благодаря чему они могут устанавливаться в устройства с ограниченным пространством внутри корпуса, например, в blade-серверы.

Модули доступны в модификациях DDR5-4800 и DDR5-5600. Ёмкость варьируется от 16 до 48 Гбайт. Высота изделий DDR5 VLP ECC U-DIMM составляет только 18,7 мм.

Источник изображения: TeamGroup

Применяя запатентованную технологию тестирования микросхем, TeamGroup отбирает наиболее качественные чипы, чтобы обеспечить стабильность и надёжность, а также минимизировать количество сбоев. Предусмотрены варианты со стандартным и расширенным диапазоном рабочих температур: во втором случае он простирается от -40 до +85 °C. Защита от серы и специальное покрытие позволяют эксплуатировать модули в неблагоприятных условиях.

Компания TeamGroup отмечает, что продолжает активно заниматься исследованиями и разработками в области памяти DDR5, тесно сотрудничая с участниками рынка. Это гарантирует совместимость с различными аппаратными платформами, включая решения промышленного класса, сообщается в пресс-релизе.

Компания Everspin Technologies, разработчик магниторезистивной памяти с произвольным доступом (MRAM), обнародовала показатели деятельности во II четверти 2023 года, которая была закрыта 30 июня. Общая выручка составила $15,7 млн, что на 7 % большее прошлогоднего результата, равного $14,7 млн.

Продажи MRAM-продуктов, включая Toggle MRAM и STT-MRAM, за трёхмесячный период оказались на уровне $13,4 млн. Это незначительно больше результата годичной давности, когда соответствующие изделия принесли $13,2 млн.

Источник изображения: Everspin

Денежные поступления от лицензирования, выплаты роялти и других направлений деятельности составили около $2,3 млн, тогда как во II квартале 2022 года этот показатель был зафиксирован на отметке около $1,5 млн.

Чистая квартальная прибыль, рассчитанная в соответствии с общепризнанными принципами бухгалтерского учёта (GAAP), достигла $3,9 млн, или приблизительно $0,19 в пересчёте на одну ценную бумагу. Для сравнения: годом ранее эти показатели равнялись соответственно $1,7 млн и $0,08. Таким образом, Everspin увеличила чистую прибыль более чем в два раза. В целом, компания сохраняет прибыльность девять кварталов подряд, что говорит об устойчивости бизнеса.

В текущем квартале Everspin рассчитывает показать выручку от $15,4 млн до $16,4 млн. Чистая прибыль, как ожидается, будет лежать в диапазоне от $0,01 до $0,06 на одну ценную бумагу.

Компания SK hynix объявила о разработке самой высокопроизводительной в мире памяти HBM3E, предназначенной для использования в современных ИИ-системах. Образцы изделий уже поставляются отдельным заказчикам для оценки технических характеристик.

HBM3E — это пятое поколение памяти данного типа, приходящее на смену изделиям HBM, HBM2, HBM2E и HBM3. HBM3E представляет собой улучшенную версию HBM3. Массовое производство HBM3E компания SK hynix намерена организовать в первой половине следующего года.

Источник изображения: SK hynix

По заявлениям разработчика, память HBM3E соответствует самым высоким отраслевым стандартам скорости передачи данных. Таким образом, изделия подходят для применения в наиболее нагруженных ИИ-платформах. Кроме того, при создании памяти были учтены жёсткие требования в плане рассеяния тепла. Утверждается, что изделия HBM3E способны перемещать информацию со скоростью до 1,15 Тбайт/с.

При изготовлении чипов компания SK hynix применяет технологию Advanced Mass Reflow Molded Underfill (MR-MUF), представляющую собой метод объединения нескольких чипов памяти на одной подложке посредством спайки. Это даёт возможность улучшить теплоотведение приблизительно на 10%. Говорится об обратной совместимости с HBM3, что упрощает внедрение новой памяти.

По оценкам, доля SK hynix на мировом рынке памяти HBM по итогам 2022 года составила приблизительно 50 %. В текущем году, как ожидается, этот показатель окажется на уровне 46–49 %, в 2024 году — 47–49 %.

Компания TrendForce опубликовала свежий прогноз по глобальному рынку чипов памяти HBM: аналитики полагают, что спрос на эту продукцию будет быстро расти на фоне стремительно развивающихся ИИ-технологий. Объём поставок HBM в 2024 году может увеличиться на 105 % по сравнению с 2023-м, при этом ожидается смещение фокуса с изделий HBM2e в сторону HBM3.

В 2022 году, как отмечает TrendForce, около 70 % поставок пришлось на чипы HBM2e, тогда как доля HBM3 составила только 8 %. В 2023-м, как ожидается, эти показатели окажутся на уровне 50 % и 39 % соответственно. А в 2024 году решения HBM3 уйдут в отрыв, показав  результат примерно 60 % против 25 % у HBM2e.

Источник изображения: TrendForce

Анализ TrendForce показывает, что 2023–2024 гг. станут ключевыми для развития ИИ, что вызовет значительный рост спроса на чипы HBM. Однако надвигающийся бум производства HBM поставил поставщиков в затруднительное положение: им необходимо найти баланс между удовлетворением потребностей клиентов и недопущением формирования складских излишков из-за перепроизводства. Ещё одной проблемой является потенциальный риск «раздутого» бронирования, поскольку заказчики, ожидающие нехватку HBM, могут переоценить свои потребности.

В настоящее время SK hynix удерживает лидерство в производстве HBM, выступая в качестве основного поставщика таких чипов для ускорителей NVIDIA. Доля SK hynix по итогам 2022 года составила приблизительно 50 %. Ещё 40 % досталось Samsung, оставшиеся 10 % — Micron. В 2023 году, полагает TrendForce, доли SK hynix и Samsung будут колебаться в пределах 46–49 %, а доля Micron составит 4–6 %. В следующем году, согласно прогнозам, позиции SK hynix и Samsung окажутся в диапазоне 47–49 %. Micron будет удерживать 3–5 % отрасли.

Несмотря на то, что поставщики ещё не завершили разработку своих ценовых политик на 2024 год, TrendForce не исключает возможности дальнейшего снижения цен на продукты HBM2 и HBM2e. А вот цены на HBM3, по прогнозам, останутся такими же, как и в 2023 году.

На конференции Flash Memory Summit южнокорейская компания Panmnesia продемонстрировала свою версию CXL-пула DRAM объёмом 6 Тбайт на базе программно-аппаратного стека собственной разработки. Новинка продемонстрировала более чем троекратное превосходство над системой, построенной на базе технологии RDMA, в нагрузках, связанной с работой рекомендательной ИИ-системы Meta✴.

Panmnesia разработана в сотрудничестве с Корейским инститом передовых технологий (KAIST). О более раннем варианте разработок KAIST в этой области мы рассказывали в 2022 году. Коммерческий вариант комплекса поддерживает CXL 3.0 и состоит из CXL-процессора, коммутатора и модулей расширения памяти. Все модули выполнены в форм-факторе, чрезвычайно напоминающем FHFL-карты. Модули устанавливаются в универсальное шасси, при этом их можно произвольно комбинировать.

Источник изображений здесь и далее: Panmnesia

Демо-платформа содержала два процессорных модуля, три модуля коммутации и шесть 1-Тбайт модулей памяти. Модули памяти построены на базе обыкновенных DIMM-планок и поддерживают их замену и расширение. Реализован не только режима CXL.mem, но и CXL.cache и CXL.io. При этом компания предлагает не только готовые IP-решения, но и их кастомизацию под конкретного заказчика, что поможет оптимизировать цикл создания продукта и снизить общую стоимость разработки и валидации.

Фирменное ПО базируется на Linux и содержит необходимые драйверы, а также специализированную виртуальную машину, с помощью которой пространство памяти представляется в виде безпроцессорного NUMA-узла. Поверх этих компонентов функционирует пользовательская часть, отвечающая за эффективное размещение и предвыборку (prefetching) данных.

По ряду параметров Panmnesia можно назвать лидером в области CXL-решений. В частности, по объёму DRAM она уже обгоняет совместное решение Samsung, MemVerge, H3 и XConn, а использование DIMM-модулей только придаёт ей гибкости. Развитая программная часть, как утверждается, упрощает и удешевляет интеграцию в существующую инфраструктуру ЦОД.

Спектр применения, как и у всех систем CXL-пулинга, крайне широкий и включает в себя не только ИИ-сценарии, но и любые задачи, требующие большого объёма оперативной памяти.

На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

Компания Micron Technology анонсировала доступность первых партий CXL-модулей расширения памяти CZ120 для своих партнёров. Новые модули соответствуют стандарту CXL 2.0 Type 3 и имеют двухканальную архитектуру. Они выполнены в форм-факторе E3.S 2T (PCI Express 5.0 x8) и представлены в вариантах ёмкостью 128 и 256 Гбайт.

Заявленная пропускная способность новых модулей благодаря фирменной двухканальной архитектуре составляет 36 Гбайт/с (впрочем, это может быть опечатка). В качестве сценариев применения своих новинок Micron называет ситуации, где из-за возросших нагрузок требуется всё больший объём памяти, например, для работы с ИИ или in-memory задачами — с восемью модулями CZ120 можно дополнительно получить до 2 Тбайт RAM. Также новинки должны заинтересовать гиперскейлеров.

Источник изображений здеь и далее: Micron Technology

Но дело не только в объёмах — CZ120 выручит и там, где требуется дополнительная пропускная способность. В варианте с восемью модулями это означает дополнительные 256 Гбайт/с. CXL-модули несколько проигрывают в латентности традиционным DIMM, но «штраф» в этом случае не больше, нежели один переход в NUMA-системе.

В настоящее время компания тесно сотрудничает с Intel в деле валидации модулей CZ120 на платформе Xeon Sapphire Rapids, которая в полном объёме поддерживает лишь CXL 1.1, но не 2.0. Также новинки показали отличный результат на платформе AMD EPYC 9754 (Bergamo) в тестах TPC-H, сообщил представитель AMD.

Стоит отметить, что Micron не первой освоила DRAM-модули CXL 2.0 — ещё в мае Samsung представила свои модули объёмом 128 Гбайт в форм-факторе E3.S, всего год спустя после анонса первых в мире CXL-модулей DDR5. Свои E3.S-решения также представили SK hynix и ADATA, а Astera Labs и Montage Technology предложили экспандеры в форм-факторе плат расширения.