Micron объявила о разработке первых в мире модулей оперативной памяти RDIMM DDR5 объёмом 512 Гбайт. Изделия рассчитаны на применение в высокопроизводительных серверах, ориентированных на ресурсоёмкие задачи, такие как обучение больших языковых моделей (LLM), приложения агентного ИИ, инференс в реальном времени, анализ огромных массивов данных и пр.

Представленные решения поддерживают скорость передачи данных до 9200 МТ/с. В модулях памяти кристаллы DRAM расположены вертикально друг над другом, что позволяет повысить плотность компоновки. Применяется технология сквозных соединений TSV (Through-Silicon Via).

Подчёркивается, что благодаря созданным изделиям RDIMM DDR5-9200 в одном двухсокетном сервере с 24 слотами DIMM может использоваться до 12 Тбайт ОЗУ. При этом достигается повышение энергоэффективности подсистемы RAM. Утверждается, что один модуль ёмкостью 512 Гбайт потребляет 16 Вт против 44,2 Вт у четырёх изделий на 128 Гбайт. Это соответствует выигрышу в 63,8 % при аналогичном общем объёме ОЗУ.

Источник изображения: Micron

Micron также заявляет, что в таких задачах, как аналитика данных в Apache Spark (SVM), новые модули памяти обеспечивают повышение производительности до 1,4 раза по сравнению с конфигурациями на базе DDR5 объёмом 256 Гбайт. Помимо этого, разработанные изделия предоставляют значительные преимущества для ресурсоёмких баз данных и платформ кеширования, включая RocksDB и Redis, повышая пропускную способность и улучшая параллелизм.

В тестировании модулей RDIMM DDR5-9200 на 512 Гбайт принимают участие AMD и Intel. Организовать массовое производство решений планируется во II половине следующего года.

Компания Primemas анонсировала CXL-решения, предназначенные для расширения памяти в ИИ-системах. Кроме того, объявлено о партнёрстве с Micron в рамках проекта Abaco.

В частности, дебютировали модули CXL, выполненные в виде карт расширения с интерфейсом PCIe. Изделия PMA14 и PMA16 оснащены соответственно 14 и 16 слотами RDIMM, что позволяет использовать до 3,5 и 4 Тбайт памяти DRAM (при установке изделий на 256 Гбайт). Применяется фирменная архитектура Primemas Hublet, которая даёт возможность формировать пулы памяти CXL огромной ёмкости.

Источник изображения: Primemas

Новые CXL-модули станут частью платформы Abaco — стоечной вычислительной системы с более чем 100 Тбайт памяти. Этот комплекс создаётся для Тихоокеанской северо-западной национальной лаборатории (PNNL) Министерства энергетики США (DoE). Предполагается, что Abaco будет использоваться для решения сложных задач в области ИИ и НРС, а также для обработки огромных массивов информации. Проект финансируется управлением научных исследований DoE в рамках программы перспективных научных вычислений (ASCR). Отмечается, что Abaco поможет решить проблему нехватки памяти в современных ИИ-инфраструктурах, когда GPU-ускорители вынуждены простаивать в ожидании данных для обработки.

Ещё одним решением Primemas является SLiM (Switchless Pooled Memory) — новая архитектура памяти, оптимизированная для рабочих нагрузок ИИ с интенсивным использованием KV-кеша. Эта система типоразмера 1U позволяет нескольким серверам получать доступ к десяткам терабайт общей DRAM со сверхнизкой задержкой, без необходимости внешних коммутаторов CXL.

Рост цен на чипы памяти может привести к тому, что к следующему году на расходы облачных операторов ЦОД, связанные с DRAM- и NAND-памятью будет приходиться более ⅔ от их капитальных затрат в целом, сообщает TrendForce. Аналитики прогнозируют, что общие капитальные расходы облачных операторов в этом году почти удвоятся (вырастут на 98 %), а в 2027 году увеличатся ещё на 50 %.

Быстрый рост отчасти обусловлен ростом инвестиций в новую инфраструктуру, но также и увеличением счетов за память. В результате, по оценкам TrendForce, на DRAM- и NAND-память будет приходиться 47 % всех расходов на оборудование в текущем году, в 2027 году показатель вырастет до 68 %.

Конкретных прогнозов выручки аналитики не приводят, но утверждают, что к концу 2026 года объём рынка серверной DRAM-памяти вырастет г/г на 270 %, а цены на SSD корпоративного класса — на 235 %. Дефицит высокопроизводительной памяти ведёт к тому, что производители отдают приоритет при производстве серверным продуктам. По оценкам TrendForce, на используемую ИИ-ускорителями HBM, а также RDIMM для серверов в совокупности придётся более половины поставок DRAM в текущем году.

Источник изображений: TrendForce

Это уже отразилось на ценах ПК, растущих двузначными темпами в процентном отношении из-за дефицита стандартных модулей памяти. В ответ на это поставки ПК упали на 5 %, а поставки смартфонов в текущем году, вероятно, упадут на 15 %. Корпоративным пользователям всё труднее игнорировать происходящее. Поскольку на память приходится всё большая доля капитальных затрат облачных провайдеров, весьма вероятно, что расходы в конечном итоге лягут на плечи клиентов.

Ранее в этом месяце европейский оператор ЦОД OVHcloud предупредил, что намерен повысить цены на 87 %, чтобы покрыть рост цен на память. Весьма вероятно, что его примеру последуют и другие провайдеры. Более того, TrendForce полагает, что дорожающая память позволит производителям серверов и чипов вроде оправдать рост цен и на свои решения. Так, NVIDIA уже предупредила крупных клиентов о росте цен на продукты на платформах Vera Rubin и Grace Blackwell на 15 %.

По мере развития рынка ИИ-агентов и активного внедрения ИИ-моделей с триллионами параметров производительность сопутствующей ИИ-инфраструктуры требует не только роста вычислительных мощностей, но и эффективного проектирования в рамках единой системы вычислений, памяти, сети и ПО. Для помощи гиперскейлерам и другим клиентам, использующим NVLink Fusion, компания предложила память NVHBM.

В традиционной архитектуре HBM-контроллер размещается на кристалле XPU, занимая некоторую площадь, которую можно было бы использовать для вычислений. NVHBM построена по той же технологии, что NVIDIA будет использовать в своих будущих GPU — кастомный контроллер памяти интегрируется в основной кристалл HBM, благодаря чему NVHBM обеспечит до 30 % роста пропускной способности памяти и до 15 % снижения энергопотребления, а также высвободит до 25 % больше площади основного кристалла XPU в сравнении со стандартной памятью HBM4E.

Источник изображения: NVIDIA

Стандартный вариант реализации NVHBM будет доступен у нескольких поставщиков памяти. Это должно снизить объём инженерных работ, необходимых для интеграции и сертификации памяти разных производителей. Заказчики NVLink Fusion смогут быстрее выводить на рынок специализированные ИИ-ускорители. Подразделение Annapurna Labs компании Amazon первым получит возможность поработать над NVHBM в рамках более широкого сотрудничества с NVIDIA по развитию NVLink Fusion, которое предполагает интеграцию NVLink Fusion в ИИ-ускорители Trainium4.

NVLink Fusion уже позволяет подключать XPU и CPU к стоечной платформе NVIDIA, партнёры компании могут получить доступ к чиплетам NVLink-C2C, сетевым коммутаторам NVLink и стойкам NVIDIA MGX. Также возможно использование широкой номенклатуры CPU различных партнёров, разработчиков ASIC и др.

Компания Pine64, разрабатывающая одноплатные компьютеры с поддержкой Linux и другие продукты, сообщила о приостановке выпуска устройств. Причина — дефицит комплектующих, прежде всего чипов оперативной и флеш-памяти. Цены на эти компоненты продолжают расти, что создаёт производственные трудности и снижает рентабельность бизнеса.

В официальном заявлении Pine64 говорится, что из-за сформировавшейся нехватки изделий DRAM и eMMC выпуск новых устройств на Linux в ближайшее время не планируется. Будет ли производство возобновлено в обозримом будущем, зависит от цен на эти компоненты после середины 2027 года. При этом компания намерена продолжить поставки решений на базе микроконтроллеров.

«В целом, ситуация с Linux-устройствами не самая радужная, но в магазине PineStore по-прежнему доступны устройства на базе MCU — ассортимент таких продуктов в дальнейшем будет расширяться», — сказано в заявлении Pine64. Таким образом, купить оборудование Pine64 под управлением Linux будет невозможно после исчерпания оставшихся запасов. При этом компания продолжит реализацию таких товаров, как умные часы PineTime, блок питания PinePower и пр.

Источник изображения: Pine64

Между тем другие участники рынка на фоне дефицита чипов памяти вынуждены поднимать цены на свои продукты. В частности, значительно увеличилась стоимость популярных одноплатных компьютеров и вычислительных модулей Raspberry Pi: некоторые решения подорожали сразу на $150. Кроме того, NVIDIA подняла цены на модули Jetson — стоимость отдельных устройств подскочила вдвое. Вместе с тем продолжается стремительный рост цен на SSD корпоративного класса.

Компания Renesas Electronics анонсировала чипсет третьего поколения для модулей оперативной памяти DDR5 Multiplexed Rank Dual In-Line Memory Module (MRDIMM). Изделия ориентированы на применение в системах для ИИ ЦОД, облачных платформ и других инфраструктур, рассчитанных на ресурсоёмкие задачи.

В состав решения Renesas входят такие компоненты, как MRCD (Multiplexed Registering Clock Driver) для управления тактовыми сигналами, MDB (Multiplexed Data Buffer) для работы с буфером данных, PMIC (Power Management IC) для управления питанием, датчики температуры и пр. Кроме того, реализован инструментарий Device Equalization Self-Train Mode (DESTM) Quality Indication Status, который в числе прочего помогает точнее настраивать тайминги, чтобы максимально раскрыть потенциал системы.

Источник изображения: Renesas Electronics

Чипсет Renesas третьего поколения обеспечивает скорость до 16 000 МТ/с. Это, как утверждается, что 25 % больше по сравнению с изделиями предыдущего поколения. При этом используется существующая инфраструктура DDR5. Таким образом, производители и интеграторы могут увеличить производительность подсистемы памяти серверного оборудования на четверть без внесения каких-либо изменений на уровне аппаратной платформы. Кроме того, говорится о высокой энергетической эффективности.

Renesas уже начала пробные поставки компонентов MRDIMM Gen 3 MRCD (RRG5013x) и MDB (RRG5103x) некоторым клиентам, включая ведущих производителей памяти DRAM. Предполагается, что на коммерческом рынке модули DDR5-16000 MRDIMM появятся во II половине следующего года.

Южная Корея анонсировала масштабный инвестиционный план с целью ускорения технологического развития страны, включающий три мегапроекта, которые направлены на укрепление цепочек поставок полупроводников, создание инфраструктуры ИИ и развитие индустрии физического ИИ. Об этом сообщил президент Ли Чжэ Мён (Lee Jae Myung) в ходе брифинга с участием глав Samsung Electronics и SK hynix, а также ряда других компаний.

«Мы должны создать основные строительные блоки ИИ быстрее, чем любая другая страна, — сказал Ли. — Полупроводники, физический ИИ и ИИ ЦОД — это три столпа нашего следующего большого шага вперёд». Он подчеркнул, что синергия между полупроводниками, ЦОД и физическим ИИ позволит Южной Корее стать мировым лидером в революции ИИ. «Когда эти три столпа будут работать вместе, как взаимосвязанные шестерни, Корея станет ведущей мировой промышленной державой в эпоху ИИ», — сообщил президент. Согласовывая расширение производства полупроводников с ростом мощностей ИИ ЦОД и развитием физического ИИ, Южная Корея стремится создать вертикально интегрированную экосистему ИИ.

Национальные цели включают удвоение производства DRAM в течение пяти лет и расширение вычислительных мощностей для ИИ примерно до 18,4 ГВт к 2035 году. Президент назвал программу «стратегией выживания нации» в эпоху ИИ, с корпоративными инвестиционными обязательствами на общую сумму более ₩3,755 квадрлн (приблизительно $2,74 трлн) в течение следующих десятилетий в области инфраструктуры ИИ, производства полупроводников и передовых технологий.

Ли Чжэ Мён отметил, что что существующие производственные мощности по выпуску чипов в Йонгине (Yongin) и Пхёнтхэке (Pyeongtaek), центре южнокорейского «полупроводникового пояса» к югу от Сеула, «уже достигли своего предела», и призвал компании ускорить инвестиции в создание производственных мощностей на юго-западе страны.

Источник изображения: Daniel Bernard / Unsplash

Сообщается, что Samsung Electronics и SK hynix инвестируют в общей сложности ₩800 трлн ($518 млрд) в строительство четырёх заводов по производству микросхем памяти в юго-западном регионе страны Хонам (Honam), при этом каждая компания построит по два завода. Ещё ₩81 трлн ($52 млрд) будет направлено на создание крупномасштабного комплекса по упаковке HBM в центральном регионе страны. Председатель правления Samsung Ли Чжэ Ён (Lee Jae-yong) заявил, что город Кванджу (Gwangju) является вероятным местом для новых заводов Samsung, в то время как производственные мощности HBM будут сосредоточены в Чхонане (Cheonan) и Оньяне (Onyang) в регионе Чхунчхон (Chungcheong).

Кроме того, до 2035 года корейские технологические и энергетические гиганты, такие как SK, GS и Naver, планируют выделить еще ₩550 трлн ($356 млрд) на строительство ИИ ЦОД общей мощностью 8,4 ГВт в Ульсане (Ulsan), Донхэ (Donghae), Седжоне (Sejong) и других регионах.

В понедельник Samsung также опубликовала пресс-релиз, в котором объявила о планах инвестировать ₩2,655 квадрлн (около $1,7 трлн) в технологические проекты в стране в течение следующего десятилетия. Из этой суммы ₩2,03 квадрлн (около $1,48 трлн) предполагается направить в развитие кластеров полупроводниковой промышленности, включая кампус в Пхёнтхэке (Pyeongtaek Campus) и Национальный промышленный комплекс в Йонгине (Yongin National Industrial Complex), а ₩625 трлн ($0,22 трлн) — на развитие регионов Хонам, Чхунчхон и Йонгнам (Yeongnam), сосредоточив усилия на полупроводниках для ИИ, робототехнике, батареях, а также компонентах и материалах для IT-индустрии.

Samsung назвала предлагаемые правительством льготы в сфере электроснабжения, водоснабжения, рабочей силы и условий жизни ключевыми факторами при выборе Кванджу, расположенного примерно в 300 км к югу от Сеула, для размещения нового завода по производству полупроводников, а также ИИ ЦОД в Хэнаме (Haenam), на южной оконечности полуострова. Не все уверены в том, что юго-западный регион сможет обеспечить производство микросхем мирового класса, пишет The Wall Street Journal. Эксперты указывают на удалённость региона от существующих сетей поставок полупроводников и на трудности с привлечением квалифицированных кадров из столицы.

В свою очередь, SK Group, как пишет TechCrunch, объявила о среднесрочной и долгосрочной инвестиционной стратегии на сумму ₩2,1 квадрлн (около $1,4 трлн), из которых ₩1100 трлн пойдут на расширение мощностей по производству полупроводников и ₩1 квадрлн ($0,65 трлн) — на создание ИИ ЦОД по всей стране. SK hynix займётся расширением производства чипов, а SK Telecom — строительством ИИ ЦОД на 15 ГВт.

Meta✴ подготовила ASIC Vistara, который позволит посредством CXL установить старую память, например, DDR4, взятую из списанных серверов, в новые серверы, что позволит хотя бы частично сгладить дефицит DRAM, из-за которого компания уже вынужденно продлила срок жизни оборудования. В числе преимуществ такого подхода авторы называют практически бесплатное добавление памяти за счёт повторного использования, повышение производительности благодаря использованию большей ёмкости памяти и снижение выбросов углекислого газа.

Meta✴ отметила, что технология CXL в целом не получила широкого распространения из-за «низкой пропускной способности, высокой задержки и высоких накладных расходов». «Например, расширенная память, которую мы используем в производстве, обеспечивает примерно в 10 раз меньшую пропускную способность и примерно на 60 % большую задержку, чем локальная память», — отмечает компания.

В частности, дополнительные контроллеры и мостики между различными интерфейсами добавляют порядка 150 нс задержек. Кроме того, сообщается, что «большинство решений CXL интегрируют DRAM с контроллером, что препятствует повторному использованию DIMM, и часто не поддерживают DDR4, что является обязательным условием для повторного использования старой памяти». При этом у компании были и есть в использовании около десятка различных DDR4 DIMM. По словам Meta✴, эти проблемы решают в компании с помощью совместной разработки аппаратного и программного обеспечения.

Источник изображений: Meta✴

«В аппаратной части мы разрабатываем собственную микросхему CXL ASIC, Vistara, оптимизированную для повторного использования DRAM, энергоэффективности и низкой задержки. В программной части мы создаем оптимизированное решение на основе TPP (Transparent Page Placement), определяем подходящее соотношение локальной и расширенной памяти для каждой рабочей нагрузки и автоматизируем конфигурацию для каждой задачи, в том числе отключая расширенную память для нагрузок, чувствительных к увеличению задержки», — говорит компания.

ASIC Vistara имеет два 72-бит канала DDR4-3200 (на практике частота снижена до 2400) с ECC с поддержкой 2DPC, позволяющими установить до 256 Гбайт памяти (на практике 128 Гбайт в четырёх DIMM). Для общения с хостом используется интерфейс PCIe 5.0 x16 (на практике достаточно и x8) с поддержкой CXL 1.1/2.0 Type 3. ASIC потребляет около 9 Вт, а задержка обращений к памяти составляет порядка 50 нс. В состав контроллера входят три управляющих ядра RISC-V. Модули с Vistara, по два на каждый односокетный узел, устанавливаются в отдельные слоты в задней части шасси и обдуваются отдельным потоком воздуха во избежание перегрева и для повышения стабильности работы.

Как сообщается, это решение обеспечивает существенный прирост производительности для различных рабочих нагрузок, включая сокращение количества используемых серверов до 25 % для дезагрегированного машинного обучения и сокращение средней задержки на 29 % для распределённых кешей. Стоит отметить, что Microsoft также озаботилась возможностью использования старых модулей DDR4 и морально устаревших SSD в новых серверах в рамках проекта GreenSKU.

Qualcomm анонсировала High Bandwidth Compute (HBC), гибридное решение для вычислений и памяти, разработанное в качестве альтернативы памяти HBM и обеспечения большей производительности, эффективности и пропускной способности. В нём используется трёхмерная архитектура Near-Memory Computing (NMC), обеспечивающая предельно близкое расположение быстрой памяти к вычислительным ядра.

В HBC используется память LPDDR, размещённая вертикально в несколько слоёв, соединённых сквозными кремниевыми контактами (TSV). Такой подход обеспечивает лучшую энергоэффективность, чем традиционная HBM, в которой в вертикальных слоях размещается память DDR, поскольку микросхемы LPDDR потребляют меньше энергии, обеспечивая при этом аналогичную пропускную способность и ёмкость.

При этом в основании HBC лежит вычислительный кристалл, который берёт на себя часть обработки данных основного процессора, тем самым разгружая его. Как отметил ресурс Techpowerup, эта технология аналогична используемой в памяти HBM4, где базовый кристалл представляет собой логический кристалл для лучшей интеграции вычислительных решений, таких как трассировка пакетов и подготовка данных для ввода и вывода из HBM.

Источник изображений: Qualcomm

Qualcomm сообщила, что HBC обеспечивает шестикратное увеличение пропускной способности на Вт по сравнению с HBM, согласно опубликованным характеристикам конкурирующих продуктов, нормализованным на уровне платы, а также 200-кратное увеличение ёмкости на Вт по сравнению с SRAM, согласно опубликованным характеристикам конкурирующих продуктов, нормализованным на уровне стойки.

HBC первого поколения (HBC Gen 1) достигла пропускной способности 133 Тбайт/с на ускорителе AI250, что в 18 раз больше, чем у AI200 на базе LPDDR5X. Коммерческое тестирование HBC1 с AI250 ожидается в середине 2027 года. Компания планирует выпуск решения HBC Gen 2 в 2028 году. Это решение выйдет с ИИ-ускорителем Qualcomm Dragonfly AI300 и обеспечит 54-кратное увеличение эффективной пропускной способности по сравнению с AI200 и семикратное увеличения пропускной способности на Вт по сравнению с HBM.

Dragonfly AI300 интегрирует HBC2, обеспечив высокую пропускную способность и низкую задержку для инференса больших языковых и мультимодальных моделей (LLM, LMM) и агентного ИИ. По данным Qualcomm, ожидается в 4–8 раз более высокая производительность по сравнению с существующими архитектурами на базе GPU по пропускной способности памяти на Вт на карту. Масштабирование решения будет осуществляться с помощью интерконнектов UALink и ESUN с использованием медных и оптических кабелей. Коммерческое производство образцов Dragonfly AI300 начнётся в 2028 году.

AMD объявила о покупке стартапа Mext, специализирующегося на оптимизации использования имеющейся памяти в ИИ-системах с целью снижения расходов, ускорения развёртывания и масштабирования. Предполагается, что это поможет решить проблемы клиентов AMD, в настоящее время страдающих от дефицита памяти для ИИ ЦОД, сообщает Silicon Angle.

Mext создала технологию многоуровневого управления памятью, интеллектуально переносящую не слишком часто используемые данные из дорогой DRAM в NAND. В основе технологии — прогнозирование обращений к памяти, благодаря которой постоянно анализируются шаблоны доступа к данным и используются ИИ-алгоритмы, чтобы попытаться «угадать», какие данные из флеш-памяти могут понадобиться в ближайшее время. Эти данные заранее извлекаются в DRAM, благодаря чему приложения получают к ним доступ без лишних задержек и снижения производительности.

Сделка предполагает решение усугубляющейся проблемы операторов крупных ЦОД. По мере увеличения и усложнения ИИ-моделей, HPC, виртуализации и задач, связанных с аналитикой данных, стремительно увеличивается потребность в дефицитной памяти всех классов. Нехватка ведёт к росту цен и сложностям с покупкой. В результате дефицит серьёзно мешает оптимизировать производительность дата-центров, причём DRAM-модули нередко используются чрезвычайно неэффективно.

Источник изображения: Sebastian Herrmann/unsplash.com

В AMD рассчитывают, что проблему поможет решить технология Mext, которая сможет повысить эффективность ЦОД. Фактически решение стартапа увеличивает эффективный объём доступной памяти, благодаря чему растёт производительность уже имеющегося оборудования и снижается необходимость в закупках дополнительных DRAM-модулей. В AMD ожидают, что технология поможет снизить общую стоимость владения ИИ-инфраструктурой для облачных провайдеров и корпоративных покупателей. При этом выиграют не только ИИ ЦОД, но и обычные вычислительные площадки.

AMD намерена интегрировать технологии Mext в собственное портфолио решений для ЦОД. Кроме того, компания приобрела команду талантливых разработчиков стартапа, хорошо разбирающихся в архитектурах памяти, инфраструктурном ПО и крупномасштабных вычислительных системах. По мнению экспертов, сделка вряд ли окажет заметное влияние на выручку AMD в краткосрочной перспективе, но новость в любом случае была весьма благосклонно принята на Уолл-стрит. Кратковременный всплеск стоимости акций довёл капитализацию компании до $900 млрд.

Стоит отметить, что свои решения по интеллектуальному перемещению данных между DRAM и NAND также предлагают ADATA (TRUSTA AI Scaler) и Phison (aiDAPTIV+), но они совместимы только с их собственными накопителями. Broadcom встроила похожий механизм в платформу VCF. При этом сама NAND-память тоже в дефиците, так что вопрос оптимизации использования SSD стоит не менее остро.