Samsung совместно с AMD представила решение для объединения памяти (memory pooling) по протоколу CXL, сообщил ресурс StorageReview.com. Решение построено на базе модулей памяти Samsung CMM-D (CXL Memory Module Dynamic) и предназначено для задач инференса в агентных системах ИИ. Согласно данным Samsung, использование пула памяти позволяет сократить время до получения первого токена (TTFT) на 38 % и повысить полезную пропускную способность (goodput) в 3,3 раза по сравнению со статическим распределением памяти.
В основе решения лежит технология Dynamic Capacity Device (DCD) — механизм протокола CXL, позволяющий динамически выделять память хосту и возвращать её обратно в пул в процессе работы системы. Несколько экземпляров LLM используют общий пул ресурсов с эластичным распределением. Если в каком-то экземпляре происходит резкий рост нагрузки — например, увеличивается контекст или количество параметров, — он временно заимствует дополнительные мощности, а по завершении задачи возвращает их обратно. Для сравнения, при традиционном подходе резервирование делается под пиковую нагрузку, из-за чего часть ресурсов зачастую простаивает.
Источник изображения: Samsung
Решение было протестировано на вычислительной платформе AMD. Проблема, которая решается в данном случае, заключается в возникновении простоев процессора (CPU stalls) при масштабировании агентных ИИ-нагрузок — ситуациях, когда объём и пропускная способность памяти не растут пропорционально количеству вычислительных ядер.
Samsung заявила, что технология CMM-D позволяет увеличить число одновременно работающих пользователей агентных ИИ-систем за счёт масштабирования памяти параллельно с мощностями CPU. Компании пока не раскрыли конфигурацию серверов, топологию коммутаторов CXL, а также показатели задержки и пропускной способности интерконнекта для данной совместной системы. Сроки выпуска и показатели энергопотребления решения также пока не известны.
Источник:
