Компания Supermicro в партнёрстве с IBM и NVIDIA анонсировала специализированную аппаратно-программную платформу, предназначенную для работы с KV-кешем. Система позволяет значительно сократить время, необходимое ИИ-моделям для начала генерации ответа по запросу пользователя.
Аппаратной основой платформы служат серверы хранения Supermicro Petascale класса All-Flash. Такие устройства выполнены в форм-факторе 1U на процессоре AMD EPYC Turin (до 96 ядер). Поддерживается до 9 Тбайт DDR5-4400 в виде 24 модулей. Упомянуто применение сетевых технологий NVIDIA Spectrum-X. Питание обеспечивают два блока мощностью 1600 Вт с резервированием и сертификатом 80 Plus Titanium.
Во фронтальной части узлов хранения расположены 16 отсеков для накопителей E3.S 1T с интерфейсом PCIe 5.0 x4 (NVMe). Кроме того, есть два внутренних коннектора M.2 M-key 2280/22110 для SSD с интерфейсами PCIe 3.0 x2 и PCIe 3.0 x4. Предусмотрены два слота PCIe 5.0 x16 для карт FHHL и два разъёма OCP 3.0 (PCIe 5.0 x16). Устройство оборудовано сетевым портом управления 1GbE (RJ45), коннектором D-Sub и четырьмя портами USB 3.0 Type-A (по два спереди и сзади). Используется воздушное охлаждение с восемью вентиляторами диаметром 40 мм.
Программная часть включает софт IBM Storage Scale, а также фреймворк NVIDIA Dynamo. В тестах новой платформы на модели со 120 млрд параметров при длине промпта в 130 тыс. токенов время до выдачи первого ответа оказалось в 56 раз меньше по сравнению с обычными системами. Кроме того, при увеличении длины запроса с 30 тыс. до 130 тыс. токенов задержка поднялась всего на 0,377 с.
Источник изображения: Supermicro
Источник:
