Южнокорейский стартап DeepX, по сообщению ресурса EE Times, завершил разработку ИИ-чипа второго поколения — изделия DX-M2, предназначенного для локального запуска больших языковых моделей (LLM) с 20–100 млрд параметров. Решение ориентировано на робототехнику, беспилотные летательные аппараты, различные периферийные устройства и пр.
Для ускорителя DX-M2 предусмотрено применение 2-нм технологии производства. Заявленное ИИ-быстродействие достигает 80 TOPS при энергопотреблении на уровне 5 Вт. Скорость работы варьируется от 10 до 30 токенов в секунду в зависимости от модели.
Ключевой особенностью решения является использование памяти Samsung LPDDR5X-PIM (Processor-In-Memory). Эти чипы не просто хранят данные, но и умеют самостоятельно выполнять простые вычисления, в частности, операции GEMV (общее матрично-векторное умножение). Благодаря такому подходу значительно повышается общая эффективность. Пропускная способность памяти по сравнению с изделиями первого поколения (DX-M1) увеличилась примерно в три раза — с 50 до 153,6 Гбайт/с.
Источник изображения: DeepX
Моделирование, проведенное DeepX, показывает, что перенос операций GEMV в память LPDDR5x-PIM обеспечит повышение производительности при работе с моделью Llama3.1-8B в 6,7 раза по сравнению с DX-M2 без технологии PIM. Однако при этом общее энергопотребление возрастает в 2,7 раза. При сохранении затрат энергии на сопоставимом уровне можно добиться двукратного выигрыша в быстродействии.
Для DX-M2 предусмотрены несколько конфигураций. Это изделие в виде модуля M.2 или карты расширения PCIe с внешней памятью LPDDR5X объёмом до 96 Гбайт (153,6 Гбайт/с) и энергопотреблением 5 Вт (только SoC). Кроме того, будут предлагаться модули M.2 с интегрированной памятью LPDDR5X ёмкостью 24 и 48 Гбайт с пропускной способностью 76,8 и 153,6 Гбайт/с соответственно. В первом случае энергопотребление составляет 5 Вт (3 Вт у SoC и 2 Вт у DRAM), во втором — 8,5 Вт (4,5 Вт у SoC и 4 Вт у DRAM).
Компания DeepX сотрудничает с клиентами в США, Китае, Вьетнаме и Корее. Утверждается, что стартап получил более 100 заказов на DX-M1 от разработчиков продуктов в различных областях, связанных с физическим ИИ, включая дроны, робототехнику, умные заводы, камеры видеонаблюдения, аэрокосмическую и оборонную промышленность, здравоохранение и интернет вещей. Образцы изделий DX-M2, как ожидается, появятся в марте следующего года, а серийное производство планируется начать осенью 2027-го.
Источник:
