Стартап Majestic Labs анонсировал сервер нового типа Prometheus, призванный решить проблему «стены памяти» в современных ИИ-системах, оперирующих моделями с огромным количеством параметров. Утверждается, что Prometheus может обеспечить производительность, сопоставимую с несколькими стойками традиционных серверов, одновременно снижая энергопотребление и общую стоимость владения.
Компания Majestic Labs вышла из скрытого режима (Stealth) в ноябре прошлого года. Стартап отмечает, что в современных ИИ-системах наблюдается разрыв между объёмом и производительностью памяти и вычислительными возможностями ускорителей. Majestic Labs предлагает решить проблему путём внедрения новой архитектуры, предполагающей разделение памяти и вычислительных ресурсов. Речь идёт об использовании специализированных ИИ-ускорителей и блоков быстрой памяти, объём которой составит до 128 Тбайт в рамках одного сервера.
Источник изображения: Majestic Labs
В составе Prometheus задействованы проприетарные чипы AI Processing Units (AIU) под названием Ignite. Они объединяют CPU-ядра на базе Arm с векторными и тензорными движками RISC-V. При этом используется единое пространство памяти. Говорится о поддержке популярных фреймворков, таких как PyTorch, vLLM и OpenAI Triton, что позволяет запускать существующие рабочие нагрузки без изменения кода.
По заявлениям Majestic Labs, платформа Prometheus способна работать с ИИ-моделями с огромными контекстными окнами и триллионами параметров. При этом отсутствуют фрагментация и узкие места, присущие традиционным ИИ-серверам. Среди сфер применения названы смешанные экспертные системы, ИИ-агенты, графовые нейронные сети и пр.
Источник:
