Компании Parasail и d-Matrix объявили о развёртывании кастомных ускорителей d-Matrix Corsair для инференса вместе с ускорителями NVIDIA Hopper и Blackwell в рамках гетерогенной дезагрегированной инфраструктуры, что позволит в 10 раз увеличить скорость инференса.
В объединённой системе ускорители NVIDIA и Corsair будут работать согласованно, выполняя вычислительные задачи с учётом их возможностей. Чтобы улучшить экономику инференса для отдельных рабочих нагрузок, Parasail использует GPUтA для ресурсоёмкого предварительного заполнения, а ускорители d-Matrix Corsair — для чувствительного к задержке декодирования. К этому же стремится и сама NVIDIA, добавившая к своим GPU ускорители Groq.
Источник изображения: Parasail
Parasail управляет облаком для инференса, которое объединяет мощности ИИ-ускорителей в более чем 40 ЦОД в 15 странах. Разработанная ею технология автоматической оптимизации позволяет динамически распределять рабочие нагрузки между гетерогенным парком исходя из требований к моделям и обработке. Parasail делает ставку на гетерогенный вычислительный подход с d-Matrix, чтобы получить больше выгоды от уже имеющейся у неё ИИ-инфраструктуры NVIDIA.
d-Matrix утверждает, что сочетание Corsair с GPU позволяет выполнять задачи инференса на порядок быстрее, втрое дешевле и впятеро энергоэффективнее, сообщил TNW. Ресурс отметил, что вместо борьбы с потенциальными конкурентами NVIDIA предлагает им сотрудничество, чтобы интегрировать их в свою экосистему. Заказчикам больше не нужен один гигантский GPU для всего. Они хотят получить самый дешевый чип для каждой задачи, объединённый с другими чипами в единую систему. План NVIDIA состоит в том, чтобы обеспечить продажи или занять место рядом с тем продуктом, который одержит победу, пишет TNW.
Источник:
