Компании NVIDIA, Rebellions и SK Telecom объявили о сотрудничестве с целью развития суверенной инфраструктуры ИИ в Южной Корее. Инициативу поддерживает Министерство науки и информационно-коммуникационных технологий страны (MSIT).
Речь идёт об использовании модульной архитектуры NVIDIA MGX для создания ИИ-систем, а также технологии NVIDIA NVLink Fusion, которая позволяет использовать фирменный интерконнект NVLink для подключения ускорителей, разработанных сторонними компаниями. В данном случае будут задействованы ИИ-решения Rebel R200, разработанные специалистами южнокорейской Rebellions. Эти изделия спроектированы специально для выполнения вычислений с низкой задержкой и небольшим энергопотреблением: они подходят для работы с передовыми ИИ-моделями, включая нейросети с архитектурой Mixture-of-Experts (MoE) с несколькими триллионами параметров.
Южнокорейский оператор SK Telecom в рамках партнёрства развернёт MGX-стойки с ускорителями Rebel R200 и картами NVIDIA в своём дата-центре для задач ИИ. Компании намерены разработать схему дезагрегированного инференса, перенося различные этапы генерации ИИ-ответа на ту аппаратную часть, которая лучше всего подходит для этого. В частности, для предварительного заполнения будут использоваться GPU NVIDIA, а для декодирования — Rebel R200. Такой подход позволит повысить общую производительность и оптимизировать энергопотребление.
Источник изображения: NVIDIA
SK Telecom планирует интегрировать новую инфраструктуру с общедоступными сервисами, в том числе в рамках государственного проекта «Искусственный интеллект для всех». При этом будут использоваться собственные ИИ-модели, адаптированные к корейскому языку и региональным отраслям промышленности.
Нужно отметить, что к альянсу NVLink Fusion уже присоединились многие другие известные компании. В их число входят Qualcomm, Arm, d-Matrix, Marvell, Amazon, Fujitsu, Ayar, SiFive, Intel и MediaTek.
Источник:
