GPU-маркетплейс NVIDIA DGX Cloud Lepton упростит доступ к дефицитным ИИ-ускорителям

NVIDIA анонсировала GPU-маркетплейс NVIDIA DGX Cloud Lepton, которая позволит разработчикам со всего мира, создающим агентские и другие ИИ-приложения использовать NVIDIA Blackwell и другие модели ускорителей в глобальной сети партнёрских облаков (NCP): CoreWeave, Crusoe, Firmus, Foxconn, GMI Cloud, Lambda, Nebius, Nscale, Softbank и Yotta Data Services. Ожидается, что ведущие провайдеры облачных услуг и другие GPU-маркетплейсы также присоединятся к DGX Cloud Lepton.

Разработчики смогут использовать вычислительные мощности ускорителй в определённых регионах как для вычислений по требованию, так и на постоянной основе. «NVIDIA DGX Cloud Lepton свяжет нашу сеть глобальных поставщиков облачных GPU с разработчиками в сфере ИИ, — заявил основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang). — Вместе с нашими NCP мы строим ИИ-фабрику планетарного масштаба».

По замыслу NVIDIA, платформа DGX Cloud Lepton поможет решить критическую задачу обеспечения разработчиков надёжными, высокопроизводительными ресурсами ускорителей путём унификации доступа к облачным ИИ-сервисам и мощностям собственных ускорителей. Платформа интегрирована с программным стеком NVIDIA, включая микросервисы NIM и NeMo, Blueprints и Cloud Functions.

Источник изображений: NVIDIA

В числе основных преимуществ новой платформы компания назвала:

• Повышенную производительность и гибкость: маркетплейс предлагает единый опыт разработки, обучения и инференса. Разработчики смогут приобретать здесь мощности ускорителей напрямую у участвующих провайдеров облачных услуг или использовать собственные вычислительные кластеры, что обеспечивает им большую гибкость и контроль.
• Беспроблемное развёртывание: платформа позволяет развёртывать ИИ-приложения в мультиоблачных и гибридных средах с минимальной эксплуатационной нагрузкой, используя интегрированные сервисы для инференса, тестирования и обучения.
• Гибкость и суверенитет: платформа предоставляет разработчикам быстрый доступ к ресурсам ускорителей в определённых регионах, что позволяет соблюдать требования суверенитета данных и требования к низкой задержке для чувствительных рабочих нагрузок.
• Предсказуемую производительность: маркетплейс обеспечивает производительность, надёжность и безопасность корпоративного уровня, гарантируя единообразный пользовательский опыт.

А для самих провайдеров, участвующих в DGX Cloud Lepton, предоставляется ПО для управления, которое обеспечивает диагностику состояния ускорителей в реальном времени и автоматизирует анализ первопричин возникших проблем, избавляя от ручной диагностики и сокращая время простоев.

NVIDIA также анонсировала инициативу Exemplar Clouds, предназначенную для стандартизации прозрачного сравнительного анализа облачной ИИ-инфраструктуры. Это предложение должно решить серьёзную проблему, с которой сталкиваются разработчики и предприятия, развёртывающие рабочие ИИ-нагрузки — прогнозирование эффективности, надёжности и ценовой эффективности облачной платформы. Exemplar Clouds использует NVIDIA DGX Cloud Benchmarking, комплексный набор инструментов и рекомендаций для оптимизации производительности облачных ИИ-нагрузок и количественной оценки связи между стоимостью и производительностью.