Компания Broadcom представила решение VMware AI Factory в качестве программно-определяемой основы для VMware Private AI Cloud, предлагающей клиентам более простой путь к внедрению ИИ благодаря инновациям в автоматизации развёртывания готовой к ИИ инфраструктуры, её сопровождении и поддержке. Как утверждает Broadcom, с помощью её ИИ-фабрики клиенты смогут ускорить развёртывание первой модели и лучше управлять токеномикой ИИ.
«Мы предоставляем клиентам программно-определяемую основу, которая автоматизирует развёртывание инфраструктуры, объединяет управление жизненным циклом и позволяет им выбирать предпочтительное оборудование и проверенные модели. В результате — ускорение развёртывания первой модели, предсказуемые затраты на частное облако и лучший контроль над токеномикой ИИ», — заявил главный директор по продуктам подразделения VMware Cloud Foundation.
VMware AI Factory предоставляет ИИ-приложения непосредственно к частным данным предприятия в защищённой среде частного облака. Благодаря возможностям автоматизации инфраструктуры VCF время от развёртывания на физическом сервере до запуска первой ИИ-модели сокращается с недель до нескольких часов. VMware AI Factory упрощает управление ИИ-инфраструктурой, полностью автоматизируя выделение оборудования, включение программного стека и управление жизненным циклом от начала до конца.
Источник изображения: Broadcom
VMware AI Factory построена на платформе VMware Cloud Foundation (VCF), которая объединяет и совместно использует ресурсы GPU в масштабах всей организации, позволяя командам запускать несколько моделей на общем оборудовании вместо выделения инфраструктуры для каждой рабочей нагрузки. Новые и готовящиеся к запуску частные ИИ-сервисы включают:
- Многопользовательское совместное использование моделей: Model Runtime теперь поддерживает безопасное совместное использование ИИ-моделей через изолированные пространства имен.
- Единое управление моделями в локальных и облачных средах через единый интерфейс потребления, обеспечивающее доступ к локально размещенным моделям с такими улучшениями, как интеллектуальная маршрутизация запросов, ограничение скорости использования токенов и авторизация приложений.
- Безопасные песочницы и управление ИИ, гарантирующие, что агенты не будут превышать свои полномочия или получать доступ к запрещённым для них ресурсам.
VMware AI Factory поддерживает сертифицированные узлы VCF AI ReadyNodes от Cisco, Dell, Lenovo и Supermicro, а также других производителей. Broadcom также объявила о сотрудничестве с AMD для интеграции VCF с GPU AMD Instinct и программной экосистемой ROCm. Любопытно, что идею ИИ-фабрики (AI Factory) первой предложила NVIDIA в качестве эталонной архитектуры, описывающей всё оборудование и ПО, необходимые для выполнения ИИ-нагрузок. ИИ-фабрики NVIDIA основаны на собственном оборудовании и ПО, а также на серверах Dell, Lenovo, HPE и др., которые тоже называют свои продукты ИИ-фабриками.
Вице-президент по маркетингу продуктов в подразделении VCF компании Broadcom, сообщил изданию The Register, что VMware AI Factory — это «эволюция» VMware Private AI Foundation with NVIDIA, добавив, что NVIDIA является «нашим самым давним партнёром среди поставщиков GPU». Несмотря на давнее партнёрство, VMware позаимствовала название продукта NVIDIA для конкурирующего предложения, продвигающего её главного соперника AMD. Впрочем, VMware сообщила, что не исключает возможность создания AI Factory for NVIDIA.
Источник:
