«Группа Астра» объявила о выпуске программного комплекса «Боцман AI», предназначенного для развёртывания языковых и других моделей искусственного интеллекта внутри защищённого контура организации, без передачи данных во внешние облачные сервисы.
«Боцман AI» является расширением платформы «Боцман» — отечественного решения оркестрации контейнеров на базе Kubernetes, входящего в состав Astra Dev Platform и ориентированного на компании, которые строят внутренние платформы разработки и эксплуатируют приложения в изолированных или регулируемых IT-инфраструктурах. Решение позволяет организациям разворачивать и запускать ИИ-нагрузки внутри собственного сетевого контура — с сохранением суверенитета над данными, предсказуемыми затратами и без привязки к зарубежным провайдерам.
Для работы с «Боцман AI» достаточно произвести описание ИИ-модели через стандартный Kubernetes-ресурс — всё остальное система делает автоматически, говорят разработчики. Она самостоятельно подготавливает хранилище весов и запускает среду выполнения с нужным движком — будь то vLLM, Ollama, SGLang или FasterWhisper, после чего публикует модель через единый шлюз. Отдельного внимания заслуживает механизм обновлений — они происходят без образования окна недоступности, что особенно критично при работе с дорогостоящей GPU-инфраструктурой.
Источник изображения: Numan Ali / unsplash.com
Для взаимодействия с моделями в «Боцман AI» задействован OpenAI-совместимый API. Помимо базовой функциональности, платформа предлагает ряд инструментов для промышленной эксплуатации. В неё встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов, что позволяет прозрачно распределять ресурсы между командами и проектами. Установка программного решения осуществляется через «Боцман Apps & Marketplace» в виде Helm-чарта.
Источник:
