Компания NVIDIA представила микросервис NIM, входящий в платформу NVIDIA AI Enterprise 5.0 и предназначенный для оптимизации запуска различных популярных моделей ИИ от NVIDIA и её партнёров. NVIDIA NIM позволяет развёртывать ИИ-модели в различных инфраструктурах: от локальных рабочих станций до облаков.

Предварительно созданные контейнеры и Helm Chart'ы с оптимизированными моделями тщательно проверяются и тестируются на различных аппаратных платформах NVIDIA, у поставщиков облачных услуг и на дистрибутивах Kubernetes. Это обеспечивает поддержку всех сред с ускорителями NVIDIA и гарантирует, что компании смогут развёртывать свои приложения генеративного ИИ где угодно, сохраняя полный контроль над своими приложениями и данными, которые они обрабатывают. Разработчики могут получить доступ к моделям посредством стандартизированных API, что упрощает разработку и обновление приложений.

Источник изображений: NVIDIA

NIM также может использоваться для оптимизации исполнения специализированных решений, поскольку не только использует NVIDIA CUDA, но и предлагает адаптацию для различных областей, таких как большие языковые модели (LLM), визуальные модели (VLM), а также модели речи, изображений, видео, 3D, разработки лекарств, медицинской визуализации и т.д. NIM использует оптимизированные механизмы инференса для каждой модели и конфигурации оборудования, обеспечивая наилучшую задержку и пропускную способность и позволяя более просто и быстро масштабироваться по мере роста нагрузок.

В то же время NIM позволяет дообучить и настроить модели на собственных данных, поскольку можно не только воспользоваться облачными API NVIDIA для доступа к готовым моделями, но и самостоятельно развернуть NIM в Kubernetes-средах у крупных облачных провайдеров или локально, что сокращает время разработки, сложность и стоимость подобных проектов и позволяет интегрировать NIM в существующие приложения без необходимости глубокой настройки или специальных знаний.

Исследование Cast AI показало, что клиенты облачных платформ используют в среднем только около 13 % предоставляемых им CPU-ресурсов и примерно 20 % выделенной памяти, передаёт DataCenter Dynamics. Это приводит к росту затрат и увеличению углеродного следа. А из-за того, что одни предприятия запрашивают избыточное количество мощностей, другие не могут получить доступ к вычислительным ресурсам.

Cast AI, предоставляющая средства оптимизации затрат на Kubernetes-платформы, проанализировала работу 4000 кластеров в Amazon Web Services (AWS), Google Cloud Platform и Microsoft Azure в период с 1 января по 31 декабря 2023 года. Оценивались кластеры с 50 и более процессорами.

Источник изображения: Google

Оказалось, что в AWS и Azure уровень использования CPU-ресурсов находится на отметке 11 %, у Google Cloud — 17 %. В плане потребления памяти показатель равен 18 % у Google Cloud, 20 % — у AWS и 22 % — у Azure. В случае крупных кластеров, насчитывающих 1000 и более процессоров, средняя утилизация CPU составляет 17 %.

Аналитики Cast AI называют несколько причин, из-за которых наблюдается недостаточное использование облачных ресурсов. В частности, многие клиенты резервируют больше вычислительных мощностей, чем им необходимо на самом деле. Кроме того, заказчики прохладно относятся к так называемым спотовым инстансам. Такая модель обеспечивает значительную экономию средств (в некоторых случаях до 90 %), но клиенты опасаются возможной нестабильности. Ещё одна причина — недостаточное использование ресурсов кастомизированных инстансов, для которых можно выбрать соотношение CPU и RAM.

Для поставщиков облачных услуг сложившаяся ситуация в некотором смысле играет на руку: из-за неполной загрузки мощностей снижается потребность в электроэнергии. При этом провайдеры по-прежнему получают доход, основанный на гипотетическом использовании их серверов. Но вместе с тем приходится закупать больше дорогостоящего оборудования, чем это по факту необходимо.

Компании SMART technologies и ГК «Аквариус» анонсировали отечественный программно-аппаратный комплекс (ПАК) «Боцман Клик», предназначенный для управления мультикластерами Kubernetes. Решение предоставляет набор готовых инструментов для развёртывания, мониторинга, балансировки нагрузок, автомасштабирования контейнерных нагрузок, обеспечения безопасности и резервного копирования.

Аппаратная часть базируется на оборудовании Aquarius серии CF — это серверы для крупных предприятий и организаций. В качестве программной платформы может применяться российская ОС RedOS или AstraLinux. Инструменты для управления сетевыми политиками можно использовать через командную строку или графический интерфейс.

Платформа «Боцман Клик» поддерживает архитектуры x86 и Arm. Доступен каталог приложений, в который пользователи могут добавить собственные сконфигурированные и нативные приложения с возможностью быстрого развёртывания в кластере. Все используемые на платформе «Боцман Клик» инструменты open source находятся в локальном репозитории SMART Technologies Soft и регулярно обновляются.

Источник изображения: SMART technologies

Утверждается, что на развёртывание платформы требуется около 30 мин. Решение позволяет создать виртуальное частное облако для управления всеми сервисами заказчика. Реализованы строгие политики безопасности и аутентификации. Производитель предоставляет техническую поддержку, в том числе в режиме 24/7. ПАК «Боцман Клик» включён в реестр российского ПО в ноябре 2023 года (запись №19999).

«Kubernetes — технология, которая выводит IT на новый уровень, позволяет автоматизировать и упрощать развёртывание контейнеров, гибко задавать различные политики и настройки и пользоваться подходом Infrastructure as Code, а также распределять ресурсы серверов более эффективно. С помощью нового отечественного ПАКа заказчики получили возможность реализовать современные подходы к развитию своей инфраструктуры», — говорит президент ГК «Аквариус».

Компания Selectel, являющаяся специализированным поставщиком IT-решений на базе собственной сети дата-центров, готовит к запуску управляемый сервис по развёртыванию кластеров Kubernetes на базе выделенных серверов (Managed Kubernetes on Bare Metal). О реализации решения было объявлено на конференции Selectel Tech Day 2023.

В сообщении Selectel отмечается, что использование Managed Kubernetes на выделенных серверах позволит клиентам улучшить производительность своих микросервисных приложений, что обеспечивается за счёт отсутствия гипервизора, виртуализирующего ресурсы физических серверов.

Источник изображения: «Академия Selectel» / selectel.ru/blog/custom

Некоторые базы данных и приложения с постоянной нагрузкой могут быть требовательны к вычислительным ресурсам, в частности локальным дискам и сетям, поэтому возможность работы на «голом железе» позволит улучшить их производительность. При этом клиенты Selectel, как и раньше, могут использовать Managed Kubernetes в облаке для приложений с неравномерной нагрузкой, которым требуется автоматическое масштабирование.

Клиенты смогут использовать выделенные серверы для развёртывания воркер-нод Kubernetes, при этом мастер-ноды останутся в облаке. Сочетание выделенных и облачных серверов позволит одновременно обеспечить высокую производительность сервиса и снизить расходы на IT-инфраструктуру до 40 %. Решение гарантирует высокий уровень защиты данных, поскольку клиент получает выделенные и зарезервированные только под свой проект серверные мощности. Для реализации особо высоконагруженных вычислений (например, ML-проектов) возможна аренда кластеров Kubernetes на базе выделенных серверов с GPU.

Поставщик IT-услуг и облачных сервисов Beeline cloud подписал соглашение о партнёрстве с компанией «Флант», разработчиком платформы для контейнеризации Deckhouse, основанной на Kubernetes и других Open Source-решениях. Результатом сотрудничества компаний станет включение Kubernetes-платформы Deckhouse в состав облачных решений и служб Beeline cloud. Отечественная разработка дополнит существующую услугу Cloud Managed Kubernetes.

Deckhouse включает в себя платформу Kubernetes и дополнительные модули для автоматического масштабирования, мониторинга, балансировки трафика, безопасного доступа и других функций. Продукт зарегистрирован в едином реестре российского ПО в классе «Системы контейнеризации и контейнеры». Также в активе Deckhouse имеется международная сертификация на совместимость с оригинальными релизами Kubernetes от Cloud Native Computing Foundation (CNCF).

Источник изображения: flant.ru/products/deckhouse

Kubernetes-платформа Deckhouse соответствует большинству рекомендаций PCI Security Standards Council и всем рекомендациям Center for Internet Security (CIS). В настоящий момент продукт находится в стадии прохождения процедуры сертификации по требованиям ФСТЭК России.

Компания VMware представила на ежегодной конференции VMware Explore масштабное обновление целого ряда своих продуктов.

Обновления VMware Cloud включают:

• Службу NSX+ (ранее Project Northstar) в формате SaaS, которая предоставляет единую консоль для управления сетевыми политиками и политиками безопасности. Решение анализирует трафик в мультиоблачных средах и обеспечивает обнаружение угроз и реагирование на них, а также предлагает расширенные функции балансировщика и изоляции VPC.
• Службу vSAN Max, которая позволяет масштабировать хранилища до петабайтного уровня независимо от вычислительных кластеров vSphere, что снижает общую стоимость владения. Решение будет доступно во второй половине 2024 года и позволит получить до 8,6 Пбайт и 3,6 млн IOPS на кластер, включающий до 24 узлов хранения. Решение подходит для ИИ и машинного обучения, а также кластеров Kubernetes.
• Службу управления жизненным циклом ESXi в VMware vSphere+, которая позволит ИТ-администраторам централизованно управлять обновлениями своих VMware-сред в распределённой мультиоблачной среде.

Изображения: VMware (via StorageReview)

Кроме того, VMware внесла улучшения в VMware Ransomware Recovery, управляемый облачный сервис VMware для восстановления после атак программ-вымогателей. В частности, уже доступно одновременное восстановление нескольких ВМ, а вскоре появится возможность запуска рабочих нагрузок в облаке в то время, пока локальный ЦОД изолирован для проведения экспертизы. Заодно VMware усовершенствовала ПО для управления VDI и оконечными точками, добавив упреждающее устранение неполадок.

VMware также расширила возможности Tanzu. В частности, Tanzu Application Engine позволит разработчикам устанавливать бизнес-требования к доступности, безопасности и производительности своих приложений. А новые сервисы Tanzu Intelligence Services (на базе VMware Aria) позволят централизованно управлять, отслеживать и устранять неполадки, а также оптимизировать затраты, производительность и безопасность приложений в облаках. Наконец, анонсированы ещё два ИИ-сервиса для быстрого выявления и устранения неполадок: речевой чат-бот Intelligent Assistant, а также Tanzu Insights для сред Kubernetes, AWS и Microsoft Azure.

Также были анонсированы новые продукты для периферийных развёртываний: новое решение для розничной торговли; VMware Edge Cloud Orchestrator, унифицированный инструмент для развёртывания периферийных и управления ими; VMware Private Mobile Network, управляемый сервис для создания частных сетей 5G/4G. Наконец, совместно с NVIDIA компания представила интегрированное решение для генеративного ИИ VMware Private AI Foundation.

Компания объединила десятки пакетов продуктов и решений в пять интегрированных предложений VMware Cloud: Essentials, Standard, Pro, Advanced и Enterprise. Каждая последующая версия предоставляет дополнительные функции и сервисы, которые понадобятся предприятиям по мере модернизации облачной инфраструктуры. Окружения VMware Cloud можно будет развернуть и управлять ими в трёх вариантах: самостоятельно, при поддержке VMware (например, в AWS или на базе Equinix Metal) или сервис-провайдера (например, IBM Cloud).

Объединившись, российские ИТ-компании «Флант» и «Экспресс 42» будут создавать продуктовую экосистему для контейнерной разработки и эксплуатации высоконагруженных сервисов. Процесс слияния пройдет в несколько этапов, в течение нескольких лет. Первые полгода команды будут работать самостоятельно, затем начнут объединять процессы. Все существующие направления работы и штат сохранятся.

По данным ЕГРЮЛ, АО «Флант» стало владельцем 7,99 % долей в ООО «Экспресс 42» 22 мая 2023 года. Эта доля принадлежала создателю ООО «Отус онлайн-образование» Дмитрию Волошину. После сделки собственниками «Экспресс 42» остались три сооснователя компании: Александр Титов, Никита Борзых и Иван Евтухович (владеют по 30,67 % долей). По условиям сделки они получат акции «Фланта».

Источник: пресс-конференция «Фланта» и «Экспресс 42»

Совместно компании планируют создать продуктовую экосистему из 7–8 продуктов. В перечень DevOps-услуг партнеров войдут продвижение платформы для управления кластерами Kubernetes, DevOps-аутсорсинг, мониторинг инфраструктуры и DevOps-консалтинг, сервисы инструментальной платформы поставки ПО и процессов управления инфраструктурой, а также решение для контейнерной разработки цифровых продуктов, с единым окном в инфраструктуру для команд разработки.

Годовой объем российского рынка продуктов и услуг, высвободившийся после ухода зарубежных компаний, по оценкам «Фланта», составляет примерно 16 млрд руб. В ближайшие годы объединенная компания намерена занять 30–50 % этого рынка.