Материалы по тегу: контейнеризация

19.03.2024 [03:18], Владимир Мироненко

Всё своё ношу с собой: Nvidia представила контейнеры NIM для быстрого развёртывания оптимизированных ИИ-моделей

Компания Nvidia представила микросервис NIM, входящий в платформу Nvidia AI Enterprise 5.0 и предназначенный для оптимизации запуска различных популярных моделей ИИ от Nvidia и её партнёров. Nvidia NIM позволяет развёртывать ИИ-модели в различных инфраструктурах: от локальных рабочих станций до облаков.

Предварительно созданные контейнеры и Helm Chart'ы с оптимизированными моделями тщательно проверяются и тестируются на различных аппаратных платформах Nvidia, у поставщиков облачных услуг и на дистрибутивах Kubernetes. Это обеспечивает поддержку всех сред с ускорителями Nvidia и гарантирует, что компании смогут развёртывать свои приложения генеративного ИИ где угодно, сохраняя полный контроль над своими приложениями и данными, которые они обрабатывают. Разработчики могут получить доступ к моделям посредством стандартизированных API, что упрощает разработку и обновление приложений.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

NIM также может использоваться для оптимизации исполнения специализированных решений, поскольку не только использует Nvidia CUDA, но и предлагает адаптацию для различных областей, таких как большие языковые модели (LLM), визуальные модели (VLM), а также модели речи, изображений, видео, 3D, разработки лекарств, медицинской визуализации и т.д. NIM использует оптимизированные механизмы инференса для каждой модели и конфигурации оборудования, обеспечивая наилучшую задержку и пропускную способность и позволяя более просто и быстро масштабироваться по мере роста нагрузок.

В то же время NIM позволяет дообучить и настроить модели на собственных данных, поскольку можно не только воспользоваться облачными API Nvidia для доступа к готовым моделями, но и самостоятельно развернуть NIM в Kubernetes-средах у крупных облачных провайдеров или локально, что сокращает время разработки, сложность и стоимость подобных проектов и позволяет интегрировать NIM в существующие приложения без необходимости глубокой настройки или специальных знаний.

Постоянный URL: http://servernews.ru/1101874
19.03.2024 [02:16], Владимир Мироненко

Nvidia AI Enterprise 5.0 предложит ИИ-микросервисы, которые ускорят развёртывание ИИ

Nvidia представила свежую версию платформы для работы с ИИ-приложениями Nvidia AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров для быстрого развёртывания приложений генеративного ИИ. Nvidia отметила, что уже микросервисы адаптируются ведущими поставщиками ПО и платформ кибербезопасности, а все функции AI Enterprise 5.0 вскоре будут доступны в облачных маркетплейсах AWS, Google Cloud, Microsoft Azure и Oracle Cloud.

Микросервисы позиционируются компанией как эффективный инструмент для создания разработчиками современных корпоративных приложений в глобальном масштабе. Работая прямо в браузере, разработчики могут используют для создания приложений облачные API. Nvidia AI Enterprise 5.0 теперь включает предназначенные для развёртывания моделей ИИ микросервисы NIM и микросервисы CUDA-X. Сюда входит и Nvidia cuOpt, ИИ-микросервис для задачи логистики, который позволяет значительно ускорить оптимизации маршрута и расширить возможности динамического принятия решений, снижая затраты, экономя время и позволяя сократить выбросы CO2.

 Источник изображения: Nvidia

Источник изображения: Nvidia

NIM оптимизирует инференс-нагрузки для различных популярных моделей ИИ от Nvidia и партнёров. Используя ПО Nvidia для инференса, включая Triton Inference Server, TensorRT и TensorRT-LLM, NIM позволяет сократить развёртывание моделей с недель до минут и вместе с тем обеспечивает безопасность и управляемость в соответствии с отраслевыми стандартами, а также совместимость с инструментами управления корпоративного уровня. В настоящее время компания работает над расширением возможностей AI Enterprise.

С выходом версии Nvidia AI Enterprise 5.0 платформа получила ряд дополнений. В частности, она теперь включает Nvidia AI Workbench, набор инструментов для разработчиков, обеспечивающих быструю загрузку, настройку и запуск проектов генеративного ИИ. ПО теперь общедоступно и поддерживается Nvidia. Nvidia AI Enterprise 5.0 также теперь поддерживает платформу Red Hat OpenStack. Кроме того, в Nvidia AI Enterprise 5.0 расширена поддержка широкого спектра новейших ускорителей Nvidia, сетевого оборудования и ПО для виртуализации.

Постоянный URL: http://servernews.ru/1101867
06.01.2024 [23:17], Владимир Мироненко

Микроконтейнеры для микроконтроллеров: представлена платформа NXP Platform Accelerator на базе MicroEJ VEE

Компания NXP Semiconductors анонсировала новую платформу NXP Platform Accelerator, разработанную в сотрудничестве с MicroEJ, которая обеспечивает переносимость ПО для чипов NXP, позволяя ускорить разработку и масштабирование новые умных промышленных продуктов и решений Интернета вещей. NXP Platform Accelerator использует программные контейнеры со стандартизированными API, чтобы обеспечить гибкость проектирования ПО и значительно сократить затраты клиентов на разработку и время вывода на рынок.

Использование среды MicroEJ VEE обеспечивает переносимость ПО среди широкого спектра микроконтроллеров NXP с RTOS и процессоров приложений на базе Linux. Кроме того, NXP Platform Accelerator предоставляет специальные API для обеспечения простого доступа к расширенным функциям чипов NXP, таким как управление питанием и 3D/2D-графика. Уже доступны примеры и документация для энергоэффективных i.MX RT595 и высокопроизводительных i.MX RT1170.

Интеллектуальные устройства для промышленного сектора и IoT сложно разрабатывать и внедрять. Многие из них предназначены для одной цели, имеют фиксированную функциональность и ограниченные вычислительные возможности. Масштабирование возможностей продукта зачастую требует разработки с нулия и интеграции низкоуровневого ПО, RTOS или ОС более высокого уровня, а также промежуточного ПО, что отражается на скорости создания продукта.

 Источник изображения: NXP

Источник изображения: NXP

По словам компании, NXP Platform Accelerator позволяет решить эту проблему благодаря контейнеризации, которая обеспечивает переносимость ПО для всего портфолио аппаратных решений NXP, от микроконтроллеров до процессоров. Возможность повторного использования бинарных сборок позволяет клиентам максимально быстро создавать прототипы новых продуктов. Кроме того, NXP Platform Accelerator позволяет управлять развёртыванием ПО на периферии, предоставляя возможности, подобные имеющиеся у приложений для смартфонов, такие как частичные или полные обновления по воздуху, загружаемые приложения и микросервисы.

Новая платформа объединяет передовые инструменты разработки, включая моделирование, управление виртуальными устройствами, возможность использования C/Java/JavaScript, совместную работу и интеграцию с Android Studio, IntelliJ и Eclipse. Кроме того, NXP Platform Accelerator объединяет различные API для работы с IP-блоками, которые, к примеру, позволяют быстро переключаться между профилями энергопотребления. А сами контейнеры задействуют специальные оптимизации и библиотеки от NXP.

Постоянный URL: http://servernews.ru/1098395
31.10.2023 [02:20], Владимир Мироненко

Dell и Red Hat анонсировали интегрированную облачную платформу APEX Cloud Platform for Red Hat OpenShift

Dell и Red Hat представили облачную платформу APEX Cloud Platform for Red Hat OpenShift. Как сообщается в блоге Dell, это первая полностью интегрированная платформа доставки приложений для Red Hat OpenShift на рынке.

APEX Cloud Platform for Red Hat OpenShift позволяет клиентам развёртывать, управлять и запускать контейнеры вместе с виртуальными машинами локально. Платформа, разработанная Dell совместно с Red Hat, использует серверы нового поколения PowerEdge MC-760/MC-660 с процессорами Intel Xeon Sapphire Rapids и масштабируемую СХД Dell на базе PowerFlex с NVMe/SAS SSD.

Платформа упрощает мультиоблачные операции, ускоряет развёртывание приложений и оптимизирует размещение рабочих нагрузок. APEX Cloud Platform обеспечивает плавное перемещение приложений и наборов данных в мультиоблачных средах. А СХД обеспечивает совместимость между локальным и публичным облачным хранилищем.

 Источник изображения: Dell/Blocks and Files

Источник изображения: Dell/Blocks and Files

В мультиоблачной среде клиентам требуется производительность, надёжность и безопасность локальной инфраструктуры в сочетании с гибкостью публичного облака. Платформа устраняет сложности, связанные с развёртыванием и управлением Kubernetes, предлагая готовое интегрированное решение bare-metal. Решение автоматизирует развёртывание Red Hat OpenShift, сокращая время обновления компонентов на 90 % по сравнению с обновлением вручную.

Также было анонсировано решение Dell Validated Design for Red Hat OpenShift AI on APEX Cloud Platform, которое предлагает компаниям упрощённое решение по развёртыванию цифрового ассистента с использованием большой языковой модели (LLM) и ИИ-фреймворка Retrieval Augmented Generation (RAG), повышающего качество сгенерированных ИИ ответов.

Постоянный URL: http://servernews.ru/1095237
07.10.2023 [23:21], Владимир Мироненко

Docker представил GenAI Stack и Docker AI для быстрого создания приложений генеративного ИИ и интеллектуальной работы с кодом и окружением

Поставщик инструментов для контейнерной разработки Docker Inc. представил на конференции DockerCon, прошедшей на этой неделе в Лос-Анджелесе, решение Stack GenAI, позволяющее разработчикам всего за несколько кликов развернуть полный стек ПО для создания приложений генеративного ИИ. В Docker заявили, что GenAI Stack устраняет необходимость поиска и объединения технологий, необходимых для поддержки LLM.

Созданный в партнёрстве с Neo4., LangChain и открытым проектом Ollama новый стек представляет собой предварительно сконфигурированную, готовую к написанию кода высокозащищенную платформу, которая обеспечивает доступ к предварительно настроенным большим языковым моделям (LLM), таким как Llama2, GPT-3.5 и GPT-4, векторной и графовой базе данных Neo4J, а также среде разработки LangChain и инструментам Ollama. Вкупе все эти решения упрощают локальное управление LLM и делают процесс разработки ИИ более плавным.

 Источник изображения: Docker

Источник изображения: Docker

Гендиректор Docker Скотт Джонстон (Scott Johnston) сообщил , что разработчики с энтузиазмом воспринимают генеративный ИИ, но не понимают, с чего начать работу с ним из-за разнообразия доступных стеков технологий.«Сегодняшний анонс устраняет эту дилемму, позволяя разработчикам быстро и безопасно приступить к работе, используя инструменты, контент и сервисы Docker, которые они уже знают и любят, вместе с партнёрскими технологиями на переднем крае разработки приложений генеративного ИИ», — сказал он.

В Docker заявили, что GenAI Stack уже доступен на GitHub. Он поставляется с предварительно настроенными LLM Llama 2, Code Llama, Mistral, GPT-3.5 и GPT-4. Ollama предоставит разработчикам поддержку, необходимую для работы с этими моделями и их тюнинга, а Neo4J предоставляет специализированную СУБД. Среда разработки ИИ LangChain помогает организовать базовую LLM, базу данных и создаваемое приложение. Docker же предоставляет вспомогательные инструменты, шаблоны кода, а также всё необходимое для разработки приложений.

Компания также представила решение DockerAI, которое предоставляет разработчикам автоматизированные и контекстно-зависимые рекомендации при создании кода, редактировании конфигураций Dockerfile или Docker Compose, отладке и тестировании приложений. Джонстон отметил, что такие инструменты вроде GitHub Copilot в основном ориентированы на генерацию кода приложений. «Помимо исходного кода приложения состоят из веб-серверов, языковых сред выполнения, баз данных, очередей сообщений и многих других технологий, — пояснил он. — Docker AI помогает разработчикам быстро и безопасно определять и устранять неполадки во всех аспектах приложения».

Постоянный URL: http://servernews.ru/1094114
21.07.2023 [14:19], Андрей Крупин

«Лаборатория Касперского» представила решение для защиты контейнерных сред

«Лаборатория Касперского» выпустила защитное решение Kaspersky Container Security, позволяющее снизить риски, характерные для контейнерных сред, высвободить ресурсы ИБ-специалистов и соответствовать требованиям регуляторов.

Kaspersky Container Security обеспечивает безопасность приложений в Kubernetes, OpenShift и на других контейнерных платформах на всех этапах жизненного цикла ПО — от разработки до эксплуатации. Продукт спроектирован с учётом особенностей контейнерных сред и закрывает свойственные им риски информационной безопасности — от уязвимостей в образе контейнера до анализа настроек узлов кластера.

 Архитектура Kaspersky Container Security

Архитектура Kaspersky Container Security

Программный комплекс обеспечивает высокий уровень защиты и обладает важными для российского рынка особенностями, такими как анализ по банку данных угроз безопасности информации (БДУ ФСТЭК) и поддержка отечественных операционных систем Astra Linux и «Ред ОС».

Решение будет полезно компаниям, как разрабатывающим, так и эксплуатирующим приложения с использованием контейнеров. Среди них — операторы связи, государственные структуры, розничная торговля, банки и другие финансовые организации, сферы производства, энергетика, добывающий сектор. Продукт будет востребован при разработке и использовании приложений на микросервисной архитектуре, таких как сервисы для размещения заказа или мониторинга состояния оборудования. Кроме того, Kaspersky Container Security помогает реализовать принцип безопасной разработки ПО (DevSecOps).

Постоянный URL: http://servernews.ru/1090351
21.04.2023 [14:56], Татьяна Золотова

«НТЦ ИТ РОСА» разработала «Менеджер ресурсов» для управления виртуальными средами и контейнерами

Компания «НТЦ ИТ РОСА», занимающая разработкой системного программного обеспечения на базе Linux, выпустила платформу для управления гибридной инфраструктурой на всех этапах жизненного цикла ВМ «Менеджер ресурсов», сообщает CNews.

Платформа поддерживает различные виртуальные, облачные и контейнерные среды. Администраторы получают информацию о конфигурациях ВМ, оборудовании, производительности, загрузке, использованных ресурсах и событиях в контексте связей и зависимостей. На основании данных о конфигурациях, изменениях, событиях, статистики производительности и загрузке «Менеджер ресурсов» дает рекомендации по более эффективному использованию корпоративной инфраструктуры и снижает расходы на оборудование и управление.

 Источник: CNews

Источник: CNews

«Менеджер ресурсов» содержит единый набор функций управления для нескольких платформ виртуализации (ROSA Virtualization, VMware vSphere и Microsoft Hyper-V) и частного облака на основе OpenStack, публичных облачных платформ (Yandex.Cloud), контейнерных платформ на основе Kubernetes и SDN. Решение интегрировано с Ansible для автоматизации технологических процессов. Благодаря режиму multi-tenancy пользователи могут раздельно использовать среду виртуализации без потери конфиденциальности.

С платформой «Менеджер ресурсов» ИТ-отделы смогут контролировать и администрировать свою инфраструктуру, повысить время безотказной работы и сократить простои, обеспечить соответствие нормативным требованиям и сократить расходы на ИТ-инфраструктуру и обслуживание, сообщает компания.

Постоянный URL: http://servernews.ru/1085419
20.02.2023 [17:57], Татьяна Золотова

«Лаборатория Касперского» улучшит защиту контейнерных сред благодаря сделке с Ximi Pro

«Лаборатория Касперского» приобрела 49 % разработчика платформы для защиты контейнерных сред Ximi Pro («дочка» Ximi Lab). Ximi Pro разрабатывает решение Tron для обеспечения всесторонней безопасности контейнерных приложений. Сделка позволит «Лаборатории Касперского» расширить свое XDR-решение возможностью детектировать угрозы и реагировать на них в таких средах.

Пилотирование нового продукта начнется со II квартала 2023 года, старт коммерческих продаж запланирован на III квартал этого же года. Сделка позволит «Лаборатории Касперского» обеспечивать безопасность контейнерной инфраструктуры, приложений и сервисов, а также в рамках XDR-сценариев получать дополнительную телеметрию из контейнеров и контейнерных сред. Новый продукт позволит следить за тем, что происходит в контейнерной инфраструктуре, обнаруживать подозрительное поведение и защищать ее от злоумышленников, которые используют ошибки в конфигурации, уязвимые или содержащие вредоносный код компоненты для проведения атак.

 Источник: Ximi Lab

Источник: Ximi Lab

Согласно прогнозам Gartner, к 2024 году глобальный рынок контейнерного ПО вырастет до $944 млн. Однако при проведении целевых атак контейнерная инфраструктура часто выступает начальным вектором из-за ошибок в конфигурации и наличия уязвимостей в ключевых компонентах. «Лаборатория Касперского» уже предоставляет продукты и технологии для защиты облаков и гибридных инфраструктур. У компании есть решение Kaspersky Security для виртуальных и облачных сред.

Постоянный URL: http://servernews.ru/1082241
Система Orphus