Материалы по тегу: контейнеризация

11.09.2024 [09:09], Владимир Мироненко

DevOps в России мигрирует на отечественные ОС, платформы и инструменты

Компания «Экспресс 42» опубликовала результаты ежегодного исследования «Состояние DevOps в России», вышедшего при поддержке Deckhouse, Yandex Cloud, HeadHunter, «OTUS онлайн образование», JUG Ru Group, Avito Tech, «Т-Банк». Благодаря рекордному числу участников — более 4 тыс. человек — в исследовании удалось выявить ключевые закономерности и самые актуальные тренды развития DevOps в России.

Исследование подтвердило рост интереса к DevOps, в том числе в новых отраслях. Хотя тройка лидеров сохраняется с 2020 года, доля ИТ уменьшилась с 45,5 до 36,2 %, доля финансового сектора упала на 2,4 % до 12,4 %, у ретейла равна 7,3 %. Суммарная доля отраслей за пределами ИТ-сферы и финтеха выросла с 39,7 % до 51,4 %.

По сравнению с прошлым годом среди респондентов выросла доля работающих на российские компании — с 85,8 % до 89,4 %. Также увеличилось количество независимых специалистов — с 2,5 % до 3,8 %. Растущий интерес к DevOps отражает и рынок труда. По востребованности DevOps-специалисты уступают только разработчикам – 27,6 % против 40,6 % соответственно. Далее в рейтинге следуют системные аналитики (13,5 %). Вместе с тем бюджет на наём растёт, как и разрыв между количеством вакансий и резюме. То есть кадровый голод не утолён, но ключевые позиции, похоже, были закрыты, сделали вывод в «Экспресс 42».

 Источник изображений: devopsrussia.ru

Источник изображений: devopsrussia.ru

В числе самых востребованных навыков специалистов в этой сфере работодатели указывают работу с Linux (в 4 5% вакансий), Docker (37 %) и Kubernetes (35 %). Важны также компетенции DevOps (23 %), владение Ansible и Phyton (по 22 %), CI/СD и Bash (по 20 %), PostgreSQL (19 %), Git (17 %). Вместе с тем снизилась доля пользователей Debian/Ubuntu с 61,8 до 53,8 % и RHEL — с 49 до 33,1 %. Попутно растёт доля пользователей российских ОС Astra Linux — с 18,3 до 22,5 %; Ред ОС — с 9,1 до 11,2 %; других российских ОС — с 1,9 до 5,6%. Исключение составила ОС «Альт», доля которой упала с 6,6 до 6,2 %.

Исследователи отметили, что большинство российских компаний адаптировалось к изменившимся за последние два года условиям работы. И их фокус смещается с нормализации состояния на развитие. Доля респондентов, выбравших вариант «Сохранить финансовую и операционную стабильность», сократилась с 23 до 19,4 %, в то время как доля выбравших варианты «Продолжить планомерное развитие» и «Воспользоваться появившимися новыми возможностями» увеличилась с 44 до 45,7 % и с 32 до 34,9 % соответственно.

В числе первоочередных задач, которые компании ставят перед своими ИТ-департаментами — улучшение качества разрабатываемых продуктов (59,7 % респондентов), повышение скорости реагирования на запросы от бизнеса (43,6 %), создание новых технологий, которые обеспечивают конкурентное преимущество на рынке (42,1 %). Также отмечено увеличение средств, выделяемых на ИТ. 57,2 % опрошенных, которые ознакомлены с распределением, сообщили об увеличении бюджета на ИТ, а у 26,2 % он остался прежним.

Исследователи отметили рост количества пользователей managed-решений и российских дистрибутивов Kubernetes. Аналитики расценивают это как начало тренда на переход на управляемые решения и российские дистрибутивы. Также отмечено, что классическими оркестраторами стали пользоваться меньше: доля Kubernetes снизилась с 58,3 до 54,4 %, OpenShift — с 15,1 % до 14,1 %, Rancher — с 9 % до 5,7 %. При этом доля отдельных оркестраторов выросла, больше всего у Docker Swarm — с 14,7 % до 18,6 %. Доля респондентов, которые не используют оркестраторы, увеличилась с 18,7 до 24 %, что объясняется распространением DevOps на новые отрасли, где работают с обычными виртуальными машинами без надобности в решениях уровня Kubernetes, поскольку достаточно Docker Swarm.

В числе ключевых функций/компонентов платформ контейнеризации респонденты назвали возможность установки в закрытый контур (49,1 %), централизованное управление множеством кластеров (44,3 %), возможность беспростойных обновлений (41 %), графический интерфейс и удобство и максимальную автоматизацию всех процессов (38,3 %). Наиболее важными аспектами они назвали наличие экосистемы сопутствующего ПО, наличие совместимости с другим ПО и возможность влияния на план развития платформы. При выборе той или иной платформы контейнеризации респонденты руководствуются стоимостью (51,5 %), затратами на обслуживание и эксплуатацию (48,9 %), сложностью внедрения (45, 9%).

Основной ценностью использования платформ респонденты считают сокращение вывода решения на рынок (52,4 %), сокращение затрат на поддержку технологических решений (49 %) и на владение инфраструктурой (44,2 %). В исследовании также была зафиксирована тенденция ухудшения ключевых метрик по всем профилям эффективности DevOps: частота релизов ПО, срок поставки, меньшее время восстановления после инцидентов и т.д.

Самым популярным инструментом DevOps являются облачные решения. В числе ключевых преимуществ PaaS большинство респондентов назвали ускорение создания и масштабирование приложений (40 %), возможность использование всех сервисов у одного провайдера (37 %), гарантию соблюдения SLA (27 %). Вместе с тем треть респондентов предпочитает размещать данные на собственной инфраструктуре (33 %), чуть меньше трети пользуется гибридной средой (30 %). В основном компании используют управляемые сервисы для администрирования виртуальных машин и систем резервного копирования (4 %), развёртывания серверов (37 %), реже сервисы применяются для помощи с процессом миграции (14 %).

В рейтинге популярности PaaS и управляемых сервисы лидируют управляемые SQL (45 %) и оркестраторы (38 %). По-прежнему наименьшее распространение имеют облачные ML-сервисы (8 %) и инструменты для синтеза и распознавания речи (7 %). Ключевые навыки для DevOps-специалиста в облаке включают знание специфики работы в контуре облачного провайдера: управления доступами и безопасностью (57 %), работы с API (62 %), работы с CLI (61 %). Также растёт использование ИИ — 44 % респондентов используют ML/AI-инструменты для решения DevOps-задач и 47 % отмечают их важность в повышении эффективности.

Постоянный URL: http://servernews.ru/1110736
04.09.2024 [08:08], Владимир Мироненко

Broadcom анонсировала VMware Cloud Foundation 9 и Tanzu Platform 10

Broadcom представила новейшую версию платформы для управления виртуальными машинами и оркестрации контейнеров VMware Cloud Foundation (VCF) 9, назвав её «будущим» своей платформы частного облака, которая ускорит переход клиентов от разрозненных ИТ-архитектур к унифицированной и интегрированной частной облачной платформе с меньшими затратами и рисками. Основной упор в новой версии сделан на создание частных облаков и, конечно же, ИИ.

Broadcom заявила, что VMware Cloud Foundation — первая в отрасли облачная платформа, сочетающая масштабируемость и гибкость публичного облака с безопасностью, устойчивостью и производительностью частного облака и низкой совокупной стоимостью владения. VCF поддержит цифровые инновации клиентов с более быстрой модернизацией инфраструктуры, унифицированным облачным опытом, а также лучшей киберустойчивостью и безопасностью, говорит Broadcom. Компания сослалась на спонсируемое ею исследование IDC, в котором сообщалось, что VCF обеспечивает в среднем на 34 % более низкие затраты на инфраструктуру, на 42 % более низкую общую стоимость эксплуатации и 564 % окупаемости инвестиций в течение трёх лет.

 Источник изображений: blogs.vmware.com

Источник изображений: blogs.vmware.com

VCF помогает организациям быстро перейти на современную и интегрированную инфраструктуру, снижая сложность и время простоя, связанные с ручной миграцией существующих сред в частную облачную платформу. С VMware Cloud Foundation 9 Broadcom добавила возможность клиентам импортировать конфигурации NSX, vDefend, Avi Load Balancer и сложные топологии хранения в существующие среды VCF, а также использовать и интегрировать старые версии существующей инфраструктуры. Этому будет способствовать новый интуитивно понятный пользовательский интерфейс — VCF 9 включает в себя портал самообслуживания с единой консолью управления (вместо десятка с лишним панелей ранее), которая упрощает операции и автоматизацию. Кроме того, компания представила VMware Cloud Foundation (VCF) Advanced Services, каталог готовых к развёртыванию решений, упрощающих работу клиентов в своих частных облачных средах.

VMware Cloud Foundation 9

Обновлений платформы целое множество. Так, расширение пула DRAM посредством NVMe SSD (CXL) в VCF 9 позволит значительно улучшить работу приложений с интенсивным использованием данных, такие как ИИ, СУБД и аналитика в реальном времени, а также сократит задержку и ускорит передачу информации, что имеет решающее значение для задач обучения и инференса. Также это позволяет масштабировать производительность без чрезмерных затрат. А удалённая репликация снимков между vSAN поддерживает глубокую историю неизменяемых снимков, сокращая время простоя и упрощая оркестрацию аварийного восстановления, в том числе в изолированных on-premise окружениях.

Также в VCF 9 включена функциональность VMware Cloud Director, благодаря чему в рамках одной платформы можно поддерживать несколько организаций или, например, групп разработки, сегментируя инфраструктуру на основе их конкретных требований к доступу, управлению рабочими нагрузками, безопасности и конфиденциальности. Кроме того, значительно упростилось создание виртуальных частных облаков (VPC), которые теперь можно формировать буквально в один клик, не занимаясь ручной настройкой VLAN и интеграцией с существующими сетями. Возможности VPC можно расшириить службами VMware vDefend и VMware Avi Load Balancer, которые также получили существенные обновления.

Например, Avi Load Balancer лучше оптимизирован для сред VCF и Kubernetes и интегрирован со службой Tanzu Application Service. По словам Broadcom, это сокращает время развёртывания с недель до минут и повышает прозрачность работы на уровне L4–L7. Kubernetes-системы получат расширенными возможности по управлению трафиком и конвейерами CI/CD.

vDefend был расширен с помощью распределённого анализа влияния правил брандмауэра и распределённой же системы IPS. Он поддерживает крупные и сложные среды, позволяя провести быструю оценку и профилирование угроз, в том числе в изолированных (air-gapped) окружениях. А в рамках Project Cypress компания готовит для vDefent интеллектуального помощника на базе генеративного ИИ, который будет проактивно находить возможные вектора атак, предлагать возможные варианты защиты, выявлять малоэффектвные политики безопасности и т.д. Пообщаться с ним можно будет на естественном языке. А гипервизор VMware может выступать в качестве датчика угроз для быстрой оценки защиты инфраструктуры.

Broadcom также сообщила об обновлении платформы VMware Private AI Foundation with NVIDIA, предназначенный для предприятий, которые хотят использовать возможности ИИ, сохраняя при этом преимущества частного облака, представляющей собой комплексное решение для безопасного и эффективного развёртывания, управления и масштабирования ИИ-приложений на базе VCF. В VCF 9 компания упростила развёртывания платформ генеративного ИИ, расширив возможности управления и мониторинга vGPU и GPU, добавив службу индексации и извлечения данных, а также службу создания ИИ-агентов.

Tanzu 10

На конференции также была представлена 10-я версия унифицированной платформы VMware Tanzu, с помощью котороый разработчики могут автоматизировать защищённые сборки контейнеров, привязывать сервисы к приложениям, развёртывать код одной командой и легко масштабировать приложения, заявила Broadcom. Tanzu 10 также автоматизирует задачи управления приложениями и платформами, такие как исправление уязвимостей, развёртывание непрерывных обновлений и применение политик.

Tanzu предоставляет ряд пакетных сервисов для VCF для автоматизированной и защищённой работы с контейнерами и данными. Новые функции включают поддержку изолированных среды, глобальный балансирощик, расширенные сетевые возможности (Avi Load Balancer), защищённые виртуальные машины, каталог образов с open source ПО. Наконец, встроенная среда разработки ИИ платформы Tanzu позволяет разработчикам создавать приложения Python без знания языка.

Решения Tanzu AI Solutions включают, в том числе, такие функции:

  • GenAI on Tanzu Platform позволяет клиентам использовать большие языковые модели (LLM) в своих приложениях, предоставляя шлюз с OpenAI-совместимыми API для запускать более чем 100 проприетарных и открытых LLM безопасным и согласованным образом.
  • Observability for GenAI отвечает за мониторинг и оценку ИИ-приложений и ответов модели. Это помогает клиентам визуализировать, тестировать и устранять неполадки в приложениях ИИ, выполняя проверки точности моделей и выявляя галлюцинации. Функция также отслеживает использование токенов, помогая контролировать расходы на использование LLM.

Поддержка VMware Private AI Foundation with NVIDIA встроена в сервис GenAI on Tanzu Platform.

Постоянный URL: http://servernews.ru/1110391
28.08.2024 [00:10], Владимир Мироненко

NVIDIA представила шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач

NVIDIA анонсировала NIM Agent Blueprints, каталог предварительно обученных, настраиваемых программных решений, предоставляющий разработчикам набор инструментов для создания и развёртывания приложений генеративного ИИ для типовых вариантов использования, таких как аватары для обслуживания клиентов, RAG, виртуальный скрининг для разработки лекарственных препаратов и т.д.

Предлагая бесплатные шаблоны для частых бизнес-задач, компания помогает разработчикам ускорить создание и вывод на рынок ИИ-приложений. NIM Agent Blueprints включает примеры приложений, созданных с помощью NVIDIA NeMo, NVIDIA NIM и микросервисов партнёров, примеры кода, документацию по настройке и Helm Chart'ы для быстрого развёртывания. Предприятия могут модифицировать NIM Agent Blueprints, используя свои бизнес-данные, и запускать приложения генеративного ИИ в ЦОД и облаках (в том числе в рамках NVIDIA AI Enterprise), постоянно совершенствуя их благодаря обратной связи.

На текущий момент NIM Agent Blueprints предлагают готовые рабочие процессы (workflow) для систем обслуживания клиентов, для скрининга с целью автоматизированного поиска необходимых соединений при разработке лекарств и для мультимодального извлечения данных из PDF для RAG, что позволит обрабатывать огромные объёмы бизнес-данных для получения более точных ответов, благодаря чему ИИ-агенты чат-боты службы станут экспертами по темам компании. С примерами можно ознакомиться здесь.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Каталог NVIDIA NIM Agent Blueprints вскоре станет доступен у глобальных системных интеграторов и поставщиков технологических решений, включая Accenture, Deloitte, SoftServe и World Wide Technology (WWT). А такие компании как Cisco, Dell, HPE и Lenovo предложат полнофункциональную ИИ-инфраструктуру с ускорителями NVIDIA для развёртывания NIM Agent Blueprints. NVIDIA пообещала, что ежемесячно будут выпускаться дополнительные шаблоны для различных бизнес-кейсов.

Постоянный URL: http://servernews.ru/1110075
03.06.2024 [14:18], Руслан Авдеев

GitVerse развернул российское «зеркало» заблокированного Docker Hub

Российский сервис GitVerse оперативно сформировал собственное «зеркало» Docker Hub, так что теперь у пользователей из России есть доступ к актуальным docker-образам. Пресс-служба «СберТеха» («Сбербанк Технологии») сообщает, что сервис уже заработал в режиме «бета» — достаточно будет быстро перенастроить уже имеющиеся клиенты.

В «СберТехе» сообщают, что размещённые на площадке образы полностью соответствуют исходным с Docker Hub. Уже опубликована инструкция по применению docker-образов и, там же, инструкция по применению альтернативного клиента podman. По словам генерального директора СберТеха, несмотря на то, что зарубежный сервис заблокирован для российских клиентов, он по-прежнему важен с точки зрения непрерывности рабочих процессов. Именно поэтому компания выпустила обновление GitVerse.

 Источник изображения: Luke Peters/unsplash.com

Источник изображения: Luke Peters/unsplash.com

Платформа Docker Hub пользовалась большим спросом у российских индивидуальных и корпоративных пользователей, но в конце прошлого месяца доступ к ней был закрыт. Docker Hub активно используется для получения зависимостей и базовых docker-образов в ходе разработки и развёртывания ПО. При этом альтернативные репозитории и «зеркала», созданные неизвестными компаниями или лицами, могут быть опасны в связи с возможными атаками на цепочку поставок.

Постоянный URL: http://servernews.ru/1105861
03.06.2024 [09:21], Владимир Мироненко

NVIDIA объявила об интеграции NIM с KServe

NVIDIA объявила, что набор инференес-микросервисов NVIDIA NIM будет работать с open source платформой KServe на базе Kubernetes, которая позволит автоматизировать развёртывание ИИ-моделей. Это также делает NIM широкодоступным на платформах различных компаний, таких как Canonical, Nutanix и Red Hat.

Интеграция NIM в KServe позволяет расширить возможность использования технологий NVIDIA сообществом, партнёрами по экосистеме и клиентами. Благодаря интеграции с KServe пользователи смогут получить доступ к NIM на многих корпоративных платформах, таких как Charmed KubeFlow от Canonical, Charmed Kubernetes, Nutanix GPT-in-a-Box 2.0, Red Hat OpenShift AI и многих других.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

В рамках интеграции NIM компания NVIDIA планирует активно участвовать в продвижении KServe, опираясь на свой портфель ПО с открытым исходным кодом, включая Triton и TensorRT-LLM. NVIDIA также является активным членом фонда Cloud Native Computing Foundation. NVIDIA и ранее участвовала в разработке KServe и адаптации этого инструмента под свои нужды, равно как и AWS, Bloomberg, Canonical, Cisco, Hewlett Packard Enterprise, IBM, Red Hat, Zillow.

Постоянный URL: http://servernews.ru/1105821
02.06.2024 [15:30], Владимир Мироненко

NVIDIA объявила о доступности NIM для разработчиков ИИ

NVIDIA объявила о доступности NVIDIA NIM, микросервисов инференса, которые предоставляют готовые модели в виде заранее оптимизированных контейнеров, доступных для развёртывания в облаках, ЦОД или на рабочих станциях. Это, по словам компании, позволяет разработчикам возможность без труда создавать приложения генеративного ИИ за считанные минуты, хотя ранее на это уходили недели.

Сложность приложений генеративного ИИ растёт и часто в них используется несколько моделей с различными возможностями для генерации текста, изображений, видео, речи и т.д. NVIDIA NIM позволяет значительно повысить производительность разработчиков, предоставляя простой стандартизированный способ добавления генеративного ИИ в их приложения. NIM также позволяет компаниям максимизировать свои инвестиции в инфраструктуру. Например, NIM-контейнер с оптимизированным вариантом Meta Llama 3-8B выдаёт втрое больше токенов за единицу времени, чем LLM без оптимизаций.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

Более 200 технологических партнёров NVIDIA, включая Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI и Synopsys, уже используют NIM, чтобы ускорить развёртывание генеративного ИИ для приложений, специфичных для их индустрии, таких как ИИ-помощники, помощники по созданию кода, цифровые человеческие аватары и многое другое. Кроме того, экосистему NIM поддерживают Canonical, Red Hat, Nutanix, VMware, Kinetica и Redis. Доступна и интеграция с KServe.

NIM интегрирован в платформу NVIDIA AI Enterprise. Начиная со следующего месяца участники программы NVIDIA Developer Program получат бесплатный доступ к NIM для исследований, разработки и тестирования. Контейнеры NIM могут включать ПО NVIDIA CUDA, NVIDIA Triton Inference Server и NVIDIA TensorRT-LLM. А на ai.nvidia.com уже доступно более 40 готовых моделей, включая Databricks DBRX, Google Gemma, Meta Llama 3, Microsoft Phi-3, Mistral Large, Mixtral 8x22B и Snowflake Arctic. Компания также представила и NVIDIA BioNeMo NIM для биомедицинской сферы.

Ведущие провайдеры ИИ-решений и MLOps-платформ, включая Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot, deepset, Domino Data Lab, LangChain, Llama Index, Replicate, Run.ai, ServiceNow, Securiti AI и Weights & Biases также внедрили NIM. Hugging Face теперь тоже предлагает NIM-контейнейры и позволяет развернуть модели в различных облаках всего за несколько кликов. Микросервисы NIM также интегрированы в AWS, Google Cloud, Microsoft Azure и Oracle Cloud. Наконец, компетенциями в области NIM обзавелись Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS и Wipro.

Предприятия могут запускать приложения с поддержкой NIM практически в любом месте, в том числе на сертифицированных NVIDIA системах Cisco, Dell, HPE, Lenovo и Supermicro, а также ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron и Wiwynn. Более того, например, Foxconn и Pegatron уже используют NIM для разработки предметно-ориентированных LLM для собственных производственных нужд.

Постоянный URL: http://servernews.ru/1105815
30.05.2024 [14:23], Владимир Мироненко

Docker Hub заблокировал доступ с российских IP-адресов

Docker Hub, общедоступный репозиторий компании Docker для хранения контейнеров, теперь блокирует доступ с российских IP-адресов. Как сообщается на сайте платформы, блокировка связана с санкциями США.

«Поскольку Docker — американская компания, мы должны соблюдать правила экспортного контроля США. Стремясь соблюдать эти требования, мы теперь блокируем все IP-адреса, расположенные на Кубе, в Иране, Северной Корее, Республике Крым, Судане и Сирии», — сообщается на сайте Docker Hub при открытии с российского IP-адреса. Тем, кто, не находится в этих регионах, но оказался заблокированным, предлагается обратиться в службу поддержки сервиса. Несмотря на то, что в уведомлении указан только Крым, заблокированными оказались все российские IP-адреса.


Источник изображения: Docker Hub

Docker Hub является одним из важных инструментов разработчиков. Платформа содержит более 100 тыс. образов от поставщиков ПО, а также проектов с открытым исходным кодом. Как сообщает ресурс computerra.ru, в поддержке сервиса уточнили, что больше не сотрудничают «с российскими или белорусскими компаниями и отключили приобретение подписок в этих странах».

UPD 03.06.2024: Docker Hub разблокировал доступ с российских IP-адресов, однако это не значит, его не могут заблокировать снова.

Постоянный URL: http://servernews.ru/1105664
19.03.2024 [03:18], Владимир Мироненко

Всё своё ношу с собой: NVIDIA представила контейнеры NIM для быстрого развёртывания оптимизированных ИИ-моделей

Компания NVIDIA представила микросервис NIM, входящий в платформу NVIDIA AI Enterprise 5.0 и предназначенный для оптимизации запуска различных популярных моделей ИИ от NVIDIA и её партнёров. NVIDIA NIM позволяет развёртывать ИИ-модели в различных инфраструктурах: от локальных рабочих станций до облаков.

Предварительно созданные контейнеры и Helm Chart'ы с оптимизированными моделями тщательно проверяются и тестируются на различных аппаратных платформах NVIDIA, у поставщиков облачных услуг и на дистрибутивах Kubernetes. Это обеспечивает поддержку всех сред с ускорителями NVIDIA и гарантирует, что компании смогут развёртывать свои приложения генеративного ИИ где угодно, сохраняя полный контроль над своими приложениями и данными, которые они обрабатывают. Разработчики могут получить доступ к моделям посредством стандартизированных API, что упрощает разработку и обновление приложений.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

NIM также может использоваться для оптимизации исполнения специализированных решений, поскольку не только использует NVIDIA CUDA, но и предлагает адаптацию для различных областей, таких как большие языковые модели (LLM), визуальные модели (VLM), а также модели речи, изображений, видео, 3D, разработки лекарств, медицинской визуализации и т.д. NIM использует оптимизированные механизмы инференса для каждой модели и конфигурации оборудования, обеспечивая наилучшую задержку и пропускную способность и позволяя более просто и быстро масштабироваться по мере роста нагрузок.

В то же время NIM позволяет дообучить и настроить модели на собственных данных, поскольку можно не только воспользоваться облачными API NVIDIA для доступа к готовым моделями, но и самостоятельно развернуть NIM в Kubernetes-средах у крупных облачных провайдеров или локально, что сокращает время разработки, сложность и стоимость подобных проектов и позволяет интегрировать NIM в существующие приложения без необходимости глубокой настройки или специальных знаний.

Постоянный URL: http://servernews.ru/1101874
19.03.2024 [02:16], Владимир Мироненко

NVIDIA AI Enterprise 5.0 предложит микросервисы, которые ускорят развёртывание ИИ

NVIDIA представила свежую версию платформы для работы с ИИ-приложениями NVIDIA AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров для быстрого развёртывания приложений генеративного ИИ. NVIDIA отметила, что уже микросервисы адаптируются ведущими поставщиками ПО и платформ кибербезопасности, а все функции AI Enterprise 5.0 вскоре будут доступны в облачных маркетплейсах AWS, Google Cloud, Microsoft Azure и Oracle Cloud.

Микросервисы позиционируются компанией как эффективный инструмент для создания разработчиками современных корпоративных приложений в глобальном масштабе. Работая прямо в браузере, разработчики могут используют для создания приложений облачные API. NVIDIA AI Enterprise 5.0 теперь включает предназначенные для развёртывания моделей ИИ микросервисы NIM и микросервисы CUDA-X. Сюда входит и NVIDIA cuOpt, ИИ-микросервис для задачи логистики, который позволяет значительно ускорить оптимизации маршрута и расширить возможности динамического принятия решений, снижая затраты, экономя время и позволяя сократить выбросы CO2.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

NIM оптимизирует инференс-нагрузки для различных популярных моделей ИИ от NVIDIA и партнёров. Используя ПО NVIDIA для инференса, включая Triton Inference Server, TensorRT и TensorRT-LLM, NIM позволяет сократить развёртывание моделей с недель до минут и вместе с тем обеспечивает безопасность и управляемость в соответствии с отраслевыми стандартами, а также совместимость с инструментами управления корпоративного уровня. В настоящее время компания работает над расширением возможностей AI Enterprise.

С выходом версии NVIDIA AI Enterprise 5.0 платформа получила ряд дополнений. В частности, она теперь включает NVIDIA AI Workbench, набор инструментов для разработчиков, обеспечивающих быструю загрузку, настройку и запуск проектов генеративного ИИ. ПО теперь общедоступно и поддерживается NVIDIA. NVIDIA AI Enterprise 5.0 также теперь поддерживает платформу Red Hat OpenStack. Кроме того, в NVIDIA AI Enterprise 5.0 расширена поддержка широкого спектра новейших ускорителей NVIDIA, сетевого оборудования и ПО для виртуализации.

Постоянный URL: http://servernews.ru/1101867
06.01.2024 [23:17], Владимир Мироненко

Микроконтейнеры для микроконтроллеров: представлена платформа NXP Platform Accelerator на базе MicroEJ VEE

Компания NXP Semiconductors анонсировала новую платформу NXP Platform Accelerator, разработанную в сотрудничестве с MicroEJ, которая обеспечивает переносимость ПО для чипов NXP, позволяя ускорить разработку и масштабирование новые умных промышленных продуктов и решений Интернета вещей. NXP Platform Accelerator использует программные контейнеры со стандартизированными API, чтобы обеспечить гибкость проектирования ПО и значительно сократить затраты клиентов на разработку и время вывода на рынок.

Использование среды MicroEJ VEE обеспечивает переносимость ПО среди широкого спектра микроконтроллеров NXP с RTOS и процессоров приложений на базе Linux. Кроме того, NXP Platform Accelerator предоставляет специальные API для обеспечения простого доступа к расширенным функциям чипов NXP, таким как управление питанием и 3D/2D-графика. Уже доступны примеры и документация для энергоэффективных i.MX RT595 и высокопроизводительных i.MX RT1170.

Интеллектуальные устройства для промышленного сектора и IoT сложно разрабатывать и внедрять. Многие из них предназначены для одной цели, имеют фиксированную функциональность и ограниченные вычислительные возможности. Масштабирование возможностей продукта зачастую требует разработки с нулия и интеграции низкоуровневого ПО, RTOS или ОС более высокого уровня, а также промежуточного ПО, что отражается на скорости создания продукта.

 Источник изображения: NXP

Источник изображения: NXP

По словам компании, NXP Platform Accelerator позволяет решить эту проблему благодаря контейнеризации, которая обеспечивает переносимость ПО для всего портфолио аппаратных решений NXP, от микроконтроллеров до процессоров. Возможность повторного использования бинарных сборок позволяет клиентам максимально быстро создавать прототипы новых продуктов. Кроме того, NXP Platform Accelerator позволяет управлять развёртыванием ПО на периферии, предоставляя возможности, подобные имеющиеся у приложений для смартфонов, такие как частичные или полные обновления по воздуху, загружаемые приложения и микросервисы.

Новая платформа объединяет передовые инструменты разработки, включая моделирование, управление виртуальными устройствами, возможность использования C/Java/JavaScript, совместную работу и интеграцию с Android Studio, IntelliJ и Eclipse. Кроме того, NXP Platform Accelerator объединяет различные API для работы с IP-блоками, которые, к примеру, позволяют быстро переключаться между профилями энергопотребления. А сами контейнеры задействуют специальные оптимизации и библиотеки от NXP.

Постоянный URL: http://servernews.ru/1098395

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;

Система Orphus