В Москве планируют создать собственную информационную систему обезличенных персональных данных для обучения ИИ, пишет Forbes со ссылкой на заявление заместителя руководителя департамента информтехнологий (ДИТ) Москвы Владислава Шишмарева.

Согласно подготовленной ДИТ презентации, будущая информационная система формирования региональных составов данных (ИС ФРСД) предназначена для сбора и обезличивания личной информации жителей столицы, которая обрабатывается госорганами и подведомственными организациями правительства Москвы. Оператором системы будет ДИТ Москвы. «Обезличенные данные предполагается использовать для обучения алгоритмов ИИ, их применение в других целях не предусмотрено», — пояснили в ДИТ.

Согласно данным портала ai.mos.ru, в настоящее время в столице реализуется около 100 проектов с использованием ИИ на разной стадии реализации. Город располагает 25 наборами данных в таких сферах, как электронное правительство, строительство, экономика, культура и ЖКХ, которыми готов делиться с разработчиками ИИ-решений. Для получения полного доступа к этим наборам достаточно отправить заявку с описанием ИИ-проекта, в котором они будут использоваться.

После обезличивания данные будут передавать в «госозеро» данных, которое создаёт Минцифры, или же использовать внутри ИС ФРСД. Использовать их будут как госорганы, так и бизнес для аналитических целей.

Источник изображения: Gabriel Heinzer/unsplash.com

Принятым в 2020 году законом в Москве был введён экспериментальный правовой режим (ЭПР) для стимулирования разработки и тестирования новых сервисов на базе ИИ, в рамках которого компании, участвующие в эксперименте, получили широкие возможности по использованию ИИ, включая доступ к данным граждан, в том числе, изображениям с камер распознавания лиц и обезличенным персональным данным.

Согласно закону о создании «госозера», принятому в августе 2024 года, будет создана государственная информационная системы (ГИС), куда компании по запросу должны бесплатно передавать обезличенные персональные данные клиентов и сотрудников. При этом для Москвы в законе сделано исключение в связи с действующим ЭПР.

Насколько полезным для бизнеса станет создание столичного «озера» данных будет зависеть от того, на каких условиях будут предоставляться дата-сеты и можно ли будет воспользоваться результатами их обработки, считают эксперты. На данный момент по закону выгрузить из «госозера» ничего нельзя, даже результатов анализа информации. Также высказываются опасения, что даже обезличенные персональные данные могут позволить идентифицировать их владельца.

XII научно-практическая конференция OS DAY 2025 состоится в Москве 19–20 июня. В этом году центральной темой для обсуждения на ней станут современные методы построения изолированных сред исполнения в операционных системах. Будут обсуждаться методики разграничения полномочий, технологии защиты от компьютерных атак, способы оптимизации вычислительных ресурсов.

Актуальность темы конференции особо отметил председатель программного комитета OS DAY, директор ИСП РАН Арутюн Аветисян: «Доверие к ПО нужно обеспечивать комплексно, — подчеркнул он. — Как при проектировании, когда применяются принципы конструктивной безопасности и выстраиваются цепочки доверия от прикладного программного обеспечения через системное к аппаратным решениям, так и при создании ПО в соответствии с требованиями безопасной разработки. И, наконец, на этапе эксплуатации, когда приходится решать задачи использования не доверенных приложений в доверенной системе. Чтобы минимизировать риски негативного воздействия таких приложений на всю систему, необходима их изоляция, которую обеспечивают доверенные среды исполнения. В июне мы с коллегами обсудим все эти актуальные вопросы, различные аспекты изоляции, это многогранное понятие».

Источник изображений: OS Day

OS Day 2025 сыграет серьёзную роль в работе, которую сегодня ведёт российское IT-сообщество совместно с регулирующими органами. Площадкой для обсуждения вопросов безопасной разработки стал Подкомитет №2 технического комитета по стандартизации 362 «Защита информации» на базе ФСТЭК России. А вопросы доверенных сред исполнения перешли в недавно созданный подкомитет №3 «Аппаратная безопасность», где стали основными направлениями стандартизации. Конференция также даст возможность представителям IT-отрасли обсудить результаты этой совместной работы.

В ходе OS DAY 2025 состоится круглый стол «Безопасность операционных систем в контексте искусственного интеллекта». Его участники обсудят, какие вызовы возникают сегодня в связи с широким применением технологий ИИ в программировании, какие можно обозначить проблемы, ожидающие российскую ИТ-отрасль, и каковы могут быть пути их разрешения. Будут затронуты темы операционных систем как платформ для развития ИИ, использования искусственного интеллекта в разработке ОС, другие актуальные задачи системного программирования, связанные с широким проникновением ИИ в сферу разработки ПО.

Конференцию организует консорциум OS DAY, в который входят ИСП РАН, «Лаборатория Касперского», НТП «Криптософт», «Открытая мобильная платформа», «Базальт СПО», «РЕД СОФТ», НТЦ ИТ РОСА и НИЦ «Институт имени Н.Е. Жуковского». В конференции примут участие специалисты в области системного программирования, создатели российских операционных платформ, их коллеги-разработчики, заказчики российского ПО и представители регулирующих органов.

Программный комитет OS DAY 2025 принимает заявки на доклады до 10 мая по следующим темам:

• Современные способы построения изолированной среды исполнения в ОС;
• Изоляция процессов в операционных системах: виртуализация, контейнеризация, аппаратная изоляция, гипервизоры, изоляция приложений внутри ОС и пр.;
• Изоляция как механизм защиты информации, основа обеспечения безопасности ОС;
• Модели информационной безопасности в изолированных средах исполнения;
• Механизмы обеспечения политик безопасности ОС;
• Цифровые отечественные платформы: перспективы отечественных операционных систем;
• Прикладное программное обеспечение и операционные системы;
• Жизненный цикл создания операционных систем: от разработки до сертификации;
• Иные темы, связанные с системным программированием.

Параллельно с основной программой OS DAY 2025 пройдет традиционная выставка технологий, где российские производители операционных систем представят новейшие решения в области системного ПО.

Конференция проводится при поддержке: РАН, ФСТЭК России, АРПП «Отечественный софт», НП «РУССОФТ».

Время и место проведения: 19–20 июня 2025 года, РЭУ им. Г.В. Плеханова. Адрес: Москва, ул. Большая Серпуховская, д. 11, корпус 9, этаж 8, «Точка-кипения РЭУ».

Для участия просьба зарегистрироваться на сайте https://osday.ru. Зарегистрированным участникам, выбравшим формат онлайн, будет предоставлен доступ на адрес электронной почты, указанный при регистрации.

По дополнительным вопросам просьба обращаться: Анна Новомлинская, исполнительный директор OS DAY, an@ispras.ru.

Научно-практическая конференция OS DAY проводится в России ежегодно с 2014 г. Это место консолидации российских разработчиков операционных платформ и поиска перспектив для совместной деятельности. Задачи конференции — определить перспективные направления и технологии в сфере разработки операционных систем, обозначить главные вызовы современной IT-отрасли и помочь разработчикам, производителям и заказчикам обменяться опытом.

Организует конференцию консорциум OS DAY, в который входят: ИСП РАН, АО «Лаборатория Касперского», НТП «Криптософт», «Открытая мобильная платформа», «Базальт СПО», «РЕД СОФТ», НТЦ ИТ РОСА и НИЦ «Институт имени Н.Е. Жуковского». Целью создания сообщества организаторов было определить задачи и возможности России в области разработки операционных платформ, выделить перспективные технологии, обменяться опытом, обозначить вызовы IT-отрасли и направления движения.

«Группа Астра», Axiom JDK (АО «Аксиом») и Haulmont объявили о создании совместного предприятия «Открытая среда разработки» на паритетных началах в рамках некоммерческого партнёрства с целью развития и вывода на рынок OpenIDE — бесплатной, безопасной, лицензионно чистой среды разработки на базе open source среды IntelliJ IDEA Community Edition, первая версия которой находится на финальной стадии бета-тестирования. Выход стабильной версии OpenIDE с публикацией исходников и открытием баг-трекера намечен на II квартал 2025 года. Согласно графику, в III квартале платформа будет включена в реестр российского ПО.

OpenIDE объединяет и упрощает использование различных инструментов разработки, способствуя экономии ИТ-ресурсов и снижению затрат, оптимизируя процессы разработки и управление лицензиями, что позволяет компаниям более эффективно распределять ресурсы. Платформа позволит решать задачи госсектора и крупного бизнеса, предъявляющих особые требования к безопасности, предсказуемости и технологической независимости.

Как указано в пресс-релизе, запуск платформы стал одним из первых в России масштабных примеров объединения нескольких вендоров для создания бесплатного решения с открытым исходным кодом, соответствующего самым высоким стандартам производительности, надёжности и безопасности.

Источник изображения: OpenIDE

Учредители OpenIDE рассчитывают привлечь партнёров для участия в open source проекте, которые также предложат свои продукты пользователям платформы. В OpenIDE можно создавать Java-проекты на свободной версии платформы Axiom JDK — единственной отечественной тиражируемой JDK. Бесплатная версия плагина Amplicode от Haulmont предоставляет базовую поддержку фреймворка Spring «из коробки». Также «Группа Астра» планирует в ближайшее время предложить удобную интеграцию с платформой для разработки GitFlic.

Ключевые преимущества OpenIDE — открытый исходный код и отсутствие рисков, связанных с использованием зарубежных технологий и размещением инфраструктуры за пределами страны. В ней нет проприетарных компонентов, серверы с дистрибутивами и исходным кодом, как и команда её разработчиков, находятся в России. Что также удобно, функциональность решения можно расширить, подключив соответствующие отечественные плагины через открытый маркетплейс. Благодаря этому обеспечивается гибкость, надёжность и безопасность решения, а также исключаются проблемы с лицензированием, говорят создатели.

Генеральным директором ООО «Открытая среда разработки» назначен Федор Сазонов, который, в частности руководил разработкой решений для работы с ключевыми клиентами в «Сбере». «Создание OpenIDE — это не просто реакция на текущие ограничения, а стратегический шаг. Мы стремимся вырастить полноценную и безопасную экосистему продуктов для российских разработчиков ПО», — заявил Сазонов, выразив уверенность в перспективности проекта, который привлечёт большое количество пользователей.

Провайдер облачных и ИИ-технологий Cloud.ru объявил о разработке новой платформы для локального развёртывания ИИ-сервисов Cloud.ru Evolution Stack AI-bundle, представляющей собой конфигурацию решения Cloud.ru Evolution Stack, оптимизированную под выполнение ML- и ИИ-задач.

Новая платформа объединит возможности частного и гибридного облака Cloud.ru с набором инструментов для быстрой и безопасной разработки ИИ-продуктов с полным контролем данных. Решение будет востребовано представителями финансового и государственного секторов, операторами облачных ЦОД, крупным ретейлом и промышленными предприятиями. Использование платформы позволит упростить запуск и масштабирование ИИ-сервисов, снизит для пользователей порог входа в разработку ИИ-решений и ускорит их внедрение предприятиями.

Cloud.ru Evolution Stack AI-bundle будет включать сервисы для end-to-end ML-разработки и локального развёртывания, кастомизации и дальнейшего масштабирования моделей, в том числе:

• рабочие DS-окружения Jupyter Lab;
• инструменты управления жизненным циклом ML-моделей (обучение, дообучение, инференс);
• инфраструктурные компоненты: Managed Kubernetes с поддержкой ускорителей, реестр артефактов, виртуальные машины на базе ускорителей, высокопроизводительное S3-хранилище и специализированная файловая система для интеграции с ML-сервисами.

Новая платформа будет базироваться на собственных разработках Cloud.ru в сфере ИИ, используемых в облачной платформе Cloud.ru Evolution, и свободно распространяемых компонентах. С её помощью можно будет решать ИИ-задачи в гибридном сценарии: например, обучать модели в публичном облаке, а инференс выполнять в частном контуре клиента, или, наоборот, переносить процесс в публичное облако в периоды высокой нагрузки.

Используя OSS/BSS-инструменты, платформа поддерживает мультитенантную архитектуру, централизованное управление доступом, мониторинг сервисов и определение квот на используемые ресурсы. При необходимости Cloud.ru Evolution Stack AI-bundle будет дополняться другими IaaS/PaaS провайдера при создании облачного решения под ключ для использования на уровне всей инфраструктуры клиента. Также можно будет дополнять предложение Cloud.ru Evolution Stack ИИ-решениями из портфеля Evolution Stack AI-bundle.

Платформа для создания гибридного и частного облака Cloud.ru входит в реестр российского программного обеспечения и соответствует требованиям импортозамещения. Помимо лицензионного ПО, разрабатываемая платформа будет доступна в составе программно-аппаратных комплексов для ИИ-задач с поставкой по подписке. По словам Cloud.ru, новая платформа обеспечит крупному бизнесу и государственным организациям возможность использования ИИ-сервисов и полного набора инструментов публичного облака Cloud.ru Evolution on-premise.

Провайдер облачных и ИИ-технологий Cloud.ru анонсировал Cloud.ru Evolution AI Factory, цифровую среду для разработки приложений и агентов на основе ИИ в облаке, которая объединяет облачные ИИ- и ML-инструменты для работы с генеративными нейросетями и управления жизненным циклом ИИ-приложений. Это универсальная среда с широким спектром возможностей: от обучения моделей до запуска мультиагентных систем.

С помощью Cloud.ru Evolution AI Factory компании смогут создавать собственные ИИ-приложения по предлагаемым готовым шаблонам или работать с кастомизированными ИИ-моделями. Благодаря удобному набору технологий и встроенных ассистентов с решением можно работать даже без специальных навыков. Использование Cloud.ru Evolution AI Factory позволит компаниям значительно снизить затраты на вычислительную инфраструктуру, повысить эффективность работы и сократить сроки вывода новых продуктов на рынок.

Как сообщил глава Cloud.ru, решение будет доступно клиентам этим летом с полностью готовой инфраструктурой, сервисами и продуктами для простого и быстрого создания ИИ-приложений. Платформа включает:

• Сервис Foundation Models, обеспечивающий быстрый и удобный доступ в российском облаке к таким популярным моделям, включая GigaChat, DeepSeek, Qwen и Gemma. Он позволит разработчикам адаптировать ИИ-модели под свои задачи, проверять гипотезы и проводить эксперименты без необходимости в запуске сложной инфраструктуры. В состав сервиса также входит AI Playground — среда для быстрого прототипирования, проверки гипотез и тестирования моделей на практике.
• Evolution ML Inference — сервис для запуска моделей из библиотеки Hugging Face на облачных мощностях с ускорителями, в том числе в пользовательских Docker-образах. Он поддерживает среды исполнения vLLM, TGI, Ollama, Diffusers, Transformers, а также модели-трансформеры, диффузионные модели и большие языковые модели (LLM). Инференс-как-сервис позволяет распределять ресурсы ускорителя между задачами на уровне production-ready решения. Это позволит гибко и максимально эффективно управлять ресурсами в облаке, снижая затраты и ускоряя работу ИИ-моделей.
• AI Assistants — сервис для создания агентных и мультиагентных систем с подключением к внешним системам с MCP (Model Context Protocol), который позволит настроить взаимодействие между ИИ-агентами и источниками данных с возможностью использования продвинутых моделей и собственных решений компании. Сервис обеспечивает быстрый доступ к информации, автоматизацию рутинных задач, в том числе, благодаря использованию RAG.
• Cloud.ru ML Space — платформа для выполнения задач глубокого обучения с использованием суперкомпьютеров и МО на базе российского решения. Подходит для полного цикла МО-разработки в облаке и on-premise.

Сообщается, что новое решение позволяет объединить в Cloud.ru не только инструменты для создания ИИ-приложений, но и независимых разработчиков ПО, чтобы упростить работу с облаком и бизнеса в целом.

Провайдер облачных сервисов Cloud.ru обнародовал результаты исследования, посвящённого использованию средств ИИ российскими IT-специалистами. Выяснилось, что более 70 % респондентов применяют ИИ-сервисы как минимум раз в неделю, а 39 % разработчиков ПО используют такие инструменты ежедневно.

Опубликованные цифры получены в ходе опроса разработчиков, тестировщиков, аналитиков данных и представителей других IT-специальностей с разным уровнем подготовки со всей России. Большинство респондентов отмечают, что навыки работы с ИИ становятся всё более значимыми на рынке труда. В частности, 70 % участников опроса периодически встречают в вакансиях обязательное требование владеть навыками и инструментами ИИ, а 22 % респондентов сталкиваются с подобными требованиями регулярно.

Практически две трети — 62 % — IT-специалистов в России доверяют ИИ как напарнику. Почти половина опрошенных, в чьих компаниях активно поддерживается использование ИИ, оценили доверие к технологии наивысшим баллом. Вместе с тем 46 % респондентов больше доверяют российским ИИ-сервисам, тогда как одинаковое доверие к отечественным и зарубежным инструментам проявляют менее трети специалистов — около 31 %. Среди наиболее популярных сценариев использования ИИ названы (респонденты могли выбирать несколько ответов):

• Работа с кодом — 73 %;
• Генерация текстов — 31 %;
• Поиск информации — 31 %;
• Анализ данных — 31 %;
• Создание презентаций — 24 %;
• Генерация изображений — 24 %;
• Анализ рисков кибербезопасности — 19 %;
• Расшифровка аудиозаписей — 15 %;
• Подготовка обзоров объёмной информации — 9 %.

В целом, как сказано в исследовании, применение ИИ помогает российским IT-специалистам работать быстрее и эффективнее, минимизирует усилия, избавляет от рутины, повышает чувство уверенности и комфорта, освобождая больше времени для профессиональной реализации и решения интересных мотивирующих задач.

Незадолго до анонса новых мейнфреймов IBM z17 компания Google анонсировала новые ИИ-инструменты на основе моделей Gemini и других технологий для модернизации инфраструктуры и переносу нагрузок с в облако Google Cloud.

Google Cloud Mainframe Assessment Tool (MAT) на основе ИИ-моделей Gemini уже доступен. Инструмент позволяет оценить и проанализировать общее состояние мейнфреймов, включая приложения и данные. Это даст возможность принимать информированные решения по оптимальной модернизации. MAT обеспечивает глубокий анализ кода, генерирует чёткие объяснения его работы, автоматизирует создание документации и др. Это позволяет ускорить понимание кода мейнфреймов и стимулирует процесс модернизации.

Google Cloud Mainframe Rewrite на основе моделей Gemini позволяет модернизировать приложения для мейнфреймов (инструмент доступен в превью-режиме). Он помогает разработчикам переосмыслить и преобразовать код для мейнфреймов, переписав его на современные языки программирования вроде Java и C#. Mainframe Rewrite предлагает IDE для модернизации кода, тестирования и развёртывания модернизированных приложений в Google Cloud.

Источник изображения: Ant Rozetsky / Unsplash

Наконец, чтобы снизить риски, возникающие при модернизации, предлагается инструмент Google Cloud Dual Run для глубокого тестирования, сертификации и оценки модернизированных приложений. Инструмент позволяет проверить корректность, полноту и производительность модернизированного кода в ходе миграции и до того, как новое приложение заменит старое. Dual Run сравнивает данные, выдаваемые старой и новой системами, для поиска отличий.

Имеются и дополнительные инструменты, разработанные партнёрами Google. Так, Mechanical Orchard предлагает платформу для быстро переписывания приложений на COBOL на современные языки, включая Java, Python и др., без изменения бизнес-логики. Решение позволяет «пошагово» переписывать фрагменты приложений с помощью систем генеративного ИИ с сохранением функциональности и тестировать корректность их работы. Основная цель — создать для облака функциональный эквивалент устаревших решений.

Источник изображения: Google Cloud

Кроме того, в рамках новой программы Google Mainframe Modernization with Gen AI Accelerator компания привлекла Accenture, EPAM и Thoughtworks, которые помогут организациям мигрировать с мейнфреймов. На первом этапе производится анализ кода с помощью MAT и Gemini. На втором реализуется пилотный проект с проверкой работоспособности нового кода. На третьем осуществляется полномасштабная миграция в облако. Первые клиенты могут бесплатно (без учёта расходов на Google Cloud) оценить решения в течение 4-8 недель.

Мейнфреймы ещё рано списывать со счетов. Согласно данным опроса Kyndryl 500 топ-менеджеров ИТ-индустрии, многие организации интегрируют мейнфреймы с публичными и частными облачными платформами и совершенствуют свои программы модернизации, перемещая некоторые рабочие нагрузки с мейнфреймов или обновляя их.

Компания MTS AI (дочерняя структура МТС Web Services) объявила о выходе ИИ-ассистента для разработчиков второго поколения Kodify 2. Новая версия ИИ-ассистента поддерживает 90 языков программирования, предлагая основные возможности для автоматизации и ускорения процесса разработки, включая автодополнение кода, исправление ошибок, генерацию тестов и документации, оптимизацию кода, а также преобразование текста в код.

Kodify 2 с 7 млрд параметров поддерживает контекст длиной до 32 768 токенов и имеет API, совместимый OpenAI, что обеспечивает возможность интеграции с другими системами.

Согласно проведённым тестам, Kodify 2 сопоставим по возможностям с лидирующим на рынке продуктом GitHub Copilot. В генерации тестов Kodify 2 выполнил задачу так же или лучше, чем GitHub Copilot, в 57 % случаев, а в преобразовании текста в код — в 48 % случаев. Тестирование проводилось методом прямого сравнения и оценки с помощью модели-судьи Claude Sonnet 3.5.

Источник изображения: MTS AI

ИИ-агент Kodify используется c 2024 года командами разработки компаний из ПАО «МТС», а версия Kodify 2 будет доступна для покупки внешними заказчиками. По оценкам MTS AI, объём российского рынка ИИ-ассистентов для разработчиков в этом году составит 17,4 млрд руб., включая 13,9 млрд руб. сегмента on-premise-решений, и 3,5 млрд руб. — облачных. Доля рынка MTS AI может составить 10 %.

Признавая, что одних моделей, включая свежие Llama Nemotron с регулируемым «уровнем интеллекта», недостаточно для развёртывания ИИ на предприятии, NVIDIA анонсировала проект AI-Q Blueprint, представляющий собой фреймворк с открытым исходным кодом, позволяющий разработчикам подключать базы знаний к ИИ-агентам, которые могут действовать автономно.

Blueprint был создан с помощью микросервисов NVIDIA NIM и интегрируется с NVIDIA NeMo Retriever, что упрощает для ИИ-агентов извлечение мультимодальных данных в различных форматах. С помощью AI-Q агенты суммируют большие наборы данных, генерируя токены в 5 раз быстрее и поглощая данные петабайтного масштаба в 15 раз быстрее с лучшей семантической точностью.

Проект основан на новом наборе инструментов NVIDIA AgentIQ для бесшовного, гетерогенного соединения между агентами, инструментами и данными, опубликованном на GitHub. Он представляет собой программную библиотеку с открытым исходным кодом для подключения, профилирования и оптимизации команд агентов ИИ, работающих на основе корпоративных данных для создания многоагентных комплексных (end-to-end) систем. Его можно легко интегрировать с существующими многоагентными системами — как по частям, так и в качестве комплексного решения — с помощью простого процесса адаптации, который обеспечивает полную поддержку.

Набор инструментов AgentIQ также повышает прозрачность с полной отслеживаемостью и профилированием системы, что позволяет организациям контролировать производительность, выявлять неэффективность и иметь детальное представление о том, как генерируется бизнес-аналитика. Эти данные профилирования можно использовать с NVIDIA NIM и библиотекой с открытым исходным кодом NVIDIA Dynamo для оптимизации производительности агентских систем.

Благодаря этим инструментам предприятиям будет проще объединять команды ИИ-агентов в таких решениях, как Agentforce от Salesforce, поиск Atlassian Rovo в Confluence и Jira, а также ИИ-платформа ServiceNow для трансформации бизнеса, чтобы устранить разрозненность, оптимизировать задачи и сократить время ответа с дней до часов. AgentIQ также интегрируется с такими фреймворками и инструментами, как CrewAI, LangGraph, Llama Stack, Microsoft Azure AI Agent Service и Letta, позволяя разработчикам работать в своей предпочтительной среде. Azure AI Agent Service интегрирован с AgentIQ для обеспечения более эффективных агентов ИИ и оркестровки многоагентных фреймворков с использованием семантического ядра, которое полностью поддерживается в AgentIQ.

Возможности ИИ-агентов уже широко используются в различных отраслях. Например, платёжная система Visa использует ИИ-агентов для оптимизации кибербезопасности, автоматизируя анализ фишинговых писем в масштабе. Используя функцию профилирования AI-Q, Visa может оптимизировать производительность и затраты агентов, максимально увеличивая роль ИИ в эффективном реагировании на угрозы, сообщила NVIDIA.

NVIDIA анонсировала новое семейство ИИ-моделей Llama Nemotron с расширенными возможностями рассуждения. Основанные на моделях Llama с открытым исходным кодом от Meta✴ Platforms, модели от NVIDIA предназначены для предоставления разработчикам основы для создания продвинутых ИИ-агентов, которые могут от имени своих пользователей независимо или с минимальным контролем работать в составе связанных команд для решения сложных задач.

«Агенты — это автономные программные системы, предназначенные для рассуждений, планирования, действий и критики своей работы», — сообщила Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами Generative AI в NVIDIA на брифинге с прессой, пишет VentureBeat. «Как и люди, агенты должны понимать контекст, чтобы разбивать сложные запросы, понимать намерения пользователя и адаптироваться в реальном времени», — добавила она. По словам Бриски, взяв Llama за основу, NVIDIA оптимизировала модель с точки зрения требований к вычислениям, сохранив точность ответов.

Источник изображений: NVIDIA

NVIDIA сообщила, что улучшила новое семейство моделей рассуждений в ходе дообучения, чтобы улучшить многошаговые математические расчёты, кодирование, рассуждения и принятие сложных решений. Это позволило повысить точность ответов моделей до 20 % по сравнению с базовой моделью и увеличить скорость инференса в пять раз по сравнению с другими ведущими рассуждающими open source моделями. Повышение производительности инференса означают, что модели могут справляться с более сложными задачами рассуждений, имеют расширенные возможности принятия решений и позволяют сократить эксплуатационные расходы для предприятий, пояснила компания.

Модели Llama Nemotron доступны в микросервисах NVIDIA NIM в версиях Nano, Super и Ultra. Они оптимизированы для разных вариантов развёртывания: Nano для ПК и периферийных устройств с сохранением высокой точности рассуждения, Super для оптимальной пропускной способности и точности при работе с одним ускорителем, а Ultra — для максимальной «агентской точности» в средах ЦОД с несколькими ускорителями.

Как сообщает NVIDIA, обширное дообучение было проведено в сервисе NVIDIA DGX Cloud с использованием высококачественных курируемых синтетических данных, сгенерированных NVIDIA Nemotron и другими открытыми моделями, а также дополнительных курируемых наборов данных, совместно созданных NVIDIA. Обучение включало 360 тыс. часов инференса с использованием ускорителей H100 и 45 тыс. часов аннотирования человеком для улучшения возможностей рассуждения. По словам компании, инструменты, наборы данных и методы оптимизации, используемые для разработки моделей, будут в открытом доступе, что предоставит предприятиям гибкость в создании собственных пользовательских рвссуждающих моделей.

Одной из ключевых функций NVIDIA Llama Nemotron является возможность включать и выключать опцию рассуждения. Это новая возможность на рынке ИИ, утверждает компания. Anthropic Claude 3.7 имеет несколько схожую функциональность, хотя она является закрытой проприетарной моделью. Среди моделей с открытым исходным кодом IBM Granite 3.2 тоже имеет переключатель рассуждений, который IBM называет «условным рассуждением».

Особенность гибридного или условного рассуждения заключается в том, что оно позволяет системам исключать вычислительно затратные этапы рассуждений для простых запросов. NVIDIA продемонстрировала, как модель может задействовать сложные рассуждения при решении комбинаторной задачи, но переключаться в режим прямого ответа для простых фактических запросов.

NVIDIA сообщила, что целый ряд партнёров уже использует модели Llama Nemotron для создания новых мощных ИИ-агентов. Например, Microsoft добавила Llama Nemotron и микросервисы NIM в Microsoft Azure AI Foundry. SAP SE использует модели Llama Nemotron для улучшения возможностей своего ИИ-помощника Joule и портфеля решений SAP Business AI. Кроме того, компания использует микросервисы NVIDIA NIM и NVIDIA NeMo для повышения точности завершения кода для языка ABAP.

ServiceNow использует модели Llama Nemotron для создания ИИ-агентов, которые обеспечивают повышение производительности и точности исполнения задач предприятий в различных отраслях. Accenture сделала рассуждающие модели NVIDIA Llama Nemotron доступными на своей платформе AI Refinery. Deloitte планирует включить модели Llama Nemotron в свою недавно анонсированную платформу агентского ИИ Zora AI. Atlassian и Box также работают с NVIDIA, чтобы гарантировать своим клиентам доступ к моделям Llama Nemotron.