«К2 НейроТех», подразделение компании «К2Тех», представило программно-аппаратный комплекс ПАК-AI, позволяющий оперативно интегрировать ИИ в действующую ИТ-среду организации в соответствии с её требованиями и политиками безопасности. ПАК-AI включает аппаратную часть, программную платформу, а также инструменты для работы с данными, ИИ-моделями, промтами, визуализациями, API-интеграцией и т. д. Первый вариант ПАК-AI построен на базе оборудования YADRO: шесть серверов, включая ИИ-сервер с восемью GPU и сетевые коммутаторы KORNFELD.

Управление ПАК-AI осуществляется через портал — специализированную GUI-платформу, служащую единой точкой входа для работы с вычислительными ресурсами, для запуска моделей, настройки среды и контроля загрузки. Платформа обеспечивает управление виртуальными машинами с ускорителями для изолированных задач и контейнерами Kubernetes для обеспечения гибкости и масштабируемости. Платформа обеспечивает доступ к предустановленному ПО: ОС (Astra Linux, CentOS, РЕД ОС), ML-инструментам, моделям и средам разработки.

Источник изображений: «К2 НейроТех»

Клиенту доступны функции маршрутизации данных, оркестрации, мониторинга, управления файловыми системами и каталогами, резервного копирования и обеспечения безопасности. Использование ресурсов фиксируется автоматически с отображением их стоимости в разделе биллинга.

Разработчикам предоставляется весь необходимый стек инструментов для администрирования моделей. Помимо доступа к востребованным средам, таким как TensorFlow, PyTorch, Keras, HuggingFace Transformers, специалисты имеют возможность разворачивать собственные окружения в виде ВМ или контейнеров, устанавливать дополнительные библиотеки, использовать кастомные образы и конфигурации. Также предоставляется возможность построения MLOps-конвейеров с использованием MLflow, Hydra, Optuna.

Прикладной слой платформы представляет собой каталог готовых агентов и моделей, разработанных К2 НейроТех. Он включает решения как на базе открытых, так и вендорских моделей, в том числе YandexGPT mini, GigaChat lite, DeepSeek, Llama, Qwen и другие. Пользователи смогут их обучать на корпоративных данных, адаптировать под бизнес-процессы и применять в прикладных сценариях: от обработки документов и генерации контента до автоматизации клиентского взаимодействия, производственной аналитики и других узкоспециализированных прикладных задач.

В ПАК-AI может использоваться отечественное оборудование любых вендоров и ПО, разработанное как на основе решений из реестров Минцифры и Минпромторга России, так и на открытом ПО, что позволяет менять конфигурацию с соответствии с требованиями регуляторов. ПАК-AI реализован в формате IaaS (предоставление вычислительных ресурсов), PaaS (маркетплейс приложений для ML-команд с предоставлением доступа к нужной инфраструктуре и сервисам), SaaS (доступ к предустановленным приложениям от сторонних вендоров). Также с его помощью можно организовать внутренний сервис ИИ-как-услуга (AIaaS) для предоставления LLM и агентов.

Американская компания Salesforce, разработчик одноимённой CRM-платформы, объявила о покупке компании по управлению облачными данными Informatica. Согласно условиям сделки стоимостью $8 млрд за вычетом текущих инвестиций Salesforce в Informatica, держатели обыкновенных акций Informatica классов A и B-1 получат $25 наличными за акцию.

Как сообщает Reuters, в прошлом году Salesforce отложила переговоры о сделке с Informatica, после того как компании не смогли договориться об условиях сделки. По данным источников агентства, переговоры возобновились в начале апреля, когда несколько потенциальных покупателей, включая Thoma Bravo и Cloud Software Group, начали проявлять интерес к покупке Informatica.

Salesforce заявила, что объединение обширного каталога Informatica, функций интеграции данных, систем контроля качества и конфиденциальности данных, системы управления политиками доступа и сервиса Master Data Management (MDM) с платформой Salesforce создаст единую архитектуру для агентского ИИ, что позволит ИИ-агентам работать безопасно, ответственно и масштабируемо в рамках предприятия.

Источник изображения: Informatica

«По-настоящему автономным, заслуживающим доверия ИИ-агентам необходимо максимально полное понимание своих данных, — сказал Стив Фишер (Steve Fisher), президент и главный технический директор Salesforce. — Сочетание расширенных возможностей каталога и метаданных Informatica с нашей платформой Agentforce именно это и обеспечивает». «Представьте себе ИИ-агента, который выходит за рамки простого наблюдения за точечными данными и понимает их полный контекст — происхождение, трансформацию, уровень качества и политики управления. Эта ясность, полученная от унифицированного решения Salesforce и Informatica, позволит всем типам предприятий автоматизировать более сложные процессы и принимать более надежные решения на основе ИИ», — добавил он.

Как указано в пресс-релизе, эффективный ИИ корпоративного уровня требует не только данных — он требует прозрачности данных, глубокого контекстного понимания и строгого управления:

• Прозрачность данных: расширенные инструменты интеграции, каталогизации и отслеживания данных Informatica показывают, откуда берутся данные, как они менялись и как используются, что имеет решающее значение для проверки и соблюдения нормативных требований.
• Понимание данных: богатые метаданные Informatica в сочетании с унифицированной моделью данных Salesforce позволят ИИ-агентам интерпретировать корпоративные данные, связывать их и действовать с ними в значимом контексте.
• Управление данными: встроенные MDM, контроль качества данных и управление политиками гарантируют, что все данные, управляющие ИИ, будут стандартизированы, точны, последовательны и безопасны.

По словам Марка Бениоффа (Marc Benioff), председателя и гендиректора Salesforce, совместными усилиями Salesforce и Informatica создадут «самую полную, готовую для агентов платформу данных в отрасли». Он заявил, что благодаря объединению возможностей Data Cloud, MuleSoft и Tableau с передовыми возможностями Informatica по управлению данными автономные ИИ-агенты смогут предоставлять более интеллектуальные, безопасные и масштабируемые результаты для каждой компании. Это позволит компании значительно укрепить позиции на рынке корпоративных данных стоимостью более $150 млрд.

Сообщается, что интеграция решений двух компаний откроет новые возможности для корпоративного стека данных Salesforce, предоставляя комплексное решение для ИИ-задач:

• Informatica укрепит позиции Data Cloud как платформы данных клиентов (CDP), гарантируя, что данные всей организации будут не просто унифицированными, но и понятными, надёжными и применимыми.
• Приложения Salesforce CRM будут улучшены, что даст командам уверенность в предоставлении более персонализированного и эффективного клиентского опыта, подкрепленного надёжными данными. Передовые качество данных, интеграция, каталогизация и управление Informatica гарантируют, что данные, проходящие через API MuleSoft, будут не только связаны, но и обогащены, стандартизированы и надёжны.
• Автономные ИИ-агенты Agentforce получат больше возможностей для интерпретации и обработки сложных корпоративных данных, создавая систему интеллекта.
• Пользователи Tableau получат выгоду от более богатых, контекстно-ориентированных идей благодаря доступу к более доступному и лучше понимаемому ландшафту данных.

Как ожидается, сделка будет закрыта в начале 2027 финансового года Salesforce. Её уже одобрили советы директоров Salesforce и Informatica. Акционеры, владеющие в совокупности примерно 63 % голосующих акций Informatica классов A и B-1, предоставили письменное согласие на одобрение сделки. Её финансирование будет осуществляться за счёт денежных средств на балансе Salesforce и заёмных средств. После закрытия сделки Salesforce планирует быстро интегрировать технологический стек Informatica в свою экосистему.

За последние годы Salesforce заключила целый ряд сделок с целью расширения своего продуктового портфеля и увеличения доли рынка. В частности, она купила Slack в 2021 году за $27,7 млрд, Tableau в 2019 году за $15,7 млрд и MuleSoft в 2018 году за $6,5 млрд.

Компания Microsoft запустила для корпоративных пользователей в тестовом режиме ИИ-платформу Microsoft Discovery, использующую ИИ-агентов и HPC для помощи учёным, которым не придётся самостоятельно писать код для своих исследований. Потенциал системы продемонстрировали на примере самой Microsoft — ИИ помог создать новейшую жидкость для погружного охлаждения всего за 200 часов вместо нескольких месяцев или даже лет, сообщает VentureBeat.

Microsoft Discovery использовали для поиска охлаждающей жидкости без «вечных» PFAS-химикатов, часто применяемых в иммерсионных СЖО. Регуляторы во всём мире всё чаще запрещают производство и использование этого класса вещества. ИИ Microsoft проверил 367 тыс. веществ-кандидатов, после чего химикат синтезировал один из партнёров компании. Однако сфера применения такого ИИ простирается далеко за пределы создания охлаждающих жидкостей — новые материалы и химикаты требуются в самых разных сферах, но на их поиск часто уходят годы.

Microsoft Discovery позволяет взаимодействовать с «невероятными возможностями» ИИ, используя естественный язык, что полностью меняет весь процесс исследований, говорит компания. Обычно учёным приходилось изучать программирование для того, чтобы создавать вычислительные инструменты. Такая демократизация науки сыграет на руку малым исследовательским группам, у которых нет ресурсов на изучение программирования или привлечения сторонних специалистов в этой сфере. Более того, со временем платформа научится работать и с квантовыми компьютерами, написание кода для которых — ещё более сложная задача.

Источник изображения: National Cancer Institute/unsplash.com

Работа выполняется с помощью специальных ИИ-агентов, специально обученных для выполнения отдельных научных задач — от написания литературного обзора до создания компьютерной симуляции. По словам Microsoft, ИИ-агенты — это чуть ли не целая команда учёных с докторскими степенями в различных науках. Платформа интегрирует друг с другом базовые модели, занимающиеся общим планированием, и модели, специализирующиеся на физике, химии или, например, биологии.

Также Microsoft Discovery позволяет комбинировать закрытые исследовательские данные и результаты уже опубликованных научных исследований по разным дисциплинам, сохраняя прозрачность моделей и контролируя процесс «рассуждений». Для работы с платформой используется интерфейс Copilot, который занимается оркестрацией агентов. Одновременно интерфейс служит и центральным хабом, в котором учёные управляют своей виртуальной ИИ-командой.

Источник изображения: National Cancer Institute/unsplash.com

В платформу встроены защитные механизмы — системе заданы «этические координаты». Также применяется модерация контента с проактивным подходом к выявлению злоупотреблений возможностями платформы — маркируются потенциально вредоносные алгоритмы и действия, поскольку все ИИ-инструменты фактически имеют «двойное назначение». С их помощью можно изобретать не только лекарства, но и опасные биологически опасные субстанции.

Для своей платформы Microsoft выстраивает экосистему с участием представителей самых разных отраслей, от фармацевтики (GSK) до индустрии красоты (Estée Lauder). NVIDIA интегрирует с Discover микросервисы ALCHEMI и BioNeMo NIM для биотехнологий и фармацевтики. В полупроводниковой сфере Microsoft планирует интеграцию решений Synopsys для ускорения разработки чипов. Адаптацией под конкретные отраслевые задачи, развёртыванием и масштабированием платформы займутся Accenture и Capgemini.

Источник изображения: Microsoft

Успех Microsoft Discovery будет зависеть от того, насколько эффективно систему смогут интегрировать в текущие научные процессы — многие учёные скептически относятся к новым методикам, так что компании придётся показать всё, на что способен ИИ. По словам Microsoft, будущее науки именно за сочетанием умственных возможностей человека и масштабного ИИ. Microsoft уже провела предварительную демонстрацию Discovery для ограниченного круга структур. Цены на платформу пока не названы, но доступ к к ней будет организован посредством Azure.

IBM планирует укрепить свои позиции на быстрорастущем рынке ИИ-технологий с помощью увеличения инвестиций в США и предложения собственных инструментов, которые помогут клиентам управлять ИИ-агентами для их ключевых бизнес-приложений. Об этом сообщил генеральный директор IBM Арвинд Кришна (Arvind Krishna) в интервью агентству Reuters.

Глава IBM заявил, что разработанное компанией ПО позволяет клиентам создавать собственные ИИ-системы, а также интегрировать ИИ-агентов от других провайдеров, включая Salesforce, Adobe и Workday. Это поможет удовлетворить потребность в кастомных решениях во многих областях бизнеса.

Подход IBM заключается в том, чтобы предложить полный спектр облачных и ИИ-сервисов остальным компаниям, которые в настоящее время полагаются на лидеров рынка AWS и Microsoft. Особое внимание IBM уделяет внедрению функций ИИ в мультиоблачных платформах, что найдёт спрос среди тех, кому нужны кастомные ИИ-решения, а также в собственные инфраструктуры заказчиков для управления данными.

Источник изображения: IBM

По словам гендиректора IBM, предлагаемые инструменты, позволяющие создавать собственных ИИ-агентов в течение не более пяти минут, основаны на семействе LLM Granite, а также на альтернативных моделях от Meta✴ Platforms и Mistral. IBM сообщила, что уже получила заказы на создание решений на базе генеративного ИИ на $6 млрд.

Также компания объявила в апреле о планах инвестировать в течение пяти лет $150 млрд в США, где она в течение более 60 лет производит мейнфреймы. Кришна подчеркнул, что квантовые компьютеры тоже будут производиться в США. Глава IBM отметил, что синергия мейнфреймов, ИИ и квантовых вычислений, как ожидается, создаст надёжный и устойчивый рынок, в который следует инвестировать и который позволит компании использовать эти достижения в течение следующего десятилетия.

Кришна добавил, что фокус на технологии и сокращение регулирования со стороны администрации оказали благотворное влияние на экономику США, способствуя её росту. Это позволяет IBM наращивать инвестиции и инновации, тем самым потенциально укрепляя свою конкурентную позицию как поставщика бизнес-решений на основе ИИ.

NVIDIA объявила о стратегическом партнёрстве с Google Cloud с целью внедрения агентного ИИ на предприятиях, которые хотели бы локально использовать семейство моделей Google Gemini с помощью платформ NVIDIA Blackwell HGX/DGX, а также функции NVIDIA Confidential Computing для повышения безопасности данных.

Интеграция платформы NVIDIA Blackwell с портфелем программно-аппаратных решений Google Distributed Cloud позволяет локальным ЦОД соответствовать нормативным требованиям и законам о суверенитете данных, блокируя доступ к конфиденциальной информации, включая истории болезни пациентов, финансовые транзакции и секретную правительственную информацию. NVIDIA Confidential Computing защищает конфиденциальный код в моделях Gemini от несанкционированного доступа и утечек данных — запросы пользователя к API Gemini, а также данные, которые они использовали для тонкой настройки, остаются в безопасности и защищены от несанкционированного доступа или изменений.

Сачин Гупта (Sachin Gupta), вице-президент и генеральный менеджер по инфраструктуре и решениям в Google Cloud, отметил, что партнёрство позволяет предприятиям в полной мере использовать весь потенциал агентного ИИ, внедряя модели Gemini в локальные системы, и объединяя производительность NVIDIA Blackwell и возможности конфиденциальных вычислений.

Хотя многие уже могут использовать модели с мультимодальным рассуждением — интегрируя текст, изображения, код и другие типы данных для решения сложных проблем и создания облачных приложений агентного ИИ, предприятия с повышенными требованиями к безопасности или суверенитету данных столкнулись с трудностями при внедрении этих технологий. Данное партнёрство позволит решить эти проблемы, благодаря чему Google Cloud становится одним из первых поставщиков, предлагающих возможности конфиденциальных вычислений для защиты рабочих нагрузок ИИ-агентов в любой среде, как облачной, так и гибридной.

Источник изображения: NVIDIA

Масштабирование агентного ИИ требует надёжного мониторинга и безопасности для обеспечения стабильной производительности и соответствия требованиям. Google Cloud представила новый шлюз GKE Inference Gateway, созданный для оптимизации развёртывания рабочих нагрузок ИИ-агентов с расширенной маршрутизацией и масштабируемостью. Интеграция с NVIDIA Triton Inference Server и NVIDIA NeMo Guardrails обеспечивает интеллектуальную балансировку нагрузки, которая повышает производительность и снижает затраты на обслуживание, также обеспечивая централизованную безопасность и управление моделями.

В дальнейшем Google Cloud планирует улучшить отслеживания рабочих нагрузок агентского ИИ, интегрировав NVIDIA Dynamo, библиотеку с открытым исходным кодом, предназначенную для обслуживания и масштабирования рассуждающих моделей. Этот перспективный подход гарантирует, что предприятия смогут уверенно масштабировать свои приложения агентского ИИ, сохраняя при этом безопасность и соответствие требованиям.

Компания MTS AI, дочерняя структура МТС, сообщила о выходе большой языковой модели (LLM) Cotype Pro 2 второго поколения, предназначенной для корпоративного сегмента. Новая модель значительно превосходит по целому ряду показателей предыдущую версию, адаптирована под выполнение более чем 100 сценариев использования компаниями в России и может быть запущена на собственной инфраструктуре предприятия без подключения к внешним серверам, чем обеспечивается защита от утечки данных.

На основе Cotype Pro 2 компания подготовит в 2025–2026 гг. новую линейку ИИ-решений для семи отраслей: госсектора, банков, промышленности, ретейла, телекома, медицины и IT. Сначала будут созданы ИИ-помощники, затем — ИИ-агенты с большей автономностью, способные решать, как общие задачи (HR, клиентская поддержка, документооборот и другие), так и специфичные для каждой из этих отраслей.

Источник изображения: MTS AI

Cotype Pro 2 вошла в пятерку лучших русскоязычных LLM в бенчмарке MERA от Альянса в сфере ИИ. Она на 40 % быстрее предыдущей версии и на 50 % точнее обрабатывает длинные тексты — до 128 тыс. токенов, что соответствует примерно 900 тыс. символов с пробелами, сообщила компания.

По сравнению с предшественником её эффективность в области генерации идей возросла с 44 до 57 %, точность в задаче извлечения информации выросла с 81 до 86 %, в части общения на общие темы зафиксировано улучшение с 55 до 64 %, благодаря чему обеспечивается более плавное и осмысленное взаимодействие. Также осталась на высоком уровне эффективность в классификации — 87 %, отмечены улучшения в суммаризации (с 79 до 85 %) и креативном письме (с 61 до 65 %). Для оценки эффективности сравнивалось количество ответов, схожих или превосходящих по качеству ответы модели GPT-4o.

Как отметил директор по LLM-продуктам MTS AI, для ИИ-агентов важно не только работать с большим объёмом информации, но и давать ответы в структурированном виде, понятном другим системам. Чтобы оценить качество таких ответов компания разработала специальный бенчмарк, который включает задания с разным объёмом контекста и разной сложностью. В этом тесте Cotype Pro 2 справилась с 94 % задач, а GPT-4o — с 93 %. Также по данным бенчмарка длинного контекста LIBRA, качество работы Cotype Pro 2 в два раза выше, чем у Cotype Pro на задачах длиной 64 и 128 тыс. токенов (до 500 тыс. символов). В дополнение к выполнению базовых задач Cotype Pro 2 поддерживает «ролевой отыгрыш» — способность вести диалог от лица специалиста, адаптируя стиль общения под особенности профессии, что повышает качество взаимодействия в клиентской поддержке, обучении сотрудников и т.д.

Перед анонсом Cotype Pro 2 прошла тестирование в реальных условиях. В течение трёх месяцев она автоматически сортировала обращения в поддержку банка, а для МТС Live создавала описания мероприятий. Также тестирование подтвердило возможность интеграции с инструментами RAG (Retrieval-Augmented Generation) для извлечения информации из баз знаний с генерацией текста, что будет востребовано, например, в чат-ботах, где нужно регулярно обновлять данные и в течение нескольких секунд предоставлять ответы на запросы.

Как сообщили в MTS AI ресурсу Forbes, семейство корпоративных отраслевых ИИ-агентов, над которыми сейчас ведётся работа, будет, в частности, включать следующие решения:

• чат-бот для внутренней поддержки сотрудников, способный не только быстро отвечать на вопросы, но и самостоятельно выполнять такие задачи, как поиск информации в корпоративных системах, обновление данных или запуск процессов. Помощник будет интегрирован с базами данных, чтобы предоставлять точные и полезные ответы, а также предлагать решения;
• ИИ-агент для HR-направления, который будет заниматься подбором сотрудников, оценкой их навыков, анализом резюме и формированием вакансий, а также сможет прогнозировать увольнения и создавать персонализированные программы обучения и адаптации новых сотрудников;
• ИИ-помощник для обработки обращений граждан сможет подготавливать ответы, классифицировать обращения, направлять их в нужные отделы, отслеживать выполнение, а также анализировать статистику обращений, чтобы улучшить качество обслуживания;
• ИИ-помощник в юридических вопросах будет осуществлять проверку документов на соответствие шаблонам, отслеживать изменения в законах, поступление уведомлений о них и предложение правок.

Сообщается, что МТС также начала предоставлять консалтинговые услуги по внедрению ИИ-продуктов в эти сферы. Как ожидает компания, к 2027 году коммерциализация ИИ-агентов будет приносить её ИИ-направлению более половины выручки.

Признавая, что одних моделей, включая свежие Llama Nemotron с регулируемым «уровнем интеллекта», недостаточно для развёртывания ИИ на предприятии, NVIDIA анонсировала проект AI-Q Blueprint, представляющий собой фреймворк с открытым исходным кодом, позволяющий разработчикам подключать базы знаний к ИИ-агентам, которые могут действовать автономно.

Blueprint был создан с помощью микросервисов NVIDIA NIM и интегрируется с NVIDIA NeMo Retriever, что упрощает для ИИ-агентов извлечение мультимодальных данных в различных форматах. С помощью AI-Q агенты суммируют большие наборы данных, генерируя токены в 5 раз быстрее и поглощая данные петабайтного масштаба в 15 раз быстрее с лучшей семантической точностью.

Проект основан на новом наборе инструментов NVIDIA AgentIQ для бесшовного, гетерогенного соединения между агентами, инструментами и данными, опубликованном на GitHub. Он представляет собой программную библиотеку с открытым исходным кодом для подключения, профилирования и оптимизации команд агентов ИИ, работающих на основе корпоративных данных для создания многоагентных комплексных (end-to-end) систем. Его можно легко интегрировать с существующими многоагентными системами — как по частям, так и в качестве комплексного решения — с помощью простого процесса адаптации, который обеспечивает полную поддержку.

Набор инструментов AgentIQ также повышает прозрачность с полной отслеживаемостью и профилированием системы, что позволяет организациям контролировать производительность, выявлять неэффективность и иметь детальное представление о том, как генерируется бизнес-аналитика. Эти данные профилирования можно использовать с NVIDIA NIM и библиотекой с открытым исходным кодом NVIDIA Dynamo для оптимизации производительности агентских систем.

Благодаря этим инструментам предприятиям будет проще объединять команды ИИ-агентов в таких решениях, как Agentforce от Salesforce, поиск Atlassian Rovo в Confluence и Jira, а также ИИ-платформа ServiceNow для трансформации бизнеса, чтобы устранить разрозненность, оптимизировать задачи и сократить время ответа с дней до часов. AgentIQ также интегрируется с такими фреймворками и инструментами, как CrewAI, LangGraph, Llama Stack, Microsoft Azure AI Agent Service и Letta, позволяя разработчикам работать в своей предпочтительной среде. Azure AI Agent Service интегрирован с AgentIQ для обеспечения более эффективных агентов ИИ и оркестровки многоагентных фреймворков с использованием семантического ядра, которое полностью поддерживается в AgentIQ.

Возможности ИИ-агентов уже широко используются в различных отраслях. Например, платёжная система Visa использует ИИ-агентов для оптимизации кибербезопасности, автоматизируя анализ фишинговых писем в масштабе. Используя функцию профилирования AI-Q, Visa может оптимизировать производительность и затраты агентов, максимально увеличивая роль ИИ в эффективном реагировании на угрозы, сообщила NVIDIA.

NVIDIA анонсировала новое семейство ИИ-моделей Llama Nemotron с расширенными возможностями рассуждения. Основанные на моделях Llama с открытым исходным кодом от Meta✴ Platforms, модели от NVIDIA предназначены для предоставления разработчикам основы для создания продвинутых ИИ-агентов, которые могут от имени своих пользователей независимо или с минимальным контролем работать в составе связанных команд для решения сложных задач.

«Агенты — это автономные программные системы, предназначенные для рассуждений, планирования, действий и критики своей работы», — сообщила Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами Generative AI в NVIDIA на брифинге с прессой, пишет VentureBeat. «Как и люди, агенты должны понимать контекст, чтобы разбивать сложные запросы, понимать намерения пользователя и адаптироваться в реальном времени», — добавила она. По словам Бриски, взяв Llama за основу, NVIDIA оптимизировала модель с точки зрения требований к вычислениям, сохранив точность ответов.

Источник изображений: NVIDIA

NVIDIA сообщила, что улучшила новое семейство моделей рассуждений в ходе дообучения, чтобы улучшить многошаговые математические расчёты, кодирование, рассуждения и принятие сложных решений. Это позволило повысить точность ответов моделей до 20 % по сравнению с базовой моделью и увеличить скорость инференса в пять раз по сравнению с другими ведущими рассуждающими open source моделями. Повышение производительности инференса означают, что модели могут справляться с более сложными задачами рассуждений, имеют расширенные возможности принятия решений и позволяют сократить эксплуатационные расходы для предприятий, пояснила компания.

Модели Llama Nemotron доступны в микросервисах NVIDIA NIM в версиях Nano, Super и Ultra. Они оптимизированы для разных вариантов развёртывания: Nano для ПК и периферийных устройств с сохранением высокой точности рассуждения, Super для оптимальной пропускной способности и точности при работе с одним ускорителем, а Ultra — для максимальной «агентской точности» в средах ЦОД с несколькими ускорителями.

Как сообщает NVIDIA, обширное дообучение было проведено в сервисе NVIDIA DGX Cloud с использованием высококачественных курируемых синтетических данных, сгенерированных NVIDIA Nemotron и другими открытыми моделями, а также дополнительных курируемых наборов данных, совместно созданных NVIDIA. Обучение включало 360 тыс. часов инференса с использованием ускорителей H100 и 45 тыс. часов аннотирования человеком для улучшения возможностей рассуждения. По словам компании, инструменты, наборы данных и методы оптимизации, используемые для разработки моделей, будут в открытом доступе, что предоставит предприятиям гибкость в создании собственных пользовательских рвссуждающих моделей.

Одной из ключевых функций NVIDIA Llama Nemotron является возможность включать и выключать опцию рассуждения. Это новая возможность на рынке ИИ, утверждает компания. Anthropic Claude 3.7 имеет несколько схожую функциональность, хотя она является закрытой проприетарной моделью. Среди моделей с открытым исходным кодом IBM Granite 3.2 тоже имеет переключатель рассуждений, который IBM называет «условным рассуждением».

Особенность гибридного или условного рассуждения заключается в том, что оно позволяет системам исключать вычислительно затратные этапы рассуждений для простых запросов. NVIDIA продемонстрировала, как модель может задействовать сложные рассуждения при решении комбинаторной задачи, но переключаться в режим прямого ответа для простых фактических запросов.

NVIDIA сообщила, что целый ряд партнёров уже использует модели Llama Nemotron для создания новых мощных ИИ-агентов. Например, Microsoft добавила Llama Nemotron и микросервисы NIM в Microsoft Azure AI Foundry. SAP SE использует модели Llama Nemotron для улучшения возможностей своего ИИ-помощника Joule и портфеля решений SAP Business AI. Кроме того, компания использует микросервисы NVIDIA NIM и NVIDIA NeMo для повышения точности завершения кода для языка ABAP.

ServiceNow использует модели Llama Nemotron для создания ИИ-агентов, которые обеспечивают повышение производительности и точности исполнения задач предприятий в различных отраслях. Accenture сделала рассуждающие модели NVIDIA Llama Nemotron доступными на своей платформе AI Refinery. Deloitte планирует включить модели Llama Nemotron в свою недавно анонсированную платформу агентского ИИ Zora AI. Atlassian и Box также работают с NVIDIA, чтобы гарантировать своим клиентам доступ к моделям Llama Nemotron.

Облачный провайдер DigitalOcean представил платформу GenAI, которая позволяет использовать базовые модели от сторонних поставщиков для создания и развёртывания агентов ИИ за считанные минуты без необходимости глубоких знаний в области ИИ или машинного обучения. Как сообщает DigitalOcean, интуитивно понятная работа в GenAI позволяет клиентам вне зависимости от уровня подготовки настраивать агентов с доступом к надёжным конвейерам данных и многоагентным командам.

DigitalOcean GenAI позволяет компаниям создавать чат-боты на основе базовых моделей сторонних поставщиков (Anthropic, Meta✴, Mistral и др.) для анализа документов, семантического поиска, создания изображений и т.д. Платформа создана так, чтобы быть независимой от фреймворков. Платформа упрощает и создание агентов, специфичных для конкретных вариантов использования, привнося контекстные данные в базовые LLM.

Клиенты смогут не только извлекать неструктурированные данные из файлов, но и структурированные данные из баз данных или обращаясь к API, чтобы дополнять подсказки и задействовать Retrieval Augmented Generation (RAG), обеспечивая агентам доступ к точной и актуальной информации. С помощью вызываемых функций можно дописать кастомный код, чтобы расширить возможности своего агента.

Источник изображения: DigitalOcean

Встроенные ограничители (guardrails) позволяют повысить достоверность ответов агента, помогая отфильтровывать неправильные или ненадлежащие результаты. А возможность частных подключений и наличие готового интерфейса для чат-ботов упрощают запуск этих агентов на веб-сайте клиента. В будущем появится возможность обращаться к источникам данным по URL, поддержка конвейеров AgentOps и CI/CD, тонкая настройка моделей и многое другое.

На днях глава по стратегии развития ИИ-технологий компании Synopsys Стелиос Диамантидис (Stelios Diamantidis) заявил, что в 2025 году наступит следующая фаза внедрения ИИ. По его словам, ИИ-агенты начнут сотрудничать со своими собратьями с минимальным вмешательством человека, сообщает EE Times.

Если ранее ИИ-боты представляли собой рудиментарные системы с заранее заданными правилами и деревьями решений, то теперь они эволюционировали в сложные агентные системы, способные понимать человеческую речь в произвольной форме, генерировать контент, постоянно учиться и менять своё поведение в результате обучения.

Такие ИИ-агенты могут быть использованы в специальных случаях и применяться только для определённых приложений, но скоро ситуация может измениться, когда один ИИ-агент сможет взаимодействовать с другим. В блоге Диамантидис добавил, что ИИ-агенты обучаются для улучшения интеграции и взаимодействия, включая разработку чипов.

Источник изображения: Daniel Lonn/unsplash.com

В Synopsys сообщили о внутреннем прикладном использовании подобных разработок. По результатам пилотного тестирования внутри компании, генеративный ИИ, как ожидается, сэкономит не менее 250 тыс. часов рабочего времени — сотрудники смогут более продуктивно потратить высвободившееся время на работу с клиентами.

Диамантидис добавил, что высокоспециализированные ИИ-агенты могли бы комбинировать и анализировать бессчётные объёмы информации, касающейся разработки полупроводников. Эти задачи могут быть связаны с созданием архитектуры чипа, оптимизацией энергопотребления и др. Сотрудничество ИИ с ИИ может выявлять скрытые закономерности, обеспечивать точные рекомендации по оптимизации проектирования чипов и повышению их производительности.