«Яндекс» совместно с «Яков и Партнёры» опубликовал отчёт «Искусственный интеллект в России — 2023: тренды и перспективы». В документе рассматриваются состояние ИИ-рынка в России и мире, потенциальный экономический эффект от внедрения соответствующих технологий и ключевые тенденции.

Отмечается, что ИИ занимает всё более значимое место в мировой экономике. По оценкам экспертов, потенциал влияния ИИ на экономику составляет $17–$26 трлн в год. При этом основная часть (около 70 %) приходится на внедрение традиционного ИИ (машинного обучения, глубокого обучения и продвинутой аналитики), оставшаяся часть в размере $6–$8 трлн в год — на генеративный ИИ.

Общий объём глобальной отрасли ИИ в 2023 году, как полагают аналитики, составит приблизительно $185–$200 млрд, из которых около $30–$45 млрд придётся на генеративный сегмент (включая вычислительные мощности и услуги). Прогнозируется, что к 2028-му общий объём рынка составит от $860 млрд до $1,04 трлн, из которых сектор традиционного ИИ принесёт $690–$760 млрд, генеративного — $170–$280 млрд. Величина CAGR (среднегодовой темп роста в сложных процентах) в этих сферах ожидается на уровне 35–37 % и 43–45 % соответственно.

Источник изображения: «Яндекс»

В России на сегодняшний день каждая пятая крупная компания (20 %) применяет генеративный ИИ для поддержания тех или иных бизнес-функций. Такие данные получены на основе опроса CTO 100 крупнейших предприятий и организаций в 15 ключевых для российской экономики индустриях. Около 12 % респондентов сообщили, что их компании уже определили приоритетные функции и сценарии для внедрения генеративного ИИ, а ещё четверть (около 27 %) — точечно экспериментируют с технологией.

Решениями от OpenAI (GPT-4, GPT-3.5) пользуется все опрошенные российские компании, применяющие генеративный ИИ. Ещё примерно 80 % внедряют YandexGPT для решения задач по работе с текстами и более 40 % — Kandinsky для работы с изображениями. Чаще всего генеративный ИИ востребован в сферах маркетинга и продаж (66 % внедрений), клиентского сервиса (54 %), исследований и разработки (49 %), а также IT (31 %).

Источник изображения: «Яндекс»

По оценкам, полный экономический потенциал ИИ в России составляет 22–36 трлн руб. в номинальных ценах, а к 2028 году реализованный эффект на рост выручки и сокращение затрат компаний может достичь 4,2–6,9 трлн руб. Эффект от генеративного ИИ составит 0,8–1,3 трлн руб. (примерно 20%).

Практически все опрошенные компании (94 %) отмечают сокращение затрат в качестве ключевого эффекта от внедрения ИИ в бизнес-процессы. Около трети компаний, работающих в потребительском секторе (банкинг, ретейл, медиа, телекоммуникации, электронная коммерция, ИТ), также ожидают, что ИИ способен увеличить выручку, повысить ценность продуктов для клиентов и, как следствие, лояльность последних.

Хотя Microsoft принадлежит 49 % OpenAI, занимающейся разработкой популярных и производительных языковых моделей вроде GPT-4, интересы компаний не всегда совпадают. Как сообщает Silicon Angle, Bing Chat Enterprise первой и ChatGPT Enterprise второй, по сути, конкурируют за одну и ту же целевую аудиторию. Кроме того, Microsoft, стремящаяся внедрить ИИ почти во все свои программные продукты, готовит новые, более простые и менее ресурсоёмкие модели, чем GPT-4.

По данным источников в OpenAI, в Microsoft обеспокоены высокой стоимостью эксплуатации передовых ИИ-моделей. Microsoft пытается встроить ИИ во многие продукты, включая Copilot для Windows на базе GPT-4. С учётом того, что пользователей Windows в мире больше 1 млрд, в компании опасаются, что повсеместное распространение ИИ-инструментов приведёт к неконтролируемому росту расходов. По некоторым данным, компания уже поручила части из своих 1,5 тыс. сотрудников ИИ-департамента заняться более экономичными альтернативами — пусть даже они будут не столь «сообразительными».

Источник изображения: Microsoft

Хотя реализация соответствующих проектов всё ещё находится на ранних стадиях, уже появилась информация, что компания начала внутренние тесты моделей собственной разработки. В частности, «творческий» и «точный» режимы Bing Chat опираются на GPT-4, тогда как «сбалансированный» использует новые модели Prometheus и Turing. Последняя может отвечать только на простые вопросы, а более каверзные она всё равно вынуждена передавать на обработку творению OpenAI.

Для программистов у Microsoft есть модель Phi-1 с 1,3 млрд параметров, которая может эффективно генерировать код, но в остальном отстаёт от GPT-4. Ещё одной альтернативой стала разработанная Microsoft модель Orca на основе Meta✴ Llama-2, принадлежащей Meta✴. По некоторым данным, Orca близка по возможностям к моделям OpenAI, но компактнее и требует значительно меньше ресурсов.

Считается, что подразделение Microsoft использует около 2 тыс. ускорителей NVIDIA, большинство из которых сегодня и применяется для тренировки более эффективных моделей, имеющих узкую специализацию в отличие от многопрофильной GPT-4. Если раньше состязание на рынке шло за создание ИИ с наибольшими возможностями, то теперь одним из важнейших факторов становится стоимость разработки и обслуживания таких инструментов.

Многие знают, что ИИ-модели в процессе работы потребляют огромное количество энергии, но не всем известно, что им нужно ещё и очень много чистой воды. Как сообщает Silicon Angle, выяснилось, что ЦОД стоящих за работой ИИ-систем компаний тратят очень много воды, а у техногигантов вроде Google и Microsoft водопотребление только растёт.

Как следует из доклада Associated Press, использование ЦОД Microsoft воды выросло с 2021 по 2022 гг. на 34 %, в прошлом году компания потратила 6,4 млрд литров. В тот же период водопотребление Google выросло на 20 %. По данным экспертов, занимавшихся исследованием воздействия генеративных ИИ-систем на окружающую среду, в большей части рост потребления вызван увеличением связанных с ИИ нагрузок.

По некоторым оценкам, модель GPT-3 компании OpenAI, стоящая за чат-ботом ChatGPT, ответственна за трату более 320 тыс. л во время тренировки, а ChatGPT и вовсе «выпивает» 0,5 л воды каждую чат-сессию, состоящую из 25-50 запросов. Учитывается и непрямое использование воды, включающее затраты электростанций, питающих ЦОД.

Источник изображения: MartinStr/pixabay.com

Для Google статистика оказалась крайне неоднородной и разнится от ЦОД к ЦОД — многое зависит от местоположения, сезона, технологии охлаждения и уровня потребления воды электростанциями. Впрочем, многие специалисты отрасли уверены, что рост потребления воды имеет важное значение, но большие опасения вызывает рост энергопотребления.

Дело в том, что значительная часть используемой воды перерабатывается и применяется снова, тогда как об энергии нельзя сказать того же. Кроме того, Microsoft, Google и другие операторы ЦОД сами заинтересованы в сокращении потребления воды, поэтому будут принимать все необходимые меры для этого.

Ранее Microsoft сообщала, что намерена стать «водно-положительной», «углеродно-отрицательной» и безотходной уже к 2030 году, а к 2024 году снизить потребление ЦОД воды на 95 % (в сравнении с 2021 годом). Впрочем, до сих пор нет точных определений некоторым терминам, например, никто детально не говорил, о какой «водно-положительности» идёт речь. Можно только предполагать, что компания намерена отдавать в природу больше воды, чем потребляет.

Источник: Microsoft

Примером может служить Pepsi, которая, пропустив воду сквозь снековое оборудование в районе Мехико, очищает её до уровня питьевой и отправляет на другой завод — для мытья картофеля для чипсов. Таким образом, воды действительно поступает «в оборот» больше, чем изначально забирается из природных источников.

В OpenAI, крупнейшим инвестором которой является Microsoft, подчеркнули, что осознают высокие уровни потребления ИИ энергии и воды и активно работают над повышением эффективности в этой сфере. Решением может стать создание для ИИ более эффективных алгоритмов и оборудования, хотя на это уйдёт некоторое время.

Сбербанк, по сообщению газеты «Коммерсантъ», создал инструмент разработки и автоматического дополнения кода GigaCode. Это отечественный аналог системы GitHub Copilot на базе ИИ, которая способна давать советы по написанию кода разработчикам ПО.

Отмечается, что Сбербанк зарегистрировал программу GigaCode/JARVIS в реестре Роспатента. Этот инструмент подходит для разных языков программирования. Регистрация оформлена 8 августа нынешнего года, а 3 августа банк зарегистрировал домен gigacode.ru. Условия доступа к GigaCode пока не раскрываются.

Источник изображения: pixabay.com

В апреле 2023-го Сбербанк представил нейросеть GigaChat, способную генерировать фрагменты программного кода. Говорится, что инструмент GigaCode «развивается параллельно с GigaChat и имеет ряд пересечений». Новая система может интегрироваться с популярными IDE, включая IntelliJ IDEA и PyCharm, а также Visual Studio Code.

Возможность создания ИИ-сервиса для разработчиков также рассматривает «Яндекс». Участники рынка отмечают, что программисты проявляют интерес к инструментам генерации кода. Такие продукты способны ускорить разработку, но их массовое внедрение увеличит порог вхождения в профессию. Сервисы вроде GigaCode потенциально позволят автоматизировать рутинные операции и снизить нагрузку на разработчиков.

Компания OpenAI продолжает расширять номенклатуру решений на основе ChatGPT. Как сообщает Silicon Angle, теперь в её портфолио появилась версия ChatGPT Enterprise, обеспечивающая корпоративным пользователям дополнительную функциональность и усиленную защиту, а в будущем появится ещё и версия ChatGPT Business.

Речь идёт о решении, целевой аудиторией которого являются крупные организации и бизнес-структуры. ChatGPT Enterprise построен на основе расширенной версии большой языковой модели (LLM) GPT-4 и вдвое быстрее стандартного варианта при выдаче ответов.

Источник изображения: OpenAI

Одной из главных отличительных функций ChatGPT Enterprise является безлимитный доступ к инструменту Advanced Data Analysis. Ранее он был известен, как Code Interpreter и позволяет, например, осуществлять математические вычисления, визуализировать результаты или, например, менять форматы файлов обычными языковыми командами. В компании уже работают над усовершенствованной версией Advanced Data Analysis, а также намерены добавить боту и другие инструменты для анализа информации, маркетинга и поддержки клиентов.

При этом разработчики увеличили максимальный объём запроса до 32 тыс. токенов за раз. Дополнительно предусматривается расширение набора данных, которые сможет использовать ChatGPT Enterprise для обучения. Например, в обозримом будущем станет возможны безопасное подключение к боту приложений, которые уже используются компаниями.

Источник изображения: OpenAI

Поскольку целевая аудитория ChatGPT Enterprise уделяет особое внимание защите своих данных, новый ИИ-бот соответствует стандарту кибербезопасности SOC 2, предусматривающему шифрование данных пользователей при передаче. Дополнительно защититься помогает консоль управления, интегрированная в интерфейс ChatGPT Enterprise. Например, с её помощью можно будет централизованно управлять аккаунтами сотрудников компаний и отслеживать их работу с чат-ботом.

OpenAI сообщила, что ChatGPT Enterprise уже используется в тестовом режиме некоторыми компаниями, включая Canva Pty Ltd и Klarna Bank AB, а в ближайшие недели разработчик постарается привлечь как можно больше клиентов. Пока достоверно неизвестно, когда именно станут общедоступными анонсированные функции. Дополнительно в будущем планируется представить и ещё одну платную версию — ChatGPT Business для «команд любых размеров».

Продукты OpenAI уже довольно активно используются корпоративными клиентами при содействии партнёров компании. Например, доступ к ChatGPT ещё в марте появился в облачной службе Microsoft Azure OpenAI Service.

Компания Atlassian Corp. оказалась в числе догоняющих, добавив генеративный ИИ в свои разработки значительно позже, чем многие другие IT-гиганты. Тем не менее, она создала важные инструменты для собственных платформ и, как сообщает Silicon Angle, новое решение Atlassian Intelligece позволит заметно упростить работу в Confluence и Jira.

Известно, что Atlassian Intelligence задействует как решения, полученные после покупки стартапа Percept.AI ещё в начале прошлого года, так и большую языковую модель (LLM) GPT-4, стоящую за популярным чат-ботом ChatGPT компании OpenAI. Как сообщают в Atlassian, её инструмент Atlassian Intelligence не только позволяет наглядно визуализировать работу команды, но и координировать взаимодействие сотрудников. А открытость платформы позволяет нарастить функциональность с помощью сторонних приложений. По данным Atlassian, GPT-4 также сможет помогать командам всевозможными способами, ускоряя работу и обеспечивая быструю помощь в решении задач и вопросов.

Источник изображения: Atlassian

В частности, Confluence в один клик на непонятный пользователю термин будет генерировать объяснение со ссылками на другие релевантные материалы. Дополнительно пользователи смогут задавать вопросы и получать ответы, созданные на основе информации, полученной из корпоративных документов. Например, можно попросить бота сгенерировать резюме недавней рабочей встречи, добавив ссылку на расшифровку аудиозаписи, после чего система сама расскажет, какие решения и кем были приняты. Более того, Atlassian Intelligence может создавать даже посты для социальных сетей на основе спецификаций продуктов, полученных из базы Confluence.

Источник изображения: Silicon Angle

Платформа Jira без ИИ-обновлений тоже не осталась. Например, разработчики могут быстро создать проект плана тестирования ПО или получить информацию из существующей базы данных для помощи как клиентам, так и сотрудникам службы поддержки. Более того, система может составлять резюме предыдущих диалогов для того, чтобы новые сотрудники немедленно вникали в суть проблемы. Ещё одной важной функцией Atlassian Intelligence является возможность преобразовать вопросы в произвольной форме в запросы на специальном языке Jira Query Language — предполагается, что это будет очень полезно разработчикам.

Источник изображения: Silicon Angle

В Atlassian заявляют, что клиентам придётся зарегистрироваться в списке ожидания для доступа к новым функциям, которые пока доступны только в облачных продуктах в режиме бета-тестирования. Те, кто подписался, могут рассчитывать на тестирование новых функций в течение нескольких месяцев. Со временем многие из новых возможностей станут платными, но, например, виртуальный агент для Jira Service Management будет доступен без дополнительной оплаты в тарифных планах Premium и Enterprise.

Увы, в России ещё в марте прошлого года Atlassian прекратила продажи своих продуктов и заморозила подписки ряду отечественных компаний. Позже появились желающие представить альтернативы её продуктам. Так, в конце 2022 года «Ростелеком» озвучил намерение выделить 1 млрд рублей на разработку альтернативной платформы «Яга».

Поставщик решений для аналитики больших данных и машинного обучения Databricks (США) объявил о выходе Dolly 2.0, модели генеративного искусственного интеллекта (ИИ) следующего поколения с открытым исходным кодом, которая имеет сходные с ChatGPT (OpenAI) возможности.

Dolly 2.0, как и предшественница Dolly, вышедшая пару недель назад, использует меньший набор данных, чем имеется у большинства больших языковых моделей (LLM). Dolly имела 6 млрд параметров, а у Dolly 2.0 их вдвое больше — 12 млрд. Для сравнения, у GPT-3 — 175 млрд параметров. Сообщается, что Dolly 2.0 была построена на высококачественном наборе данных.

Отличительной особенностью новых моделей генеративного ИИ является возможность использовать собственный набор данных обучения для создания связных предложений и ответов на вопросы пользователей. И Dolly 2.0 может делать это, даже несмотря на намного меньший объём исходных данных, чем у моделей OpenAI. Это, в свою очередь, позволяет использовать модель на собственных серверах без необходимости делиться данными со сторонними организациями.

Источник: Databricks

«Мы считаем, что такие модели, как Dolly, помогут демократизировать LLM, превратив их из того, что могут себе позволить очень немногие компании, в товар, которым может владеть каждая компания и который можно настраивать для улучшения своих продуктов», — заявила Databricks. Руководитель Databricks в комментарии изданию SiliconANGLE подчеркнул, что предприятия «могут монетизировать Dolly 2.0».

Источник: Databricks

Databricks предлагает Dolly 2.0 под лицензией Creative Commons, с полностью открытыми исходным кодом и набором данных для обучения databricks-dolly-15k, который содержит 15 тыс. высококачественных пар запросов и ответов, созданных человеком. Всё это можно свободно использовать, изменять и дополнять, а также задействовать в коммерческих проектах, ничего никому не платя. Исследователи и разработчики могут получить доступ к Dolly 2.0 на Hugging Face и GitHub.

Как утверждает Databricks, в настоящее время Dolly 2.0 является единственной моделью, которая не имеет лицензионных ограничений. Другие модели, включая Alpaca, Koala, GPT4All и Vicuna, нельзя использовать в коммерческих целях из-за использования обучающих данных, предоставленных им с определёнными условиями.

Исходный вариант Dolly был обучен на данных Stanford Alpaca с использованием API OpenAI, так что её нельзя было использовать в коммерческих целях, так как в этом случае лицензии запрещают создавать конкурирующие модели. Поэтому Databricks решила создать собственную модель, используя только ответы её сотрудников. Задания для них включали, например, просьбы высказаться на тему «Почему людям нравятся комедии?», обобщить информации из Википедии, написать любовные письма, стихов и даже песни.

Финансовая фирма Bloomberg решила доказать, что существуют более разумные способы тонкой настройки ИИ-приложений, не имеющих проблем с соблюдением принципов этики или с безопасностью, с которыми сталкиваются при использовании, например, ChatGPT.

Bloomberg выпустила собственную большую языковую модель BloombergGPT с 50 млрд параметров, предназначенную для финансовых приложений. Она меньше ChatGPT, основанной на усовершенствованной версии GPT-3 со 175 млрд параметров. Но, как утверждают исследователи из Bloomberg и Johns Hopkins, малые модели — то что нужно для предметно-ориентированных приложений. Bloomberg заявила, что не будет открывать BloombergGPT из-за риска утечки конфиденциальных данных, например, из базы FINPILE, использовавшейся для обучения.

Источник изображения: Pixabay

По словам исследователей, BloombergGPT функционально схожа с ChatGPT, но предлагает большую точность, чем сопоставимые модели с бо́льшим количеством параметров. Они также утверждают, что общие модели не могут заменить предметно-ориентированные. Малые модели отличаются большей точностью результатов и могут обучаться значительно быстрее, чем универсальные модели, такие как GPT-3. К тому же для них требуется меньше вычислительных ресурсов.

Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с.

Источник: Bloomberg

Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.

Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей.

IT-компания Sistemma из России сообщила о создании ИИ-модели SistemmaGPT — отечественного аналога нашумевшего чат-бота ChatGPT. В основу решения, как сообщается, положены собственные разработки Sistemma, а также результаты исследований Стэнфордского университета (США).

Модель SistemmaGPT ориентирована прежде всего на бизнес-сектор. ИИ адаптируется к предпочтениям пользователя и учитывает контекст общения. Система способна решать различные задачи: это работа с текстами и программным кодом, поиск необходимой информации, глубокий анализ данных, генерация пошаговых инструкций, творческие задания и пр.

Источник изображения: pixabay.com / geralt

При помощи SistemmaGPT корпоративные заказчики смогут интегрировать функции ИИ в свои рабочие процессы. Модель, как утверждается, может анализировать большие объёмы данных, общаться с клиентами в формате виртуального помощника, создавать персонализированную систему рекомендаций, автоматически обрабатывать заказы и входящие звонки, отвечать на электронные письма, работать с пользователями в социальных сетях, управлять складом и др.

Ожидается, что появление SistemmaGPT поможет российскому бизнесу повысить операционную эффективность, сократить издержки и, в конечном итоге, улучшить свою конкурентоспособность. «Наша команда разработчиков активно работает над интеграцией модели с изображениями и видео, что позволит решать сложные визуальные задачи, включая распознавание, анализ и подсчёт объектов», — отмечает Sistemma.

Корпорация Microsoft сообщила о том, что новейшая версия большой языковой ИИ-модели компании OpenAI стала доступна в облачной службе Azure OpenAI Service. Речь идёт о модели GPT-4, которая была официально представлена немногим более недели назад.

Изначально Microsoft объявила об интеграции чат-бота ChatGPT в состав Azure OpenAI Service в начале марта нынешнего года. Тогда говорилось, что заявки на использование наиболее передовых ИИ-моделей, включая Dall-E 2, GPT-3.5 и Codex, подали более 1000 клиентов. Теперь же клиенты могут подать заявку на использование GPT-4. Стоимость услуги составляет от $0,03 до $0,12 за обработку 1 тыс. токенов — элементов, на которые разбивается текст при работе.

Источник изображения: pixabay.com

«Недавно анонсированные новые продукты Bing и Microsoft 365 Copilot уже работают на GPT-4, и теперь компании получат возможность использовать те же базовые расширенные модели для создания собственных приложений с применением службы Azure OpenAI Service», — говорится в публикации Microsoft.

С помощью GPT-4 корпоративные пользователи смогут оптимизировать взаимодействие как внутри компании, так и со своими клиентами. На базе Azure OpenAI Service, например, можно быстро создавать виртуальных помощников. В целом, как утверждается, технологии генеративного ИИ открывают принципиально новые возможности для бизнеса в каждой отрасли.