Компании ServiceNow, Hugging Face и NVIDIA представили семейство общедоступных больших языковых моделей (LLM) StarCoder2 для генерации кода, призванное помочь разработчикам использовать генеративный ИИ для создания корпоративных приложений.

Семейство было разработано NVIDIA в сотрудничестве с исследовательским проектом BigCode, которым управляет ServiceNow, и Hugging Face, разработчиком открытой LLM-платформы. Модели StarCoder2 обучены 619 языкам программирования и могут быть дообучены на собственных данных и встроены в корпоративные приложения для выполнения специализированных задач, таких как генерация кода, управление рабочими процессами, обобщение текста и многое другое. Разработчики могут использовать автодополнение и обобщение кода, извлечение фрагментов кода и другие возможности.

Источник изображения: Hugging Face

Набор StarCoder2 включает три модели: модель с 3 млрд параметров, обученная ServiceNow; модель с 7 млрд параметров, обученная Hugging Face; и модель с 15 млрд параметров, созданная NVIDIA с помощью NVIDIA NeMo. Варианты моделей с меньшим количеством параметров менее требовательны к вычислительной инфраструктуре, при этом модель StarCoder2 с 3 млрд параметров соответствует производительности исходной модели StarCoder с 15 млрд. параметров

В основе StarCoder2 лежит новый набор данных Stack v2, который более чем в 7 раз больше, чем Stack v1. Кроме того, новые модели обучены работе с малораспространёнными языками вроде COBOL, «понимают» математику и могут обсуждать исходный код программ. Пользователи могут дообучить и настроить модели StarCoder2, используя данные, специфичные для отрасли или организации, с помощью NVIDIA NeMo или Hugging Face TRL. Разработчики смогут создавать продвинутых чат-ботов для решения более сложных задач обобщения или классификации и разрабатывать персонализированных помощников по программированию.

Источник изображения: Hugging Face

Разработка ПО стала основной областью использования ИИ, чему отчасти способствовали такие инструменты как GitHub Copilot и AWS CodeWhisperer, отметил ресурс SiliconANGLE. Согласно недавнему опросу GitHub, 91 % разработчиков в США используют ИИ-инструменты для создания кода. Впрочем, опрос, проведённый CoderPad Inc., показал, что почти четверть разработчиков скептически относятся к ценности ИИ в работе, а 28 % и вовсе заявили, что их работодатель запрещает им пользоваться ИИ-инструментами.

В числе причин негативного отношения — опасения, что ИИ-помощники создают неэффективный или уязвимый код, а также крадут интеллектуальную собственность, генерируя код на основе материалов, защищённых авторским правом, которые использовались при обучении модели. Создатели StarCoder2 подчёркивают, что модели были созданы с использованием данных Software Heritage, крупнейшей, по их словам, общедоступной коллекцию исходных кодов.

В целях дальнейшего повышения прозрачности и сотрудничества вспомогательный код модели будет по-прежнему размещаться на странице проекта BigCode на GitHub. Он доступен по лицензии BigCode OpenRAIL-M, обеспечивающей бесплатный доступ и использование. Все модели StarCoder2 также будут доступны для загрузки с Hugging Face, а модель StarCoder2 с 15 млрд параметров доступна в составе NVIDIA AI Foundation.

Американский облачный провайдер ServiceNow отрапортовал о работе в IV квартале и 2023 году в целом. Выручка компания существенно увеличилась, что объясняется стремительным ростом сегмента генеративного ИИ. Кроме того, продолжается развитие интеллектуальной платформы ServiceNow для комплексной цифровой трансформации.

Продажи по итогам последней четверти 2023 года составили $2,44 млрд, что на 26 % больше по сравнению с аналогичным периодом 2022-го. При этом подписки принесли $2,37 млрд — плюс 27 % год к году. На профессиональные и прочие услуги пришлось $72 млн, что соответствует падению на 10 % в годовом исчислении. Чистая квартальная прибыль зафиксирована на отметке $295 млн, или $1,44 в пересчёте на одну ценную бумагу.

Источник изображения: ServiceNow

По итогам 2023 года в целом оператор ServiceNow получил $8,97 млрд выручки, что на 24 % больше в годовом исчислении. На подписки пришлось $8,68 млрд (плюс 26 % год к году), на профессиональные и другие услуги — $291 млн (минус 18 %). Чистая годовая прибыль составила $1,73 млрд, или приблизительно $8,48 на акцию.

В I квартале 2024 года компания рассчитывает получить выручку от подписок в размере $2,51–$2,52 млрд, что будет соответствовать росту на 24,0–24,5 % в годовом исчислении. По прогнозам ServiceNow, за весь 2024 год выручка от подписок вырастет до $10,56–$10,58 млрд, то есть, покажет прибавку в 21,5–22,0 %. Ранее компания отметилась тем, что сделала существенные запасы комплектующих и компонентов для поддержания собственной инфраструктуры.

На необычные меры борьбы с задержками поставок комплектующих пошёл американский облачный оператор ServiceNow. Для того, чтобы наверняка обеспечить себя всем необходимым, компания заказала запас комплектующих на год вперёд, включая готовые серверы, процессоры, память и другие компоненты ещё в январе 2022 года.

Таким необычным способом компания решила бороться с перебоями в цепочках поставок, поразившими мировые рынки как электроники в целом, так и облачных технологий в частности. По словам представителя ServiceNow, если раньше на доставку необходимых компонентов уходило 45 дней с момента заказа, то из-за пандемии и других проблем речь теперь идёт о задержках в 120 дней на получение серверов и 160 дней — сетевого оборудования.

Источник изображения: Tho-Ge/pixabay.com

Известно, что компания использует в своих ЦОД преимущественно процессоры на архитектуре x86, хотя рассматривается возможность использования и других вариантов. Оператор управляет ЦОД в Австралии, Гонконге, Сингапуре, Японии, Германии, Ирландии, Голландии, Швейцарии, Бразилии, Великобритании, Канаде и, конечно, США.

По словам технического директора Патрика Кейси (Patrick Casey), потребовалось координировать объём заказа с современными возможностями цепочек поставок. По его мнению, если в сложившихся условиях заказать оборудование в третьем квартале 2022 года, доставка состоится только в третьем квартале 2023, намного позже, чем было бы необходимо. Именно поэтому в компании и приняли решение закупить всё необходимое впрок.

По данным ServiceNow, она работает с 200 тыс. клиентов, поэтому здесь считают более дешёвым и эффективным вариантом использовать собственную инфраструктуру вместо того, чтобы играть роль посредника, заказывая мощности у гиперскейлеров вроде Amazon Web Services.