Компания IBM представила серию больших языковых моделей (LLM) Granite в рамках ИИ-платформы watsonx. Как сообщает IBM, это не единственное пополнение watsonx — добавятся инструменты, упрощающие создание датасетов для обучения LLM, а также ПО, упрощающее адаптацию нейросетей к новым типам задач.

Представленный в мае watsonx представляет собой набор инструментов, помогающий корпоративным клиентам строить генеративные ИИ-модели, а также выполнять смежные задачи вроде адаптации нейросетей под требования безопасности. Новые модели будут доступны при посредничестве компонента watsonx.ai, который уже имеет готовые шаблоны.

Источник изображения: IBM

Серия Granite включает LLM Granite.13b.instruct и Granite.13b.chat, построенные с помощью 2,4-терабайтного набора данных, подобранного специалистами компании. Модели способны составлять краткие резюме документов, «извлекать информацию» и генерировать тексты. Обе модели имеют по 13 млрд параметров. Благодаря относительной компактности, для запуска любой из них достаточно единственного ускорителя NVIDIA V100, который значительно дешевле A100 и H100. Другими словами, получить собственную нейросеть смогут даже очень небольшие компании.

В IBM сообщают, что готовятся и другие модели, а watsonx.ai, помимо наработок IBM, получит Llama-2 (разработана Meta✴) и нейросеть StarCoder, предназначенную для программистов — её представили в мае ServiceNow и Hugging Face. Также watsonx.ai получил механизм генерации синтетических данных, применяемых для обучения кастомных LLM, и инструмент для адаптации параметров нейросети для того, чтобы учить её выполнять новые задачи без «перетренировки».

Дополнительно стало известно, что IBM расширила возможности компонента watsonx.data для управления датасетами, предназначенными для тренировки ИИ. Сообщается, что инструмент получит новые возможности благодаря добавлению «разговорного» интерфейса. Добавятся и другие функции, например, работа с векторными базами данных.

Google, входящая в Alphabet, объявила о планах добавить в свою облачную платформу инструменты искусственного интеллекта (ИИ) таких компаний, как Meta✴ Platforms и Anthropic, позиционируя себя как универсальная площадка для облачных клиентов, желающих воспользоваться ИИ. При этом более половины стартапов в области генеративного ИИ, поддерживаемых венчурными фондами, включая Anthropic, Character.ai и Cohere, используют именно Google Cloud.

Вскоре клиенты Google получат доступ к большой языковой модели (LLM) Llama 2 от Meta✴, а также к ИИ-чат-боту Claude 2 ИИ-стартапа Anthropic для создания с помощью корпоративных данных собственных приложений и сервисов. По словам компании, теперь клиентам Google Cloud доступно более 100 мощных моделей и инструментов ИИ. Сама Google продолжает совершенствовать свои собственные модели и инструменты ИИ. В частности LLM PaLM 2 теперь доступна на 38 языках и может лучше анализировать объёмные документы, такие как исследовательские работы, книги и юридические записки.

Изображение: Google

Заодно компания отметила, что ИИ-помощник для разработчиков Codey стал производительнее, а Imagen, приложение для преобразования текста в изображение, теперь будет выдывать более качественные результаты с возможностью настройки стиля. Кроме того, Google Cloud анонсировала функцию, которая позволит добавлять в изображение водяной знак, указывающий на то, что оно создано ИИ. По словам компании, эта функция, основанная на технологиях Google DeepMind, будет включать водяной знак на уровне пикселей, чтобы его было трудно изменить.

Также компанией было объявлено о развитии продукта Duet AI для Google Workspace, доступ к которому для широкой публики появится позже в этом году. Пользователи смогут задействовать помощник с генеративным ИИ, который отвечает на запросы и помогает создавать контент в Google Docs, Sheets и Slides. По словам Google, Duet AI может делать заметки во время видеозвонков, отправлять сводки встреч, переводить субтитры на 18 языков и даже подменять пользователя на видеособраниях.

Наконец, Google похвасталась, что её отраслевые модели тоже набирают популярность. Например, LLM Med-PaLM 2, адаптированная для медицинской сферы, используется Bayer Pharmaceuticals, HCA Healthcare и Meditech, а модель Sec-PaLM 2, разработанная для обеспечения кибербезопасности, используется Broadcom и Tenable.

NVIDIA и VMware объявили о расширении стратегического партнёрства, нацеленного на развитие систем ИИ. Компании анонсировали платформу VMware Private AI Foundation — полнофункциональное решение, которое позволит заказчикам быстро развёртывать различные приложения на базе генеративного ИИ.

Новая платформа представляет собой полностью интегрированный продукт на базе VMware Cloud Foundation, включающий стек ПО для генеративного ИИ и вычислительные ресурсы на базе ускорителей NVIDIA. VMware Private AI Foundation будет поддерживаться Dell Technologies, Hewlett Packard Enterprise (НРЕ) и Lenovo, которые одними из первых предложат готовые ИИ-комплексы. Такие системы будут включать ускорители NVIDIA L40S, DPU BlueField-3 и адаптеры ConnectX-7 SmartNIC .

Изображение: NVIDIA

Предполагается, что благодаря новому совместному решению NVIDIA и VMware сотни тысяч клиентов в сферах финансовых услуг, здравоохранения, производства и других отраслях получат комплексную платформу, позволяющую раскрыть потенциал генеративного ИИ с использованием их собственных данных. В числе ожидаемых преимуществ для заказчиков называются:

• Конфиденциальность — клиенты смогут запускать ИИ-службы с обеспечением безопасного доступа и защитой данных;
• Выбор — заказчики смогут выбирать различные схемы работы с ИИ, воспользовавшись OEM-конфигурациями, публичными облаками или услугами сервис-провайдеров;
• Производительность — инфраструктура NVIDIA обеспечит быстродействие, сопоставимое или даже превосходящее с таковым у решений bare metal;
• Масштабируемость — использование до 16 v(GPU) в рамках одной виртуальной машины;
• Снижение затрат — платформа максимизирует использование вычислительных ресурсов для сокращения расходов и повышения эффективности;
• Быстрое хранилище данных — архитектура VMware vSAN Express предоставит производительную NVMe-подсистему и поддержку GPUDirect с RDMA, что позволит хранилищам и ускорятелям обмениваться данными напрямую и без участия CPU;
• Быстрая сеть — глубокая интеграция между vSphere и NVIDIA NVSwitch позволит моделям, задействующим несколько ускорителей, работать без задержек;
• Быстрое развёртывание и малое время окупаемости — готовые ВМ-образы vSphere Deep Learning обеспечат возможности быстрого прототипирования;
• Доступ к стеку NVIDIA AI Enterprise и его компонентам, а также к NVIDIA AI Workbench и иным инструментам, которые помогут ускорить разработку, внедрение и сопровождение ИИ-моделей на предприятиях.

В эпоху быстрого развития ИИ-систем многие компании интересуются данной темой, в частности, большими языковыми моделями, но они обеспокоены сохранностью и целостностью собственных данных, чего не могут полностью гарантировать облачные сервисы. Специально для таких случаев компания Nutanix, разработчик решений для мультиоблачных и гиперконвергентных инфраструктур, предложила своё решение — платформу GPT-in-a-Box.

За этим названием скрывается программно-определяемая ИИ-платформа, базирующаяся на разработках Nutanix, открытых фреймворках, включая PyTorch и KubeFlow, и вычислительных узлах, оснащённых ускорителями NVIDIA. Она позволяет в кратчайшие сроки развернуть защищённую ИИ-среду в ЦОД или на периферии заказчика. Комплекс задействует файловое и объектное хранилище Nutanix Unified Storage, а также Kubernetes-платформу Karbon 2 с пробросом ускорителей.

Источник: Nutanix

В число поддерживаемых базовых языковых моделей входят Llama2, Falcon LLM и MosaicML, но возможен запуск и других GPT-моделей, а также тонкая подстройка с использованием данных из интегрированного хранилища. При этом GPT-in-a-Box вовсе не требует повышенных затрат, связанных с поддержкой, масштабированием и администрированием. Система функционирует в рамках Nutanix Cloud Platform, которая сертифицирована для NVIDIA AI Enterprise.

Южнокорейский телеком-оператор SK Telecom инвестировал $100 млн в стартап Anthropic, основанный бывшими топ-менеджерами OpenAI и занимающийся генеративным ИИ. Как сообщает DataCenter Dynamics, сделка предусматривает не только инвестиции, но и совместную работу над большими языковыми моделями (LLM), специально оптимизированными для телекоммуникационных компаний. На первом этапе будет создан специальный вариант более общей модели Claude.

Новый вариант научится понимать корейский, японский, английский, немецкий, испанский и арабский языки. Курировать работу будет один из основателей стартапа и его главный научный сотрудник Джаред Каплан (Jared Kaplan). Готовая модель поступит в распоряжение группы Global Telco AI Alliance, основанной в прошлом месяце SK Telecom, Deutsche Telekom, e& и Singtel. LLM будет применяться для обслуживания клиентов телеком-сервисов, а также для маркетинга, продаж и других целей.

По словам Anthropic, SK Telecom намерена использовать ИИ для «преображения» телекоммуникационной отрасли. Стартап намерен объединить свои навыки в сфере ИИ с опытом SK Telecom в телекоммуникационном бизнесе. При этом последняя уже работает над LLM — в феврале появилась информация о том, что южнокорейская компания удвоила мощность ИИ-суперкомпьютера Titan, ответственного за работу корейского варианта GPT-3 — модели Aidat (A dot).

Источник изображения: Anthropic

С самого начала своего существования Anthropic была хорошо воспринята техногигантами. Среди её инвесторов уже числится Google, вложившая в стартап $300 млн, а всего компания привлекла более $1,5 млрд, причём в числе инвесторов, получивших долю в компании, оказалось и другое подразделение SK Group — SK Telecom Ventures.

NVIDIA анонсировала набор инструментов NVIDIA AI Workbench, который позволяет разработчикам быстро создавать, тестировать и настраивать предварительно обученные модели генеративного ИИ на платформах NVIDIA — от ПК и рабочих станций до ЦОД, публичного облака и сервиса NVIDIA DGX Cloud.

Сервис AI Workbench доступен через упрощённый интерфейс, работающий в локальной системе. С его помощью разработчики могут настраивать и тестировать модели из популярных репозиториев, таких как Hugging Face, GitHub и NVIDIA NGC, используя проприетарные данные, а также получать доступ к облачным ресурсам, когда возникает необходимость в масштабировании. Затем готовые модели можно развернуть на нескольких платформах.

Источник изображения: NVIDIA

Вице-президент NVIDIA по корпоративным вычислениям, говорит, что причиной создания AI Workbench является сложность и трудоёмкость настройки больших моделей ИИ. Проекты ИИ корпоративного масштаба могут потребовать поиска нужной платформы и инструментов в нескольких репозиториях, а также наличие навыков настройки модели для конкретного варианта использования. Задача ещё больше усложняется, когда проекты необходимо перемещать из одной инфраструктуры в другую.

NVIDIA AI Workbench позволит разработчики настраивать и запускать генеративный ИИ всего за несколько кликов. Он позволяет объединить все необходимые модели, фреймворки, наборы для разработки ПО, открытые библиотеки и ИИ-платформы NVIDIA в единый набор инструментов для разработчиков. По словам NVIDIA, решение AI Workbench уже используют Dell Technologies, HPE, HP, Lambda, Lenovo, Supermicro и многие другие вендоры.

NVIDIA также анонсировала четвертую версию своей программной ИИ-платформы NVIDIA AI Enterprise, которая предлагает инструменты, необходимые для внедрения и настройки генеративного ИИ. Платформа включает фреймворк NVIDIA NeMo, службу NVIDIA Triton и ПО NVIDIA Base Command Manager Essentials. NVIDIA AI Enterprise 4.0 будет интегрирована в маркетплейсы партнёров компании, включая AWS, Google Cloud Platform и Microsoft Azure, а также Oracle Cloud Infrastructure.

Разработчик решений в области генеративного ИИ MosaicML, недавно перешедший в собственность Databricks, сообщил о хороших результатах в обучении больших языковых моделей (LLM) с использованием ускорителей AMD Instinct MI250 и собственной платформы.

Компания рассказала, что подыскивает от имени своих клиентов новое «железо» для машинного обучения, поскольку NVIDIA в настоящее время не в состоянии обеспечить своими ускорителями всех желающих. MosaicML пояснила, что требования к таким чипам просты:

• Реальные рабочие нагрузки: поддержка обучения LLM с 16-бит точностью (FP16 или BF16) с той же сходимостью и качеством конечной модели, что и при обучении на системах NVIDIA.
• Скорость и стоимость: конкурентоспособные производительность и соотношение производительности и стоимости.
• Разработка: минимальные изменения кода по сравнению с её существующим стеком (PyTorch, FSDP, Composer, StreamingDataset, LLM Foundry).

Источник изображений: MosaicML

Как отметила компания, ни один из чипов до настоящего времени смог полностью удовлетворить все требования MosaicML. Однако с выходом обновлённых версий фреймворка PyTorch 2.0 и платформы ROCm 5.4+ ситуация изменилась — обучение LLM стало возможным на ускорителях AMD Instinct MI250 без изменений кода при использовании её стека LLM Foundry.

Некоторые основные моменты:

• Обучение LLM было стабильным. С высокодетерминированным обучающим стеком LLM Foundry обучение LLM MPT-1B на ускорителях AMD MI250 и NVIDIA A100 дало почти идентичные кривые потерь при запуске с одной и той же контрольной точки. Исследователи даже смогли переключаться между ускорителями AMD и NVIDIA в течение тренировочного прогона.
• Производительность была конкурентоспособной с существующими системами A100. Исследователи профилировали пропускную способность обучения моделей MPT с параметрами от 1 до 13 млрд и обнаружили, что скорость обработки MI250 на один ускоритель находится в пределах 80 % от A100-40GB и в пределах 73 % от A100-80GB. Как ожидает компания, этот разрыв сократится по мере улучшения программного обеспечения AMD.

При этом никаких изменений в коде не потребовалось.

Все результаты получены на одном узле из четырёх MI250, но компания работает с гиперскейлерами для проверки возможностей обучения на более крупных кластерах AMD Instinct. «В целом наши первоначальные тесты показали, что AMD создала эффективный и простой в использовании программно-аппаратный стек, который может конкурировать с NVIDIA», — сообщила MosaicML. Это важный шаг в борьбе с доминирующим положением NVIDIA на рынке ИИ.

Новые ИИ-проекты с открытым исходным кодом на базе больших языковых моделей набирают огромную популярность за считаные месяцы. Но, как сообщает Dark Reading, уровень их безопасности оставляет желать лучшего. Тем более что из тысяч действующих версий наиболее популярны одни из самых молодых вариантов.

Как выяснила компания Rezilion, занимающаяся проектами в сфере кибербезопасности, использующие решения на основе LLM компании неизбежно ставят свой бизнес под угрозу. Так, проанализировав 50 самых популярных проектов на базе LLM на GitHub, компания пришла к интересным выводам. Для оценки использовался инструмент Scorecard от Open Source Security Foundation, который учитывает различные характеристики проектов, от числа уязвимостей до того, как осуществляется поддержка, а также другие факторы.

Источник: Rezilion

Известно, что с момента публичного дебюта ChatGPT, на GitHub появились более 30 тыс. проектов, использующих GPT-3.5, причём они активно интегрируются в самые разные программные решения. Исследователи составили «карту» популярных проектов, где по оси y отмечался уровень их популярности, а по оси x — уровень безопасности на основе рейтинга OpenSSF Scorecard. В итоге ни один из оценивавшихся проектов не набрал больше 6,1 балла из 10 возможных. Другими словами, все самые популярные решения на основе LLM связаны с высоким уровнем риска, а средний балл и вовсе составил 4,6.

Источник: Rezilion

Примечательно, что самый популярный проект Auto-GPT, набравший на GitHub почти 140 тыс. звёзд в местном рейтинге, появился в репозитории меньше трёх месяцев назад и получил рейтинг Scorecard 3,7 — решение является чрезвычайно рискованным. Как заявляют в Rezilion, для новых проектов характерен экспоненциальный рост популярности, но разработчикам и службам информационной безопасности стоит осознавать риски, связанные с применением подобных решений.

По данным экспертов организации, когда речь идёт о новом проекте, невозможно достоверно прогнозировать, будет ли он эволюционировать и поддерживаться. Быстро достигнув пика популярности, многие проекты сохраняют невысокий уровень безопасности — когда исследователи оценили соотношение возраста проектов и их уровня в Scorecard, выяснилось, что чаще всего встречались популярные разработки возрастом два месяца и рейтингом 4,5–5 баллов из 10.

Snowflake, предоставляющая услуги по облачному хранению и обработке данных, и NVIDIA объявили о заключении соглашения о сотрудничестве, благодаря которому компаниям станет проще создавать генеративные приложения искусственного интеллекта (ИИ), используя свои данные в безопасной облачной среде Snowflake Data Cloud.

Используя Snowflake Data Cloud, корпоративным клиентам не придётся отправлять на стороны проприетарные данные для обучения и настройки генеративных ИИ и чат-ботов. Возможность тюнинга LLM без перемещения данных позволяет полностью защитить конфиденциальную информацию и управлять ею в пределах платформы Snowflake. Клиентам Snowflake будет обеспечен доступ к базовым моделям LLM и возможностям обучения с помощью NVIDIA NeMo. Они также получат доступ к механизму NeMo Guardrails, который защищает модели от появления «галлюцинаций» и обеспечивает соответствие заданным бизнес-темам и требованиям безопасности.

Источник изображений: NVIDIA

Симбиоз Snowflake Data Cloud и NeMo позволит корпоративным клиентам обучать специализированные большие языковые модели (LLM) с навыками в конкретной области знаний, способные извлекать информацию из источников данных, которые надёжно хранятся в границах облака. Это позволит также сократить как затраты компаний, так и задержки в передаче данных. Фокус на предметно-ориентированные данные характерен для индивидуализированных моделей генеративного ИИ.

Кроме того, в ходе саммита Snowflake объявила о расширении партнёрства с Microsoft с целью внедрения генеративных моделей искусственного интеллекта и расширенных возможностей машинного обучения в Data Cloud, что позволит интегрировать новые продукты в сфере ИИ, в разработке приложений, управлении данными и т.д. Сообщается, что компании будут реализовывать новые программы, предоставляя совместные решения своим клиентам. Snowflake также увеличит расходы на Azure, и обе компании будут вместе работать над выводом продуктов на рынок.

NVIDIA сообщила, что во всех восьми ИИ-бенчмарках MLPerf Training v3.0 её ускорители H100 установили новые рекорды, причём как по отдельности, так и в составе кластеров. В частности, коммерчески доступный кластер из 3584 ускорителей H100, созданным стартапом Inflection AI и облаком CoreWeave, смог завершить обучение ИИ-модели GPT-3 менее чем за 11 минут.

Компания Inflection AI, основанная в 2022 году, использовала возможности решений NVIDIA для создания продвинутой большой языкой модели (LLM) для своего первого проекта под названием Pi. Компания планирует выступать в качестве ИИ-студии, создавая персонализированные ИИ, с которыми пользователи могли бы взаимодействовать простыми и естественными способомами. Inflection AI намерена в сотрудничестве с CoreWeave создать один из крупнейших в мире ИИ-кластеров на базе ускорителей NVIDIA.

«Сегодня наши клиенты массово создают современные генеративные ИИ и LLM благодаря тысячам ускорителей H100, объединённых быстрыми сетями InfiniBand с малой задержкой, — сообщил Брайан Вентуро (Brian Venturo), соучредитель и технический директор CoreWeave. — Наша совместная с NVIDIA заявка MLPerf наглядно демонстрирует их высокую производительность». Отдельно подчёркивается, что благодаря NVIDIA Quantum-2 InfiniBand облачный кластер CoreWeave обеспечил такую же производительность, что и локальный ИИ-суперкомпьютер NVIDIA.

Источник изображений: NVIDIA

NVIDIA отметила, что H100 показали высочайшую производительность во всех тестах MLPerf, включая LLM, рекомендательные системы, компьютерное зрение, обработка медицинских изображений и распознавание речи. «Это были единственные чипы, которые прошли все восемь тестов, продемонстрировав универсальность ИИ-платформы NVIDIA» — сообщила компания. А благодаря оптимизации всего стека NVIDIA удалось добиться в тесте LLM практически линейного роста производительности при увеличении количества ускорителей с сотен до тысяч. Отдельно компания напомнила об энергоэффективности H100.

Также сообщается, что обновлённый бенчмарк MLPerf для рекомендательных систем использует больший набор данных и более современную модель, что позволяет лучше отразить проблемы, с которыми сталкиваются провайдеры облачных услуг. NVIDIA была единственной компанией, представившей результаты расширенного теста. Также компания представила результаты MLPerf для платформ L4 и Jetson. Ну а в следующем раунде MLPerf стоит ждать появления NVIDIA Grace Hopper.

В текущем раунде результаты тестов с использованием платформы NVIDIA представили десяток компаний. Заявки поступили от крупных производителей систем, включая ASUS, Dell Technologies, GIGABYTE, Lenovo и QCT. Более 30 замеров было сделано на ускорителях H100. NVIDIA отметила прозрачность и объективность тестов, поэтому пользователи могут полностью полагаться на результаты MLPerf для принятия решения о покупке систем.