Стартап Databricks, разработчик платформы машинного обучения, анализа и обработки данных, объявил о приобретении компании-разработчика решений в области генеративного ИИ MosaicML Inc. С помощью разработанных MosaicML языковых моделей компании смогут обучать и выполнять точную настройку генеративных ИИ-моделей на основе собственных данных с высоким качеством и низкой стоимостью, а технологии оптимизации обучения моделей MosaicML помогут снизить затраты.

MosaicML наиболее известна своим собственным семейством больших языковых моделей (LLM) MPT, с более чем 3,3 млрд загрузок модели MPT-7B. Семейство LLM компании с открытым исходным кодом основано на архитектуре MPT-7B, построенной с 7 млрд параметров и контекстным окном на 64 тыс. токенов. На днях MosaicML выпустила модель MPT-30B с 30 млрд параметров, которая гораздо мощнее MPT-7B и превосходит по качеству модель OpenAI GPT-3 (175 млрд параметров).

Источник изображения: MosaicML

MosaicML сообщила, что размер MPT-30B был специально подобран для развёртывания всего на одном ускорителе — либо NVIDIA A100 80 Гбайт (16-бит точность), либо A100 40 Гбайт (8-бит точность). По словам MosaicML, другие сопоставимые LLM, такие как Falcon-40B, имеют большее количество параметров и не могут обслуживаться на одном ускорителе, что увеличивает минимальную стоимость системы инференса.

Платформа Databricks Lakehouse в сочетании с технологиями MosaicML предложит клиентам простой, быстрый и экономичный способ сохранить контроль над данными, а также обеспечить их безопасность и защитить правf собственности. Размещая модели в Databricks Lakehouse, компании смогут адаптировать их к конкретным корпоративным данным и безопасно развёртывать их. Использование обслуживаемых моделей, таких как от OpenAI, может привести к утечке данных и другим рискам. Это особенно важно для строго регулируемых отраслей — модель и данные должны оставаться вместе в изолированном окружении.

Источник изображения: Databricks

Кроме того, решения MosaicML обеспечивают в 2–7 раз более быстрое обучение моделей по сравнению со стандартными подходами, предлагая при этом линейное масштабирование. Компания утверждает, что модели с несколькими миллиардами параметров теперь можно обучить за часы, а не за дни. Согласно пресс-релизу, при применении интегрированной платформы Databricks и MosaicML обучение и использование LLM будет стоить тысячи долларов, а не миллионы.

«Теперь Databricks может расширить свою платформу для создания, обучения и размещения традиционных моделей машинного обучения на большие языковые модели, — заявил Джастин ДеБрабант (Justin DeBrabant), старший вице-президент ActionIQ Inc. — Это означает, что Databricks предлагает продукты и услуги на платформе Lakehouse. которые простираются от ETL до аналитики SQL, пользовательского машинного обучения, а теперь и до размещённых LLM».

Компания Hewlett Packard Enterprise (HPE) анонсировала на конференции HPE Discover 2023 — GreenLake for LLM (HPE GreenLake для больших языковых моделей) — облачный сервис на основе подписки, который предоставит предприятиям доступ к суперкомпьютерной платформе HPE Cray XD и необходимому ПО для создания и запуска крупномасштабных моделей ИИ.

HPE GreenLake для больших языковых моделей в облаке «позволяет выполнять отдельные крупномасштабные задания ИИ и высокопроизводительных вычислений на сотнях или тысячах CPU или GPU одновременно, что очень сильно отличается от облачных предложений общего назначения», — отметил Джастин Хотард (Justin Hotard), исполнительный вице-президент и гендиректор лаборатории высокопроизводительных вычислений (HPC) и искусственного интеллекта (ИИ).

Источник изображения: HPE

GreenLake for LLM предоставляется HPE в партнёрстве с немецким стартапом в области ИИ Aleph Alpha GmbH, который предлагает готовые к использованию LLM для обработки и анализа текста и изображений. В частности, пользователи получат доступ к предварительно обученной модели Aleph Alpha Luminous, доступной на нескольких языках, которая позволяет клиентам использовать свои собственные данные для дообучения и точной настройки модели. С её помощью клиенты смогут создавать различные виды приложений и интегрировать их в свои собственные бизнес-процессы.

Luminous, в отличие от ChatGPT, больше нацелена на промышленность и правительственные организации, чем на конечных потребителей. По словам HPE, это решение уже используется различными организациями в сфере здравоохранения и финансовых услуг, а также в юридической сфере в качестве цифрового помощника.

Источник изображения: HPE

Клиенты также получат доступ к среде ML-разработки HPE и ПО для управления данными машинного обучения, которые обеспечивают возможности быстрого обучения моделей ИИ, а также интеграции, отслеживания и аудита данных, на которых они обучаются. Эта платформа основана на технологии, полученной компанией HPE в результате приобретения компании Defined AI, а также на библиотеке моделей ИИ, которая будет включать как модели с открытым исходным кодом, так и проприетарные сторонние модели.

Для сервиса будет использоваться инфраструктура на основе суперкомпьютерной платформы HPE Cray XD с ускорителями NVIDIA H100, которая к концу 2023 года будет развёрнута в ЦОД Q01 QScale в Квебеке (Канада), а в начале 2024 года услуга будет доступна для клиентов в Европе. Сообщается, что HPE GreenLake for LLM — лишь первое из серии специализированных ИИ-решений HPE. Другие предложения будут включать решения в области моделирования климата, здравоохранения и медико-биологических наук, финансовых услуг, производства и транспорта.

Российская компания «Яндекс» в июле откроет для компаний доступ к бета-тестированию генеративного ИИ YandexGPT (нейросеть YaLM 2.0) на своей облачной платформе Yandex Cloud, пишет «Интерфакс» со ссылкой на заявление компании. «Яндекс» запустил YandexGPT в прошлом месяце — возможности нейросети можно попробовать в режиме «давай придумаем» в голосовом помощнике «Алиса».

«С июля 2023 первые пользователи смогут протестировать сервис для решения актуальных бизнес-задач и совместно с командой Yandex Cloud определить наиболее значимые бизнес-сценарии для развития YandexGPT на облачной платформе», — сообщил «Яндекс».

Источник изображения: Pixabay

Сообщается, что доступ к закрытому тестированию нейросети получит ограниченное число компаний, которые смогут с её помощью создавать умных помощников и ИИ-чат-ботов, а также генерировать текстовый контент. Для участия в проекте компания должна подать заявку с описанием задачи, которую собирается решить с помощью YandexGPT, чтобы специалисты Yandex Cloud смогли оценить, насколько подходит для этого данная версия нейросети.

Тестирование YandexGPT будет проводиться в двух режимах. Режим Playground (UI) позволит компании протестировать возможности сервиса для решения бизнес-задач. А в режиме YandexGPT API компании попробуют интегрировать YandexGPT в свои приложения.

В «Яндексе» сообщили «Интерфаксу», что возможности YandexGPT могут быть востребованы в крупных банках, ретейле, промышленности, а также других отраслях, добавив, что на этапе тестирования YandexGPT не будет тарифицироваться. «Модель тарификации пока прорабатывается, один из возможных вариантов — по запросам к API», — пояснили в компании.

Американская компания Salesforce Inc., разработчик одноимённой CRM-платформы, добавила поддержку больших языковых моделей (LLM) в своё портфолио. Генеративный ИИ теперь можно интегрировать в платформу Einstein (новая версия Salesforce Data Cloud), аналитику Tableau, диспетчер Flow и набор инструментов MuleSoft для связывания SaaS-приложений, данных и устройств в облаке и на локальных серверах для помощи в автоматизации бизнес-процессов, пишет ресурс SiliconANGLE.

Важной особенностью Einstein является слой Einstein Trust Layer, который, по словам компании, делает её облачную платформу открытой и расширяемой. Как утверждает Salesforce, Trust Layer предотвращает включение проприетарных данных в общедоступные модели, повышает качество контента, создаваемого ИИ, и интегрирует генеративные ответы ИИ в бизнес-процессы, обеспечивая при этом соблюдение правил конфиденциальности, безопасности, резидентности и норм соответствия.

Salesforce подчеркнула надёжность моделей ИИ как основной фактор в разработке Trust Layer. Согласно проведённому компанией исследованию, 73 % сотрудников считает, что генеративный ИИ создаёт новые риски для безопасности. Почти 60 % планирующих использовать эту технологию, отметили, что не знают, как обеспечить безопасность данных. В дополнение к собственным LLM Salesforce поддерживаются модели OpenAI, Anthropic PBC, Cohere. В дальнейшем компаниия планирует обеспечить поддержку других сторонних моделей.

Источник изображения: Salesforce

ИИ-бот Einstein GPT включает шлюз, который можно использовать для интеграции моделей из облаков Amazon и Google, а также специфичных для доменов и локально размещаемых моделей. Salesforce подчеркнула, что подсказки и ответы клиентов никогда не покидают её инфраструктуру, а клиенты, которые обучили собственные модели, могут напрямую подключаться к AI Cloud посредством Trust Layer. Salesforce также разработала оптимизированные подсказки ИИ, которые можно настроить для конкретной компании-заказчика.

Компания привела примеры использования предварительно обученного генеративного ИИ. Продавцы смогут автоматически создавать персонализированные электронные письма, основанные на данных CRM. Сервисные группы смогут создавать брифинги по обслуживанию, сводки по обращениям и заказы на работу на основе данных об обращениях и истории клиентов. Использование технологии позволит маркетологам сегментировать аудиторию с помощью запросов на естественном языке, а также поможет специалистам по электронной коммерции адаптировать описания продуктов для покупателей на основе имеющихся о них данных.

Интеграция с платформой для совместной работы Salesforce Slack позволит пользователям создавать новые рабочие процессы. Наконец, менеджеры по продажам смогут создавать визуализации в Tableau с подсказками на естественном языке, а разработчики будут получать предложения по коду и дополнения непосредственно в Visual Studio.

MosaicML, провайдер инфраструктуры генеративного искусственного интеллекта, основанный бывшими сотрудниками Intel и учёными-исследователями, анонсировал инференс-платформу Mosaic ML Inference и серию моделей MosaicML Foundation Series, которые компании могут задействовать в качестве основы при создании собственных моделей ИИ.

Как сообщается в пресс-релизе, это решение позволит разработчикам быстро, легко и по доступной цене развёртывать генеративные модели ИИ. «Благодаря добавлению возможностей инференса MosaicML теперь предлагает комплексное решение для обучения и развёртывания генеративного ИИ по наиболее эффективной цене, доступной на сегодняшний день», — отмечено в документе. Клиенты MosaicML отметили, что малые модели, обученные на собственных предметно-ориентированных данных, работают лучше, чем большие универсальные модели вроде GPT 3.5.

Источник изображений: MosaicML

Гендиректор Навин Рао (Naveen Rao) сообщил ресурсу SiliconANGLE, что ценность решения компании для корпоративных клиентов включает два компонента: сохранение конфиденциальности и снижение затрат. Используя решение Inference от MosaicML, клиенты смогут развёртывать ИИ-модели с затратами в четыре раза меньше, чем при использовании большой языковой модели (LLM) от OpenAI, и в 15 раз дешевле при создании изображений, чем при использовании DALL-E 2 этой же компании.

«Мы предоставляем инструменты, работающие в любом облаке, которые позволяют клиентам предварительно обучать, настраивать и обслуживать модели, — сказал Рао. — Если клиент обучает модель, он может быть уверен, что эта модель принадлежит ему». С запуском нового сервиса клиенты MosaicML получают доступ к ряду LLM с открытым исходным кодом, включая Instructor-XL, Dolly и GPTNeoX, которые они могут точно настроить в соответствии со своими потребностями. Все модели получат одинаковую оптимизацию и доступность, что позволит им функционировать с меньшими затратами при развёртывании с помощью MosaicML Inference.

«Это модели с открытым исходным кодом, поэтому клиенты по определению могут настраивать и настраивать и обслуживать их с помощью наших инструментов, — сказал Рао. Компания готова помочь клиентам в работе с их ИИ-моделям. Разработчики смогут выполнять развёртывание в безопасном кластере локально или в облачной инфраструктуре AWS, CoreWeave, Lambda, OCI и GCP. Данные никогда не покидают защищённую среду. Также MosaicML Inference предлагает непрерывный мониторинг метрик кластера.

Кроме того, компания предлагает модель MosaicML Foundational Model, одним из преимуществ которой является очень большое «контекстное окно» — более 64 тыс. токенов или около 50 тыс. слов. Для сравнения, максимальное количество токенов GPT-4 составляет 32 768 или около 25 тыс. слов. Чтобы продемонстрировать работу модели, Рао предоставил ей содержание «Великого Гэтсби» Ф. Скотта Фицджеральда и попросил написать эпилог.

NVIDIA представила решение NeMo Guardrails с открытым кодом, призванное обеспечить безопасность приложений на основе ИИ — избавить ИИ-боты от так называемых галлюцинаций (ложных утверждений), оградить от обсуждения запретных тем и высказывания токсичных выражений, а также запретить выполнение нежелательных действий.

NVIDIA NeMo Guardrails предназначен для работы со всеми большими языковыми моделями (LLM), такими как ChatGPT от OpenAI. Решение позволяет разработчикам настраивать приложения на базе LLM, чтобы те были безопасными и оставались в сфере компетенции компании. NeMo Guardrails работает как промежуточный слой пользователем и LLM или другим ИИ-инструментом и предотвращает выдачу неверных результатов или подсказок.

Источник изображений: NVIDIA

NeMo Guardrails позволяет разработчикам устанавливать три типа границ:

• Тематические ограждения, которые предотвращают отклонение приложений в нежелательные области, обеспечивая ведение беседы в рамках определённой темы. Например, не позволяют ботам по обслуживанию клиентов, предназначенным для ответов на вопросы о продуктах, отвечать на вопросы о погоде.
• Ограждения безопасности, которые гарантируют, что LLM не выдаст дезинформацию и не вызовет негативную реакцию. Можно отфильтровать нежелательные выражения и обеспечить ссылки только на заслуживающие доверия источники.
• Охранные ограждения предотвращают выполнение LLM вредоносного кода и обеспечивают связь бота со сторонними приложениями только из разрешённого списка. Как подчеркнула компания, такие меры «помогают обеспечить надёжную модель безопасности и снижают риск атак на основе LLM по мере их обнаружения».

NVIDIA включила NeMo Guardrails в платформу NVIDIA NeMo, предоставляющую необходимые инструменты для обучения и настройки языковых моделей с использованием собственных данных компании. Значительная часть инструментария NeMo уже доступна на GitHub. Предприятия также могут получить его в виде полного и поддерживаемого пакета, входящего в состав платформы NVIDIA AI Enterprise.

Microsoft уже длительное время работает над созданием собственных ИИ-чипов, которые позволят снизить затраты на обучение генеративных моделей ИИ, подобных той, что используется в чат-боте ChatGPT компании OpenAI LP, сообщил ресурс The Information. По данным источников ресурса, по меньшей мере с 2019 года Microsoft работает над новым 5-нм чипом под кодовым названием Athena. Более того, небольшая группа сотрудников Microsoft и OpenAI уже тестирует производительность новых чипов на больших языковых моделях, таких как GPT-4.

Таким образом, Microsoft собирается присоединиться к гиперскейлерам, уже создавшим свои ИИ-ускорители. Так, Google создала уже не одно поколение TPU, а у AWS есть сразу и Trainium, и Inferentia. Meta✴, как сообщается, тоже разрабатывает собственные чипы, но пока активно сотрудничает NVIDIA, лидером рынка ИИ-ускорителей. Последняя построила для Meta✴ ИИ-суперкомпьютер RSC, но самой Meta✴ этого мало, поэтому она будет использовать облачные ИИ-кластеры Microsoft Azure. А Azure, как считается, является одним из крупнейших потребителей чипов NVIDIA — сейчас компании вместе создают ещё один облачный ИИ-суперкомпьютер.

Источник: NVIDIA

Предполагается, что наличие собственных ИИ-чипов позволяет заключить с NVIDIA более выгодные сделки на поставку её ИИ-ускорителей. «Microsoft хочет использовать большие языковые модели во всех своих приложениях, включая Bing, [Microsoft] 365 и GitHub, — сказал ресурсу The Information главный аналитик SemiAnalysis Дилан Патель. — Их развёртывание в таком масштабе с использованием готового оборудования будет стоить десятки миллиардов долларов в год». При этом пока компания старается экономить на оборудовании.

В начале 2023 года Microsoft инвестировала в OpenAI $10 млрд и сейчас ускоренно интегрирует технологию ИИ в свои сервисы. Однако внедрение больших языковых моделей (LLM) сдерживается из-за нехватки ускорителей NVIDIA. К тому же NVIDIA продаёт свою продукцию с большой наценкой, поэтому создание собственного ИИ-чипа позволит Microsoft сэкономить значительные суммы. По данным The Information, компания планирует выпуск нескольких поколений чипов, первое из которых должно появиться в 2024 году. Сообщается, что эти чипы пока не предназначены для замены продуктов NVIDIA, поскольку их предполагается использовать для расширения существующей инфраструктуры Microsoft.

Хотя генеративный ИИ активно осваивается миром, и новости о нём поступают со всех концов света, почти ничего не рассказывается об аппаратных мощностях, стоящих за обучением больших языковых моделей (LLM). Как сообщает HPC Wire, ситуацию попытался изменить IT-центр CSC, рассказав о роли европейского суперкомпьютера LUMI в создании LLM для финского языка. Без LUMI обучение модели удалось бы завершить только в 2025 году.

Суперкомпьютер LUMI является самым быстрым в Европе и занимает третье место в рейтинге TOP500. LUMI помог в обучении модели TurkuNLP, создававшейся под патронажем учёных из Университета Турку, сумевших сформировать «крупнейшую языковую модель для финского языка за всю историю». Новая ИИ-модель на базе GPT-3 включает 13 млрд параметров — известно, что до TurkuNLP в рамках пилотного проекта создавались и более скромные варианты. Финскому научили и многоязыковую модель BLOOM со 176 млрд параметров.

Дата-центр LUMI (Фото: Fade Creative)

Делить машинное время пришлось со многими другими проектами, по некоторым данным, исследователи временами регистрировали производительность на уровне 75–80 % от расчётной, хотя даже такие показатели признаны неплохими. Поскольку LUMI использует ускорители AMD Instinct MI250X, на их оптимизацию кода под новое «железо» ушло немало времени. Впрочем, группа учёных получила поддержку от команды LUMI User Support Team, AMD и Hugging Face.

Источник изображения: LUMI

Ещё одной нетривиальной задачей стал поиск материалов на финском языке для тренировки модели. Финны — довольно немногочисленный народ, поэтому исходного «сырья» для обучения в мире оцифровано относительно немного. Тексты в электронном виде добывались из всех возможных источников, при этом перед учёными стояла задача отфильтровать контент с ругательствами или материалами, разжигающими ненависть.

По данным учёных, им удалось вдвое сократить число спонтанной ругани в сравнении с предыдущими моделями благодаря качественным материалам, использовавшимся для обучения. Перед обучением также пришлось вычистить все персональные данные. Модель опубликована в Сети, но команда уже получила грант на 2 млн GPU-часов в рамках проекта LUMI Extreme Scale, поэтому исследования продолжатся.

Поставщик решений для аналитики больших данных и машинного обучения Databricks (США) объявил о выходе Dolly 2.0, модели генеративного искусственного интеллекта (ИИ) следующего поколения с открытым исходным кодом, которая имеет сходные с ChatGPT (OpenAI) возможности.

Dolly 2.0, как и предшественница Dolly, вышедшая пару недель назад, использует меньший набор данных, чем имеется у большинства больших языковых моделей (LLM). Dolly имела 6 млрд параметров, а у Dolly 2.0 их вдвое больше — 12 млрд. Для сравнения, у GPT-3 — 175 млрд параметров. Сообщается, что Dolly 2.0 была построена на высококачественном наборе данных.

Отличительной особенностью новых моделей генеративного ИИ является возможность использовать собственный набор данных обучения для создания связных предложений и ответов на вопросы пользователей. И Dolly 2.0 может делать это, даже несмотря на намного меньший объём исходных данных, чем у моделей OpenAI. Это, в свою очередь, позволяет использовать модель на собственных серверах без необходимости делиться данными со сторонними организациями.

Источник: Databricks

«Мы считаем, что такие модели, как Dolly, помогут демократизировать LLM, превратив их из того, что могут себе позволить очень немногие компании, в товар, которым может владеть каждая компания и который можно настраивать для улучшения своих продуктов», — заявила Databricks. Руководитель Databricks в комментарии изданию SiliconANGLE подчеркнул, что предприятия «могут монетизировать Dolly 2.0».

Источник: Databricks

Databricks предлагает Dolly 2.0 под лицензией Creative Commons, с полностью открытыми исходным кодом и набором данных для обучения databricks-dolly-15k, который содержит 15 тыс. высококачественных пар запросов и ответов, созданных человеком. Всё это можно свободно использовать, изменять и дополнять, а также задействовать в коммерческих проектах, ничего никому не платя. Исследователи и разработчики могут получить доступ к Dolly 2.0 на Hugging Face и GitHub.

Как утверждает Databricks, в настоящее время Dolly 2.0 является единственной моделью, которая не имеет лицензионных ограничений. Другие модели, включая Alpaca, Koala, GPT4All и Vicuna, нельзя использовать в коммерческих целях из-за использования обучающих данных, предоставленных им с определёнными условиями.

Исходный вариант Dolly был обучен на данных Stanford Alpaca с использованием API OpenAI, так что её нельзя было использовать в коммерческих целях, так как в этом случае лицензии запрещают создавать конкурирующие модели. Поэтому Databricks решила создать собственную модель, используя только ответы её сотрудников. Задания для них включали, например, просьбы высказаться на тему «Почему людям нравятся комедии?», обобщить информации из Википедии, написать любовные письма, стихов и даже песни.

Финансовая фирма Bloomberg решила доказать, что существуют более разумные способы тонкой настройки ИИ-приложений, не имеющих проблем с соблюдением принципов этики или с безопасностью, с которыми сталкиваются при использовании, например, ChatGPT.

Bloomberg выпустила собственную большую языковую модель BloombergGPT с 50 млрд параметров, предназначенную для финансовых приложений. Она меньше ChatGPT, основанной на усовершенствованной версии GPT-3 со 175 млрд параметров. Но, как утверждают исследователи из Bloomberg и Johns Hopkins, малые модели — то что нужно для предметно-ориентированных приложений. Bloomberg заявила, что не будет открывать BloombergGPT из-за риска утечки конфиденциальных данных, например, из базы FINPILE, использовавшейся для обучения.

Источник изображения: Pixabay

По словам исследователей, BloombergGPT функционально схожа с ChatGPT, но предлагает большую точность, чем сопоставимые модели с бо́льшим количеством параметров. Они также утверждают, что общие модели не могут заменить предметно-ориентированные. Малые модели отличаются большей точностью результатов и могут обучаться значительно быстрее, чем универсальные модели, такие как GPT-3. К тому же для них требуется меньше вычислительных ресурсов.

Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с.

Источник: Bloomberg

Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.

Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей.