Microsoft и Oracle изучают возможность аренды серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для выполнения ИИ-нагрузок крупных облачных клиентов, пишет DataCenter Dynamics со ссылкой на The Information. Уточняется, что решение по сделке Oracle и Microsoft, которая позволила бы решить проблему нехватки серверов с высокопроизводительными ускорителями, пока не принято.

Компании заключили соглашение о сотрудничестве ещё в 2019 году, чтобы предоставить клиентам возможность совместно выполнять вычисления в их облачных сервисах. Это потребовало создания прямых оптоволоконных каналов между ЦОД Oracle и Microsoft. Сформированная инфраструктура может быть использована для совместного использования серверных мощностей, сообщил ресурсу The Information источник, знакомый с этим вопросом.

Microsoft уже некоторое время работает над собственным ИИ-чипами Athena, а пока вынуждена скупать ускорители NVIDIA, которых, судя по всему, ей уже не хватает. У Oracle тоже достаточно тесные отношения с NVIDIA — последняя выбрала именно облако Oracle Cloud Infrastructure (OCI) для первичного запуска сервиса DGX Cloud. Причём зарабатывает на этом сервисе в первую очередь сама NVIDIA.

Источник изображения: Microsoft

Ранее сообщалось, что Microsoft ограничивала доступ к ИИ-серверам для ряда своих внутренних команд, чтобы отдать ресурсы своим клиентам. Одна из таких компаний — OpenAI, разработавшая ИИ-чат-бот ChatGPT и нейронную сеть Dall-E. Microsoft инвестировала в OpenAI миллиарды долларов, получив взамен эксклюзивную лицензию на предоставление её услуг в облаке Azure. Как сообщают источники, Oracle выясняла, возможна ли перепродажа решений OpenAI напрямую её клиентам по аналогии с тем, как она перепродаёт пакет приложений Microsoft 365.

Компания Akamai, провайдер платформ доставки контента и приложений, объявила о заключении соглашения по покупке фирмы Ondat, ранее известной как StorageOS. Финансовые условия сделки не раскрываются, но говорится, что слияние завершится в I квартале 2023 года. Ondat была основана в 2015 году. Ранее Akamai приобрела облачного провайдера Linode.

Она предоставляет решения для облачных платформ, которые обеспечивают постоянное хранение контейнеров для приложений с отслеживанием состояния. Среди преимуществ системы Ondat названы высокая доступность, быстрая отработка отказов, репликация, шифрование данных при передаче и при хранении, уплотнение данных с помощью элементов управления доступом и встроенная интеграция с Kubernetes. Ранее Ondat привлекла финансирование в размере $20 млн. Сообщается, что по условиям договора сотрудники Ondat, в том числе основатель и главный технический директор, присоединятся к облачному бизнесу Akamai.

Источник изображения: Akamai

Предполагается, что технологии Ondat расширят возможности хранения данных Akamai, что позволит компании предложить принципиально иной подход к облаку, объединяющий централизованные и распределённые вычислительные узлы с крупномасштабной периферийной сетью. Службы облачных вычислений Akamai, как говорится, позволяют разработчикам создавать и запускать высокопроизводительные рабочие нагрузки ближе к той точке, где компании и пользователи подключаются к сети.

Корпорация Microsoft сообщила о том, что новейшая версия большой языковой ИИ-модели компании OpenAI стала доступна в облачной службе Azure OpenAI Service. Речь идёт о модели GPT-4, которая была официально представлена немногим более недели назад.

Изначально Microsoft объявила об интеграции чат-бота ChatGPT в состав Azure OpenAI Service в начале марта нынешнего года. Тогда говорилось, что заявки на использование наиболее передовых ИИ-моделей, включая Dall-E 2, GPT-3.5 и Codex, подали более 1000 клиентов. Теперь же клиенты могут подать заявку на использование GPT-4. Стоимость услуги составляет от $0,03 до $0,12 за обработку 1 тыс. токенов — элементов, на которые разбивается текст при работе.

Источник изображения: pixabay.com

«Недавно анонсированные новые продукты Bing и Microsoft 365 Copilot уже работают на GPT-4, и теперь компании получат возможность использовать те же базовые расширенные модели для создания собственных приложений с применением службы Azure OpenAI Service», — говорится в публикации Microsoft.

С помощью GPT-4 корпоративные пользователи смогут оптимизировать взаимодействие как внутри компании, так и со своими клиентами. На базе Azure OpenAI Service, например, можно быстро создавать виртуальных помощников. В целом, как утверждается, технологии генеративного ИИ открывают принципиально новые возможности для бизнеса в каждой отрасли.

Компания Microsoft анонсировала релиз превью-варианта интеграции чат-бота ChatGPT в службу Azure OpenAI Service. Как сообщает сайт Microsoft, более 1000 клиентов облачного сервиса уже подали заявки на использование наиболее передовых ИИ-моделей, включая Dall-E 2, GPT-3.5 и Codex. Использование вычислительных мощностей Azure, сообщает компания, обеспечивает подобным технологиям самые широкие перспективы.

Клиенты Azure OpenAI Service могут интегрировать ChatGPT в собственные приложения, предусмотрено даже наделение уже существующих ботов новыми способностями, возможно использование в колл-центрах и автоматизация обработки жалоб. Стоимость услуги составляет $0,002 за обработку 1 тыс. токенов — это элементы, на которые разбивается текст при работе. Плата за использование начнёт взиматься с 13 марта.

Источник изображения: akitada31/pixabay.com

В Microsoft уточняют, что преимущества от использования Azure OpenAI Service получили не только малые и большие облачные клиенты. В самой компании работают над объединением возможностей больших языковых моделей (LLM) и оптимизированной с помощью ИИ инфраструктуры Azure, для того чтобы обеспечить новые предложения.

Так, GitHub Copilot использует ИИ-модели в Azure OpenAI Service для помощи в разработке кода, в Microsoft Teams Premium появилась функция автоматического создания резюме бесед, а приложение Microsoft Viva Sales позволяет продавцам использовать пакет Microsoft 365 и Microsoft Teams для автоматического внесения данных в CRM-систему без ручного ввода. Наконец, в поисковике Bing появился ИИ-чат, обеспечивающий пользователям беспрецедентный опыт поиска контента в Сети.

Источник изображения: Microsoft

Клиенты и партнёры Microsoft будут создавать с помощью Azure OpenAI Studio новые «умные» приложения и решения даже без необходимости программирования. При этом такое ПО позволяет настраивать любую ИИ-модель, предлагаемую Microsoft, обеспечивает особый интерфейс для настройки ChatGPT и предоставляет варианты реакций бота на действия пользователей в зависимости от потребностей заказчика.

При этом в Microsoft напоминают, что генеративные языковые модели могут давать убедительные, но неверные ответы или, например, создавать реалистичные изображения того, чего никогда не было. Другими словами, пока никакой ИИ не является средством решения любых проблем. Для того чтобы защитить пользователей от ошибок, Microsoft требует ответственного использования нового инструментария и соответствия разработок правилам Responsible AI Standard — на техническом и правовом уровнях.

Провайдер платформ доставки контента и приложений Akamai Technologies анонсировал сервис Connected Cloud, основанный на платформе Linode, приобретённой им в прошлом году. Connected Cloud представляет собой более распределённую альтернативу сервисам AWS или Azure. Также было объявлено о сниженной стоимости облачных вычислений за счёт более низкой платы за исходящий трафик благодаря «приведению экономики, подобной CDN, к облачной передаче данных».

Akamai поставила целью заполнить нишу, образовавшуюся между предложениями гиперскейлеров и провайдеров периферийных вычислений. Компания считает, что современные приложения зачастую разделяются на ряд различных микросервисов. Во многих случаях эти микросервисы должны быть распределены по географически обширной территории, что создаёт потребность в вычислительных ресурсах, отличных от тех, которые предлагает большинство поставщиков традиционных облачных услуг.

С одной стороны, по словам Akamai, есть гиперскейлеры, предлагающие мощные вычислительные сервисы в нескольких регионах. С другой стороны, есть провайдеры CDN, чьи сервисы менее масштабны и предназначены для использования в более крупных, но менее производительных периферийных вычислительных средах. Поэтому Akamai намерена создать инфраструктуру, занимающую промежуточное положение в этой иерархии.

Источник изображения: Akamai

Akamai досталось 11 площадок Linode, но компания планирует увеличить их количество более чем вдвое в 2023 году, а также удовлетворить потребности «промежуточного» рынка, добавив более 50 объектов для «распределённых» вычислений, «чтобы перенести базовые возможности облачных вычислений в труднодоступные места, которые в настоящее время не в полной мере обслуживаются традиционными поставщиками облачных услуг».

В частности, компания добавит к концу II квартала 2023 года три новых объекта в США и ещё 10 объектов по всему миру. Linode заявила, что к концу 2023 года они будут размещены в Индии, Бразилии, Индонезии, Японии, Швеции, Италии, Франции и Нидерландах. Компания сообщила ресурсу DCD, что эти объекты будут подключены к существующей сети Akamai CDN. Заказчикам будут доступны виртуальные машины и контейнеры, но в более в облечённом по сравнению с большими облаками варианте.

Кроме того, компания поменяла цены на исходящий трафик, что снизит затраты компаний, которым необходимо регулярно перемещать свои данные в облако и обратно. Также Akamai занялась сертификацией своих площадок, что даёт больше возможностей для использования облачных вычислений компаниям из строго регулируемых отраслей. Наконец, компания создала партнёрскую программу, в рамках которой квалифицированные технологические партнёры будут обучаться развёртыванию приложений на новой платформе.

Компания Microsoft, немало потратившая на развитие технологий, стоящих за получившим вирусную популярность чат-ботом ChatGPT, намерена предоставить это решение в своих облачных сервисах Azure. При этом, как сообщает Bloomberg, компания рассматривает возможность в разы увеличить инвестиции в разработчика бота — компанию OpenAI.

До сегодняшнего дня сервис Azure OpenAI был доступен ограниченному кругу избранных клиентов. В частности, пользователи получили доступ к инструментам OpenAI, включая языковую систему GPT-3.5, на которой и основан ChatGPT. Сотрудничество Microsoft и OpenAI позволяет клиентам применять продукты последней в своих облачных приложениях — компания объявила о доступности облачных сервисов OpenAI для всех желающих.

В 2019 году Microsoft уже вложила в OpenAI $1 млрд, получив доступ к самым передовым технологиям в сфере ИИ для развития собственных проектов. Компания использует систему OpenAI Codex для автоматизации своего инструмента для помощи программистам — Copilot. Более того, в скором будущем техногигант намерен интегрировать технологии OpenAI в поисковый движок Bing, приложения пакета Office и приложение Teams, а также антивирусное программное обеспечение.

Источник изображения: John Schnobrich/unsplash.com

Технология ChatGPT стала чрезвычайно популярной в конце прошлого года, менее, чем за неделю получив больше миллиона пользователей. Механизм имитации в достаточной степени осмысленной человеческой речи вызвал озабоченность среди профессиональных авторов контента и даже крупных корпораций вроде Google, посчитавших его угрозой своему поисковому бизнесу. Известно, что OpenAI уже работает над технологией обработки естественных языков нового поколения — GPT-4.

В Microsoft настолько заинтересовались технологиями OpenAI, что теперь, по словам осведомлённых источников, намерены инвестировать в компанию ещё $10 млрд. По некоторым данным, благодаря инвестициям оценочная стоимость OpenAI может подняться до $29 млрд. В самих компаниях возможные инвестиции не комментируют.

Впрочем, пока возможности практического применения — облачными клиентами или обычными пользователями — ограничены. Сами разработчики подтверждают, что к «творениям» ИИ необходимо относиться с осторожностью, поскольку тот способен давать ошибочные советы и с уверенным видом генерировать ошибочную информацию, включая материалы для разработчиков. Более того, в некоторых школах США уже запрещено создание учениками эссе и других материалов с его помощью.

Облачная платформа Yandex Cloud и разработчик технологий разговорного ИИ Just AI провели партнёрскую интеграцию своих решений, благодаря чему пользователи сервиса Yandex SpeechKit смогут запускать полномасштабные голосовые AI-проекты помимо облака в собственном контуре.

Объединённый комплекс решений Yandex Cloud и Just AI позволяет создавать «под ключ» виртуальных операторов для контакт-центров, голосовых ассистентов для бизнеса, а также осуществлять голосовые проекты для информирования, лидогенерации, возврата и удержания клиентов.

Источник изображений: cloud.yandex.ru

Технология распознавания и синтеза речи (ASR/TTS) SpeechKit Hybrid от Yandex Cloud в сочетании с платформой для разработки логики и интеллекта голосового помощника Just AI Conversational Platform предоставляет возможность масштабирования голосового проекта, контроля хода обработки и синтеза речи, обеспечивая при этом безопасность персональных данных. Интегрированное решение будет востребовано в банковской сфере, госсекторе, телекоме, страховании и ретейле, там, где коммуникация с клиентами связана с обработкой персональных данных.

Светлана Захарова, руководитель департамента по работе с клиентами и партнёрами Just AI, сообщила, что для многих клиентов является принципиально важным, чтобы и диалоговая платформа, и ASR/TTS-системы, используемые в голосовом проекте, были установлены в контур. «Yandex SpeechKit Hybrid является ответом на эту потребность рынка», — отметила она.

В основе Yandex SpeechKit Hybrid лежат контейнеры Docker, позволяющие эффективно управлять данными с выполнением требований к безопасности. Технология позволяет выбрать оптимальный вариант реализации голосовых проектов, исходя из требований бизнеса к инфраструктуре и возможностей применения технологии ASR/TTS. Например, один из финансовых голосовых ассистентов на российском рынке, созданный на базе платформы Just AI и сервисов Yandex Cloud, использует сквозные данные о клиенте.

В совместной работе Just AI и Yandex Cloud используют принцип «единого окна». На Just AI возложена поставка заказчику технологий, установка и мониторинг работоспособности компонентов решения, контроль регулярных обновлений через LTS-релизы. Для поддержки проектов на базе Yandex SpeechKit Hybrid сформирована команда специалистов из обеих компаний.

Компания Untether AI анонсировала ИИ-архитектуру следующего поколения speedAI (кодовое название «Boqueria»), ориентированную на инференс-нагрузки. При энергоэффективности 30 Тфлопс/Вт и производительности до 2 Пфлопс на чип speedAI устанавливает новый стандарт энергоэффективности и плотности вычислений, говорит компания.

Поскольку at-memory вычисления в ряде задач значительно энергоэффективнее традиционных архитектур, они могут обеспечить более высокую производительность при одинаковых затратах энергии. Первое поколение устройств runAI в 2020 году Untether AI достигла энергоэффективности на уровне 8 Тфлопс/Вт для INT8-вычислений. Новая архитектура speedAI обеспечивает уже 30 Тфлопс/Вт.

Изображения: Untether AI (via ServeTheHome)

Этого удалось добиться благодаря архитектуре второго поколения, использованию более 1400 оптимизированных 7-нм ядер RISC-V (1,35 ГГц) с кастомными инструкциями, энергоэффективному управлению потоком данных и внедрению поддержки FP8. Вкупе это позволило вчетверо поднять эффективность speedAI по сравнению с runAI. Новинка может быть гибко адаптирована к различным архитектурам нейронных сетей. Концептуально speedAI напоминает ещё один тысячеядерный чип RISC-V — Esperanto ET-SoC-1.

Первый член семейства speedAI — speedAI240 — обеспечивает 2 Пфлопс вычислениях в FP8-вычислениях или 1 Пфлопс для BF16-операций. Благодаря этому обеспечивается самая высокая в отрасли эффективность — например, для модели BERT заявленная производительность составляет 750 запросов в секунду на Вт (qps/w), что, по словам компании, в 15 раз выше, чем у современных GPU. Добиться повышения производительности удалось благодаря тесной интеграции вычислительных элементов и памяти.

На каждый блок SRAM объёмом 328 Кбайт приходится 512 вычислительных блоков, поддерживающих работу с форматами INT4, INT8, FP8 и BF16. Каждый вычислительный блок имеет два 32-бит (RV32EMC) кастомных ядра RISC-V с поддержкой четырёх потоков и 64 SIMD. Всего есть 729 блоков, так что суммарно чип несёт 238 Мбайт SRAM и 1458 ядер. Блоки провязаны между собой mesh-сетью, к которой также подключены кольцевая IO-шина, несущая четыре 1-Мбайт блока общего кеша, два контроллера LPDRR5 (64 бит) и порты PCIe 5.0: один x16 для подключения к хосту и три x8 для объединения чипов.

Суммарная пропускная способность SRAM составляет около 1 Пбайт/с, mesh-сети — от 1,5 до 1,9 Тбайт/с, IO-шины — 141 Гбайт/c в обоих направлениях, а 32 Гбайт DRAM — чуть больше 100 Гбайт/с. PCIe-интерфейсы позволяют объединить до трёх ускорителей, с шестью speedAI240 чипами у каждого. Решения speedAI будут предлагаться как в виде отдельных чипов, так и в составе готовых PCIe-карт и M.2-модулей. Ожидается, что первые поставки избранным клиентам начнутся в первой половине 2023 года.