Точно неизвестно, велик ли спрос на ИИ-сервисы Microsoft или у компании просто недостаточно вычислительных ресурсов, но IT-гиганту пришлось договариваться с Oracle об использовании ИИ-ускорителей в ЦОД последней. Как сообщает The Register, речь идёт о применении оборудования Oracle для «разгрузки» некоторых языковых моделей Microsoft, применяемых в Bing.

Во вторник компании анонсировали многолетнее соглашение. Как сообщают в Microsoft, одновременное использование компанией как Oracle Cloud, так и Microsoft Azure расширит возможности клиентов и ускорит работу с поисковыми сервисами. Сотрудничество связано с тем, что Microsoft надо всё больше вычислительных ресурсов для заявляемого «взрывного роста» её ИИ-сервисов, а у Oracle как раз имеются десятки тысяч ускорителей NVIDIA A100 и H100 для аренды.

Источник изображения: cliff1126/pixabay.com

Служба Oracle Interconnect обеспечивает взаимодействие с облаком Microsoft Azure, что позволяет работающим в Azure сервисам взаимодействовать с ресурсами Oracle Cloud Infrastructure (OCI). Раньше такое решение уже применялось, но для сторонних клиентов двух компаний. Теперь Microsoft применяет Interconnect наряду с Azure Kubernetes Service для организации работы ИИ-узлов в облаке Oracle на благо Bing Chat.

Microsoft ещё в феврале интегрировала чат-бота Bing Chat в свой поисковый сервис и свой браузер. Не так давно добавилась и возможность, например, генерировать изображения прямо в процессе диалога. При этом использование больших языковых моделей требует огромного числа ускорителей для их тренировки, но для инференса необходимы ещё большие вычислительные мощности.

Фото: Microsoft

В Oracle утверждают, что облачные суперкластеры компании, которые, вероятно, будет использовать Microsoft, могут масштабироваться до 32 768 ИИ-ускорителей A100 или 16 384 ускорителей H100 с использованием RDMA-сети с ультранизкой задержкой. Дополнением является хранилище петабайтного класса. В самой Microsoft избегают говорить, сколько именно узлов Oracle нужно компании, причём, похоже, не намерены делать этого и в будущем.

Конкуренты сотрудничают уже не в первый раз. В сентябре Oracle сообщала о намерении размещать системы с базами данных в ЦОД Azure. Более того, ещё в мае 2023 года Microsoft и Oracle изучали возможность аренды ИИ-серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для крупных облачных клиентов. Ранее ходили слухи, что похожие соглашения Microsoft подписала с CoreWeave и Lambda Labs, к которым NVIDIA более благосклонна в вопросах поставки ускорителей. Попутно Microsoft ищет более экономичные альтернативы языковым моделям OpenAI.

Несмотря на нехватку на рынке ускорителей NVIDIA H100 ещё один провайдер представил продукты на их основе. Облачная служба Oracle Cloud Infrastructure (OCI) объявила о доступности bare-metal инстансов OCI Compute на базе NVIDIA H100, предназначенных для крупномасштабных приложений искусственного интеллекта (ИИ) и высокопроизводительных вычислений (HPC).

Инстанс OCI Compute BM.GPU.H100.8 содержит восемь ускорителей H100, каждый из которых имеет 80 Гбайт памяти HBM2, 16 локальных накопителей NVMe ёмкостью 3,84 Тбайт каждый, два 56-ядерных процессора Intel Xeon Sapphire Rapids (2,0/3,8 ГГц), 2 Тбайт памяти DDR5, а также восемь 400G-адаптеров.

Также в этом году компании смогут воспользоваться OCI Supercluster для создания кластеров, включающих до 50 тыс. ускорителей H100. Эта опция поначалу будет доступна в регионах Лондона и Чикаго, а в будущем число регионов с её поддержкой будет увеличено. При этом в OCI доступен и сервис NVIDIA DGX Cloud, который также включает кластеры на базе H100.

Изображение: Oracle

Oracle также сообщила, что в начале 2024 года представит инстансы с новейшими ускорителями NVIDIA L40S. Например, инстанс BM.L40S.4 предложит четыре L40S с двумя 56-ядерными процессорами Intel Xeon, 1 Тбайт RAM, 15,36 Тбайт NVMe-хранилища и сетевое подключение 400 Гбит/с.

Oracle представила инстансы Ampere A2 следующего поколения на базе 192-ядерных Arm-процессоро AmpereOne, которые станут доступны для клиентов компании позднее в этом году. Как сообщает Oracle, новые инстансы обеспечивают на 44 % лучшее соотношение цены и производительности по сравнению с предложениями на архитектуре x86 и идеально подходят для ИИ-инференса, работы с базами данных, веб-сервисами, рабочих нагрузок транскодирования мультимедиа и поддержки среды выполнения для таких языков, как GO и Java.

Инстансы OCI Ampere A2 предлагают до 320 ядер в случае bare metal и до 156 ядер в рамках одной виртуальной машины. Обладая большим объёмом приватного кеша, стабильной рабочей частотой, однопоточными ядрами и новыми функциями управления памятью, инстансы нового поколения позволяют обеспечить ещё более предсказуемую производительность за счёт снижения влияния внешних помех, как происходит в случае SMT, и одновременно предлагают безопасную микроархитектуру для многопользовательских облачных сред.

Источник изображений: Ampere

«То, что происходит с OCI и Ampere, является отражением значительных перемен, происходящих в нашей отрасли, — сказала гендиректор Ampere Рене Джеймс (Renee James). — Времена использования мощности в качестве показателя производительности переходят в эру высокопроизводительных вычислений с низким энергопотреблением. Такие клиенты, как 8X8 и другие, признают, что существует необходимость снизить затраты на инфраструктуру и в то же время сократить выбросы углекислого газа без ущерба для производительности. В нашу эру компьютеров с ИИ новая сила — это меньшая мощность».

Клэй Магоуирк (Clay Magouyrk), исполнительный вице-президент Oracle Cloud Infrastructure Development, сообщил, что в связи с быстрым ростом Oracle подошла к пределам доступной мощности, и для дальнейшего масштабирования облака ей необходим рост эффективности в дополнение к производительности: «Вот почему мы используем Ampere для всего: от базы данных Oracle до приложений Fusion, а теперь и для всех наших сервисов OCI. С развитием ИИ-обработки этот сдвиг в вычислениях стал ещё более важным. Ampere — это решение OCI для устойчивого облака».

СУБД Oracle Database полностью поддерживается процессорами Ampere. Кроме того, все сервисы OCI, число которых исчисляется сотнями, теперь тоже работают на CPU Ampere. Конечные клиенты могут перенести все свои рабочие нагрузки на платформу Ampere, в том числе задачи инференса, которые поддерживаются библиотеками AI Optimizer от Ampere.

Oracle сделала ряд важных анонсов в ходе конференции Oracle CloudWorld 2023, прошедшей в Лас-Вегасе на этой неделе, сообщил ресурс Data Center Knowledge. В частности, были представлены новые функции и платформы, которые будут способствовать развитию потенциала генеративного ИИ. В их числе:

• приложения для маркетинга, продаж и обслуживания для набора облачных инструментов Oracle Fusion Cloud Customer Experience для автоматизации создания управляемого контента, рекомендаций по продуктам и аналитики;
• новые ИИ-возможности платформы Oracle Analytics Cloud, предназначенные для оптимизации предоставления услуг клиентам, повышения производительности и помощи организациям в улучшении предоставляемых услуг и повышении качества обслуживания клиентов;
• платформа Fusion Data Intelligence, которая предоставит расширенные данные и аналитику клиентам Oracle Cloud Infrastructure (OCI), позволяя им комбинировать бизнес-данные, аналитику, ИИ-модели и интеллектуальные приложения.

Источник изображения: Oracle

Oracle также представила функции для повышения эффективности труда IT-специалистов и разработчиков:

• обновления облачной службы управления и администрирования Oracle Access Governance, которые позволят IT-командам лучше назначать, отслеживать и управлять доступом пользователей;
• новые возможности разработки приложений, которые позволят разработчикам быстро создавать и развёртывать ПО;
• новые сервисы, которые помогут финансовым учреждениям повысить прозрачность и улучшить прогнозирование, а также позволят улучшить контроль ликвидности.

Также были представлены новые решения в области здравоохранения, в том числе:

• Oracle Clinical Digital Assistant — инструмент генеративного ИИ, упрощающий административные задачи, обеспечивающий ведение заметок во время сеанса и предлагающий контекстно-зависимые действия, такие как заказ лекарств или планирование последующих посещений;
• новые и усовершенствованные облачные предложения, которые позволят компаниям автоматизировать планирование ресурсов, снизить стоимость расходных материалов благодаря использованию групповых закупок, а также решать проблемы цепочки поставок;
• инструмент планирования и оптимизации рабочей силы для консолидации данных электронных медицинских записей на единой платформе.

В ходе конференция Oracle объявила о заключении новых соглашений о сотрудничестве, а также о продлении и расширении существующих. В частности, благодаря расширению сотрудничества Oracle и Red Hat клиентам будет предоставлен более широкий выбор при развёртывании приложений в OCI. Было объявлено о поддержке Red Hat Enterprise Linux для рабочих нагрузок OCI и Oracle VMware Cloud. Наконец, был анонсирован целый ряд обновлений, касающихся MySQL HeatWave Lakehouse.

Несмотря на давнее соперничество, компании Oracle и Microsoft заключили необычное соглашение. Первая разместит своё аппаратное обеспечение Exadata, применяемое в Oracle Cloud, в дата-центрах Microsoft. Результатом должно стать сокращение времени задержки при передаче данных между сервисами и инфраструктурой IT-гигантов.

Сотрудничество будет организовано в виде сервиса OracleDatabase@Azure. Некоторые транснациональные корпорации, включая Vodafone и Pepsi, уже начали пользоваться сервисом, а другие приступят к его эксплуатации в начале следующего года в облачных регионах Azure в США, Великобритании и Германии. Со временем Oracle пообещала обеспечить и глобальный доступ.

Первый шаг к более тесному сотрудничеству был сделан в прошлом году, когда пользователи Azure получили возможность напрямую работать с СУБД в облаке Oracle Cloud Infrastructure (OCI). Как сообщают в Oracle и Microsoft, углубление взаимодействия особенно повлияет на развитие ИИ, поскольку данные для обучения моделей можно хранить у Oracle, а обрабатывать в Azure, причём с низким уровнем задержки. Кроме того, появление нового сервиса будет в целом способствовать переходу клиентов Oracle в облако.

Фото: Microsoft

Интеграция сервисов двух компаний также означает, что клиенты смогут приобрести доступ к Oracle Database@Azure на площадке Azure Marketplace и использовать средства с баланса Azure для оплаты расходов. При этом оператором сервиса будет выступать именно Oracle. Возможно, появятся и другие совместные проекты двух компаний. В мае сообщалось об их намерении совместно использовать оборудование из-за дефицита ИИ-ускорителей. Кроме того, совместные проекты двух компаний помогут им противостоять доминированию AWS на облачном рынке.

Компания Oracle отрапортовала о работе в I четверти 2024 финансового года, которая была закрыта 31 августа. Общая выручка поставщика ПО и облачных сервисов за трёхмесячный период составила $12,45 млрд, что примерно на 9 % больше результата годичной давности.

По итогам завершённого финансового квартала компания сообщила о чистой прибыли в размере $2,42 млрд по сравнению с $1,55 млрд годом ранее. Таким образом, зафиксирован рост на уровне 56 %. Прибыль в пересчёте на одну ценную бумагу составила $0,86 против $0,56 в I квартале 2023 финансового года.

Источник изображения: Oracle

Квартальная выручка в облачном сегменте (сервисы IaaS и SaaS) достигла $4,6 млрд, поднявшись практически на треть — на 30 % — по сравнению с предыдущим годом. В сегменте IaaS зафиксирован результат в $1,5 млрд — плюс 66 % в годовом исчислении. Услуги SaaS принесли $3,1 млрд, что соответствует прибавке около 17 % год к году.

В целом, облачные сервисы и лицензионная поддержка обеспечили выручку в размере $9,5 млрд, что на 13 % больше прошлогоднего результата. На лицензирование облачных и локальных продуктов пришлось $809 млн — это на 10 % меньше по отношению к результату годичной давности. Выручка от аппаратных решений сократилась на 6 % — до $714 млн. Ещё около $1,38 млрд обеспечили различные сервисы, что соответствует прибавке на 2 % год к году.

«Выручка Oracle Cloud Infrastructure поднялась на 66% в I квартале, что намного быстрее, чем у наших конкурентов. Доход от облачных услуг Oracle вкупе с лицензионной поддержкой теперь составляет 77 % от общей выручки корпорации», — отметила генеральный директор Oracle Сафра Кац.

Корпорация Oracle анонсировала аппаратную платформу Compute Cloud@Customer, занимающую всего одну 42U-стойку и позволяющую заказчикам разворачивать облачную инфраструктуру локально в своих дата-центрах. Клиенты могут запускать рабочие нагрузки и управлять ими, используя тот же стек, API и инструменты, что и OCI (Oracle Cloud Infrastructure), но в небольших масштабах.

Базовая конфигурация Compute Cloud@Customer включает 552 вычислительных ядра AMD EPYC Genoa, 6,7 Тбайт оперативной памяти и 150 Тбайт полезного хранилища. При необходимости система может быть масштабирована до 6624 процессорных ядер (2208 ядер в стойке), 80,4 Тбайт ОЗУ и 3,4 Пбайт для хранения данных. В зависимости от конфигурации решение весит от 559 до 796 кг. Типовое энергопотребление варьируется от 6500 до 14 690 Вт, а максимальное значение достигает 20 988 Вт.

Источник изображений: Oracle

Платформа, как отмечается, даёт возможность удовлетворить самые жёсткие нормативные требования к месту расположения данных и задержкам в приложениях и в то же время использовать современные сервисы OCI. По заявлениям Oracle, решение Compute Cloud@Customer превосходит по производительности локальные системы конкурентов, такие как Microsoft Azure Stack Hub или AWS Outposts. Стоимость эксплуатации составляет $53/мес. за каждое вычислительное ядро.

Компания Oracle объявила о начале работы в Канберре нового облачного региона Oracle Cloud, предназначенного для австралийского правительства и военных. По данным DataCenter Dynamics, новый регион физически изолирован от прочих облачных регионов, частных и публичных. Oracle арендует мощности ЦОД, но к какому провайдеру компания обратилась на этот раз, она не сообщила.

Компания активно сотрудничает с властями англоязычных стран. Так, теперь Oracle выступает оператором пяти облачных правительственных регионов в США (причём три региона эксплуатирует Пентагон), двух в Великобритании и одного — в Австралии. Последний соответствует местным требованиям безопасности Information Security Manual (ISM) PROTECTED. Не так давно компания также открыла особый регион для нужд Евросоюза.

Источник изображения: Joey Csunyo/unsplash.com

Как заявляют в самой Oracle, компания использовала опыт сотрудничества с властями США и Великобритании, поэтому новый регион предоставит австралийцам более 100 востребованных сервисов. При этом тарифы будут соответствовать тем, что предлагаются клиентам публичной облачной инфраструктуры. Ожидается, что регион с ограниченным доступом упростит властям Австралии перенос в облако важнейших информационных систем и обеспечит доступ ко всем преимуществам сервисов Oracle.

Компания NVIDIA объявила о доступности облачного сервиса DGX Cloud, предназначенного для обучения сложных моделей для генеративного ИИ и других приложений. Инфраструктура вычислительной платформы расположена в США и Великобритании.

Сервис DGX Cloud был анонсирован в марте нынешнего года. Эта ИИ-платформа предоставляет предприятиям доступ к инфраструктуре и сопутствующему ПО для решения ресурсоёмких задач. Каждый экземпляр DGX Cloud оснащен восемью ускорителями NVIDIA. Инстансы могут объединяться в кластеры и управлять всем комплексом посредством NVIDIA Base Command Platform. Говорится, что на сегодняшний день тысячи ускорителей NVIDIA включены в состав Oracle Cloud Infrastructure (OCI).

Источник изображения: NVIDIA

Доступ к облачному ИИ-суперкомпьютеру клиенты могут получить через браузер. Стоимость инстансов DGX Cloud начинается с $36 999 в месяц. Заказчикам доступно ПО NVIDIA AI Enterprise — набор специализированных ИИ-инструментов, который упрощает разработку, внедрение и управление жизненным циклом ИИ-моделей.

Ситуация с неплатежами Twitter за облачные сервисы постепенно превращается в комедию. Как сообщает DataCenter Dynamics, вслед за AWS и Google Cloud, социальная сеть перестала платить и облаку Oracle. Это может осложнить дружеские отношения владельца Twitter Илона Маска (Elon Musk) с основателем Oracle Ларри Эллисоном (Larry Ellison), который инвестировал в Twitter $1 млрд.

В своём стремлении оптимизировать расходы Twitter, Илон Маск идёт на отчаянные меры, не встречающие понимания его контрагентов. Как известно, ещё в марте возник скандал между Twitter и Amazon Web Services (AWS), с 2020 года предоставляющей услуги социальной сети. Соцсеть отказывалась рассчитываться с облачным провайдером за оказанные услуги, но после того, как AWS пригрозила прекратить платить за рекламу в Twitter, ситуация с платежами начала налаживаться.

Источник изображения: Oracle

Не лучше сложилась обстановка и с Google Cloud Platfotm, поскольку продолжавшиеся неплатежи вынудили Google искать контакты с Маском через руководство SpaceX, с которой облачный сервис тоже сотрудничает. К счастью для Маска, ситуация разрешилась с приходом на пост генерального директора Twitter Линды Яккарино (Linda Yaccarino), напрямую договорившейся с главой Google Cloud Томасом Курианом (Thomas Kurian) о расчётах и новых направлениях сотрудничества. Маск якобы пытался шантажировать Google Cloud, желая перезаключить договор об обслуживании на более выгодных условиях.

Миллиардер оптимизирует не только облачные, но и локальные расходы. Известно, что он закрыл один из трёх ЦОД Twitter, который в итоге перешёл Tesla, а также уволил массу IT-специалистов. Это поставило под вопрос работу одной из крупнейших в мире социальных сетей. Сейчас, по слухам, представители Oracle ищут прямые контакты с действующими и бывшими сотрудниками Twitter, желая собрать счета-фактуры с просроченной оплатой.