Китай запустил облачную ИИ-платформу, управляемую окологосударственным холдингом Beijing Energy Holding (BEH). «Пекинская публичная вычислительная платформа» (Beijing AI Public Computing Platform), также известная как проект Shangzhuang, поможет смягчить «острую нехватку вычислительных мощностей» в стране, необходимых для развития технологий ИИ.

Платформа доступна для использования образовательными учреждениями, исследовательскими центрами, а также малыми и средними предприятиями. Её первая фаза с вычислительной мощностью 500 Пфлопс (FP16) была официально запущена в самом конце 2023 года. В I квартале 2024 года планируется завершить вторую фазу строительства, доведя производительность Shangzhuang до 1,5 Эфлопс. А в будущем остаётся возможность построить ещё 2 Эфлопс мощностей.

Фото: BEH

BEH заявил о своём стремлении сделать проект максимально экологически дружественным, выразив намерение в будущем полностью обеспечивать платформу чистой энергией. С этой целью BEH подписал соглашения о стратегическом сотрудничестве с Alibaba Cloud Computing, Sugon Information Industry и стартапом Zhipu AI для совместной работы в области зелёной энергетики, публичного облака и инфраструктуры интеллектуальных вычислений.

AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.

Компания NVIDIA представила на конференции Microsoft Ignite 2023 сервис NVIDIA AI Foundry, который позволит предприятиям ускорить разработку и настройку пользовательских приложений генеративного ИИ с использованием собственных данных, развёртываемых в облаке Microsoft Azure.

NVIDIA AI Foundry объединяет три элемента: набор базовых моделей NVIDIA AI Foundation, платформу и инструменты NVIDIA NeMo, а также суперкомпьютерные сервисы NVIDIA DGX Cloud AI. Вместе они предоставляют предприятиям комплексное решение для создания пользовательских моделей генеративного ИИ. Компании смогут затем развёртывать свои индивидуальные модели с помощью платформы NVIDIA AI Enterprise для создания приложений ИИ, включая интеллектуальный поиск, обобщение и генерацию контента.

«Предприятиям нужны кастомные модели для реализации специализированных навыков, основанных на собственной ДНК их компании — их данных, — сообщил глава NVIDIA Дженсен Хуанг (Jensen Huang), — Сервис NVIDIA AI Foundry сочетает в себе наши технологии моделей генеративного ИИ, опыт обучения LLM и гигантскую фабрику ИИ. Мы создали это в Microsoft Azure, чтобы предприятия по всему миру могли подключить свою собственную модель к ведущим в мире облачным сервисам Microsoft».

Источник изображения: NVIDIA

Сервис NVIDIA AI Foundry можно использовать для настройки моделей для приложений на базе генеративного ИИ в различных отраслях, включая корпоративное ПО, телекоммуникации и медиа. При их развёртывании компании смогут использовать метод генерации с расширенным поиском (RAG), чтобы привязать свои модели к базе корпоративных данных для получения актуальных ответов.

В сервисе NVIDIA Foundry клиенты смогут выбирать из нескольких моделей NVIDIA AI Foundation, включая новое семейство Nemotron-3 8B в составе каталога моделей Azure AI. Разработчики также могут получить доступ к моделям Nemotron-3 8B в каталоге NVIDIA NGC и к популярным моделям Llama 2, Mistral и Stable Diffusion XL. NVIDIA сообщила, что одними из первых новым сервисом для создания моделей воспользовались SAP, Amdocs и Getty Images.

Наконец, в Azure стала доступна и платформа NVIDIA DGX Cloud AI, в рамках которой клиенты смогут арендовать кластеры, состоящие из тысяч ускорителей NVIDIA и воспользоваться ПО NVIDIA AI Enterprise, включая NeMo, для ускорения настройки LLM. Клиенты Azure смогут использовать существующие кредиты Microsoft Azure Consumption Commitment для ускорения разработки ИИ-моделей.

Отметим, что первым сервис DGX Cloud получило облако Oracle, где Microsoft арендует ускорители той же NVIDIA для собственных нужд. По слухам, компания также использует ускорители CoreWeave и Lambda Labs, а также разрабатывает более экономичные ИИ-модели. По-видимому, продавать доступ к аппаратным и иным решениям NVIDIA для Microsoft выгоднее, чем использовать для своих нужд. Впрочем, если всё сложится удачно, то компания перейдёт на ИИ-ускорители Maia 100 собственной разработки.

Китайский IT-гигант Alibaba Group Holding в финансовом отчёте за квартал, завершившийся 30 сентября 2023 года, сообщил о том, что не будет выделять облачный бизнес в самостоятельную компанию с последующим выходом на биржу. Причина — ужесточившиеся санкции со стороны США в отношении КНР.

Весной нынешнего года Alibaba объявила о намерении провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. В дальнейшем Alibaba рассчитывала провести IPO этой компании.

Около двух месяцев назад, в середине сентября 2023-го, генеральный директор Alibaba Даниэль Чжан (Daniel Zhang), также возглавлявший облачное подразделение компании, неожиданно подал в отставку. Тогда сообщалось, что его место займёт Эдди Ву (Eddie Wu) — один из соучредителей Alibaba и один из первых её разработчиков. И вот теперь говорится, что планы по трансформации облачного бизнеса пересмотрены.

Источник изображения: Alibaba

В финансовом отчёте сказано, что после того, как США расширили свои правила экспортного контроля, чтобы еще больше ограничить поставки в Китай современных компьютерных чипов и оборудования для производства полупроводников, сформировались неопределённости в отношении перспектив подразделения Alibaba Cloud Intelligence Group. Санкции могут негативно повлиять на возможности группы предлагать облачные продукты и услуги и выполнять обязательства по существующим контрактам. Кроме того, ограничивается потенциал модернизации оборудования.

«Мы считаем, что полное выделение Cloud Intelligence Group в самостоятельную структуру может не дать желаемого эффекта. Поэтому мы решили не приступать к реализации данного плана, а вместо этого сосредоточимся на разработке модели устойчивого роста для Cloud Intelligence Group в нынешней нестабильной ситуации», — говорится в заявлении Alibaba.

По итогам закрытого квартала выручка Alibaba Group составила ¥224,79 млрд ($30,81 млрд), что на 9 % больше прошлогоднего результата. Чистая прибыль оказалась на уровне ¥27,71 млрд ($3,80 млрд). Облачное подразделение Cloud Intelligence Group показало квартальную выручку в размере ¥27,65 млрд ($3,79 млрд), что соответствует росту примерно на 2 % в годовом исчислении.

VK сообщила результаты работы в III квартале и за 9 месяцев 2023 года. Выручка компании в квартале выросла на 37 % год к году, составив 33 млрд руб. Аналогичный рост выручки был зафиксирован по итогам 9 месяцев, выручка составила 90,3 млрд руб.

В сегменте «Технологии для бизнеса» (VK Tech) выручка за 9 месяцев выросла на 63 % в годовом выражении, составив 4,8 млрд руб. Драйвером роста были коммуникационные сервисы VK WorkSpace, чья выручка выросла за 9 месяцев в 2,5 раза год к году, а за квартал — на 214 %, и облачные сервисы платформы VK Cloud, выручка которых с начала года выросла на 58 %. Выручка от HR-сервисов увеличилась за этот период в 2,5 раза (рост на 217 % за квартал). В сентябре 2023 года VK Tech запустил единую партнёрскую программу для бизнеса, которая позволит масштабировать экспертизу внедрения ИТ-продуктов VK.

Источник изображения: VK

За III квартал средняя месячная аудитория сервиса «Облако Mail.ru» составила 20 млн, а средняя дневная аудитория — 2,2 млн. За отчётный период пользователи загрузили в «Облако Mail.ru» около 7,5 млрд файлов. В августе 2023 года состоялся запуск сервиса «Облако на ПК», который позволил пользователям перенести файлы из других облачных хранилищ. На данный момент доступна интеграция с 11 облачными сервисами.

Вместе с публикацией результатов MLPerf Traning 3.1 компания NVIDIA официально представила новый ИИ-суперкомпьютер EOS, анонсированный ещё весной прошлого года. Правда, с того момента машина подросла — теперь включает сразу 10 752 ускорителя H100, а её FP8-производительность составляет 42,6 Эфлопс. Более того, практически такая же система есть и в распоряжении Microsoft Azure, и её «кусочек» может арендовать каждый, у кого найдётся достаточная сумма денег.

Изображения: NVIDIA

Суммарно EOS обладает порядка 860 Тбайт памяти HBM3 с агрегированной пропускной способностью 36 Пбайт/с. У интерконнекта этот показатель составляет 1,1 Пбайт/с. В данном случае 32 узла DGX H100 объединены посредством NVLink в блок SuperPOD, а за весь остальной обмен данными отвечает 400G-сеть на базе коммутаторов Quantum-2 (InfiniBand NDR). В случае Microsoft Azure конфигурация машины практически идентичная с той лишь разницей, что для неё организован облачный доступ к кластерам. Но и сам EOS базируется на платформе DGX Cloud, хотя и развёрнутой локально.

В рамках MLPerf Training установила шесть абсолютных рекордов в бенчмарках GPT-3 175B, Stable Diffusion (появился только в этом раунде), DLRM-dcnv2, BERT-Large, RetinaNet и 3D U-Net. NVIDIA на этот раз снова не удержалась и добавила щепотку маркетинга на свои графики — когда у тебя время исполнения теста исчисляется десятками секунд, сравнивать свои результаты с кратно меньшими по количеству ускорителей кластерами несколько неспортивно. Любопытно, что и на этот раз сравнивать H100 приходится с Habana Gaudi 2, поскольку Intel не стесняется показывать результаты тестов.

NVIDIA очередной раз подчеркнула, что рекорды достигнуты благодаря оптимизациям аппаратной части (Transformer Engine) и программной, в том числе совместно с MLPerf, а также благодаря интерконнекту. Последний позволяет добиться эффективного масштабирования, близкого к линейному, что в столь крупных кластерах выходит на первый план. Это же справедливо и для бенчмарков из набора MLPerf HPC, где система EOS тоже поставила рекорд.

«Яндекс» сообщил неаудированные финансовые результаты за III квартал 2023 года. Выручка компании выросла год к году на 54 % до 204,77 млрд руб., в то время как чистая прибыль сократилась на 83 % с 45,54 млрд руб. в III квартале 2022 года до 7,68 млрд руб. в отчётном.

Выручка «Яндекса» по основному направлению «Поиск и портал» выросла на 48 % до 90,4 млрд руб. Доля «Яндекса» на российском поисковом рынке составила 62,6 %, увеличившись на 0,6 п.п.

Источник изображения: yandex.ru

Облачное подразделение Yandex Cloud стало драйвером роста сегмента «Прочих бизнес-юнитов и инициатив», который также включает направление разработки беспилотных автомобилей (Yandex SDG), Yandex Cloud, «Яндекс 360», «Яндекс Образование» («Яндекс.Практикум» и другие образовательные инициативы), «Устройства и «Алису», «Финтех» (в том числе Yandex Pay и Яндекс ID) и т. д.

Выручка Yandex Cloud выросла на 60 % год к году благодаря расширению предоставляемых услуг и увеличению доли рынка на фоне растущего спроса на сервисы Yandex Cloud. Выручка направления «Устройств» и «Алисы» увеличилась на 94 % год к году до 7,2 млрд руб. благодаря увеличению ассортимента доступных моделей и маркетинговой поддержке. Общая выручка в сегменте «Прочих бизнес-юнитов и инициатив» увеличилась в III квартале на 68 % до 18,81 млрд руб.

Компания NVIDIA, по сообщению ресурса The Information, ведёт переговоры об аренде площадей у одного из операторов ЦОД, но о ком именно идёт речь, не сообщается. Предполагается, что площадка будет использоваться для поддержания работы собственного облачного сервиса DGX Cloud, предназначенного для обучения передовых моделей для генеративного ИИ.

О доступности облака DGX Cloud компания NVIDIA объявила в июле нынешнего года. Тогда сообщалось, что соответствующая вычислительная инфраструктура достанется в первую очередь США и Великобритании. Стоимость доступа к DGX Cloud начинается с $36 999 в месяц. Говорилось, что NVIDIA намерена продвигать DGX Cloud в партнёрстве с ведущими гиперскейлерами. Первым сервис появился в облаке Oracle Cloud Infrastructure (OCI), на очереди Microsoft Azure, Google Cloud Platform и другие. Большая часть выручки в этом случае достаётся именно NVIDIA, а не облакам.

Источник изображения: NVIDIA

Теперь же, судя по всему, NVIDIA решила частично отказаться от услуг облачных провайдеров и развернуть DGX Cloud на арендованных ЦОД-площадях. Впрочем, как отмечается, переговоры всё ещё находятся на начальной стадии, а поэтому говорить о том, что NVIDIA сама превратится в гиперскейлера, преждевременно. При этом компания неоднократно упрекали в том, что в последнее время она более благосклонна к небольшим и специализированным облачным провайдерам, которые не пытаются создавать собственные ИИ-ускорители, могущие составить прямую конкуренцию продуктам NVIDIA.

Платформа Yandex Cloud сообщила о расширении портфолио облачных служб и запуске сервисов SpeechSense, Smart Web Security, Cloud Postbox и Apache Airflow. Также компания сделала общедоступным исходный код DataLens — своей системы для анализа и визуализации данных.

Первое упомянутое в списке решение — SpeechSense — представляет собой сервис речевой аналитики, предназначенный для проведения детального анализа звонков и чатов операторов контакт-центров, в том числе оценки их тона и вовлеченности в диалогах. Инструмент позволяет повысить качество работы сотрудников в голосовых каналах и снизить затраты на аналитику коммуникаций. Сервис интегрирован с нейросетью YandexGPT, доступен для пользователей платформы в режиме Private Preview и предоставляется по запросу.

Источник изображений: пресс-служба «Яндекса»

Вторая новинка — Smart Web Security — обеспечивает защиту веб-приложений от распределённых атак, направленных на отказ в обслуживании (Distributed Denial of Service, DDoS). Технология выявляет угрозы с помощью поведенческого анализа пользователей, встроенных алгоритмов машинного обучения и интегрирована с Yandex SmartCaptcha. Утверждается, что такой комплексный подход позволяет блокировать самые сложные атаки злоумышленников на уровне L7 по классификации OSI (Open Systems Interconnection model). Эти DDoS-атаки максимально имитируют поведение обычных пользователей.

Следующее решение — Cloud Postbox — предназначено для рассылки транзакционных писем. С его помощью компании могут по клику отправлять письма о работе своих сервисов в единой облачной инфраструктуре, не используя сторонние решения. Например, уведомлять клиентов о состоянии заказа, смене пароля или отписке. Сервис может быть актуален организаций, которые размещают в облаке своё программное обеспечение по модели SaaS. Например, CRM-системы или веб-приложения.

Что касается Apache Airflow, то данная служба может представлять интерес для дата-инженеров, аналитиков и ML-специалистов, оперирующих данными в облачном окружении. Сервис интегрирован с объектным хранилищем, управляемыми СУБД, BI-инструментами, системами машинного обучения. Также Apache Airflow работает с сервисом для обработки массивов данных Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. Кроме этого, доставка секретов в Apache Airflow через Lockbox позволяет упростить и сделать процесс управления данными более надёжным и безопасным.

Также платформа Yandex Cloud опубликовала исходный код DataLens. Это система класса Business Intelligence, с которой работают большинство сервисов «Яндекса» и тысячи внешних компаний в облачной инфраструктуре. Теперь использовать Open Source-версию сервиса, доработав её под себя самостоятельно, может любой желающий. Система подходит для решения широкого круга задач по анализу и визуализации данных. С помощью DataLens можно собрать дашборды для мониторинга ключевых бизнес-метрик компании и обеспечить коллективный доступ к аналитике. Исходный код и документация DataLens доступны на GitHub. Код распространяется под лицензией Apache 2.0.

Компания «Киберпротект» совместно с сервисом Yandex Cloud представила шлюз резервного копирования для хранения резервных копий в объектном хранилище Yandex Object Storage.

Разработанное специалистами «Киберпротекта» и «Яндекса» решение позволяет оперативно развернуть в Yandex Cloud всю необходимую инфраструктуру и использовать объектное облачное хранилище S3 как место назначения для резервных копий системы резервного копирования «Кибер Бэкап».

Приложение «Шлюз резервных копий СРК Кибер Бэкап» доступно в магазине Yandex Cloud Apps. В процессе автоматического развёртывания создаются все необходимые облачные ресурсы — виртуальные машины, виртуальные диски, корзина для хранения резервных копий (S3 bucket), сетевой балансировщик нагрузки, сервисные учётные записи и другие, настраивается балансировка запросов к шлюзу резервного копирования. Сразу после установки приложения шлюз резервного копирования готов к работе и резервные копии можно сохранять в объектное хранилище, минуя панель управления шлюзом.

«В решении "Кибер Бэкап" уже давно есть возможность резервного копирования в различные S3-хранилища через шлюз резервного копирования. Теперь мы значительно улучшили интеграцию с Yandex Cloud. Развёртывание инфраструктуры для резервного копирования в S3-хранилище Yandex Cloud стало максимально простым и быстрым, не требует затрат на приобретение лицензий, оборудования, установку и администрирование», — поясняет Андрей Пономаренко, руководитель группы разработки продукта.