«Яндекс» объявил о выходе нового компонента YDB DWH для поддержки аналитической обработки данных в СУБД YDB собственной разработки. СУБД YDB поддерживает работу со сложными аналитическими запросами (OLAP) — благодаря массивно-параллельной архитектуре (МРР) обеспечивает хранение сотен Тбайт данных и быстрое выполнение запросов, а также горизонтально масштабируется за счёт автоматического партиционирования по объёму и нагрузке.

Как сообщается, аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. Платформа СУБД Яндекса также включает движок выполнения запросов со спиллингом данных на диск, стоимостной оптимизатор и поддержку федеративных SQL-запросов к внешним источникам данных: S3, PostgreSQL, Greenplum, Oracle, MS SQL. Это позволяет создавать корпоративного хранилища данных. В перспективе — поддержка SQL-диалекта PostgreSQL для бесшовной интеграции как для OLAP-, так и OLTP-сценариев.

Источник изображения: Yandex Cloud

Благодаря запуску YDB DWH, СУБД YDB стала универсальным решением для высокопроизводительной обработки транзакций и аналитических запросов, говорит компания. Подчёркивается, что рынку не хватает универсальных СУБД, способных работать в бизнес-критичных сценариях. Данное решение особенно актуально для финансового, телекоммуникационного и ретейла. По оценке «Яндекса», рынок систем по обработке данных в России в 2025 году составит 55 млрд руб. При этом доля аналитических СУБД будет составлять 32 % общего рынка обработки данных.

Помимо YDB DWH, в линейку лицензируемых надстроек СУБД YDB также входит шина данных YDB Topics и надстройка для задач машинного обучения YDB Search. Основной компонент платформы — компонент YDB Enterprise для высокопроизводительной обработки транзакций. Платформа предлагается по коммерческой лицензии для установки в контуре заказчика и как управляемый сервис в Yandex Cloud.

В 2024 году на облачном рынке России сформировался ряд трендов, которые будут определять развитие соответствующей сферы в ближайшие годы. Облачный провайдеров M1Cloud рассказал о ключевых изменениях рынка.

По его словам, в 2024 году провайдеры продолжили наладку схем параллельного импорта серверов и СХД иностранных вендоров, благодаря чему сохранились темпы роста облачной инфраструктуры. А крупным компаниям удалось построить облачные сегменты на российском программном и аппаратном обеспечении. Вместе с тем усложнение цепочек поставок вызвало рост спроса на сервисы Bare Metal. Статистика M1Cloud показывает, что более 50 % российских компаний применяют облачные решения, а 30 % намерены дополнить их сервисами Bare Metal.

Также в уходящем году отмечено увеличение инвестиций в облачные технологии, в особенности в готовые ИИ-сервисы мультиоблачные системы. Облака начинают интегрировать решения на базе ИИ и Big Data. На этом фоне отмечен рост стартапов, связанных с разработкой решений для облачных сервисов, обеспечения безопасности и управления данными. Сами провайдеры тоже развивают защитные инструменты, в том числе системы предотвращения утечек, а бизнес всё чаще локализует свою информацию в соответствии с требованиями российских законов. Мультиоблачный подход способствует развитию автоматизации и оркестрации.

Источник изображения: fran innocenti/unsplash.com

По словам M1Cloud, крупные провайдеры уделяют внимание и развитию в регионах дата-центров и облачных ресурсов. Наконец, растёт количество образовательных программ, связанных с подготовкой специалистов в области облачных технологий, благодаря чему растёт и квалификация работающих в отрасли кадров.

В целом российские облака приспосабливаются к текущей обстановке, из-за чего растёт спрос не только на IaaS, но и появляются решения, отвечающие специальным запросам бизнеса. В частности, развиваются отраслевые облачные платформы, сервисы для малых и средних предприятий, инструменты ИИ и ML, внедряются DevOps-подходы и CI/CD, облачные API и микросервисные архитектуры.

Как ранее прогнозировала iKS-Consulting, к 2028 году российский рынок облачной инфраструктуры вырастет до 464 млрд руб., а к концу 2024 года может вырасти до 162 млрд руб. с 121,4 млрд руб. в прошлом году.

Компания IBM объявила о расширении сотрудничества с AMD для предоставления ускорителей Instinct MI300X в формате «ускорители как услуга» (Accelerators-as-a-Service). По словам IBM, новое решение расширяет возможности и энергоэффективность генеративных ИИ-моделей и HPC-приложений. AMD Instinct MI300X станут доступны в IBM watsonx, а также будут поддерживаться в Red Hat Enterprise Linux AI. Они дополнят портфолио IBM Cloud, уже включающее Intel Gaudi 3 и NVIDIA H100.

Ускоритель AMD Instinct MI300X оснащён 192 Гбайт памяти HBM3. И относительно малое количество ускорителей способно обеспечить работу больших ИИ-моделей, что позволяет снизить затраты с сохранением производительности и масштабируемости. Ускорители будут доступны в составе виртуальных серверов и частных виртуальных облаков, а также в контейнеризированных средах IBM Cloud Kubernetes Service и IBM Red Hat OpenShift.

Источник изображения: AMD

Кроме того, для MI300X будут доступны LLM Granite и инструмент InstructLab. Речь идёт в том числе об интеграции программных решений IBM с ПО AMD ROCm. По словам компании, предложенные решения обеспечит клиентов гибкой, безопасной, высокопроизводительной и масштабируемой средой для рабочих нагрузок ИИ. AMD Instinct MI300X станут доступны пользователям IBM Cloud в I половине 2025 года.

«Яндекс» создал новое бизнес-направление Yandex B2B Tech для работы в сфере B2B (Business-to-Business). Новая бизнес-группа объединит соответствующие технологии и инструменты, включая облачные продукты Yandex Cloud и «Яндекс 360». «Яндекса» ожидает, что объём рынка, на котором будет работать новое подразделение, вырастет до 510 млрд руб. в 2028 году с 240 млрд руб. в текущем. Среднегодовой темп роста (CAGR) в этот период составит порядка 21 %

Сообщается, что новая структура будет предлагать заказчикам комплексные решения в различных областях, среди них:

• Платформа для создания и управления облачной инфраструктурой: Compute Cloud, Yandex BareMetal, Object Storage, SmartCaptcha, Smart Web Security, Security Deck и т.д.;
• Платформа полного цикла для обработки и хранения данных: YDB, Data Transfer и т.д.;
• Инструменты для коммуникаций и совместной работы: Почта, Диск, Телемост, Документы, Трекер, Мессенджер и Яндекс Браузер для организаций;
• Решения для бизнеса на базе ИИ: YandexGPT,l YandexART, SpeechKit, SpeechSense, DataSphere и т.д.;
• Инструменты для разработчиков: Yandex Code Assistant, SourceCraft, Managed Kubernetes и т.д.;
• Сервисы для визуализации и анализа данных, в том числе Yandex DataLens.

Источник изображения: «Яндекс»

Корпоративные пользователи смогут воспользоваться сервисами Yandex B2B Tech либо в облаке (*aaS или посредством API), либо на собственных серверах (on-premise). Согласно пресс-релизу «Яндекса», формат on-premise — новый для компании, но она видит спрос на него со стороны клиентов, желающих хранить и обрабатывать данные внутри организации. В этом формате компания уже предоставляет доступ к СУБД YDB, технологии генеративной языковой модели, которая может создавать тексты YandexGPT, технологии распознавания и синтеза речи SpeechKit, а также BI-инструмент DataLens.

Популярная в Китае социальная сеть Xiaohongshu перенесла 500 Пбайт данных в облако Alibaba Cloud. На миграцию ушёл год, в переносе Alibaba помогали 1,5 тыс. сотрудников Xiaohongshu, сообщает SCMP. По имеющимся данным, предоставленным компаниями-партнёрами, речь идёт об одном из крупнейших проектов миграции данных «за всю историю». Сообщается, что «озеро данных» вмещает все структурированные и неструктурированные данные социальной платформы, собранные с момента запуска 11 лет назад.

Xiaohongshu, базирующаяся в Шанхае — крупнейшая в Китае лайфстайл-платформа, насчитывающая более 300 млн активных пользователей. Как заявила в WeChat компания Alibaba, ежедневно Xiaohongshu генерирует «невообразимые» объёмы данных. По данным облачного провайдера, успех миграции в облако предопределили тесное сотрудничество команд двух компаний, быстрое реагирование на возникающие задачи и проблемы, а также взаимно согласованные стандарты разработки.

Источник изображения: Wikipedia

Alibaba Cloud является крупнейшим облачным провайдером в Китае. Один из дата-центров компании пострадал от пожара в сентябре 2024 года, что заставило Alibaba довольно долго и очень тщательно сушить оборудование для сохранения данных. Весной компания снизила цены на облачные услуги на 55 % для Китая в попытке отвоевать клиентов у конкурентов из числа других местных игроков — Tencent, JD.com и Baidu.

Облачная платформа VK Cloud объявила о внедрении так называемого «Верховного архитектора мультиоблака» — консультанта на основе ИИ, отвечающего за мгновенную техническую поддержку. Этот помощник в виде бота Telegram работает в круглосуточном режиме.

Отмечается, что ассистент обучен на масштабной базе знаний по продуктам VK Cloud объёмом более 6000 документов по 600 разделам. Помощник выполнен на базе LLM с RAG. При обучении консультанта были задействованы такие ИИ-технологии, как HyDE — для точного сопоставления запроса с документами, Router — для выбора наиболее подходящего направления поиска и Reranker — для дополнительной проверки и сортировки найденных ответов. Помощник работает только с публичной документацией и не имеет доступа к внутренним системам VK Cloud.

Ассистент готов помочь с любыми вопросами, связанными с работой облачной платформы VK Cloud. Задавать вопросы можно в произвольной форме, а в ответ он напишет подробные инструкции, скрипты, манифесты Terraform. Система постоянно обновляется с учетом изменений в сервисах и документации VK Cloud.

Источник изображения: VK Cloud

Среди преимуществ ИИ-бота названы глубокое понимание контекста, помощь в любое время дня и ночи, а также быстрые ответы, на генерацию которых требуются считаные секунды. Если консультант не сможет оперативно помочь, пользователь может обратиться в традиционную службу техподдержки. Фактически, как заявляет VK Cloud, это личный помощник разработчика и DevOps-инженера.

МКПАО «Яндекс» объявило неаудированные финансовые результаты за III квартал 2024 года, завершившийся 30 сентября. Как и в предыдущем квартале выручка компании выросла год к году более чем на треть (36 %) до 276,8 млрд руб.

При этом операционная прибыль выросла на 14 % до 25,4 млрд руб., а чистый убыток сократился на 62 % до 7,6 млрд руб. Скорректированная прибыль выросла более чем вдвое — на 118 % до 25,1 млрд руб. Также значительно увеличился скорректированный показатель EBITDA — на 66 % до 54,7 млрд руб.

Компания сохранила свой прогноз по росту общей выручки в 2024 году в диапазоне от 38 до 40 % год к году, а по скорректированному показателю EBITDA — от 170 до 175 млрд руб.

Источник изображения: «Яндекс»

В сегменте «Прочих бизнес-юнитов и инициатив», включающем, в то числе, облачные сервисы Yandex Cloud и Яндекс 360, выручка компании увеличилась на 65 % до 29,0 млрд руб. Убыток по скорректированному показателю EBITDA при этом сократился на 4 % до 10,8 млрд руб., а рентабельность скорректированного показателя EBITDA составила –37,3 % (26,9 п.п. год к году).

AWS и NVIDIA анонсировали сразу несколько новых совместно разработанных решений для генеративного ИИ. Основным анонсом формально является появление ИИ-облака DGX Cloud в инфраструктуре AWS, вот только облако это отличается от немногочисленных представленных ранее платформ DGX Cloud тем, что оно первом получило гибридные суперчипах GH200 (Grace Hoppper), причём в необычной конфигурации.

Изображения: NVIDIA

В основе AWS DGX Cloud лежит платформа GH200 NVL32, но это уже не какой-нибудь сдвоенный акселератор вроде H100 NVL, а целая, готовая к развёртыванию стойка, включающая сразу 32 ускорителя GH200, провязанных 900-Гбайт/с интерконнектом NVLink. В состав такого суперускорителя входят 9 коммутаторов NVSwitch и 16 двухчиповых узлов с жидкостным охлаждением. По словам NVIDIA, GH200 NVL32 идеально подходит как для обучения, так и для инференса действительно больших LLM с 1 трлн параметров.

Простым перемножением количества GH200 на характеристики каждого ускорителя получаются впечатляющие показатели: 128 Пфлопс (FP8), 20 Тбайт оперативной памяти, из которых 4,5 Тбайт приходится на HBM3e с суммарной ПСП 157 Тбайтс, и агрегированная скорость NVLink 57,6 Тбайт/с. И всё это с составе одного EC2-инстанса! Да, новая платформа использует фирменные DPU AWS Nitro и EFA-подключение (400 Гбит/с на каждый GH200). Новые инстансы, пока что безымянные, можно объединять в кластеры EC2 UltraClasters.

Одним из таких кластеров станет Project Ceiba, очередной самый мощный в мире ИИ-суперкомпьютер с FP8-производительность 65 Эфлопс, объединяющий сразу 16 384 ускорителя GH200 и имеющий 9,1 Пбайт памяти, а также агрегированную пропускную способность интерконнекта на уровне 410 Тбайт/с (28,8 Тбайт/с NVLink). Он и станет частью облака AWS DGX Cloud, которое будет доступно в начале 2024 года. В скором времени появятся и EC2-инстансы попроще: P5e с NVIDIA H200, G6e с L40S и G6 с L4.

Компания NVIDIA, по сообщению ресурса The Information, ведёт переговоры об аренде площадей у одного из операторов ЦОД, но о ком именно идёт речь, не сообщается. Предполагается, что площадка будет использоваться для поддержания работы собственного облачного сервиса DGX Cloud, предназначенного для обучения передовых моделей для генеративного ИИ.

О доступности облака DGX Cloud компания NVIDIA объявила в июле нынешнего года. Тогда сообщалось, что соответствующая вычислительная инфраструктура достанется в первую очередь США и Великобритании. Стоимость доступа к DGX Cloud начинается с $36 999 в месяц. Говорилось, что NVIDIA намерена продвигать DGX Cloud в партнёрстве с ведущими гиперскейлерами. Первым сервис появился в облаке Oracle Cloud Infrastructure (OCI), на очереди Microsoft Azure, Google Cloud Platform и другие. Большая часть выручки в этом случае достаётся именно NVIDIA, а не облакам.

Источник изображения: NVIDIA

Теперь же, судя по всему, NVIDIA решила частично отказаться от услуг облачных провайдеров и развернуть DGX Cloud на арендованных ЦОД-площадях. Впрочем, как отмечается, переговоры всё ещё находятся на начальной стадии, а поэтому говорить о том, что NVIDIA сама превратится в гиперскейлера, преждевременно. При этом компания неоднократно упрекали в том, что в последнее время она более благосклонна к небольшим и специализированным облачным провайдерам, которые не пытаются создавать собственные ИИ-ускорители, могущие составить прямую конкуренцию продуктам NVIDIA.

NVIDIA запустила сервис ИИ-супервычислений DGX Cloud, предоставляющий предприятиям доступ к инфраструктуре и программному обеспечению, необходимым для обучения передовых моделей для генеративного ИИ и других приложений.

DGX Cloud предлагает выделенные ИИ-кластеры NVIDIA DGX в сочетании с фирменным набором ПО NVIDIA. С его помощью предприятие сможет получить доступ к облачному ИИ-суперкомпьютеру, используя веб-браузер и без надобности в приобретении, развёртывании и управлении собственной HPC-инфраструктурой. Правда, удовольствие это всё равно не из дешёвых — стоимость инстансов DGX Cloud начинается от $36 999/мес., причём деньги получает в первую очередь сама NVIDIA. Для сравнения — полностью укомплектованная система DGX A100 в Microsoft Azure обойдётся примерно в $20 тыс.

Облачные кластеры DGX предлагаются предприятиям на условиях ежемесячной аренды, что гарантирует им возможность быстро масштабировать разработку больших рабочих нагрузок. «DGX Cloud предоставляет клиентам мгновенный доступ к супервычислениям NVIDIA AI в облаках глобального масштаба», — сообщил Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Источник изображения: NVIDIA

Развёртыванием инфраструктуры DGX Cloud компания NVIDIA будет заниматься в сотрудничестве с ведущими поставщиками облачных услуг. Первым среди них стала платформа Oracle Cloud Infrastructure (OCI), предлагающая суперкластер (SuperCluster) с объединёнными RDMA-сетью (в том числе на базе BlueField-3 и Connect-X7) системами DGX (bare metal), которые дополняет высокопроизводительное локальное и блочное хранилище. Cуперкластер может включать до 32 768 ускорителей, но этот рекорд был поставлен с использованием DGX A100, а вот предложение DGX H100 пока что ограничено. В следующем квартале похожее решение появится в Microsoft Azure, а потом в Google Cloud и у других провайдеров.

Источник изображения: NVIDIA

Первыми пользователями DGX Cloud стали Amgen, одна из ведущих мировых биотехнологических компаний, лидер рынка страховых технологий CCC Intelligent Solutions (CCC) и провайдер цифровых бизнес-платформ ServiceNow. «Мощные вычислительные и многоузловые возможности DGX Cloud позволили нам в 3 раза ускорить обучение белковых LLM с помощью BioNeMo и до 100 раз ускорить анализ после обучения с помощью NVIDIA RAPIDS по сравнению с альтернативными платформами», — сообщил представитель Amgen.

Для управления нагрузками в DGX Cloud предлагается NVIDIA Base Command. Также DGX Cloud включает в себя набор инструментов NVIDIA AI Enterprise для создания и запуска моделей, который предоставляет комплексные фреймворки и предварительно обученные модели для ускорения обработки данных и оптимизации разработки и развёртывания ИИ. DGX Cloud предоставляет поддержку экспертов NVIDIA на всех этапах разработки ИИ. Клиенты смогут напрямую работать со специалистами NVIDIA, чтобы оптимизировать свои модели и быстро решать задачи разработки с учётом сценариев отраслевого использования.