Компания Google сообщила о том, что её новейшие ИИ-ускорители TPU v6 с кодовым именем Trillium доступны клиентам для ознакомления в составе облачной платформы GCP. Утверждается, что на сегодняшний день новинка является самым эффективным решением Google по соотношению цена/производительность.

Официальная презентация Trillium состоялась в мае нынешнего года. Изделие оснащено 32 Гбайт памяти HBM с пропускной способностью 1,6 Тбайт/с, а межчиповый интерконнект ICI обеспечивает возможность передачи данных со скоростью до 3,58 Тбит/с (по четыре порта на чип). Задействованы блоки SparseCore третьего поколения, предназначенные для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций.

Источник изображений: Google

Google выделяет ряд существенных преимуществ Trillium (TPU v6e) перед ускорителями TPU v5e:

• Более чем четырёхкратное повышение производительности при обучении ИИ-моделей;
• Увеличение производительности инференса до трёх раз;
• Улучшение энергоэффективности на 67 %;
• Повышение пиковой вычислительной производительности в расчёте на чип в 4,7 раза;
• Двукратное увеличение ёмкости HBM;
• Удвоение пропускной способности межчипового интерконнекта ICI.

Один узел включает восемь ускорителей TPU v6e (в двух NUMA-доменах), два неназванных процессора (суммарно 180 vCPU), 1,44 Тбайт RAM и четыре 200G-адаптера (по два на CPU) для связи с внешним миром. Отмечается, что посредством ICI напрямую могут быть объединены до 256 изделий Trillium, а агрегированная скорость сетевого подключение такого кластера (Pod) составляет 25,6 Тбит/с. Десятки тысяч ускорителей могут быть связаны в масштабный ИИ-кластер благодаря платформе Google Jupiter с оптической коммутацией, совокупная пропускная способность которой достигает 13 Пбит/с. Trillium доступны в составе интегрированной ИИ-платформы AI Hypercomputer.

Заявляется, что благодаря ПО Multislice Trillium обеспечивается практически линейное масштабирование производительности для рабочих нагрузок, связанных с обучением ИИ. Производительность кластеров на базе Trillium может достигать 91 Эфлопс на ИИ-операциях: это в четыре раза больше по сравнению с самыми крупными развёртываниями систем на основе TPU v5p. BF16-производительность одного чипа TPU v6e составляет 918 Тфлопс, а INT8 — 1836 Топс.

В бенчмарках Trillium по сравнению с TPU v5e показал более чем четырёхкратное увеличение производительности при обучении моделей Gemma 2-27b, MaxText Default-32b и Llama2-70B, а также более чем трёхкратный прирост для LLama2-7b и Gemma2-9b. Кроме того, Trillium обеспечивает трёхкратное увеличение производительности инференса для Stable Diffusion XL (по отношению к TPU v5e). По соотношению цена/производительность TPU v6e демонстрирует 1,8-кратный рост по сравнению с TPU v5e и примерно двукратный рост по сравнению с TPU v5p. Появится ли более производительная модификация TPU v6p, не уточняется.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.

Amazon объявила результаты III квартала 2024 года, завершившегося 30 сентября, в котором облачные сервисы вновь стали одним из основных драйверов роста. Выручка Amazon составила $158,88 млрд, превысив показатель аналогичного квартала прошлого года на 11 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $157,2 млрд.

При этом выручка облачного подразделения Amazon Web Services (AWS) выросла на 19 % до $27,4 млрд, немного не дотянув до прогноза аналитиков StreetAccount в размере $27,52 млрд, пишет CNBC. Увеличение выручки AWS ускоряется уже пятый квартал подряд.

Доля ИИ-решений в выручке AWS составляет миллиарды долларов и более чем вдвое увеличилась по сравнению с прошлым годом, сообщил гендиректор Amazon Энди Джесси (Andy Jassy), ранее возглавлявший AWS: «Я считаю, что у нас больше спроса, чем мы могли бы удовлетворить, если бы у нас было ещё больше (вычислительных) мощностей сегодня». «Думаю, что сегодня у всех меньше мощностей, чем имеется спроса», — отметил он, добавив, что именно увеличение поставок чипов позволило бы решить эту проблему.

Источник изображений: AWS

Операционная прибыль AWS достигла $10,45 млрд, что на 50 % больше показателя годичной давности и составляет 60% операционной прибыли её материнской компании. Аналитики ожидали рост до $9,15 млрд. В отчётном квартале операционная маржа AWS, ключевой показатель прибыльности в процентах от продаж, достигла нового максимума в 38,1 %. Для сравнения, квартальная операционная маржа Google Cloud составила 17,1 % при прибыли в размере $1,9 млрд и выручке в $11,4 млрд.

Финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) назвал в числе факторов, повышающих маржу AWS ускорение спроса на её услуги и стремление к эффективности и контролю затрат во всём бизнесе, включая более продуманный найм персонала. Кроме того, он сообщил о продлении AWS в 2024 году срока службы своих серверов.

Олсавски рассказал, что Amazon ожидает около $75 млрд капитальных затрат в 2024 году, большая часть которых будет направлена на технологическую инфраструктуру, связанную в первую очередь с AWS. В свою очередь, Джесси предположил, что капитальные расходы компании будут ещё выше в 2025 году, отметив, что рост «действительно обусловлен генеративным ИИ», и добавив, что, по его мнению, инвестиции в конечном итоге окупятся.

«Наш бизнес в сфере ИИ — это многомиллиардный бизнес, рост которого исчисляется трехзначными процентами из года в год, и на данном этапе развития он растёт в три раза быстрее, чем AWS», — цитирует слова Джесси ресурс geekwire.com. Джесси отметил, что платформа в целом AWS тоже «росла довольно быстро».

Также в отчётном квартале AWS объявила в соцсети X о решении закрыть некоторые сервисы, включая CodeCommit. Гендиректор AWS Мэтт Гарман (Matt Garman) объяснил ресурсу TechCrunch, что AWS «не может инвестировать во всё подряд». В текущем квартале Amazon прогнозирует выручку в диапазоне от $181,5 до $188,5 млрд, что означает рост на 7–11 % в годовом исчислении. Средняя точка этого диапазона, $185 млрд, немного ниже консенсус-прогноза аналитиков в $186,2 млрд (LSEG).

Облачная платформа Google Cloud анонсировала инстансы C4A — первые виртуальные машины, построенные на фирменных Arm-процессорах Axion собственной разработки. Утверждается, что C4A по соотношению цена/производительность обеспечивают выигрыш до 10 % по сравнению с аналогичными предложениями конкурентов.

Напомним, чипы Axion дебютировали в апреле нынешнего года. Они оснащены Armv9-ядрами Neoverse V2 (Demeter), которые функционируют в связке с контроллерами Titanium (отвечают за работу с сетью, защиту и разгрузку IO-операций). Инстансы C4A предназначены для нагрузок общего назначения. Среди них названы веб-серверы, контейнерные микросервисы, СУБД, серверы приложений, аналитика данных, обработка мультимедийных материалов и инференс.

Источник изображения: Google

Google заявляет, что по сравнению с виртуальными машинами на основе x86-процессоров текущего поколения инстансы C4A обеспечивают повышение энергетической эффективности до 60 % и улучшение соотношения цена/быстродействие до 65 %. Учитывая эти преимущества, ключевые службы Google, такие как Bigtable, Spanner, BigQuery, F1 Query, Blobstore, Pub/Sub, Google Earth Engine и YouTube Ads, уже начали переход на Axion.

Источник изображения: Google

Инстансы C4A доступны в трёх вариантах: standard, highcpu и highmem. Во всех версиях количество vCPU (фактически ядер) варьируется от 1 до 72. В случае стандартных модификаций на один vCPU выделяет 4 Гбайт памяти, а для highcpu и highmem — 2 Гбайт и 8 Гбайт соответственно. Таким образом, объём памяти может составлять до 576 Гбайт. Стандартная пропускная способность сетевого подключения — до 50 Гбит/с, а для приложений с интенсивным трафиком показатель может достигать 100 Гбит/с. Кроме того, доступно хранилище Hyperdisk последнего поколения с производительностью до 350 тыс. IOPS и пропускной способностью до 5 Гбайт/с.

Источник изображения: Google

Клиенты Google Cloud могут использовать C4A для многих сервисов, включая Google Compute Engine, Google Kubernetes Engine (GKE), Batch и Dataproc. Виртуальные машины поддерживают большинство популярных редакций Linux — RHEL, SUSE Linux Enterprise Server, Ubuntu, Rocky Linux и др. Программное обеспечение, совместимое с архитектурой Arm, доступно в Google Cloud Marketplace.

Источник изображения: Phoronix

Согласно тестам Phoronix, инстансы C4A с 48 vCPU обеспечивают 1,4-кратный прирост производительности по сравнению с C4 на базе Intel Xeon. А по отношению к инстансам T2A на Arm-чипах Ampere Altra новые машины C4A демонстрируют увеличение быстродействия в 1,95 раза. При этом с финансовой точки зрении новинки оказываются выгоднее других решений.

Microsoft сообщила о результатах работы в I квартале 2025 финансового года, завершившемся 30 сентября. Показатели компании превысили прогнозы аналитиков, но её ожидания и планы вызвали опасения инвесторов, так что акции упали в четверг на 6 %. До этого акции компании падали столь значительно 26 октября 2022 года — на 7,7 %, за месяц до публичного релиза ChatGPT, после которого начался бум на ИИ.

В этот раз инвесторов не устроили планы компании по увеличению расходов на искусственный интеллект (ИИ) в текущем квартале и ожидаемое замедление роста облачного бизнеса Azure, что свидетельствует о том, что крупных инвестиций в ИИ было недостаточно, чтобы справиться с ограничениями мощности ЦОД компании — Microsoft попросту не хватает ресурсов для обслуживания заказчиков.

Выручка Microsoft выросла год к году на 16 % до $65,6 млрд, что выше средней оценки аналитиков в $64,5 млрд, которых опросила LSEG. Чистая прибыль увеличилась на 11 % до $24,67 млрд, в то время как аналитики прогнозировали $23,15 млрд. Чистая прибыль на акцию составила $3,30 при прогнозе Уолл-стрит в рамзере $3,10.

Сегмент Intelligent Cloud компании Microsoft, который охватывает облачные сервисы Azure, а также Windows Server, SQL Server, GitHub, Nuance, Visual Studio и корпоративные сервисы, показал рост выручки на 20 % в годовом исчислении до $24,1 млрд. Azure и другие облачные сервисы увеличили выручку на 33 %. При этом ИИ внес 12 п.п. в рост выручки Azure в отчётном квартале по сравнению с 11 п.п. в предыдущем трёхмесячном периоде.

Источник изображений: Microsoft

Большинство направлений бизнеса Microsoft показали значительный рост: LinkedIn — 10 %; продукты Dynamics и облачные сервисы — 14 %, в том числе Dynamics 365 — 18 %; серверные продукты и облачные сервисы — 23 %. Выручка Microsoft 365 Commercial Cloud выросла на 15 %, а потребительского Microsoft 365 и сопутствующих облачных сервисов — на 5 %.

Вместе с тем внешние поставщики запаздывают с поставкой инфраструктуры ЦОД для Microsoft, что означает, что компания не сможет удовлетворить спрос во II финансовом квартале. Бретт Иверсен (Brett Iversen), вице-президент Microsoft по связям с инвесторами, подтвердил, что Microsoft не сможет решить проблему ограничений мощности ИИ до II половины финансового года.

Microsoft прогнозирует замедление роста выручки Azure во II финансовом квартале до 31–32 %, что отстает от среднего роста в 32,25 %, ожидаемого аналитиками, согласно Visible Alpha.

Наряду с замедлением роста выручки Azure у инвесторов вызывает обеспокоенность и то, что Microsoft вкладывает огромные средства в создание инфраструктуры ИИ и расширение ЦОД. Microsoft заявила, что за квартал капитальные затраты выросли на 5,3 % до $20 млрд по сравнению с $19 млрд в предыдущем квартале. Это выше оценки Visible Alpha в размере $19,23 млрд. Сообщается, что в основном средства пошли на расширение ЦОД.

Всего за 2025 финансовый год, начавшийся в июле, по оценкам аналитиков Visible Alpha, компания потратит более $80 млрд, что на $30 млрд больше, чем в предыдущем финансовом году. Компания считается лидером среди крупных технологических компаний в гонке ИИ благодаря своему эксклюзивному партнёрству с OpenAI, разработчиком ИИ-чат-бота ChatGPT. Доход Microsoft от бизнеса ИИ пока невелик, хотя компания прогнозирует, что он станет более существенным. В текущем квартале компания планирует достичь выручки в размере $10 млрд в годовом исчислении.

Также Microsoft сообщила об отказе от предоставления клиентам в аренду ускорителей для обучения новых моделей ИИ, сделав приоритетным инференс. «На самом деле мы не продаем другим просто GPU для обучения [ИИ-моделей], — сказал Сатья Наделла (Satya Nadella). — Это своего рода бизнес, от которого мы отказываемся, потому что у нас очень большой спрос на инференс» для поддержки различных Copilot и других услуг ИИ.

Как сообщает The Register, финансовый директор Эми Худ (Amy Hood), в свою очередь заявила, что Microsoft рассматривает доход, полученный от инференса, как источник средств для оплаты будущих инициатив по обучению ИИ-моделей. Сейчас компания стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL72, стремясь получить их до того, как они станут доступны другим игрокам. Кроме того, Azure станет посредником в процессе расширения ИИ-инфраструктуры OpenAI.

Облачная платформа VK Cloud объявила о внедрении так называемого «Верховного архитектора мультиоблака» — консультанта на основе ИИ, отвечающего за мгновенную техническую поддержку. Этот помощник в виде бота Telegram работает в круглосуточном режиме.

Отмечается, что ассистент обучен на масштабной базе знаний по продуктам VK Cloud объёмом более 6000 документов по 600 разделам. Помощник выполнен на базе LLM с RAG. При обучении консультанта были задействованы такие ИИ-технологии, как HyDE — для точного сопоставления запроса с документами, Router — для выбора наиболее подходящего направления поиска и Reranker — для дополнительной проверки и сортировки найденных ответов. Помощник работает только с публичной документацией и не имеет доступа к внутренним системам VK Cloud.

Ассистент готов помочь с любыми вопросами, связанными с работой облачной платформы VK Cloud. Задавать вопросы можно в произвольной форме, а в ответ он напишет подробные инструкции, скрипты, манифесты Terraform. Система постоянно обновляется с учетом изменений в сервисах и документации VK Cloud.

Источник изображения: VK Cloud

Среди преимуществ ИИ-бота названы глубокое понимание контекста, помощь в любое время дня и ночи, а также быстрые ответы, на генерацию которых требуются считаные секунды. Если консультант не сможет оперативно помочь, пользователь может обратиться в традиционную службу техподдержки. Фактически, как заявляет VK Cloud, это личный помощник разработчика и DevOps-инженера.

Специализирующаяся на строительстве и управлении ЦОД американская TECfusions заключила соглашение с TensorWave, предусматривающее предоставление последней ИИ-инфраструктуры. По информации Datacenter Dynamics, в рамках договора TensorWave будет арендовать у оператора 1 ГВт ёмкости ЦОД.

По словам представителя TECfusions, сотрудничество знаменует собой переломный момент в развитии ИИ-инфраструктуры. Как говорит компания, в ЦОД в Кларксвилле (Clarksville) уже размещён один из крупнейших в мире кластеров ускорителей, а сделка является свидетельством готовности TECfusions к самым ресурсоёмким проектам.

Развёртывание 1 ГВт будет происходить поэтапно, но доступ к значимой доле ёмкости должен появиться уже к началу 2025 года. Tecfusion намерена использовать локальные генерирующие мощности, функционирующие в основном на природном газе, для обеспечения стабильных поставок энергии и во избежание скачков цен на неё. Компания уже владеет микросетями на территории ЦОД в Нью-Кенсингтоне (200 МВт, Пенсильвания) и Кларксвилле (220 МВт, Вирджиния).

Источник изображения: Henry Deng/unsplash.com

Партнёрство сформировано по итогам SAFE-раунда финансирования TensorWaves, в ходе него привлечено $43 млн. Основанный в 2023 году стартап из Лас-Вегаса предоставляет клиентам доступ к вычислительным ИИ-мощностям на основе ускорителей AMD. На полученные средства TensorWave оснастит ЦОД ускорителями AMD Instinct MI300X, расширит команду и начнёт подготовку к внедрению следующего поколения ускорителей Instinct MI325X. На IV квартал намечен запуск новой инференс-платформы Manifest в IV.

Как заявляют в TensorWave, способность TECfusions выводить на рынок масштабные, готовые к ИИ-задачам ёмкости за считанные месяцы значительно ускорит освоение рынка компанией. Партнёрство имеет ключевое значение для сохранения конкурентоспособности в ИИ-секторе.

Сейчас TECfusions управляет тремя действующими ЦОД — в Аризоне, Пенсильвании и Вирджинии. В сентябре оператор объявил о завершении строительства третьего зала для ИИ-оборудования в Кларксвилле. Теперь общая ёмкость этого дата-центра достигла 34,5 МВт. До конца года будет оснащён четвёртый зал на 13,5 МВт.

Оператор МТС объявил о планах своей дочерней компании MWS (MTS Web Services) по запуску публичной облачной платформы. Речь идёт о развёртывании экосистемы инфраструктурных и сетевых сервисов, инструментов для хранения и обработки данных, а также PaaS-сервисов со средствами обеспечения безопасности.

Ввод облака в эксплуатацию будет происходить в несколько этапов. До конца 2024 года в превью-режиме заработает объектное хранилище. Работу сервиса будут поддерживать два ЦОД в инфраструктуре MWS, что обеспечит сохранность информации и ее высокую доступность.

Во II квартале 2025-го хранилище будет дополнено другими вычислительными и сетевыми службами. Они позволят решать задачи по размещению сайтов и приложений, интернет-магазинов, внутренних IT-систем, созданию катастрофоустойчивых решений и пр. В III четверти следующего года планируется внедрение набора PaaS: системы управления базами данных PostgreSQL и Redis, распределённая система обмена сообщениями между серверными приложениями в режиме реального времени Apache Kafka, а также служба автоматического развёртывания, масштабирования и управления контейнерами Managed Kubernetes.

Источник изображения: MWS

Ожидается, что новая облачная платформа станет основой для ключевых систем MWS. Поверх неё будут разворачиваться ИИ-решения, базы данных и офисное ПО для удовлетворения различных запросов клиентов. «В рамках одного окна бизнес сможет получить самые передовые облачные сервисы, созданные в соответствии с лучшими мировыми практиками», — говорит вице-президент по развитию инфраструктуры МТС, генеральный директор MWS.

МКПАО «Яндекс» объявило неаудированные финансовые результаты за III квартал 2024 года, завершившийся 30 сентября. Как и в предыдущем квартале выручка компании выросла год к году более чем на треть (36 %) до 276,8 млрд руб.

При этом операционная прибыль выросла на 14 % до 25,4 млрд руб., а чистый убыток сократился на 62 % до 7,6 млрд руб. Скорректированная прибыль выросла более чем вдвое — на 118 % до 25,1 млрд руб. Также значительно увеличился скорректированный показатель EBITDA — на 66 % до 54,7 млрд руб.

Компания сохранила свой прогноз по росту общей выручки в 2024 году в диапазоне от 38 до 40 % год к году, а по скорректированному показателю EBITDA — от 170 до 175 млрд руб.

Источник изображения: «Яндекс»

В сегменте «Прочих бизнес-юнитов и инициатив», включающем, в то числе, облачные сервисы Yandex Cloud и Яндекс 360, выручка компании увеличилась на 65 % до 29,0 млрд руб. Убыток по скорректированному показателю EBITDA при этом сократился на 4 % до 10,8 млрд руб., а рентабельность скорректированного показателя EBITDA составила –37,3 % (26,9 п.п. год к году).

Министр промышленности Италии Адольфо Урсо (Adolfo Urso) объявил о желании неназванной компании реализовать в стране проект строительства ЦОД общей стоимостью €30 млрд ($33 млрд). По информации Reuters, проект предложен неназванной иностранной корпорацией.

По словам министра, представитель компании заявил, что выбор пал на Итали потому, что её можно назвать идеальным местом для дата-центров. Страна — участница «большой семёрки», находится в средиземноморском бассейне, на перекрёстке мировых информационных маршрутов.

Дополнительные подробности не раскрываются. Как предполагают эксперты, подобная инвестиция способна обеспечить строительство гигаваттных кампусов ЦОД — при этом Италия всегда считалась рынком вторичным рынком дата-центров. Для сравнения, в £10 млрд ($13,3 млрд) обойдётся 1,1-ГВт проект QTS (Blackstone) в Великобритании, отмечает DataCenter Dynamics.

Источник изображения: Jack Ward/unsplash.com

Немногие операторы ЦОД вообще имеют доступ к таким финансовым ресурсам. При этом каждый из облачных гиперскейлеров, включая Microsoft, Google, Oracle и AWS (Amazon) уже имеют дата-центры в стране. Так, облачный регион Microsoft расположен в Милане. Компания анонсировала регион Italian Azure в мае 2020 года, а запустила его в 2023 году. Недавно компания анонсировала намерение инвестировать в расширение местной облачной инфраструктуры ещё €4,3 млрд ($4,75 млрд).

Это был последний из американских гиперскейлеров, запустивший своё облако в Италии. AWS запустила регион в Милане в 2020 году и намерена инвестировать ещё. Oracle свой первый облачный регион тоже запустила в Милане в конце 2021 года. Ранее в этом году компания анонсировала планы создания второго региона в Турине при сотрудничестве с телеком-оператором Telecom Italia (TIM). Первый облачный регион Google открылся всё в том же Милане в 2022 году, с тех пор второй регион Google Cloud Platform (GCP) запустили в Турине.