Компания NextSilicon сообщила о разработке устройств Maverick-2 — так называемых интеллектуальных вычислительных ускорителей (Intelligent Compute Accelerator, ICA). Изделия, как утверждается, обеспечивают высокую производительность и эффективность при решении задач HPC и ИИ, а также при обслуживании векторных баз данных.

NextSilicon разрабатывает новую вычислительную платформу для ресурсоёмких приложений. Применяются специальные программные алгоритмы для динамической реконфигурации оборудования на основе данных, получаемых непосредственно во время выполнения задачи. Это позволяет оптимизировать производительность и энергопотребление.

Источник изображений: NextSilicon

Maverick-2 ICA, по словам компании, представляет собой программно-определяемый аппаратный ускоритель. По заявлениям NextSilicon, изделие в плане производительности на один ватт затрачиваемой энергии более чем в четыре раза превосходит традиционные GPU, а в сравнении с топовыми CPU и вовсе достигается 20-кратное превосходство. При этом говорится об уменьшении эксплуатационных расходов более чем в два раза.

«Телеметрические данные, собранные во время работы приложения, используются интеллектуальными алгоритмами NextSilicon для непрерывной самооптимизации в реальном времени. Результатом являются эффективность и производительность в задачах HPC при сокращении потребления энергии на 50–80 % по сравнению с традиционными GPU», — заявляет компания.

Решения Maverick-2 доступны в виде однокристальной карты расширения PCIe 5.0 x16 и двухкристального OAM-модуля. В первом случае объём памяти HBM3e составляет 96 Гбайт, энергопотребление — 300 Вт. У второго изделия эти показатели равны 192 Гбайт и 600 Вт. Тактовая частота в обоих вариантах — 1,5 ГГц. При производстве применяется 5-нм технология TSMC. Говорится о совместимости с популярными языками программирования и фреймворками, такими как C/C++, Fortran, OpenMP и Kokkos. Это позволяет многим приложениям работать без изменений, упрощая портирование и устраняя необходимость в проприетарном программном стеке.

Компания DeepL объявила о намерении развернуть вычислительный комплекс на платформе NVIDIA DGX SuperPOD с ускорителями GB200. Система расположится на площадке EcoDataCenter в Швеции, а её ввод в эксплуатацию запланирован на середину 2025 года.

DeepL специализируется на разработке средств автоматического перевода на основе ИИ. По заявлениям Ярека Кутыловски (Jarek Kutylowski), генерального директора и основателя DeepL, компания создала решение, которое по точности перевода превосходит все другие сервисы на рынке. Более 100 тыс. предприятий, правительственных структур и других организаций, а также миллионы индивидуальных пользователей по всему миру применяют языковые ИИ-инструменты DeepL. Штат компании насчитывает более 1 тыс. сотрудников. Её поддерживают инвестициями Benchmark, IVP, Index Ventures и др.

В 2023 году DeepL развернула суперкомпьютер Mercury на базе NVIDIA DGX SuperPOD с ускорителями H100. В июньском рейтинге TOP500 эта система занимает 41-е место с FP64-производительностью 21,85 Пфлопс и теоретическим пиковым быстродействием 33,85 Пфлопс.

Источник изображения: NVIDIA

Платформа NVIDIA DGX SuperPOD с ускорителями GB200 предусматривает использование жидкостного охлаждения. Возможно масштабирование до десятков тысяч ускорителей. DeepL намерена применять новый комплекс для исследовательских задач — в частности, для разработки передовых ИИ-моделей, которые позволят ещё больше расширить возможности средств перевода между различными языками. Это позволит «разрушить языковые барьеры для предприятий и профессионалов по всему миру», обещает компания.

Lumen Technologies и Amazon Web Services (AWS) объявили о сделке, которая обещает быть взаимовыгодной для обеих сторон. Финансовые условия соглашения не разглашаются.

В рамках сделки Lumen предоставит выделенную инфраструктуру Private Connectivity Fabric на базе частных ВОЛС между регионами и локальными зонами AWS в США. AWS продолжит развёртывать свои собственные сетевые решения на данных ВОЛС. Как указано в пресс-релизе, усовершенствованная сеть AWS обеспечит высокоскоростные и динамические соединения, которые предоставят клиентам возможность разрабатывать приложения генеративного ИИ, обучать ИИ-модели и поставлять новые продукты на базе ИИ по всему региону и в локальных зонах.

«ИИ меняет отрасли, и поддерживающая его сетевая инфраструктура должна быть такой же динамичной и отзывчивой, — сказала Кейт Джонсон (Kate Johnson), президент и генеральный директор Lumen Technologies. — Будучи доверенной сетью для ИИ, Lumen использует ВОЛС следующего поколения, чтобы помочь AWS предоставлять решения с высокой пропускной способностью, которые позволят их клиентам испытать и реализовать весь потенциал ИИ».

Источник изображения: Lumen Technologies

Также в рамках сделки Lumen переместит свои продуктовые и IT-платформы в облако AWS. В будущем Lumen сможет применять ИИ-технологии Amazon, включая сервис Bedrock, для лучшего планирования и оптимизации работы сети. Это обеспечит Lumen полную видимость своей сети, позволит повысить качество обслуживания клиентов и сократить расходы. В Lumen планируют перейти на автономную сетевую платформу на базе генеративного ИИ, которая позволит динамически управлять распределением ресурсов, а также быстро выявлять и решать проблемы, связанные с обслуживанием и сетью. «С AWS мы можем поддерживать нашу трансформацию и удовлетворять растущие потребности наших клиентов», — сказала Джонсон.

В пресс-релизе также отмечено, что Lumen и AWS уже много лет являются партнёрами. Имея статус провайдера AWS MSP (Managed Service Provider), Lumen помогает клиентам переносить рабочие нагрузки в AWS, обеспечивая плавный переход к их облачной инфраструктуре.

Lumen управляет инфраструктурой, включающей более чем 423 тыс. км оптоволоконных линий связи. Компания стремится извлечь выгоду из растущего спроса на ИИ-технологии, чтобы компенсировать падение выручки от устаревших направлений бизнеса, включя предоставление голосовых, широкополосных и других сервисов для предприятий и частных лиц.

Недавно компания объявила о заключении подобных сделок с Meta✴ и Microsoft, причём в Azure она тоже перенесёт часть нагрузок. Кейт Джонсон заявила в интервью Bloomberg TV, что сети этих компаний не отвечают их потребностям в экономике ИИ, поскольку недостаточно велики, недостаточно быстры и недостаточно безопасны, но Lumen под силу исправить эти проблемы. В августе Lumen сообщила, что благодаря буму вокруг ИИ получила новые заказы на сумму $5 млрд и ведёт «активные переговоры с клиентами», чтобы заключить сделки ещё на $7 млрд.

Компания Google сообщила о том, что её новейшие ИИ-ускорители TPU v6 с кодовым именем Trillium доступны клиентам для ознакомления в составе облачной платформы GCP. Утверждается, что на сегодняшний день новинка является самым эффективным решением Google по соотношению цена/производительность.

Официальная презентация Trillium состоялась в мае нынешнего года. Изделие оснащено 32 Гбайт памяти HBM с пропускной способностью 1,6 Тбайт/с, а межчиповый интерконнект ICI обеспечивает возможность передачи данных со скоростью до 3,58 Тбит/с (по четыре порта на чип). Задействованы блоки SparseCore третьего поколения, предназначенные для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций.

Источник изображений: Google

Google выделяет ряд существенных преимуществ Trillium (TPU v6e) перед ускорителями TPU v5e:

• Более чем четырёхкратное повышение производительности при обучении ИИ-моделей;
• Увеличение производительности инференса до трёх раз;
• Улучшение энергоэффективности на 67 %;
• Повышение пиковой вычислительной производительности в расчёте на чип в 4,7 раза;
• Двукратное увеличение ёмкости HBM;
• Удвоение пропускной способности межчипового интерконнекта ICI.

Один узел включает восемь ускорителей TPU v6e (в двух NUMA-доменах), два неназванных процессора (суммарно 180 vCPU), 1,44 Тбайт RAM и четыре 200G-адаптера (по два на CPU) для связи с внешним миром. Отмечается, что посредством ICI напрямую могут быть объединены до 256 изделий Trillium, а агрегированная скорость сетевого подключение такого кластера (Pod) составляет 25,6 Тбит/с. Десятки тысяч ускорителей могут быть связаны в масштабный ИИ-кластер благодаря платформе Google Jupiter с оптической коммутацией, совокупная пропускная способность которой достигает 13 Пбит/с. Trillium доступны в составе интегрированной ИИ-платформы AI Hypercomputer.

Заявляется, что благодаря ПО Multislice Trillium обеспечивается практически линейное масштабирование производительности для рабочих нагрузок, связанных с обучением ИИ. Производительность кластеров на базе Trillium может достигать 91 Эфлопс на ИИ-операциях: это в четыре раза больше по сравнению с самыми крупными развёртываниями систем на основе TPU v5p. BF16-производительность одного чипа TPU v6e составляет 918 Тфлопс, а INT8 — 1836 Топс.

В бенчмарках Trillium по сравнению с TPU v5e показал более чем четырёхкратное увеличение производительности при обучении моделей Gemma 2-27b, MaxText Default-32b и Llama2-70B, а также более чем трёхкратный прирост для LLama2-7b и Gemma2-9b. Кроме того, Trillium обеспечивает трёхкратное увеличение производительности инференса для Stable Diffusion XL (по отношению к TPU v5e). По соотношению цена/производительность TPU v6e демонстрирует 1,8-кратный рост по сравнению с TPU v5e и примерно двукратный рост по сравнению с TPU v5p. Появится ли более производительная модификация TPU v6p, не уточняется.

Компания Google объявила о том, что в составе её облачной платформы в скором времени станут доступны инстансы A3 Ultra на базе ускорителей NVIDIA H200. Новые виртуальные машины предназначены для ресурсоёмких нагрузок, связанных с ИИ, включая обучение больших языковых моделей (LLM).

Напомним, в августе 2023 года Google анонсировала инстансы A3 с ускорителями NVIDIA H100. Позднее дебютировали виртуальные машины A3 Mega с поддержкой конфиденциальных вычислений. А до конца текущего месяца клиенты получат доступ к A3 Ultra со значительно более высокой производительностью.

Представленные инстансы построены на серверах с новыми DPU Titanium ML, оптимизированными для высокопроизводительных облачных рабочих нагрузок ИИ. Заявленная пропускная способность RDMA-соединений GPU↔GPU достигает 3,2 Тбит/с (RoCE). Задействована фирменная платформа Google Jupiter с оптической коммутацией.

Источник изображений: Google

По сравнению с A3 Mega виртуальные машины A3 Ultra обеспечивают следующие преимущества:

• Двукратное повышение пропускной способности интерконнекта GPU↔GPU;
• До двух раз более высокая производительность инференса при работе с LLM;
• Возможность масштабирования до десятков тысяч GPU в кластере высокой плотности с оптимизированной производительностью для масштабных задач ИИ и HPC.

Инстансы A3 Ultra будут доступны через Google Kubernetes Engine (GKE). Кроме того, виртуальные машины войдут в состав Hypercompute Cluster — специализированной платформы, объединяющей передовые ИИ-технологии Google Cloud.

Отмечается также, что в начале 2025 года Google развернёт системы на базе NVIDIA GB200 NVL72. Ранее Google демонстрировала собственный вариант этого суперускорителя.

Частная инвестиционная компания Bain Capital из США приобрела 80 % акций европейского оператора ЦОД AQ Compute. По данным Datacenter Dynamics, сумма сделки не раскрывается, но бывший владелец контрольного пакета Aquila Group примет участие в дальнейших инвестициях и сохранит за собой 20 % акций.

Последняя основала AQ Compute в 2020 году, а первый ЦОД компании на 6 МВт открылся в Осло (Норвегия) в феврале 2024 года. Теперь его расширяют и на участке доступно уже 21 МВт. Предполагается, что в дальнейшем можно будет нарастить ёмкость до 171 МВт. Сейчас компания строит 60-МВт ЦОД в Барселоне (Испания) и Милане (Италия), объекты ориентированы на гиперскейлеров и ИИ-инфраструктуру.

После сделки Bain Capital и Aquila Group объявили, что намерены значительно ускорить расширение бизнеса в Европе. В Aquila Capital сообщили о намерении инвестировать сотни миллионов евро в общий проект. Aquila Group займётся развитием и Aquila Clean Energy, независимого поставщика «чистой» энергии.

Источник изображения: AQ Compute

Bain Capital владеет одним из крупнейших операторов дата-центров в Азии ChinData, якорным клиентом которого является ByteDance (TikTok). Bain купила ChinData в 2019 году, объединила её с Bridge Data Centres и вывела новую структуру на IPO в 2020 году, сохранив за собой долю в 42 %. Однако в прошлом году Bain вновь приватизировала ChinData в результате сделки по слиянию с дочерними структурами, процесс обошёлся в $3,16 млрд. С марта 2024 года Bain не оставляет попыток продать ChinData целиком или по частям. Кроме того, Bain Capital инвестировала в оператора DC Blox в США.

Amazon объявила результаты III квартала 2024 года, завершившегося 30 сентября, в котором облачные сервисы вновь стали одним из основных драйверов роста. Выручка Amazon составила $158,88 млрд, превысив показатель аналогичного квартала прошлого года на 11 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $157,2 млрд.

При этом выручка облачного подразделения Amazon Web Services (AWS) выросла на 19 % до $27,4 млрд, немного не дотянув до прогноза аналитиков StreetAccount в размере $27,52 млрд, пишет CNBC. Увеличение выручки AWS ускоряется уже пятый квартал подряд.

Доля ИИ-решений в выручке AWS составляет миллиарды долларов и более чем вдвое увеличилась по сравнению с прошлым годом, сообщил гендиректор Amazon Энди Джесси (Andy Jassy), ранее возглавлявший AWS: «Я считаю, что у нас больше спроса, чем мы могли бы удовлетворить, если бы у нас было ещё больше (вычислительных) мощностей сегодня». «Думаю, что сегодня у всех меньше мощностей, чем имеется спроса», — отметил он, добавив, что именно увеличение поставок чипов позволило бы решить эту проблему.

Источник изображений: AWS

Операционная прибыль AWS достигла $10,45 млрд, что на 50 % больше показателя годичной давности и составляет 60% операционной прибыли её материнской компании. Аналитики ожидали рост до $9,15 млрд. В отчётном квартале операционная маржа AWS, ключевой показатель прибыльности в процентах от продаж, достигла нового максимума в 38,1 %. Для сравнения, квартальная операционная маржа Google Cloud составила 17,1 % при прибыли в размере $1,9 млрд и выручке в $11,4 млрд.

Финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) назвал в числе факторов, повышающих маржу AWS ускорение спроса на её услуги и стремление к эффективности и контролю затрат во всём бизнесе, включая более продуманный найм персонала. Кроме того, он сообщил о продлении AWS в 2024 году срока службы своих серверов.

Олсавски рассказал, что Amazon ожидает около $75 млрд капитальных затрат в 2024 году, большая часть которых будет направлена на технологическую инфраструктуру, связанную в первую очередь с AWS. В свою очередь, Джесси предположил, что капитальные расходы компании будут ещё выше в 2025 году, отметив, что рост «действительно обусловлен генеративным ИИ», и добавив, что, по его мнению, инвестиции в конечном итоге окупятся.

«Наш бизнес в сфере ИИ — это многомиллиардный бизнес, рост которого исчисляется трехзначными процентами из года в год, и на данном этапе развития он растёт в три раза быстрее, чем AWS», — цитирует слова Джесси ресурс geekwire.com. Джесси отметил, что платформа в целом AWS тоже «росла довольно быстро».

Также в отчётном квартале AWS объявила в соцсети X о решении закрыть некоторые сервисы, включая CodeCommit. Гендиректор AWS Мэтт Гарман (Matt Garman) объяснил ресурсу TechCrunch, что AWS «не может инвестировать во всё подряд». В текущем квартале Amazon прогнозирует выручку в диапазоне от $181,5 до $188,5 млрд, что означает рост на 7–11 % в годовом исчислении. Средняя точка этого диапазона, $185 млрд, немного ниже консенсус-прогноза аналитиков в $186,2 млрд (LSEG).

NVIDIA стала самым быстрорастущим производителем ИИ-ускорителей, своим успехом стимулируя работу AMD, тоже желающей воспользоваться высоким спросом на ИИ-решения. А вот у Intel, по данным The Verge, рассчитывавшей заработать $1–2 млрд в 2024 году на ИИ-ускорителях Gaudi, похоже, не выйдет получить и $500 млн.

Об этом прямо заявил в ходе последнего отчёта года глава компании Пат Гэлсингер (Pat Galsinger). Хотя компания представила новейшие ускорители Gaudi3 в прошлом квартале, распространение Gaudi в целом было более медленным, чем ожидалось — на это повлиял переход с Gaudi2 на Gaudi 3 и специфика ПО. В 2025 году, как ожидается, поставки Gaudi3 тоже будут не столь велики, как планировалось ранее.

Несмотря на то, что заявленных целей добиться не получится, компания «остаётся воодушевлена» рынком ИИ. Хотя Гелсингер не скрыл разочарования, по его словам, имеется очевидная необходимость в более выгодных с точки зрения TCO ИИ-решениях на основе открытых стандартов, так что Intel будет работать над дальнейшим улучшением Gaudi.

Источник изображения: Intel

Гелсингер также выразил недовольство огромными расходами индустрии на чипы, нацеленные на обучение моделей в облаках, сравнив такую «тренировку ИИ» с «созданием погодной модели без её использования». В его видении ИИ необходимо интегрировать вообще во все чипы, что может оказаться важным в долгосрочной перспективе.

В прошлом квартале Intel анонсировала план снижения расходов на $10 млрд и увольнении более 15 тыс. человек. Также известно о структурных изменениях самого бизнеса, включая передачу подразделения, занятого edge-системами в Client Computing Group, которая вообще-то работает над решениями для настольных ПК и ноутбуков. Кроме того, предполагается интеграция команд разработчиков ПО в основные подразделения компании.

По словам Гелсингера, Intel будет фокусировать внимание на меньшем числе проектов, главной задачей станет максимизация ценности x86-франшизы на рынках клиентских устройств, периферийных вычислений и центров обработки данных.

Microsoft сообщила о результатах работы в I квартале 2025 финансового года, завершившемся 30 сентября. Показатели компании превысили прогнозы аналитиков, но её ожидания и планы вызвали опасения инвесторов, так что акции упали в четверг на 6 %. До этого акции компании падали столь значительно 26 октября 2022 года — на 7,7 %, за месяц до публичного релиза ChatGPT, после которого начался бум на ИИ.

В этот раз инвесторов не устроили планы компании по увеличению расходов на искусственный интеллект (ИИ) в текущем квартале и ожидаемое замедление роста облачного бизнеса Azure, что свидетельствует о том, что крупных инвестиций в ИИ было недостаточно, чтобы справиться с ограничениями мощности ЦОД компании — Microsoft попросту не хватает ресурсов для обслуживания заказчиков.

Выручка Microsoft выросла год к году на 16 % до $65,6 млрд, что выше средней оценки аналитиков в $64,5 млрд, которых опросила LSEG. Чистая прибыль увеличилась на 11 % до $24,67 млрд, в то время как аналитики прогнозировали $23,15 млрд. Чистая прибыль на акцию составила $3,30 при прогнозе Уолл-стрит в рамзере $3,10.

Сегмент Intelligent Cloud компании Microsoft, который охватывает облачные сервисы Azure, а также Windows Server, SQL Server, GitHub, Nuance, Visual Studio и корпоративные сервисы, показал рост выручки на 20 % в годовом исчислении до $24,1 млрд. Azure и другие облачные сервисы увеличили выручку на 33 %. При этом ИИ внес 12 п.п. в рост выручки Azure в отчётном квартале по сравнению с 11 п.п. в предыдущем трёхмесячном периоде.

Источник изображений: Microsoft

Большинство направлений бизнеса Microsoft показали значительный рост: LinkedIn — 10 %; продукты Dynamics и облачные сервисы — 14 %, в том числе Dynamics 365 — 18 %; серверные продукты и облачные сервисы — 23 %. Выручка Microsoft 365 Commercial Cloud выросла на 15 %, а потребительского Microsoft 365 и сопутствующих облачных сервисов — на 5 %.

Вместе с тем внешние поставщики запаздывают с поставкой инфраструктуры ЦОД для Microsoft, что означает, что компания не сможет удовлетворить спрос во II финансовом квартале. Бретт Иверсен (Brett Iversen), вице-президент Microsoft по связям с инвесторами, подтвердил, что Microsoft не сможет решить проблему ограничений мощности ИИ до II половины финансового года.

Microsoft прогнозирует замедление роста выручки Azure во II финансовом квартале до 31–32 %, что отстает от среднего роста в 32,25 %, ожидаемого аналитиками, согласно Visible Alpha.

Наряду с замедлением роста выручки Azure у инвесторов вызывает обеспокоенность и то, что Microsoft вкладывает огромные средства в создание инфраструктуры ИИ и расширение ЦОД. Microsoft заявила, что за квартал капитальные затраты выросли на 5,3 % до $20 млрд по сравнению с $19 млрд в предыдущем квартале. Это выше оценки Visible Alpha в размере $19,23 млрд. Сообщается, что в основном средства пошли на расширение ЦОД.

Всего за 2025 финансовый год, начавшийся в июле, по оценкам аналитиков Visible Alpha, компания потратит более $80 млрд, что на $30 млрд больше, чем в предыдущем финансовом году. Компания считается лидером среди крупных технологических компаний в гонке ИИ благодаря своему эксклюзивному партнёрству с OpenAI, разработчиком ИИ-чат-бота ChatGPT. Доход Microsoft от бизнеса ИИ пока невелик, хотя компания прогнозирует, что он станет более существенным. В текущем квартале компания планирует достичь выручки в размере $10 млрд в годовом исчислении.

Также Microsoft сообщила об отказе от предоставления клиентам в аренду ускорителей для обучения новых моделей ИИ, сделав приоритетным инференс. «На самом деле мы не продаем другим просто GPU для обучения [ИИ-моделей], — сказал Сатья Наделла (Satya Nadella). — Это своего рода бизнес, от которого мы отказываемся, потому что у нас очень большой спрос на инференс» для поддержки различных Copilot и других услуг ИИ.

Как сообщает The Register, финансовый директор Эми Худ (Amy Hood), в свою очередь заявила, что Microsoft рассматривает доход, полученный от инференса, как источник средств для оплаты будущих инициатив по обучению ИИ-моделей. Сейчас компания стремительно наращивает закупки суперускорителей NVIDIA GB200 NVL72, стремясь получить их до того, как они станут доступны другим игрокам. Кроме того, Azure станет посредником в процессе расширения ИИ-инфраструктуры OpenAI.

Облачная платформа VK Cloud объявила о внедрении так называемого «Верховного архитектора мультиоблака» — консультанта на основе ИИ, отвечающего за мгновенную техническую поддержку. Этот помощник в виде бота Telegram работает в круглосуточном режиме.

Отмечается, что ассистент обучен на масштабной базе знаний по продуктам VK Cloud объёмом более 6000 документов по 600 разделам. Помощник выполнен на базе LLM с RAG. При обучении консультанта были задействованы такие ИИ-технологии, как HyDE — для точного сопоставления запроса с документами, Router — для выбора наиболее подходящего направления поиска и Reranker — для дополнительной проверки и сортировки найденных ответов. Помощник работает только с публичной документацией и не имеет доступа к внутренним системам VK Cloud.

Ассистент готов помочь с любыми вопросами, связанными с работой облачной платформы VK Cloud. Задавать вопросы можно в произвольной форме, а в ответ он напишет подробные инструкции, скрипты, манифесты Terraform. Система постоянно обновляется с учетом изменений в сервисах и документации VK Cloud.

Источник изображения: VK Cloud

Среди преимуществ ИИ-бота названы глубокое понимание контекста, помощь в любое время дня и ночи, а также быстрые ответы, на генерацию которых требуются считаные секунды. Если консультант не сможет оперативно помочь, пользователь может обратиться в традиционную службу техподдержки. Фактически, как заявляет VK Cloud, это личный помощник разработчика и DevOps-инженера.