Amazon ведёт переговоры о продаже своих ИИ-ускорителей Trainium другим компаниям для использования в их ЦОД. Об этом сообщил Питер ДеСантис (Peter DeSantis), старший вице-президент по ИИ, разработке чипов и квантовым вычислениям Amazon, выступая на конференции VivaTech в Париже (Paris, Франция), о чём пишет Bloomberg. Он отказался назвать потенциальных клиентов, лишь отметив растущий за пределами США спрос на вычислительные ресурсы, управляемые локально.

Как сообщается, переговоры о продаже чипов находятся на ранней стадии. Начались они после ежегодного послания генерального директора Amazon Энди Джасси (Andy Jassy) акционерам в апреле, в котором он заявил, что Amazon рассматривает возможность продажи собственных ИИ-чипов сторонним компаниям, что усилит конкуренцию с NVIDIA и AMD. ДеСантис также рассказал, что решение о продаже чипов не вызывает у руководства Amazon опасений, что это ударит по доходам AWS от облачных сервисов. «В сфере ИИ наблюдается огромный дефицит ресурсов, — сказал он. — Меня это не беспокоит».

Источник изображения: Amazon

Рост спроса, особенно в Европе, привёл к призывам уменьшить зависимость от американских технологий или полностью отказаться от них. Комментируя призывы, ДеСантис заявил, что бизнес AWS никак не пострадал от этой тенденции. По его словам, ускорители Trainium3, поставки которых начались в начале этого года, «в значительной степени распроданы», и уже есть большой интерес к новому поколению Trainium4, которое, как ожидается, дебютирует в следующем году.

ДеСантис также отметил высокий спрос на Arm-процессоры Graviton, которые в больших масштабах будут использовать Meta✴, Pinterest, Snowflake и Uber. За последние три года, по словам Десантиса, Amazon добавила в свои вычислительные системы больше процессоров Graviton, чем любого другого типа чипов. Что касается Trainium, то у Amazon есть очень крупные контракты с Anthropic и OpenAI. Вместе с тем в качестве альтернативы GPU NVIDIA компания будет предлагать не только свои ускорители, но и царь-чипы Cerebras.

Источник изображения: Amazon

Как сообщает TechCrunch, AWS до сих пор не спешила с продажей своих ИИ-чипов по многим причинам. Самая главная заключается в том, что прибыль, которую она получает от них, имеет каскадный характер. Хотя AWS взимает плату с клиентов за токены ИИ, обрабатываемые этими чипами в её облаке, она также может взимать плату за множество других услуг, необходимых компаниям для их ИИ-приложений, включая хранение данных, безопасность, сетевые услуги и мониторинг.

Таким образом, число компаний, желающих занять долю рынка ИИ-ускорителей, на котором доминирует NVIDIA, продолжает увеличиваться. Напомним, что в апреле генеральный директор Alphabet Сундар Пичаи (Sundar Pichai) заявил, что Google начнёт поставлять TPU «избранной группе клиентов» для использования в их собственных ЦОД. Немалая часть из них достанется Anthropic. При этом важно отметить, что, как и в случае с AWS, Google является не только поставщиком, но и инвестором ИИ-стартапа.

Фотохостинг Pinterest объявил о значительном расширении сотрудничества с AWS, начавшемся в 2010 году. Согласно новому соглашению, Pinterest выплатит AWS в период до 2031 года $4 млрд за использование её сервисов, что является крупнейшим инфраструктурным проектом в истории Pinterest.

В рамках расширенного соглашения Pinterest планирует диверсифицировать использование инфраструктуры AWS для поддержки растущих потребностей в ИИ, одновременно улучшая соотношение цены и производительности. В частности, компания планирует использовать ускорители AWS Trainium для размещения и запуска больших языковых моделей и моделей визуального и языкового анализа, которые обеспечивают персонализированный визуальный поиск и поиск с помощью ИИ. Также Pinterest намерена расширить использование Arm-процессоров Graviton, которые уже обеспечивают работу примерно трети её вычислительной инфраструктуры, для запуска большего количества систем, поддерживающих поиск контента для пользователей фотохостинга, ежемесячная аудитория которого превышает 600 млн.

Источник изображения: Amazon

«Это расширенное соглашение с AWS дает нам гибкость в вычислениях, возможность выбора оборудования и эффективность инфраструктуры для ускорения нашего видения ИИ для следующего поколения визуального поиска в Pinterest», — сообщил Мэтт Мадригал (Matt Madrigal), технический директор Pinterest. В рамках соглашения Pinterest также планирует продолжить модернизацию инфраструктуры, переходя от традиционных сред на основе EC2 к архитектуре на основе Kubernetes в EKS. Это позволит повысить скорость разработки, а также операционную надёжность и эффективность инфраструктуры глобальной платформы Pinterest.

Ранее Amazon заключила соглашение о стратегическом партнёрстве с OpenAI, в рамках которого инвестирует в OpenAI $50 млрд. В свою очередь, OpenAI обязалась использовать около 2 ГВт мощностей на базе ускорителей Trainium, включая Trainium3 и чипы следующего поколения Trainium4, которые появятся в 2027 году. Ещё одно крупное соглашение подписано с Anthropic. Также у Amazon есть соглашение с Snowflake, которая планирует потратить в течение пяти лет $6 млрд на инфраструктурные проекты, в том числе на Graviton и ИИ-ускорители. Кроме того, Uber объявила этой весной о планах перенести определённые нагрузки на чипы Graviton и Trainium нового поколения, а Meta✴ получит «десятки миллионов» ядер Graviton5.

Amazon Web Services объявила о доступности инстансов Amazon EC2 M9g и M9gd на базе Graviton5. Amazon EC2 M9g были анонсированы в декабре. Базируясь на Graviton5 — первом процессоре AWS с поддержкой PCIe 6.0 и памяти DDR5-8800, — инстансы EC2 M9g и M9gd обеспечивают самую высокую скорость работы памяти среди всех процессорных экземпляров в облаке и в пять раз больший объём кеша L3 по сравнению с предыдущим поколением, говорит AWS.

Количество vCPU в инстансах варьируется от 1 до 192, объём оперативной памяти — от 4 до 768 ГиБ. Пропускная способность сетевого подключения составляет от 17 до 100 Гбит/с, пропускная способность томов EBS — от 12 до 72 Гбит/с.

Источник изображений: Amazon

В свою очередь, инстансы M9gd разработаны для рабочих нагрузок, требующих локального NVMe-хранилища, предлагая до 11,4 Тбайт SSD и обеспечивает на 30 % более высокую производительность I/O и хранения данных по сравнению с предыдущим поколением M8gd.

M9g и M9gd обеспечивают в среднем на 15 % большую пропускную способность сети и на 20 % большую пропускную способность EBS по сравнению с предыдущим поколением. В них использовуются DPU AWS Nitro шестого поколения, которые отвечают за виртуализацию, разгрузку сетевых функций и функций хранения.

Инстансы M9g и M9gd первыми получили поддержку нового механизма изоляции Nitro Isolation Engine, который расширяет возможности безопасности Nitro благодаря использования методов формальной верификации. Nitro Isolation Engine — это специализированный компонент, отвечающий за обеспечение изоляции между виртуальными машинами, включая регулирование всего доступа к памяти ВМ, состоянию регистров CPU и устройствам ввода-вывода через минимальный набор API. Он обеспечивает математически подтверждённую уверенность в том, что рабочие нагрузки работают изолированно друг от друга и от других клиентов AWS.

Инстансы M9g и M9gd доступны в регионах US East (N. Virginia), US East (Ohio), US West (Oregon) и Europe (Frankfurt). Их можно приобрести по тарифным планам Savings Plans, On-Demand, Spot Instances, Dedicated Instances и Dedicated Hosts.

Компания Snowflake, специализирующаяся на облачных решениях для обработки данных с использованием ИИ, объявила о заключении пятилетнего соглашения о стратегическом сотрудничестве (SCA) с AWS, в рамках которого обязалась потратить $6 млрд на многолетние инфраструктурные проекты, включая использование серверных Arm-процессоров Amazon Graviton, а также ИИ-ускорителей. Компании не раскрывают, о каком поколении Graviton идёт речь, сообщает The Next Web.

Для оценки, насколько крупной является сделка для компаний, ненамного больше — около $7 млрд — Snowflake получила выручки от своих сервисов через AWS Marketplace с момента основания компании в 2012 году. В 2020 году Snowflake объявила о пятилетнем облачном контракте с AWS на сумму $1,2 млрд, который впоследствии был увеличен до $2,5 млрд в 2023 году. Эта эволюция иллюстрирует растущую важность облачной инфраструктуры в развитии ИИ. Только в 2025 году расходы Snowflake на услуги AWS составили $2 млрд.

За последние несколько лет Snowflake перевела большую часть вычислительных ресурсов с процессоров Intel и AMD на инстансы на базе Graviton, отметил The Register. Согласно соглашению, Snowflake будет запускать и обучать свои модели и сервисы генеративного ИИ, используя комбинацию ускорителей, работающих в AWS, и Graviton.

Источник изображения: AWS

Сделка также отражает собственный рост Snowflake: в среду компания опубликовала финансовые результаты за I квартал 2027 финансового года, закончившийся 30 апреля, которые значительно превзошли прогнозы Уолл-стрит. Компания сообщила о скорректированной прибыли в 39 центов на акцию при выручке в $1,39 млрд (+33 % г/г). Аналитики, опрошенные LSEG, прогнозировали 32 цента на акцию прибыли и выручку в $1,32 млрд (по данным CNBC). Прогноз компании на текущий квартал также был оптимистичным. Snowflake прогнозирует во II финансовом квартале скорректированную операционную маржу на уровне 12,5 % при выручке в размере от $1,415 до $1,420 млрд. Прогноз аналитиков, опрошенных StreetAccount, по операционной марже составляет 11,9 %, по выручке от продажи продуктов — $1,37 млрд. После объявления о финансовых результатах и сделке с AWS акции Snowflake подскочили примерно на 38 %.

Обязательство Snowflake запускать свои облачные рабочие нагрузки на Graviton в масштабе является важным подтверждением жизнеспособности концепции Arm-серверов, которая незаметно меняет экономику облачной инфраструктуры уже пять лет, отметил The Next Web. Сделка подчёркивает растущую роль Arm-процессоров в ЦОД. IDC считает, что инвестиции Snowflake в AWS отражают то, как быстро корпоративные рабочие нагрузки ИИ адаптируются к потребностям долгосрочной инфраструктуры, пишет Data Center Knowledge. В ISG отмечают, что соглашение указывает на более широкий переход от экспериментальных развертываний ИИ к более долгосрочному спросу на инфраструктуру.

Источник изображения: AWS

Соглашение предоставляет Snowflake доступ к чипам AWS Graviton в то время, когда вычислительные мощности для ИИ ограничены, отметил ресурс GuruFocus. Оно также приближает инструменты Snowflake для хранения данных, аналитики и ИИ к AWS, где многие из её клиентов уже запускают свои рабочие нагрузки. Это важно для Snowflake, поскольку инвесторы опасались, что ИИ может навредить бизнесу традиционных компаний-разработчикой ПО, а не помочь им. Это обновление изменило ситуацию на Уолл-стрит. Snowflake заявила, что растёт спрос на такие инструменты, как Cortex Code и Snowpark, которые помогают компаниям создавать приложения ИИ и модели машинного обучения, используя собственные данные. Например, предлагаемая уже несколько лет Snowflake платформа Cortex AI может преобразовывать естественный язык в SQL-запросы, обобщать данные и проводить анализ настроений.

Что касается AWS, то сделка с Snowflake продолжила серию крупных инвестиций в ИИ-инфраструктуру. Anthropic взяла на себя крупные многолетние обязательства перед AWS; OpenAI в начале этого года подписала значимое соглашение с AWS, несмотря на продолжающееся сотрудничество с её конкурентом Microsoft Azure. В прошлом месяце AWS заключила соглашение с Meta✴ о поставке миллионов чипов Graviton для удовлетворения растущих потребностей компании в вычислительных мощностях для ИИ. Это стало большой победой для AWS, поскольку несколькими месяцами ранее Meta✴ заключила сделку с Google Cloud на $10 млрд.

Компания Meta✴, по сообщению The Register, объявила о расширении сотрудничества с облаком AWS. Речь идёт об использовании Arm-процессоров Graviton5 для поддержания определённых ИИ-нагрузок, в частности, агентных систем. Сама AWS говорит о невероятном спросе на собственные процессоры. Крупным заказчиком является, например, Uber.

AWS представила чипы Graviton5 в конце прошлого года. Эти изделия содержат 192 ядра Neoverse V3 (Poseidon), каждое из которых имеет 2 Мбайт кеша L2. Общий объём L3-кеша составляет 192 Мбайт. Присутствуют 12 каналов памяти DDR5-8800. Утверждается, что прирост производительности достигает 25 % по сравнению с процессорами Graviton предыдущего поколения.

Meta✴ намерена использовать для своих задач «десятки миллионов» ядер Graviton5. Таким образом, компания станет одним из крупнейших клиентов, применяющих чипы собственной разработки AWS. Руководитель отдела инфраструктуры Meta✴, заявил, что сотрудничество с AWS направлено на диверсификацию вычислительных ресурсов. По его словам, это необходимо в свете реализации масштабных проектов в области ИИ.

Источник изображения: AWS

Ранее Meta✴ объявила о стратегическом партнёрстве с компанией Arm Holdings, которое направлено на «масштабирование эффективности ИИ на каждом уровне вычислений, охватывающем ПО и инфраструктуру ЦОД». В частности, Meta✴ намерена использовать чипы Arm AGI, специально оптимизированные для агентного ИИ. Однако, как уточняет The Register, эти изделия начнут поступать в дата-центры Meta✴ не ранее конца текущего года, поэтому компания пока будет разворачивать соответствующие нагрузки на базе Graviton5 в облаке AWS.

Аналитики Counterpoint Research прогнозируют, что к 2029 году на Arm-решения будет приходиться до 90 % рынка серверных ASIC-изделий, ориентированных на ИИ. Между тем сама Meta✴ проектирует фирменные ИИ-ускорители MTIA, которые в зависимости от модификации могут применяться для обучения моделей, инференса и пр.

На этой неделе генеральный директор Amazon Энди Джасси (Andy Jassy) опубликовал ежегодное послание акционерам, в котором отметил высокий спрос на чипы собственной разработки. Если бы компания выделила их производство в отдельный бизнес с продажей чипов как самой AWS, так и сторонним клиентам, то его годовой оборот мог бы составить $50 млрд. Он допустил, что в будущем компания будет продавать их целыми партиями.

Джасси также сообщил, что два крупных клиента AWS обратились с просьбой выкупить всю мощность инстансов на Graviton на 2026 год, но компания отклонила эти запросы, и уточнил, что расчётная годовая выручка (Revenue Run Rate, RRR) Amazon на собственных чипах (Graviton, Trainiu, Nitro) составляет $20 млрд. По словам Джасси, 98 % из 1000 крупнейших клиентов EC2 используют чипы Graviton, а мощности ускорителей Trainium2 и Trainium3 «почти полностью зарезервированы». Также уже зарезервирована значительная часть мощностей на базе Trainium4, до массовой доступности которого ещё около 18 мес.

Согласно прогнозу Джасси, Trainium сэкономит компании «десятки миллиардов долларов капитальных затрат в год и обеспечит преимущество в несколько сотен базисных пунктов операционной прибыли по сравнению с использованием чипов других компаний для выполнения вычислений». Он также отметил, что, хотя расчётный годовой доход AWS в IV квартале 2025 года составил $142 млрд, 85 % глобальных ИТ-затрат по-прежнему приходится на решения on-premise. «Это изменится», — заявил Джасси.

Источник изображения: AWS

Спустя три года после начала волны развёртывания ИИ, годовой доход AWS (Revenue Run Rate, RRR) от ИИ в I квартале 2026 года превысил $15 млрд и продолжает расти. «И все же у нас по-прежнему есть ограничения по мощности, которые приводят к неудовлетворенному спросу», — говорит гендиректор Amazon. Он сообщил, что AWS будет расти ещё быстрее, если будет обеспечен большим объёмом электроэнергии. В 2025 году AWS получила 3,9 ГВт новых мощностей и намерена удвоить общую подведённую мощность к концу 2027 года.

AWS запустила один из крупнейших в мире ИИ-кластеров с около 500 тыс. чипов Trainium2, который будет использоваться ИИ-стартапом Anthropic. А первым из технологических гигантов разрешил использовать собственные чипы вне его инфраструктуры стала Google, благодаря чему Anthropic приобретёт около 1 млн Google TPU v7 (Ironwood) для запуска на контролируемых ею объектах (в Fluidstack). Примерно 400 тыс. чипов компания получит напрямую от Broadcom в составе стоечных систем.

Компания Uber сообщила о расширении использования облачной платформы Amazon Web Services (AWS). Оператор сервисов для вызова такси и частных водителей, а также доставки еды и грузов перенесёт определённые нагрузки на чипы AWS Graviton и Trainium нового поколения. Компания уже использует Arm-процессоры Ampere в облаке Oracle.

В частности, Uber будет использовать изделия Graviton4, насчитывающие до 96 ядер, для поддержания работы своих зон обслуживания поездок (Trip Serving Zones). Соответствующая инфраструктура функционирует в режиме реального времени: каждый раз, когда пользователь заказывает поездку или доставку, система рассчитывает оптимальный маршрут, выбирает подходящего водителя и определяет время. В часы пик и при проведении крупных мероприятий создаётся огромная вычислительная нагрузка: требуются анализ миллионов возможных сценариев поездок и обработка данных о местоположении пользователей и водителей. Ожидается, что применение Graviton4 позволит сократить задержки и оптимизировать затраты, а также обеспечит необходимую масштабируемость в периоды всплеска запросов без ущерба для надёжности, доступности или безопасности.

Источник изображения: AWS

Кроме того, Uber начнёт применять ускорители Trainium3 для обучения некоторых своих ИИ-моделей, которые лежат в основе приложений вызова такси и доставки. Эти изделия оснащены 144 Гбайт памяти HBM3E, а производительность на операциях FP8 достигает 2,52 Пфлопс. ИИ-модели Uber, как отмечается, анализируют данные миллиардов поездок для выбора водителя или курьера, оценки времени прибытия и генерации рекомендаций для пользователей. Обучение ИИ в таком масштабе требует колоссальных вычислительных возможностей: решения Trainium3, как подчёркивается, способны предоставить необходимые ресурсы.

«Uber — одно из самых требовательных приложений в мире, работающих в режиме реального времени. Мы помогаем Uber обеспечивать надёжность, на которую рассчитывают сотни миллионов людей, а также внедрять ИИ-функции, определяющие будущее сервисов совместных поездок и доставки по запросу», — говорит Рич Гераффо (Rich Geraffo), вице-президент и управляющий директор AWS в Северной Америке.

AWS анонсировала свой самый мощный на сегодняшний день серверный Arm-процессор — 3-нм 192-ядерный Graviton5. Новые инстансы M9g на базе Graviton5 отличаются более высокой производительностью благодаря впятеро большему общему L3-кешу и в 2,6 раза большему объёму кеша на ядро по сравнению с Graviton4, более высокой скорости памяти и повышенной пропускной способности сетевого подключения. Также компания снизила задержку передачи данных между ядрами на треть.

В Graviton5 появилась функция Nitro Isolation Engine с формальной верификацией изоляции исполняемых рабочих нагрузок друг от друга и от самой AWS. Процессоры предлагают полное шифрование памяти, расширенный предсказатель ветвлений, улучшенную подсистему предвыборки выделенные кеши для каждого vCPU и аутентификацию указателей (PAC). Кроме того, Graviton5 получили систему охлаждения на кристалле. Процессор содержит 172 млрд транзисторов.

Источник изображений: AWS

Процессор использует ядра Neoverse V3 (Poseidon) с ISA Armv9.2-A. Хотя сам чип монолитный, он разделён на два NUMA-домена для снижения задержек обращений к памяти. Каждому ядру полагается 2 Мбайт L2-кеша, а общий объём L3-кеша составляет 192 Мбайт — суммарно 576 Мбайт. Процессор имеет 12 каналов DDR5-8800, причём AWS работает с поставщиками памяти для валидации их DIMM. Также отмечено снижение задержки доступа до менее чем 100 нс. Для связи с внешним миром есть восемь контроллеров PCIe 6.0.

Как сообщается, клиенты AWS уже провели первые тесты Graviton5, показавшие прирост производительности от 25 до 60 % в зависимости от типа рабочей нагрузки. Помимо инстансов M9g в 2026 году также появятся инстансы C9g для ресурсоёмких вычислений и R9g с оптимизацией по памяти. Новые инстансы имеют в среднем на 15 % более высокую скорость сетевого подключения и на 30 % более высокую скорость доступа к EBS-томам (в том числе с шифрованием). Кроме того, они получили чипы Nitro 6, ответственные за виртуализацию, защиту и разгрузку сетевых функций и функция хранения.

Процессоры Graviton теперь обеспечивают более половины всех новых вычислительных мощностей, добавляемых в AWS третий год подряд, причем 98 % из 1000 ведущих клиентов EC2 уже используют эту архитектуру. Постепенно осваивают Arm и прямые конкуренты Amazon — Google активно портирует своё ПО на CPU Axion, у Microsoft недавно представила уже второе поколение процессоров Cobalt.

AWS представила инстансы EC2 C8gn, рассчитанные на ресурсоёмкие сетевые нагрузки. Они обеспечивают пропускную способность до 600 Гбит/с, что является самым высоким показателем среди оптимизированных для подобных задач экземпляров EC2. В основу новых инстансов положены фирменные процессоры Graviton4 и карты AWS Nitro шестого поколения.

CPU содержат 96 ядер Neoverse V2 (Demeter) с 2 Мбайт кеша L2 в расчёте на ядро. Экземпляры EC2 C8gn предоставляют от 1 до 192 vCPU, а объём оперативной памяти варьируется от 2 до 384 ГиБ. Пропускная способность сетевого подключения составляет от 25 до 600 Гбит/с, пропускная способность EBS — от 10 до 60 Гбит/с. Инстансы можно запускать через консоль управления AWS, интерфейс командной строки (AWS CLI) или AWS SDK.

Источник изображения: AWS

Отмечается, что экземпляры EC2 C8gn подходят для таких задач, как виртуальные брандмауэры, маршрутизаторы, балансировщики нагрузки, прокси-серверы, системы защиты от DDoS-атак, платформы аналитики больших данных и пр. AWS подчёркивает, что инстансы EC2 C8gn обеспечивают на 30 % более высокую вычислительную производительность по сравнению с EC2 C7gn на базе Graviton3. При этом процесс миграции на новые экземпляры не должен вызвать у клиентов сложностей, поскольку EC2 C8gn предлагают схожие соотношения vCPU и памяти. Инстансы EC2 C8gn уже доступны в регионах US East (Северная Вирджиния) и US West (Орегон).

Облачная платформа Amazon Web Services (AWS), по сообщению ресурса CNBC, готовит обновлённую модификацию своего серверного процессора Graviton4, а также ускоритель Trainium следующего поколения, предназначенный для ресурсоёмких приложений ИИ.

Оригинальная версия Graviton4 дебютировала в конце 2023 года. Изделие, разработанное подразделением Annapurna Labs в составе AWS, содержит 96 ядер Neoverse V2 Demeter с 2 Мбайт кеша L2 в расчёте на ядро. Используются 12 каналов памяти DDR5-5600. В общей сложности чип насчитывает 73 млрд транзисторов и изготавливается по 4-нм техпроцессу TSMC.

По имеющейся информации, у инстансов на базе обновлённой версии Graviton4 пропускная способность сетевой подсистемы увеличится в 12 раз — с нынешних 50 Гбит/с до 600 Гбит/с. Прочие технические характеристики готовящегося изделия не раскрываются, но известно, что информацию о сроках его доступности AWS раскроет до конца текущего месяца.

Источник изображения: AWS

Сообщается также, что ускоритель Trainium следующего поколения выйдет до конца текущего года. Нынешнее решение Trainium2, основанное на ядрах NeuronCore-V3, было представлено в ноябре 2023-го. Его производительность достигает 1,29 Пфлопс в режиме FP8. Утверждается, что быстродействие Trainium3 увеличится в два раза, то есть будет составлять до 2,58 Пфлопс (FP8).

Ранее появлялась информация, что энергопотребление Trainium3 может достигать 1000 Вт. Теперь говорится, что в плане энергетической эффективности ИИ-ускоритель нового поколения на 50 % превзойдёт предшественника. Возможно, имеется в виду быстродействие в расчёте на 1 Вт затрачиваемой энергии.