AWS намерена привлечь больше людей к разработке ИИ-приложений и фреймворков, использующих разработанные Amazon ускорители семейства Tranium. В рамках нового инициативы Build on Trainium с финансированием в объёме $110 млн академическим кругам будет предоставлен доступ к кластерам UltraClaster, включающим до 40 тыс. ускорителей, сообщает The Register.

В рамках программы Build on Trainium предполагается обеспечить доступ к кластеру представителям университетов, которые заняты разработкой новых ИИ-алгоритмов, которые позволяет повысить эффективность использования ускорителей и улучшить масштабирование вычислений в больших распределённых системах. На каком поколении чипов, Trainium1 или Trainium2, будут построены кластеры, не уточняется.

Источник изображений: AWS

Как поясняют в самом блоге AWS, исследователи могут придумать новую архитектуру ИИ-моделей или новую технологию оптимизации производительности, но у них может не оказаться доступа к HPC-ресурсам для крупных экспериментов. Не менее важно, что плоды трудов, как ожидается, будут распространяться по модели open source, поэтому от этого выиграет вся экосистема машинного обучения.

Впрочем, со стороны AWS альтруизма мало. Во-первых, $110 млн будут выданы выбранным проектам в виде облачных кредитов, такое происходит не впервые. Во-вторых, компания фактически пытается переложить часть своих задач на других людей. Кастомные чипы AWS, включая ИИ-ускорители для обучения и инференса, изначально разрабатывались для повышения эффективности выполнения внутренних задач компании. Однако низкоуровневые фреймворки и т.п. ПО не предназначены для того, чтобы с ними мог свободно работать широкий круг лиц как, например, происходит с NVIDIA CUDA.

Иными словам, AWS для популяризации Trainium необходимо более простое в освоение ПО, а ещё лучше готовые решения прикладных задач. Неслучайно Intel и AMD склонны предлагать разработчикам готовые оптимизированные под их ускорители фреймворки вроде PyTorch и TensorFlow, а не пытаться заставить их заниматься достаточно низкоуровневым программированием. AWS занимается тем же самым, предлагая продукты вроде SageMaker.

Во многом реализация проекта возможна благодаря новому интерфейсу Neuron Kernel Interface (NKI) для AWS Tranium и Inferentia, обеспечивающему прямой доступ к набору инструкций чипов и позволяющему исследователям строить оптимизированные вычислительные ядра для работы новых моделей, оптимизации производительности и инноваций в целом. Впрочем, учёным — в отличие от обычных разработчиков — часто интересно работать именно с низкоуровневыми системами.

Amazon Web Services (AWS) намерена инвестировать €1,2 млрд ($1,3 млрд) в расширение связанного с дата-центрами бизнеса в Италии. По данным Reuters, средства будут потрачены в течение следующих пяти лет и пойдут на расширение работы ЦОД в Милане. По данным AWS, инвестиции обеспечат до 5,5 тыс. рабочих мест до 2029 года в цепочке поставок ЦОД — в строительстве, обслуживании объектов, проектировании, телеком-сфере, а также в местной экономике в целом.

Дискуссии, связанные с будущими инвестициями AWS, ведутся в Италии как минимум с мая. Компания некоторые время размышляла, расширить кампус ЦОД в Милане или построить новый в Риме. По данным местных СМИ, компания выбрала расширение уже существующего региона. Утверждается, что Италия также может быть использована в качестве базы для предоставления вычислительных мощностей ИИ-проектам в Африки.

Источник изображения: Tom Podmore/unsplash.com

Свой первый в Италии облачный регион AWS ввела в эксплуатацию в 2020 году, пообещав инвестировать €2 млрд ($2,2 млрд) в страну к 2029 году. Впрочем, планы у Amazon большие. Она анонсировала намерение инвестировать €15,7 млрд ($17 млрд) в Испании, €7,8 млрд ($8,48 млрд) в Германии и £8 млрд ($10,45 млрд) в Великобритании.

К европейским рынкам демонстрируют неподдельный интерес и другие гиперскейлеры. В октябре Microsoft обязалась вложить €4,3 млрд ($4,75 млрд) в расширение облака и инфраструктуры ИИ ЦОД в Италии.

Amazon объявила о намерении продолжить реализацию проекта, предусматривающего строительство кампуса ЦОД AWS у АЭС Susquehanna в Пенсильвании. По данным Datacenter Knowledge, работы продолжатся даже после того, как регулятор FERC отклонил сделку с Talen Energy о предоставлении добавочной мощности объекту. Намерение продолжать развивать строительство ЦОД у АЭС подтвердила и Constellation Energy, подписавшая 20-летнее соглашение с Microsoft.

По последним данным FERC выступила против запроса Talen на увеличение поставок энергии для будущего кампуса AWS, который обошёлся в $650 млн и который со временем разрастётся до 15 зданий. В ответ на новость о запрете FERC акции американских энергокомпаний упали в цене, а инвесторы заявили, что решение регулятора помешают попыткам IT-гигантам получить быстрый доступ к атомной энергии для питания своих ЦОД. Однако после заявления о продолжении проекта акции Talen и Amazon выросли.

В рамках сделки кампус будет запитан напрямую от АЭС, что, по мнению других энергокомпаний, угрожает надёжности энергосетей и приведёт к росту тарифов для других потребителей. Ранее Talen получила право на отдачу кампусу 300 МВт, но увеличить мощность до 480 МВТ FERC запретила. AWS, как и другие гиперскейлеры, отчаянно нуждается в электроэнергии для поддержки роста ИИ ЦОД.

Источник изображения: Charlotte Venema/unsplash.com

Активно действуют и другие игроки рынка. Так, Constellation Energy намерена поддержать строительство ЦОД у своих электростанций, не оглядываясь на решение FERC по Susquehanna, передаёт DataCenter Dynamics. Но для этого потребуются реформы правил, регулирующих прозрачность, ценообразование и др. По словам компании, расположенные рядом с электростанциями дата-центры не повлияют на надёжность энергосетей — в случае необходимости выделенная ЦОД ёмкость будет отдаваться другим потребителям. При этом ЦОД всё равно должны будут платить сетевым операторам за транспортировку энергии.

Впрочем, решение FERC неблагоприятно повлияло и на рыночное положение Constellation, её акции значительно упали в цене, несмотря на хорошую выручку в III квартале 2024 года. Constellation очень заинтересована в ослаблении ограничений после подписания 20-летнего контракта на поставку 100 % энергии с АЭС Three Mile Island (Crane Clean Energy Center, CCEC) дата-центрам Microsoft.

Федеральная комиссия по регулированию энергетики США (FERC) отклонила наращивание поставок электроэнергии кампусу ЦОД Amazon (AWS) от АЭС Susquehanna. По данным Reuters, регулятор не исключает, что результатом предложенного компаниями соглашения станет рост цен на электричество для рядовых потребителей и падение надёжности энергосети.

Поправка, предложенная оператором энергосети PJM Interconnection, предусматривает изменение ISA-соглашения на поставку энергии. В сделке также участвуют владелец АЭС Susquehanna Nuclear (структура Talen) и владелец линий электропередач, соединяющий станцию с электрической сетью, PPL Corp. Ожидалось, что дата-центрам AWS сразу станет доступно 480 МВт вместо изначальных 300 МВт.

В марте AWS приобрела за $650 млн кампус ЦОД с максимально допустимой мощностью 960 МВт, расположенный вблизи АЭС Susquehanna в Пенсильвании. В будущем компания намерена построить на площади около 650 га сразу 15 зданий ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, которая будет расти с шагом в 120 МВт.

Источник изображения: Talen Energy

Хотя в поправке оператор сети уверял, что рост отдаваемой ЦОД мощности не повлияет на надёжность энергосети электропередач, он предупредил, что поставка свыше 480 МВт может вызвать перебои передачи от АЭС к дата-центрам. В будущем нагрузка может быть увеличена до 960 МВт, но только при повышении надёжности сети. Например, при возникновении в сети серьёзных проблем АЭС может отключить питание ЦОД, а использование резервного питания должно быть ограничено особыми случаями, одобренными PJM и PPL.

В июне против соглашения выступили энергокомпании AEP и Exelon. Они подали жалобу в FERC, возмущённые запросом на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры AWS. AEP и Exelon посчитали, что AWS всё равно будет пользоваться общей энергосетью Пенсильвании, но платить сборы за это не намерена. Сами участники сделки считают, что сторонних компаний она не касается. Опппоненты же уверены, что это опасный прецедент, несущий экономические и иные риски для других энергокомпаний и создающий финансовую нагрузку на других потребителей.

Как заявил комиссар FERC Марк Кристи (Mark Christie), соглашения о совместном размещении такого рода представляют собой сложный и многогранный вопрос. Они могут иметь серьёзно повлиять на надёжность энергосетей и стоимость электричества. Впрочем, единства нет даже в недрах самой FERC. При голосовании заявку отклонили двумя голосами против одного, а председатель FERC Вилли Филипс (Willie Phillips) выступил против запрета, указав на то, что такие меры могут подорвать доминирование США в гонке за первенство в сфере ИИ. По его словам, это шаг назад в деле защиты национальной безопасности.

Lumen Technologies и Amazon Web Services (AWS) объявили о сделке, которая обещает быть взаимовыгодной для обеих сторон. Финансовые условия соглашения не разглашаются.

В рамках сделки Lumen предоставит выделенную инфраструктуру Private Connectivity Fabric на базе частных ВОЛС между регионами и локальными зонами AWS в США. AWS продолжит развёртывать свои собственные сетевые решения на данных ВОЛС. Как указано в пресс-релизе, усовершенствованная сеть AWS обеспечит высокоскоростные и динамические соединения, которые предоставят клиентам возможность разрабатывать приложения генеративного ИИ, обучать ИИ-модели и поставлять новые продукты на базе ИИ по всему региону и в локальных зонах.

«ИИ меняет отрасли, и поддерживающая его сетевая инфраструктура должна быть такой же динамичной и отзывчивой, — сказала Кейт Джонсон (Kate Johnson), президент и генеральный директор Lumen Technologies. — Будучи доверенной сетью для ИИ, Lumen использует ВОЛС следующего поколения, чтобы помочь AWS предоставлять решения с высокой пропускной способностью, которые позволят их клиентам испытать и реализовать весь потенциал ИИ».

Источник изображения: Lumen Technologies

Также в рамках сделки Lumen переместит свои продуктовые и IT-платформы в облако AWS. В будущем Lumen сможет применять ИИ-технологии Amazon, включая сервис Bedrock, для лучшего планирования и оптимизации работы сети. Это обеспечит Lumen полную видимость своей сети, позволит повысить качество обслуживания клиентов и сократить расходы. В Lumen планируют перейти на автономную сетевую платформу на базе генеративного ИИ, которая позволит динамически управлять распределением ресурсов, а также быстро выявлять и решать проблемы, связанные с обслуживанием и сетью. «С AWS мы можем поддерживать нашу трансформацию и удовлетворять растущие потребности наших клиентов», — сказала Джонсон.

В пресс-релизе также отмечено, что Lumen и AWS уже много лет являются партнёрами. Имея статус провайдера AWS MSP (Managed Service Provider), Lumen помогает клиентам переносить рабочие нагрузки в AWS, обеспечивая плавный переход к их облачной инфраструктуре.

Lumen управляет инфраструктурой, включающей более чем 423 тыс. км оптоволоконных линий связи. Компания стремится извлечь выгоду из растущего спроса на ИИ-технологии, чтобы компенсировать падение выручки от устаревших направлений бизнеса, включя предоставление голосовых, широкополосных и других сервисов для предприятий и частных лиц.

Недавно компания объявила о заключении подобных сделок с Meta✴ и Microsoft, причём в Azure она тоже перенесёт часть нагрузок. Кейт Джонсон заявила в интервью Bloomberg TV, что сети этих компаний не отвечают их потребностям в экономике ИИ, поскольку недостаточно велики, недостаточно быстры и недостаточно безопасны, но Lumen под силу исправить эти проблемы. В августе Lumen сообщила, что благодаря буму вокруг ИИ получила новые заказы на сумму $5 млрд и ведёт «активные переговоры с клиентами», чтобы заключить сделки ещё на $7 млрд.

Amazon объявила результаты III квартала 2024 года, завершившегося 30 сентября, в котором облачные сервисы вновь стали одним из основных драйверов роста. Выручка Amazon составила $158,88 млрд, превысив показатель аналогичного квартала прошлого года на 11 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $157,2 млрд.

При этом выручка облачного подразделения Amazon Web Services (AWS) выросла на 19 % до $27,4 млрд, немного не дотянув до прогноза аналитиков StreetAccount в размере $27,52 млрд, пишет CNBC. Увеличение выручки AWS ускоряется уже пятый квартал подряд.

Доля ИИ-решений в выручке AWS составляет миллиарды долларов и более чем вдвое увеличилась по сравнению с прошлым годом, сообщил гендиректор Amazon Энди Джесси (Andy Jassy), ранее возглавлявший AWS: «Я считаю, что у нас больше спроса, чем мы могли бы удовлетворить, если бы у нас было ещё больше (вычислительных) мощностей сегодня». «Думаю, что сегодня у всех меньше мощностей, чем имеется спроса», — отметил он, добавив, что именно увеличение поставок чипов позволило бы решить эту проблему.

Источник изображений: AWS

Операционная прибыль AWS достигла $10,45 млрд, что на 50 % больше показателя годичной давности и составляет 60% операционной прибыли её материнской компании. Аналитики ожидали рост до $9,15 млрд. В отчётном квартале операционная маржа AWS, ключевой показатель прибыльности в процентах от продаж, достигла нового максимума в 38,1 %. Для сравнения, квартальная операционная маржа Google Cloud составила 17,1 % при прибыли в размере $1,9 млрд и выручке в $11,4 млрд.

Финансовый директор Amazon Брайан Олсавски (Brian Olsavsky) назвал в числе факторов, повышающих маржу AWS ускорение спроса на её услуги и стремление к эффективности и контролю затрат во всём бизнесе, включая более продуманный найм персонала. Кроме того, он сообщил о продлении AWS в 2024 году срока службы своих серверов.

Олсавски рассказал, что Amazon ожидает около $75 млрд капитальных затрат в 2024 году, большая часть которых будет направлена на технологическую инфраструктуру, связанную в первую очередь с AWS. В свою очередь, Джесси предположил, что капитальные расходы компании будут ещё выше в 2025 году, отметив, что рост «действительно обусловлен генеративным ИИ», и добавив, что, по его мнению, инвестиции в конечном итоге окупятся.

«Наш бизнес в сфере ИИ — это многомиллиардный бизнес, рост которого исчисляется трехзначными процентами из года в год, и на данном этапе развития он растёт в три раза быстрее, чем AWS», — цитирует слова Джесси ресурс geekwire.com. Джесси отметил, что платформа в целом AWS тоже «росла довольно быстро».

Также в отчётном квартале AWS объявила в соцсети X о решении закрыть некоторые сервисы, включая CodeCommit. Гендиректор AWS Мэтт Гарман (Matt Garman) объяснил ресурсу TechCrunch, что AWS «не может инвестировать во всё подряд». В текущем квартале Amazon прогнозирует выручку в диапазоне от $181,5 до $188,5 млрд, что означает рост на 7–11 % в годовом исчислении. Средняя точка этого диапазона, $185 млрд, немного ниже консенсус-прогноза аналитиков в $186,2 млрд (LSEG).

Государственные китайские организации используют облачные сервисы Amazon, Microsoft и их конкурентов для доступа к передовым американским чипам и технологиям ИИ, пишет Reuters со ссылкой на тендерную документацию, размещённую в общедоступных китайских базах данных. О попытках китайских компаний получить доступ к ИИ-ускорителям на территории США в условиях запрета на их поставки в Китай сообщалось и ранее.

Правительство США ограничивает экспорт высокопроизводительных чипов ИИ в КНР в течение последних двух лет в связи с потенциальной возможностью их использования для укрепления военного потенциала Поднебесной. Однако предоставление доступа к таким чипам или передовым ИИ-моделям в облаках не является нарушением законодательства США, которым регулируется в данном случае только экспорт или передача товара, ПО или технологии, отметило Reuters.

Согласно 50 тендерным документам, с которыми ознакомилось агентство, по крайней мере 11 китайских организаций пытались получить доступ к подпадающим под ограничение технологиям США или облачным сервисам. В четырёх случаях Amazon Web Services (AWS) явно названа поставщиком облачных услуг, хотя компании получили доступ к облачным услугам через посредников, а не напрямую у AWS. Таким образом, не только китайские компании обходят ограничения, но и американские компании извлекают выгоду из растущего в Китае спроса на вычислительные мощности.

Источник изображения: Mark Daynes / Unsplash

«AWS соблюдает все применимые законы США, включая торговые законы, в отношении предоставления услуг AWS внутри и за пределами Китая», — заявил представитель облачного бизнеса Amazon. По данным Synergy Research Group, AWS контролирует почти треть мирового рынка облачной инфраструктуры. А согласно данным исследовательской компании IDC, AWS является в Китае шестым по величине поставщиком облачных услуг.

«Эта лазейка беспокоит меня уже годы, и нам давно пора её устранить», — заявил агентству Reuters председатель Комитета по иностранным делам Палаты представителей США Майкл Маккол (Michael McCaul), имея в виду удалённый облачный доступ иностранных субъектов к передовым вычислительным решениям США. В апреле в Конгресс США был внесён законопроект, дающий Министерству торговли полномочия регулировать удалённый доступ к технологиям США, но пока неясно, будет ли он принят и когда.

В январе Министерство торговли США также предложило изменения в законодательства с требованием к сервисам облачных вычислений проверять пользователей крупных моделей ИИ и сообщать регулирующим органам об обучения крупных моделей ИИ, способных на «злонамеренную киберактивность». Поправки также дают ведомству право налагать запрет на доступ тех или иных клиентов. Но этот документ всё ещё находится в стадии доработки.

Источник изображения: Eric Prouzet / Unsplash

Китайские организации также стремятся получить доступ к облачным сервисам Microsoft. Например, в апреле Сычуаньский университет указал в тендерной документации, что он создаёт платформу генеративного ИИ и закупает 40 млн токенов Microsoft Azure OpenAI. В мае токены поставила компания Sichuan Province Xuedong Technology Co Ltd. В связи с этим OpenAI сообщила Reuters, что её собственные сервисы не поддерживаются в Китае, а сервисы Azure OpenAI работает в соответствии с политикой Microsoft.

Наконец, Институт перспективных исследований Сучжоуского университета науки и технологий Китая (USTC) сообщил в тендерной документации в марте этого года, что хотел бы арендовать 500 облачных серверов с восемью ускорителями NVIDIA A100 в каждом. Согласно апрельским документам, тендер был выполнен компанией Hefei Advanced Computing Center Operation Management Co Ltd, но в них не был указан поставщик облачных услуг, и Reuters не удалось его идентифицировать. USTC был добавлен Минторгом США в чёрный список Entity List в мае этого года из-за получения доступа к американской технологии квантовых вычислений, которая могла бы использоваться военно-промышленным комплексом Китая и помочь в развитии ядерной программы.

Согласно тендерным документам, Amazon предоставляет китайским организациям доступ не только к передовым ИИ-чипам, но и к передовым моделям ИИ, таким как Claude от Anthropic, к которым они не могут получить доступ иным образом, пишет Reuters. Да и сама AWS в сообщениях на китайском языке подчёркивает возможность опробовать «модели ИИ мирового класса» и упоминает китайскую игровую фирму Source Technology как одного из своих клиентов, использующих Claude. После того как Reuters обратилось к Amazon за разъяснением, компания добавила в десятки постов на своих китаеязычных каналах примечание о том, что некоторые из услуг недоступны в китайских облачных регионах. Она также удалила несколько рекламных постов, включая пост об Source Technology.

Amazon Web Services Inc. сообщила об отмене так называемой «платы за выход», которую взимала с клиентов при перемещении больших объёмов данных из своего облака в связи с переходом на другую платформу. Ранее о таком же решении объявила Google Cloud.

Компания заявила в своём блоге, что предложение нацелено на пользователей, которые хотят навсегда перенести большие объёмы данных из AWS. Как полагает ресурс SiliconANGLE, решение AWS связано с требованиями Европейского закона о данных (EU Data Act), принятого в январе этого года и заставившего облачных провайдеров упростить переход клиентов к конкурентам. Требования закона вступят в силу позже в этом году. Вместе с тем в AWS заявили, что её предложение также распространяется на клиентов, использующих мультиоблачный подход, и на тех, кто хочет вернуть свои данные назад.

До этого AWS позволила клиентам бесплатно выгружать до 100 Гбайт данных со своих облачных платформ, но для крупнейших клиентов этого было явно недостаточно. Плата за исходящий трафик была значительной, и они фактически оказались заложниками облака Amazon.

Источник изображения: AWS

Компания сообщила в своем блоге, что клиентам, прежде чем перенести свои данные на альтернативную платформу, необходимо будет связаться с сотрудниками службы поддержки. После утверждения заявки клиента ему будет предоставлено достаточное количество кредитов на передачу данных для выполнения миграции. Предоставленные кредиты DTO будут действительны в течение 60 дней. За это время клиент должен полностью завершить переход.

Подход к миграции Amazon почти такой же, как у Google Cloud, хотя есть различия. Google Cloud тоже требует, чтобы клиенты получили одобрение, прежде чем приступить к реализации перехода, но настаивает на том, чтобы клиенты полностью закрыли свои учётные записи, чтобы можно было претендовать на предоставление кредитов, тогда как AWS этого не делает.

Облачный гигант Amazon Web Services (AWS) приобрёл у Talen Energy Corporation кампус ЦОД, строящийся у атомной электростанции Susquehanna в Пенсильвании (США). По данным Datacenter Dynamics, ещё на минувшей неделе Talen объявила о продаже кампуса «крупному облачному провайдеру». В презентации для инвесторов было раскрыто, что речь идёт об AWS.

Кампус Cumulus Data площадью более 485 га впервые анонсировали ещё в 2021 году — он находится в непосредственной близости от принадлежащей Talen АЭС мощностью 2,5 ГВт. Компания начала строительство в 2021 году и завершила первый объект гиперскейл-уровня на 28,9 тыс. м² и 48 МВт в 2023 году. Параллельно возводилась отдельная ферма для криптомайнинга для компании TeraWulf, но она, похоже, не является частью сделки с Amazon.

Изображение: Cumulus Data

Площадка и активы Cumulus Data проданы за $650 млн — $350 млн выплачены сразу, ещё $300 млн будут выплачены после завершения этапов строительства, запланированных на 2024 год. Дополнительно предусмотрена и гарантированная продажа «безуглеродной» электроэнергии станции Susquehanna по фиксированной цене, которая может быть пересмотрена только через 10 лет. В Talen уже сообщили, что довольны сделкой, которая принесла выгода и обеспечила возврат инвестиций.

Источник: Talen Energy

Ожидается, что в конечном итоге ёмкость кампуса AWS достигнет 960 МВт. У компании есть обязательства по минимальному потреблению энергии, они будут увеличиваться в течение нескольких лет с шагом в 120 МВт. Впрочем, у AWS остаётся возможность единовременно ограничить обязательства лимитом в 480 МВт. В рамках сделки предусмотрены и другие договорённости. Например, Talen обязуется поставлять с АЭС электричество кампусу AWS в рамках PPA.

Электростанция Susquehanna Steam Electric мощностью 2,5 ГВт была сдана в эксплуатацию в 1983 году — это одна из крупнейших атомных станций в США. Теперь ей владеет Talen Energy, основанная в 2015 году. В 2020 году компания основала Cumulus Growth для инвестиций «на стыке цифровой инфраструктуры и энергетики», а также Cumulus Coin, занимающуюся майнингом криптовалют. В России с 2018 года действует дата-центр «Калининский», расположенный у одноимённой АЭС в Тверской области.

Amazon Web Services представила Arm-процессор нового поколения Graviton4 и ИИ-ускоритель Trainium2, предназначенный для обучения нейронных сетей. Всего к текущему моменту компания выпустила уже 2 млн Arm-процессоров Graviton, которыми пользуются более 50 тыс. клиентов.

Amazon Graviton4 (Изображение: AWS)

«Graviton4 представляет собой четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, который мы когда-либо создавали для широкого спектра рабочих нагрузок», — отметил Дэвид Браун (David Brown), вице-президент по вычислениям и сетям AWS. По сравнению с Graviton3 новый чип производительнее на 30 %, включает на 50 % больше ядер и имеет на 75 % выше пропускную способность памяти.

Изображение: AWS

Graviton4 будет иметь до 96 ядер Neoverse V2 Demeter (2 Мбайт L2-кеша на ядро) и 12 каналов DDR5-5600. Кроме того, новый чип получит поддержку шифрования трафика для всех своих аппаратных интерфейсов. Процессор изготавливается по 4-нм техпроцессу TSMC, включает 73 млрд транзисторов и, вероятно, имеет чиплетную компоновку. Возможно, это первый CPU компании, ориентированный на работу в двухсокетных платформах.

Изображение: AWS

Поначалу Graviton4 будет доступен в инстансах R8g (пока в статусе превью), оптимизированных для приложений, интенсивно использующих ресурсы памяти — высокопроизводительные базы данных, in-memory кеши и Big Data. Эти инстансы будут поддерживать более крупные конфигурации, иметь в три раза больше vCPU и в три раза больше памяти по сравнению с инстансами Rg7, которые имели до 64 vCPU и 512 Гбайт ОЗУ.

Amazon Trainium2 (Изображение: AWS)

В свою очередь, Trainium 2 предназначен для обучения больших языковых моделей (LLM) и базовых моделей. Сообщается, что ускоритель в сравнении с Trainium 1 вчетверо производительнее и при этом имеет в 3 раза больший объём памяти и в 2 раза более высокую энергоэффективность. Инстансы EC2 Trn2 получат 16 ИИ-ускорителей с возможностью масштабирования до 100 тыс. единиц в составе EC2 UltraCluster, которые суммарно дадут 65 Эфлопс, то есть по 650 Тфлопс на ускоритель. Как утверждает Amazon это позволит обучать LLM с 300 млрд параметров за недели вместо месяцев.

Со временем на Graviton4 заработает SAP HANA Cloud, портированием и оптимизацией этой платформы уже занимаются. Oracle также перенесла свою СУБД на Arm, а заодно перевела все свои облачные сервисы на чипы Ampere, в которую в своё время инвестировала. Microsoft же пошла по пути AWS и недавно анонсировала 128-ядерый Arm-процессор (Neoverse N2) Cobalt 100 и ИИ-ускоритель Maia 100 собственной разработки. Всё это может представлять отдалённую угрозу для AMD и Intel. С NVIDIA же все всё равно пока что продолжают дружбу — именно в инфраструктуре AWS, как ожидается, появится самый мощный в мире ИИ-суперкомпьютер на базе новых GH200.