Материалы по тегу: tpu

26.11.2025 [00:54], Владимир Мироненко

Планы Meta✴ использовать ИИ-ускорители Google TPU ударили по акциям NVIDIA

Во вторник рынок ценных бумаг компаний в сфере ИИ пришёл в движение после появления в понедельник публикации ресурса The Information о том, что Meta ведёт переговоры с Google об использовании ИИ-ускорителей TPU в её ЦОД в 2027 году. По данным источника ресурса, стороны также обсуждают возможность аренды этих чипов в Google Cloud уже в следующем году, что являются частью более масштабной стратегии Google по привлечению клиентов к использованию TPU в её облаке.

Этот шаг ознаменует собой отход от текущей стратегии Google, нацеленной на использование TPU только в собственных ЦОД, что приведёт к обострению конкуренции на многомиллиардном рынке ИИ-ускорителей, отметило агентство Reuters. В Google Cloud предположили, что эта стратегия может помочь компании получить до 10 % годовой выручки NVIDIA, т.е. миллиарды долларов, говорится в публикации The Information.

Заключение сделки станет сигналом о растущем спросе на чипы Google и потенциальной возможности бросить в будущем вызов доминированию NVIDIA на рынке, тем более что Google ранее договорилась о поставке Anthropic до 1 млн чипов TPU, пишет Bloomberg. О таком развитии событий аналитики говорили ещё в прошлом году, а уже в этом году появились слухи, что Google готова предложить свои чипы другим провайдерам. Впрочем, Anthropic получила и полмиллиона фирменных ускорителей AWS Trainium.

 Источник изображения: Google

Источник изображения: Google

Новость о переговорах вызвала падение во вторник акций NVIDIA на 4,3 %. Акции Alphabet, материнской компании Google, выросли на 4,2 % после более чем 6 % роста в понедельник. Акции Broadcom, участвующей в разработке TPU, выросли более чем на 2 % на премаркете во вторник после роста на 11 % накануне, сообщил CNBC. «Google Cloud испытывает растущий спрос как на наши собственные TPU, так и на GPU NVIDIA; мы намерены поддерживать обе платформы, как и делали это много лет», — заявил представитель Google телеканалу CNBC.

Акции AMD, ранее считавшейся наиболее реальным конкурентом NVIDIA на рынке GPU, во вторник упали на 7,5 %. Акции разработчика чипов Arm упали на 4,2 %. Акции компаний в Азии, связанных с Alphabet, выросли в начале торгов во вторник. В Южной Корее акции IsuPetasys Co., которая поставляет многослойные платы для Alphabet, подскочили на 18 %, установив новый рекорд роста в течение дня. На Тайване акции MediaTek выросли почти на 5 %.

В последние месяцы Google набрала обороты, сумев привлечь Berkshire Hathaway, принадлежащую Уоррену Баффету (Warren Buffett), в качестве инвестора, превратив облачное подразделение в двигатель роста и получив высокие первые отзывы о своей новейшей модели Gemini 3. Предоставление чипов NVIDIA в аренду клиентам является крупным источником дохода для ее облачного подразделения, пишет Reuters.

Чтобы справиться с доминированием NVIDIA, компании потребуется преодолеть почти двадцатилетнюю историю NVIDIA CUDA, которая затрудняет вытеснение её экосистемы. Более 4 млн разработчиков по всему миру используют CUDA для создания ИИ-приложений и других программ. Кроме того, Google должно хватать TPU на всех клиентов. Следует учесть и то, что Meta разрабатывает собственные ИИ-ускорители MTIA.

UPD 01.12.2025: Сайнин Се (Saining Xie), бывший сотрудник ИИ-лаборатории Meta FAIR (Fundamental AI Research), сообщил, что Meta использовала Google TPU как минимум с 2020 года, однако из-за малого интереса среди других разработчиков внутри компании в начале 2023 года она отказалась от контракта с Google Cloud. Примерно за год до этого Meta анонсировала создание самого мощного на тот ИИ-суперкомпьютера в мире — RSC (Research SuperCluster).

Постоянный URL: http://servernews.ru/1132948
07.11.2025 [14:16], Владимир Мироненко

Google объявила о доступности фирменных ИИ-ускорителей TPU Ironwood и кластеров на их основе

Google объявила о доступности в ближайшие недели ИИ-ускорителя седьмого поколения TPU v7 Ironwood, специально разработанного для самых требовательных рабочих нагрузок: от обучения крупномасштабных моделей и сложного обучения с подкреплением (RL) до высокопроизводительного ИИ-инференса и обслуживания моделей с малой задержкой.

Google отметила, что современные передовые ИИ-модели, включая Gemini, Veo, Imagen от Google и Claude от Anthropic, обучаются и работают на TPU. Многие компании смещают акцент с обучения этих моделей на обеспечение эффективного и отзывчивого взаимодействия с ними. Постоянно меняющаяся архитектура моделей, рост агентных рабочих процессов и практически экспоненциальный рост спроса на вычисления определяют новую эру инференса.

В частности, ИИ-агенты, требующие оркестрации и тесной координации между универсальными вычислениями и ускорением машинного обучения, создают новые возможности для разработки специализированных кремниевых процессоров и вертикально оптимизированных системных архитектур. TPU Ironwood призван обеспечить новые возможности для инференса и агентных рабочих нагрузок.

 Источник изображений: Google

Источник изображений: Google

TPU Ironwood был представлен в апреле этого года. По данным Google, он обеспечивает десятикратное увеличение пиковой производительности по сравнению с TPU v5p и более чем четырёхкратное увеличение производительности на чип как для обучения, так и для инференса по сравнению с TPU v6e (Trillium), что делает Ironwood самым мощным и энергоэффективным специализированным кристаллом компании на сегодняшний день. Ускорители объединяются в «кубы» — 64 шт. TPU в 3D-торе, объединённых интерконнектом Inter-Chip Interconnect (ICI) со скоростью 9,6 Тбит/с на подключение.

Google сообщила, что на базе Ironwood можно создавать кластеры, включающие до 9216 чипов (42,5 Эфлопс в FP8), объединённых ICI с агрегированной скоростью 88,5 Пбит/с с доступом к 1,77 Пбайт общей памяти HBM, преодолевая узкие места для данных даже самых требовательных моделей. Компания отметила, что в таком масштабе сервисы требуют бесперебойной доступности. Её гарантирует технология оптической коммутации (OCS), которая реализуется как динамическая реконфигурируемая инфраструктура. А если клиенту требуется больше мощности, Ironwood масштабируется в кластеры из сотен тысяч TPU.

Своим клиентам, пользующимся решениями на TPU, компания предлагает возможности Cluster Director в Google Kubernetes Engine. Это включает в себя расширенные возможности обслуживания и понимания топологии для интеллектуального планирования и создания высокоустойчивых кластеров.

Для предобучения и постобучения компания предлагает новые улучшения MaxText, высокопроизводительного фреймворка LLM с открытым исходным кодом, которые упрощают внедрение новейших методов оптимизации обучения и обучения с подкреплением, таких как контролируемая тонкая настройка (SFT) и оптимизация политики генеративного подкрепления (GRPO) — алгоритм обучения с подкреплением (RL). Также улучшена поддержка vLLM, что позволит с минимальными усилиями перенести инференс с GPU на TPU. А GKE Inference Gateway позволит снизить задержку выдачи первого токена (TTFT). Никуда не делась и поддержка JAX с PyTorch.

Постоянный URL: http://servernews.ru/1132017
05.11.2025 [14:55], Руслан Авдеев

Project Suncatcher: Google рассказала о проекте масштабируемой ИИ-инфраструктуры в космосе

Google рассказала об инициативе Project Suncatcher, предусматривающей использование группировок спутников-ЦОД на основе фирменных ИИ-ускорителей TPU. Предполагается, что спутники будут работать на солнечной энергии, в изобилии поступающей в околоземное пространство, сообщает пресс-служба техногиганта. Спутники будут связаны оптическими каналами.

Размещать спутники в космосе компания намерена не случайно. При выборе подходящей орбиты солнечная панель может быть в восемь раз производительнее, чем на Земле и генерировать электричество практически непрерывно, не завися от погодных условий, что сведёт к минимуму потребность в использовании аккумуляторов.

В будущем космос может стать оптимальным местом для масштабных ИИ-вычислений. Project Suncatcher предполагает создание относительно небольших спутниковых группировок с питанием от солнечных элементов, оснащённых TPU-ускорителями. Возможность использования оптических соединений друг с другом обеспечивает огромный потенциал масштабирования. Кроме того, к минимуму сводится воздействие на земные ресурсы.

Компания опубликовала документ Towards a future space-based, highly scalable AI infrastructure system design, в котором описала прогресс в решении фундаментальных задач, связанных с реализацией проекта, включая высокоскоростную связь между спутниками. Учитываются орбитальная динамика и влияние радиации на вычислительные компоненты. Модульная структура обеспечит создание высокомасштабируемой ИИ-инфраструктуры в космосе в будущем.

 Источник изображения: Javier Miranda/unsplash.com

Источник изображения: Javier Miranda/unsplash.com

Предлагаемая система представляет собой сеть спутников на солнечно-синхронной низкой околоземной орбите, которые будут практически постоянно находиться под солнечными лучами. Выбор орбиты позволяет максимально эффективно использовать солнечную энергию и снизить потребность в использовании тяжёлых бортовых аккумуляторов. Тем не менее, предстоит решить ряд задач на пути к цели.

Сначала необходимо обеспечить высокоскоростные оптические соединения с низкой задержкой в рамках распределённого космического ЦОД. Для того, чтобы производительность была сопоставима с земными аналогами, необходимо обеспечить связь в десятки терабит в секунду. Этого, возможно, удастся добиться с помощью спектрального уплотнения (DWDM) и пространственного мультиплексирования.

Впрочем, для обеспечения необходимой пропускной способности необходима мощность сигнала в тысячи раз выше, чем в традиционных системах дальнего радиуса действия. Ожидается, что частично решить проблему можно будет, разместив спутники очень близко друг к другу (километры или даже меньше). Компания уже начала стендовые испытания подходящих технологий и добилась с парой приёмопередатчиков скорости передачи 800 Гбит/с в каждом направлении (всего 1,6 Тбит/с).

Также пришлось разработать модели орбитальной динамики близко расположенных спутников, поскольку те должны летать гораздо более «компактно», чем любая существующая система. На динамику орбит, например, влияют несферичность гравитационного поля Земли и потенциальное сопротивление разреженной атмосферы при их движении. Модели показывают, что при размещении спутников на расстоянии в сотни метров друг от друга, скорее всего, потребуются лишь незначительные манёвры по поддержанию стабильности группировок в пределах нужной орбиты.

Стоит отметить и необходимость обеспечения устойчивости TPU к условиям низкой околоземной орбиты. TPU v6e Trillium прошёл испытания в пучке протонов с энергией 67 МэВ для проверки их устойчивости к радиации. Наиболее чувствительными компонентами оказались HBM-модули, но в целом результаты оказались многообещающими для компонентов «из коробки» — TPU Trillium удивительно устойчивы к радиации для применения в космосе.

 Источник изображения: Google

Источник изображения: Google

Ключевую роль в успехе сыграет экономическая целесообразность проекта и стоимость запуска. Исторически именно высокие затраты на запуск были одним из основных препятствий для создания крупномасштабных космических систем. Тем не менее в Google прогнозируют, что к середине 2030-х гг. цены могут снизиться до менее $200/кг. В компании сообщают, что при таком уровне затрат стоимость запуска и эксплуатации космического ЦОД может стать приблизительно сопоставимой с заявленными затратами на питание эквивалентного наземного дата-центра в расчёте на кВт·ч/год.

Предварительный анализ показывает, что непреодолимых физических и экономических препятствий для вычислений в космосе не имеется, но ещё предстоит решить ряд инженерных задач вроде проблем управления температурным режимом, обеспечения высокоскоростной наземной связи и надёжности орбитальных систем.

Для решения этих задач следующим этапом станет учебная миссия при участии компании Planet, в рамках которой планируется запустить два прототипа спутников уже к началу 2027 года. Будет на практике проверена работа TPU и оптических межспутниковых каналов связи. В конечном итоге группировки гигаваттного масштаба возможно, выиграют от применения новых вычислительных архитектур, более подходящих для космической среды.

Космических проектов в последние годы реализуется немало. Так, буквально в конце октября появилась новость, что Crusoe развернёт облачную платформу на спутнике Starcloud.

Постоянный URL: http://servernews.ru/1131911
31.10.2025 [00:24], Владимир Мироненко

Google вынуждена отказывать клиентам из-за нехватки ИИ-ускорителей — разобраны даже TPU прошлых поколений

Холдинг Alphabet, включающий компанию Google, объявил финансовые результаты III квартала 2025 года, которые превзошли прогнозы аналитиков, в том числе благодаря успешной работе облачного подразделения на фоне высокого спроса на ИИ-сервисы. Спрос настолько велик, что у компании нет свободных TPU-ускорителей, а ожидаемые капзатраты до конца года вырастут ещё на $6–$8 млрд. Акционеры должны радоваться — согласно данным Bloomberg, с начала года ценные бумаги Google выросли на 45 %.

Выручка Alphabet в минувшем квартале, закончившемся 30 сентября, выросла год к году на 16 %, впервые превысив рубеж в $100 млрд и составив $102,3 млрд. Это выше консенсус-прогноза аналитиков, опрошенных LSEG, равного $99,89 млрд. Холдинг отметил, что рост выручки Google Cloud, поискового бизнеса Google, YouTube от рекламы исчисляется двузначными числами в процентах. Скорректированная прибыль на разводнённую акцию составила $3,10 при прогнозе от LSEG в размере $2,33.

Чистая прибыль холдинга выросла на 33 % до $34,98 млрд, прибыль на акцию — на 35 % до $2,87. В сентябре Google была оштрафована антимонопольными органами Европейского союза на $3,45 млрд из-за антиконкурентной практики в рекламном бизнесе, что отразилось на величине чистой прибыли.

Выручка облачного подразделения Google Cloud увеличилась год к году на 34 % до $15,16 млрд, превысив прогноз StreetAccount в размере $14,74 млрд, в основном за счёт роста доходов Google Cloud Platform (GCP) по основным продуктам GCP, ИИ-инфраструктуре и решениям для генеративного ИИ. Операционная прибыль от облачных технологий выросла на 85 % до $3,6 млрд, а маржа увеличилась с 17,1 % в III квартале 2024 года до 23,7 % в III квартале 2025 года.

 Источник изображений: Google

Источник изображений: Google

Объём невыполненных работ по контрактам Google Cloud увеличился на 46 % по сравнению с предыдущим кварталом до $155 млрд, что, по словам финансового директора Alphabet Анат Ашкенази (Anat Ashkenazi), вызвано высоким спросом на корпоративную ИИ-инфраструктуру, включая чипы, и спросом на ИИ-чат-бот Gemini 2.5. Число ежемесячных пользователей Gemini превысило 650 млн.

Генеральный директор Сундар Пичаи (Sundar Pichai) сообщил, что число клиентов облачных сервисов увеличилось почти на 34 % в годовом исчислении, причём более 70 % использует ИИ-продукты. Пичаи отметил, что компания в минувшем квартале заключила больше сделок стоимостью более $1 млрд каждая, чем за предыдущие два года вместе взятые. В том числе речь идёт о крупном контракте с Anthropic, подписанном ранее в этом месяце, и шестилетнем контракте с Meta на сумму более $10 млрд, заключённом в августе.

Ашкенази сообщила, что Google снова повышает прогноз капитальных затрат на 2025 год до $91–$93 млрд с предыдущего в размере $85 млрд. Капзатртаты компании в отчётном квартале составили $24 млрд, что больше, чем $22,4 млрд во II квартале и $17,2 млрд в I квартале. По словам Ашкенази, «подавляющее большинство» капитальных затрат ушло на техническую инфраструктуру: около 60 % — на серверы и 40 % — на ЦОД сетевое оборудование, пишет Data Center Dynamics. Ресурс уточнил, что крупные инвестиции в ЦОД, объявленные в этом квартале, включают $15 млрд инвестиций в штате Андхра-Прадеш (Индия), $5,8 млрд в Бельгии и по $9 млрд в Южной Каролине, Оклахоме и Вирджинии (США).

Согласно прогнозу Ашкенази, напряжённая ситуация с удовлетворением высокого спроса на ИИ-инфраструктуру сохранится в четвёртом квартале и в 2026 году. Пичаи отметил запуск инстансов A4X Max на базе NVIDIA GB300, а также то, что TPU седьмого поколения — Ironwood — скоро станет общедоступным. Ранее, выступая на мероприятии венчурного фонда Andreessen Horowitz (a16z) вице-президент и генеральный директор Google по ИИ и инфраструктуре Амин Вахдат (Amin Vahdat) заявил, что спрос на TPU настолько велик, что компании приходится отказывать клиентам.

Даже TPU прошлых поколений, вышедшие семь-восемь лет назад, загружены на 100 %. При этом компания, с одной стороны, готова арендовать у CoreWeave, своего прямого конкурента в области ИИ-облаков, ускорители NVIDIA Blackwell, которые фактически достанутся OpenAI, а с другой — готова, по слухам, предоставить малым облачным провайдерам свои TPU.

Говоря о проблемах, с которыми сталкиваются гиперскейлеры, особенно при строительстве ЦОД, Вахдат сообщил, что отрасль в настоящее время ограничена такими факторами, как ограниченные ресурсы электроэнергии, доступность земли, получение разрешений и проблемы с цепочкой поставок. В качестве одной из ответных мер компания пошла на перезапуск АЭС Duane Arnold Energy Center (DAEC).

Постоянный URL: http://servernews.ru/1131661
24.10.2025 [13:15], Руслан Авдеев

1 млн TPU и 1 ГВт: Anthropic расширит использование ИИ-ускорителей и сервисов Google Cloud

Компания Anthropic объявила о знаковом расширении использования чипов TPU Google Cloud. Это обеспечит компании доступ к вычислительным ресурсам, необходимым для обучения и обслуживания ИИ-моделей Claude новых поколений. В 2026 году Anthropic рассчитывает получить доступ к мощностям, превышающим 1 ГВт, сообщает пресс-служба Google Cloud.

Речь идёт о крупнейшем увеличении использования TPU компанией Anthropic за всё время использования ей тензорных ускорителей Google. Она получит доступ к 1 млн чипов, а также дополнительным сервисам Google Cloud. По оценкам некоторых экспертов, это примерная пятая часть всех TPU Google, но в 2026 году компания намерена развернуть ещё 2,5 млн TPU. Предполагается, что сделка обеспечит R&D-группы Anthropic передовой инфраструктурой, оптимизированной для ИИ-проектов, на годы вперёд.

Как сообщают в Google, Anthropic выбрала TPU из-за привлекательного соотношения цены и производительности, а также благодаря имеющемуся опыту обучения и эксплуатации ИИ-моделей именно с помощью TPU. О стратегическом партнёрстве Anthropic и Google Cloud объявили в 2023 году. На сегодняшний день моделями семейства Claude компании Anthropic в Google Cloud активно пользуются тысячи компаний, включая Figma, Palo Alto Networks, Cursor и др.

 Источник изображения: Google Cloud

Источник изображения: Google Cloud

В Anthropic подчеркнули, что с Google компания давно сотрудничает, а последнее расширение поможет и дальше наращивать вычислительные мощности, необходимые для наращивания возможностей ИИ-систем. В числе клиентов — как компании из списка Fortune 500, так и ИИ-стартапы, которые полагаются на Claude. Расширение вычислительных возможностей гарантирует, что компания сможет удовлетворить стремительно растущий спрос, сохраняя актуальность ИИ-продуктов.

В Google Cloud отметили, что Anthropic использует TPU уже несколько лет с оптимальным для неё соотношением цены и производительности, в Google продолжают инновации, опираясь на «зрелое» портфолио ИИ-ускорителей, включая TPU седьмого поколения — Ironwood.

Постоянный URL: http://servernews.ru/1131323
04.09.2025 [14:47], Руслан Авдеев

Google бросила вызов NVIDIA, предложив малым облачным провайдерам собственные ИИ-ускорители TPU

По последним данным, Google обратилась к небольшим облачным провайдерам, обычно сдающим в аренду чипы NVIDIA, с необычным предложением — сдавать в аренду её собственные ИИ-ускорители TPU, ранее доступные только в облаке самой Google, сообщает Trendforce со ссылкой на The Information. Это может привести к прямой конкуренции с NVIDIA.

Сообщается, что Google уже заключила соглашение как минимум с одним поставщиком облачных сервисов — лондонской Fluidstack. Предполагается разместить TPU в нью-йоркском дата-центре последней. Fluidstack предложены льготы для расширения бизнеса за счёт TPU. Если компания не сможет покрыть расходы на аренду ЦОД в Нью-Йорке, Google обещает предоставить поддержку в объёме до $3,2 млрд.

Как утверждается в отчёте, Google ориентируется на молодые компании, в основном на поставщиков облачных услуг, активных пользователей ускорителей NVIDIA. Сообщается, что она уже пыталась заключить аналогичные договоры с другими поставщиками, в настоящее время отдающими предпочтение NVIDIA — включая такие перспективные компании как Crusoe, которая строит ЦОД для OpenAI. Также возможно сотрудничество с CoreWeave, сдающей оборудование NVIDIA в аренду Microsoft (в основном для OpenAI) и также имеющей прямой контракт с OpenAI.

 Источник изображения: Google

Источник изображения: Google

Google довольно давно работает над созданием ИИ-ускорителей. По данным источников The Information, компания рассматривала возможности расширения связанного с TPU бизнеса, чтобы увеличить выручку и снизить зависимость от чипов NVIDIA. По оценкам Morningstar, совокупную стоимость бизнеса TPU и подразделения DeepMind составляет приблизительно $900 млрд. Отмечается, что вышедшие в декабре 2024 года TPU Trillium шестого поколения, весьма востребованы, ожидается и рост спроса на седьмое поколение ускорителей — TPU Ironwood. Это первая модель, разработанная для масштабного инференса.

Ранее Google в основном применяла TPU для собственных проектов. Однако некоторое время назад доступность TPU для внешних заказчиков в рамках Google Cloud стала намного выше. Эти чипы использует, например, Apple. Впрочем, и она теперь хочет получить ускорители NVIDIA.

Постоянный URL: http://servernews.ru/1128709
27.08.2025 [09:25], Руслан Авдеев

Большому ИИ — большую СЖО: Google рассказала о системе охлаждения TPU

Жидкостное охлаждение (СЖО) в ЦОД применяется давно, хотя и не повсеместно. В последнее время оно играет всё более важную роль на фоне роста энергопотребления и тепловыделения ИИ-оборудования. Google рассказала об эволюции охлаждении на уровне дата-центров для своих ИИ-ускорителей TPU, сообщает Chips and Cheese.

Google впервые оснастила свои TPU жидкостным охлаждением ещё в 2018 году после ряда экспериментов, и с тех пор совершенствует СЖО. Текущие решения предназначены именно для масштабов ЦОД. Так, стойки с шестью (5+1) блоками распределения жидкости (CDU) обслуживают до восьми стоек с TPU. Применяются гибкие шланги и быстроразъёмные соединения для удобства обслуживания.

Во внутреннем контуре чипы в контуре соединены последовательно, что приводит к прогреву теплоносителя, поэтому расчёт охлаждающей мощности ведётся по самому горячему чипу в конце каждого контура. От CDU через теплообменники тепло передаётся в общую систему водоснабжения объекта без смешения жидкостей (в обоих контурах вода). По данным Google, энергопотребление насосов СЖО составляет менее 5 % от мощности вентиляторов, необходимых для воздушного охлаждения.

 Источник изображения: Chips and Cheese

Источник изображения: Chips and Cheese

Google применяет водоблок с разделённым потоком жидкости. Для охлаждения TPUv4 применялась система охлаждения открытого кристалла (bare-die). Способ не вполне безопасен, но с случае с TPUv4 такой подход необходим, поскольку такие ускорители потребляют в 1,6 раз больше энергии, чем TPUv3. Кроме того, компании пришлось поработать над проблемами протечек и появления микроорганизмов.

 Источник изображения: Chips and Cheese

Источник изображения: Chips and Cheese

Google тщательно проверяет компоненты на герметичность, использует специальные системы оповещения об утечках и проводит плановое обслуживание и фильтрацию. Дополнительно у компании есть набор протоколов реагирования на проблемы и оповещения, что позволяет оперативно устранять угрозы, которые в масштабах ЦОД могут быть весьма существенными.

 Источник изображения: Chips and Cheese

Источник изображения: Chips and Cheese

В мае сообщалось, что Google готовит мегаваттные стойки. Строго говоря, компания уже начала использовать 416 В AC на входе в стойки и DC-конвертеры, а также оснащать их встроенными ИБП. Кроме того, она динамически управляет энергопотреблением и производительностью как отдельных TPU, так и стоек в целом.

Постоянный URL: http://servernews.ru/1128175
09.04.2025 [21:55], Владимир Мироненко

Google представила ИИ-ускоритель TPU v7 Ironwood, созданный специально для инференса «размышляющих» моделей

Компания Google Cloud представила тензорный ускоритель TPU седьмого поколения Ironwood, который охарактеризовала как свой самый производительный и масштабируемый настраиваемый ИИ-ускоритель на сегодняшний день и первый среди её чипов, разработанный специально для инференса.

Новый чип представляет собой важный поворот в десятилетней стратегии Google по разработке ИИ-чипов, отметил ресурс VentureBeat. В то время как предыдущие поколения TPU были созданы в первую очередь для рабочих нагрузок обучения и инференса, Ironwood — первый чип, специально созданный для инференса.

Как пояснила Google, Ironwood знаменует значительный сдвиг в развитии ИИ и инфраструктуры — переход от простых ИИ-моделей, которые просто предоставляют информацию в режиме реального времени, к моделям, которые обеспечивают проактивную генерацию идей и интерпретацию данных. Компания назвала этот период «эпохой инференса», когда ИИ-агенты будут активно извлекать и генерировать данные, чтобы совместно предоставлять информацию и ответы, а не просто «голые» сведения.

 Источник изображений: Google

Источник изображений: Google

Ironwood разработан в соответствии со сложными вычислительными и коммуникационными требованиями «моделей мышления», которые охватывают большие языковые модели (LLM), смешанные экспертные модели (MoE) и сложные задачи для рассуждения. Эти модели требуют массивной параллельной обработки и эффективного доступа к памяти. В частности, Ironwood разработан для минимизации перемещения данных и задержек на чипе при выполнении массивных тензорных манипуляций. Требования размышляющих моделей к вычислительным мощностям выходят далеко за рамки возможностей любого отдельного чипа.

Google Cloud Ironwood будет поставляться в двух конфигурациях: с 256 или с 9216 чипами. Один чип может похвастаться пиковой вычислительной мощностью 4614 Тфлопс (FP8), а кластер из 9216 чипов мощностью порядка 10 МВт выдаёт в общей сложности 42,5 Эфлопс. Ironwood оснащён усовершенствованным блоком SparseCore, предназначенным для ускорения работы с ИИ-моделями, которые используются в системах ранжирования и рекомендаций. Расширенная реализация SparseCore в Ironwood позволяет ускорить более широкий спектр рабочих нагрузок, выйдя за рамки традиционной области ИИ в финансовые и научные сферы.

Каждый чип оснащен 192 Гбайт памяти HBM, что в шесть раз больше, чем у TPU v6 Trillium. Пропускная способность памяти достигает 7,2 Тбайт/с на чип, что в 4,5 раза больше, чем у Trillium. Также используется межчиповый интерконнект Inter-Chip Interconnect (ICI) с пропускной способностью 1,2 Тбайт/с в дуплексе, что в 1,5 раза больше, чем у Trillium. Наконец, самое важное в эпоху ограниченных по мощности ЦОД — Ironwood обеспечивает вдвое большую производительность на Вт по сравнению с Trillium, а в сравнении с самым первым TPU от 2018 года он почти в 30 энергоэффективнее. Для Ironwood используется СЖО.

С Ironwood разработчики также могут задействовать программный стек Pathways от Google DeepMind, чтобы использовать объединённую вычислительную мощность десятков тысяч TPU Ironwood. Как сообщается, Ironwood будет доступен клиентам Google и её собственным разработчикам в конце 2025 года.

Google зафиксировала 10-кратный рост спроса на ИИ-вычисления за последние восемь лет. Как отметил ресурс VentureBeat, перенос Google фокуса на оптимизацию инференса имеет смысл. Обучение производится редко, а операции инференса — миллиарды раз в день. Экономика ИИ всё больше связана с затратами на инференс, особенно по мере того, как модели становятся всё более сложными и требующими больших вычислительных ресурсов.

Постоянный URL: http://servernews.ru/1121034
03.04.2025 [16:47], Руслан Авдеев

Google готовится к аренде ИИ-серверов с ускорителями NVIDIA Blackwell у CoreWeave

Компания Google близка к тому, чтобы согласиться на сделку с CoreWeave. Предполагается, что гиперскейлер будет арендовать у последней серверы, оснащённые ускорителями серии NVIDIA Blackwell, сообщает The Information. Сделка находится на «поздних стадиях» согласования. Благодаря ей Google сможет получить доступ к большему количеству новейших ИИ-ускорителей. Об этом издание сообщает со ссылкой на два анонимных источника, знакомых с вопросом.

Ещё два источника добавили, что Google уже пыталась договориться с конкурентами CoreWeave о доступе к свободным ускорителям — судя по всему, компании не хватает доступных вычислительных мощностей. Возможные партнёры пока не комментируют ситуацию. По информации Seeking Alpha, на момент закрытия торгов в среду акции CoreWeave выросли на 16 %, колебания курсов акций Google и NVIDIA оказались незначительными.

По данным The Information, отдельно Google и CoreWeave ведут переговоры об аренде площадей в дата-центрах последней — там Google сможет разместить тензорные ускорители (TPU) собственной разработки, которые компания довольно успешно внедряет наряду с решениями NVIDIA.

 Источник изображения:  Microsoft Edge/unsplash.com

Источник изображения: Microsoft Edge/unsplash.com

Потенциальное соглашение косвенно свидетельствует о проблемах компаний, желающих пользоваться ускорителями NVIDIA, но не имеющих возможности удовлетворить спрос в полной мере. Уникальные отношения CoreWeave и NVIDIA и возможности оператора ЦОД предоставлять в распоряжение новые ИИ-мощности привлекают крупные облачные сервисы и ключевых ИИ-разработчиков вроде OpenAI и Meta. По данным Investing.com, за последние несколько дней крупные ИИ-структуры вроде xAI и OpenAI публично озвучивали необходимость увеличения доступных вычислительных ресурсов.

Буквально на днях CoreWeave вышла на IPO — правда, планы развития компании могут оказаться под вопросом, поскольку средств привлечено меньше, чем ожидалось, а капитализация её оказалась значительно меньше, чем рассчитывалось.

UPD 29.06.2025: Google действительно арендует ускорители у CoreWeave, но только для того, чтобы сдать их OpenAI. Вероятно, это часть более крупной сделки, в рамках которой OpenAI, по слухам, также начнёт использовать фирменные ускорители Google TPU.

Постоянный URL: http://servernews.ru/1120744
06.02.2025 [19:27], Руслан Авдеев

Грамм на экзафлоп — Google ввела новую метрику CCI для оценки углеродных выбросов ИИ-ускорителей

Google опубликовала результаты внутреннего исследования, показавшие прогресс в повышении углеродной эффективности своих ИИ-ускорителей TPU. По словам компании, за два поколения — от TPU v4 до Trillium (v6) — усовершенствование аппаратной оборудования привело к трёхкратному повышению экологичности выполняемых ИИ-нагрузок.

Оценка всего жизненного цикла (LCA) ускорителей позволяет подробно проанализировать статистику выбросов, связанных с ИИ-ускорителями Google, используя полный набор данных — от добычи сырья и производства чипов до потребления электричества во время работы. Компания даже ввела новую метрику Compute Carbon Intensity (CCI), позволяющую оценить углеродные выбросы относительно производительности.

CCI показывает, сколько граммов выбросов CO2 приходится на каждый экзафлоп проделанной работы. Чем ниже CCI, тем ниже выброс оборудования для заданной рабочей нагрузки. Для оценки прогресса Google сравнила пять моделей TPU в течение всего их жизненного цикла и пришла к выводу, что TPU новых поколений стали значительно экологичнее, поскольку CCI за четыре года улучшился втрое. TPU Trillium, очевидно, показали наилучшие результаты.

 Источник изображения: Google

Источник изображения: Google

Google отмечает, что за весь жизненный цикл TPU 70 % выбросов относятся к эксплуатационным, т.е. связаны с потреблением электричества. Это подчёркивает важность повышения энергоэффективности чипов и снижения выбросов углерода, связанных с энергообеспечением. Однако доля выбросов, связанных с производством, по-прежнему весьма заметна. Более того, со временем она может даже увеличиться, поскольку к 2030 году Google намерена добиться использования полностью безуглеродной энергии в каждой энергосети, питающей её оборудование. Если компания захочет и далее повышать экологичность своих решений, ей придётся вмешаться в цепочки поставок.

Кроме того, постоянная оптимизация ИИ-моделей позволит сократить объёмы необходимых вычислений (при прочих равных). Впрочем, повышение эффективности моделей, скорее всего, приведёт к ещё большему использованию ИИ. В будущем Google намерена анализировать углеродные выбросы отдельных ИИ-моделей и влияние на их оптимизации ПО. А пока что выбросы парниковых газов Google из-за ИИ только растут — +48 % за пять лет.

Постоянный URL: http://servernews.ru/1117837

Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»;