Google успешно занимается разработкой ИИ-ускорителей порядка 10 лет. В прошлом году компания заявила, что четвёртое поколение TPU в связке с фирменными оптическими коммутаторами превосходит кластеры на базе NVIDIA A100 с интерконнектом InfiniBand, а к концу того же года было представлено уже пятое поколение, причём в двух вариантах: энергоэффективные TPU v5e для малых и средних ИИ-моделей и высокопроизводительные TPU v5p для больших моделей.

Сбавлять темпа компания явно не собирается — не прошло и полугода, как было анонсировано последнее, шестое поколение TPU, получившее, наконец, собственное имя — Trillium. Клиентам Gooogle Cloud новинка станет доступна до конца этого года, в том числе в составе AI Hypercomputer. Сведений об архитектуре и особенностях Trillium пока не очень много, но согласно заявлениям разработчиков, он в 4,7 раза быстрее TPU v5e.

Источник: The Verge

Ранее аналитик Патрик Мурхед (Patrick Moorhead) опубликовал любопытное фото, на котором глава подразделения кастомных чипов Broadcom держит в руках некий XPU, разработанный для «крупной ИИ-компании». Не исключено, что сделан он именно для Google. На снимке видна чиплетная сборка из двух крупных кристаллов в окружении 12 стеков HBM-памяти. Любопытно и то, что TPU v6 нарекли точно так же, как и проект Arm шестилетней давности по созданию нового поколения ИИ-ускорителей.

Пропускная способность 32 Гбайт набортной HBM-памяти составляет 1,6 Тбайт/с. Межчиповый интерконнект ICI имеет пропускную способность до 3,2 Тбит/с, хотя в TPU v5p скорости ICI уже 4,8 Тбит/с. По словам Google, новый чип получился на 67% энергоэффективнее TPU v5e. Складывается ощущение, что компания сознательно избегает сравнения с TPU v5p. Но это объяснимо, поскольку заявленный почти пятикратный прирост производительности в сравнении с TPU v5e даёт примерно 926 Тфлопс в режиме BF16 и 1847 Топс в INT8, что практически вдвое выше показателей TPU v5p.

Кластер Google на базе TPU v5e. Источник: Google

При этом компания не бравирует высокими цифрами в INT4/FP4, как это делает NVIDIA в случае с Blackwell. Согласно опубликованным данным, прирост производительности достигнут за счёт расширения блоков перемножения матриц (MXU) и прироста тактовой частоты. В новом TPU также использовано новое, третье поколение блоков SparseCore, предназначенных для ускорения работы с ИИ-модели, часто использующихся в системах ранжирования и рекомендаций.

Масштабируется Trillium практически так же, как TPU v5e — в составе одного блока («пода») могут работать до 256 чипов. Эти «поды» формируют кластер с технологией Multislice, позволяющий задействовать в одной задаче до 4096 чипов. В таких кластерах на помощь приходят DPU Titanium, берущие на себя обслуживание IO-операций, сети, виртуализации, безопасности и доверенных вычислений. Размеры кластера могут достигать сотен «подов».

Кластер Google на базе TPU v5p. Источник: Google

Google полагает, что TPU v6 готовы к приходу ИИ-моделей нового поколения и имеет для этого все основания: ориентировочно каждый Trillium с его 32 Гбайт быстрой памяти может оперировать примерно 30 млрд параметров, а речь, напомним, в перспективе идёт о десятках тысяч таких чипов в одном кластере. В качестве интерконнекта в таких системах используется платформа Google Jupiter с оптической коммутацией, совокупная пропускная способность которой уже сейчас превышает 6 Пбайт/с.

Министерство цифрового развития, инноваций и аэрокосмической промышленности Республики Казахстан, по сообщению агентства Kazinform, ведёт переговоры о строительстве ЦОД с корпорациями Google и Microsoft. О проектах в области дата-центров рассказал вице-министр цифрового развития Аскар Жамбакин.

По его словам, за последние пять лет количество стойко-мест в ЦОД Казахстана увеличилось приблизительно в два раза. Общая загрузка дата-центров в республике составляет примерно 76 %, тогда как в государственной инфраструктуре показатель достигает 97 %.

Жамбакин отмечает, что в настоящее время в Казахстане реализуются несколько проектов по строительству ЦОД. В частности, АО Kazteleport развернёт дата-центр на 200 стоек, тогда как ТОО «Инфраструктура Казахстана» создаёт площадку на 4 тыс. стоек.

Источник изображения: Google

«Инвесторы приходят в этот сектор. Также мы приглашаем сейчас зарубежные компании, ведём переговоры с Microsoft, Google для открытия центров обработки данных на территории Казахстана», — сказал Жамбакин.

На сегодняшний день в Казахстане действуют 51 дата-центр. Летом прошлого года Apple, Google и Microsoft заявили о готовности расширить своё присутствие на территории этой республики. В частности, у Microsoft имеются планы по созданию мультирегионального хаба в Казахстане с охватом стран Центральной Азии, Азербайджана, Армении, Грузии, Монголии и Пакистана. В свою очередь, Google развивает проекты в Казахстане в связи с уходом с российского рынка на фоне сформировавшейся геополитической обстановки. Кроме того, говорится о планах по сотрудничеству Казахстана с Google и Amazon Web Services (AWS) в сфере ИИ. В 2023-м в республике начала работу Ассоциация операторов ЦОД и облачных услуг. 

Компании Google и Vocus объединили усилия, чтобы увеличить протяжённость призванного связать США и Австралию подводного интернет-кабеля до Новой Зеландии. Datacenter Dynamics сообщает, что соответствующее соглашение уже подписано.

Планы прокладки двух кабелей, связывающих Соединённые Штаты, Фиджи, Французскую Полинезию и Австралию обнародовали в октябре 2023 года в рамках инициативы Pacific Connect. Кабель Honomoana изначально должен был объединять только три основных локации — США, Австралию и Французскую Полинезию. Теперь посадочная станция появится и в Окленде (Новая Зеландия). Также подтвердилась информация о том, что в Австралии будет две посадочных станции, в Мельбурне и Сиднее.

Ожидается, что в 2026 году кабель обеспечит передачу до 30 Тбит/с между Австралией и Новой Зеландией. В Vocus добавили, что для этой ветки системы Pacific Connect предусматривается и прокладка внутриавстралийской магистрали от Сиднея до Мельбурна, а также магистрали через Тасманское море. В Vocus подчёркивают, что после объединения с существующими кабелями сеть компании будет простираться от Юго-Восточной Азии до США с многочисленными посадочными станциями в Тихоокеанском регионе.

Источник изображения: Vocus

Инициатива Pacific Connect предусматривает создание транстихоокеанского подводного комплекса кабелей между Австралией, США, Японией и Чили с кольцом между Фиджи, Французской Полинезией и Гуамом. Также система предусматривает ответвления для ещё не проложенным маршрутов к другим тихоокеанским локациям в будущем. Кроме того, ведутся работы над кабельной системой Apricot.

Vocus в настоящее время выступает оператором кабеля Australia Singapore Cable (ASC) протяжённостью 4600 км, North West Cable System, а также кабельной системы Darwin-Jakarta-Singapore. Ранее в этом году Intelia анонсировала планы прокладки кабеля от южного острова Новой Зеландии к Австралии. Также посадочные станции в Новой Зеландии уже имеют кабели Aqualink, Southern Cross Cable, Southern Cross NEXT, Hawaiki и Tasman Global Access.

Google активно вкладывала средства в многочисленные кабельные проекты, как частные, так и строившиеся специально созданными консорциумами. Ранее в этом месяце техногигант потратил $1 млрд на несколько кабельных магистралей между США и Японией.

Компания Google начала строительство ЦОД в промышленной зоне Westpoort, расположенном в провинции Гронинген (Нидерланды). Datacenter Dynamics сообщает, что один из топ-менеджеров компании Джаеш Десаи (Jayesh Desai) подтвердил данные о начале работ. Хотя в стране действует мораторий на строительство крупных ЦОД, Гронинген стала исключением из правил в 2022 году, а в конце прошлого года началось строительство третьего дата-центра Google в стране — в Винсхотене той же провинции.

Техногигант выделил на проект в Westpoort €600 млн ($643 млн), а всего Google инвестировала в цифровую инфраструктуру в Нидерландах уже €3,8 млрд ($4 млрд). В Google утверждают, что новый кампус позволит создать 125 новых рабочих мест. Также она пообещала сделать своим приоритетом при его реализации экологическую и энергетическую устойчивость. Несколько лет назад компания приобрела участок площадью 20 га, из которых 8 га было отведено под дата-центр. Однако реализация проекта затянулась, в том числе из-за проблем с доступностью энергии и воды.

Источник изображения: Google

Ранее Google анонсировала заключение соглашения о покупке энергии (PPA) на 479 МВт с операторами ветряных электростанций Crosswind и Ecowende, благодаря которому более 90 % энергетических расходов компании в стране будет приходиться на «безуглеродную» энергетику, пусть и косвенно. IT-гигант также заявил, что намерен инвестировать в Гронингене в проекты по управлению водными ресурсами — предполагается, что к 2030 году компания сможет «возвращать» таким образом в среднем 120 % от объёма воды, используемой её дата-центрами.

Сегодня Google имеет два действующих ЦОД в Нидерландах, первый из которых находится в Эмсхавене (тоже Гронинген). Там же компания вложила в завод по обработке воды для охлаждения дата-центра водой одного из каналов и подачи этой воды другим промышленным потребителям региона. Второй ЦОД заработал в 2020 году в Мидденмере к северу от Амстердама. Всего в США, Канаде, Азии, Европе и Южной Америке Google выступает оператором более 135 дата-центров.

Компания Apple, по сообщению ресурса Datacenter Dynamics, приняла на работу Сумита Гупту (Sumit Gupta), бывшего руководителя Google. Он займёт пост директора по продуктам Apple Cloud, на котором займётся развитием облачных технологий, а также решений, связанных с ИИ и машинным обучением.

Гупта работал в Google в течение трёх последних лет, исполняя, в частности, обязанности руководителя отдела управления продуктами Google Infrastructure. В числе прочего Гупта отвечал за общую стратегию, бизнес-операции и взаимодействие с клиентами по таким направлениям как базы данных, аналитика, управление ресурсами, чипы TPU и Arm, хранилища и сети.

Источник изображения: Google

Гупта также занимал должность старшего директора Google по управлению продуктами для инфраструктуры ИИ и машинного обучения. Под его руководством была сформирована программно-аппаратная инфраструктура для больших языковых моделей (LLM), включая семейство Gemini/Bard. Ранее он в течение шести лет работал в IBM, занимая должность директора по стратегии в области ИИ и технического директора по ИИ. А в 2007–2015 гг. Гупта занимал должность главного менеджера дата-центров для задач ИИ в NVIDIA.

В Apple Гупта возглавит формируемую команду специалистов по инфраструктуре и облачным технологиям. В описании вакансии Apple говорится, что компания создаёт мультиоблачную платформу, которая будет поддерживать все ключевые сервисы, включая музыку, телевидение, приложения ИИ и машинного обучения. Отмечается, что инфраструктура Apple включает в себя основные платформенные и управляемые сервисы, необходимые для разработки, развёртывания и широкомасштабного внедрения публичного облака.

В требованиях к соискателям в числе прочего упомянут предпочтительный опыт работы в рамках облачных платформ Google Cloud и (или) Amazon Web Services (AWS). Необходимо хорошее техническое понимание инфраструктурных услуг и облачных технологий. Диапазон базовой заработной платы для этой должности составляет от $188 тыс. до $351 тыс. в год.

Холдинг Alphabet, материнская структура Google, отрапортовал о работе в I четверти текущего финансового года, которая была закрыта 31 марта. Облачное подразделение Google Cloud Platform продемонстрировало значительный рост ключевых показателей, что объясняется расширением инфраструктуры дата-центров и стремительным развитием ИИ.

В период с января по март включительно выручка Google в облачном сегменте составила приблизительно $9,57 млрд. Это на 28 % больше прошлогоднего результата, когда было получено $7,45 млрд. При этом операционная прибыль взлетела в годовом исчислении практически в пять раз — со $191 млн до $900 млн.

Финансовый директор холдинга Alphabet Рут Порат (Ruth Porat) отмечает, что капитальные затраты Google за I квартал 2024 года достигли $12 млрд. Основная часть этой суммы пошла на расширение технической инфраструктуры: крупнейшей статьёй расходов стали закупки серверного оборудования, вслед за которыми идут инвестиции в расширение сети ЦОД. По словам Порат, в течение 2024-го в целом квартальные капитальные затраты Google будут примерно соответствовать сумме, потраченной в I четверти года. Таким образом, суммарные затраты на дата-центры в этом году составят почти $50 млрд. Для сравнения — Meta✴ в этом году планирует потратить на те же нужды $35–$40 млрд.

Источник изображения: Google

«Значительный рост инвестиций в инфраструктуру в течение последних кварталов отражает нашу уверенность в возможностях, которые предоставляют технологии ИИ», — сказала Порат.

В течение последнего времени Google анонсировала несколько крупных проектов по развитию дата-центров. Компания, в частности, построит кампус ЦОД стоимостью $1 млрд в британском Хартфордшире. Такую же сумму планируется выделить на создание площадки в Бельгии. Ещё в $1 млрд обойдётся строительство ЦОД-объектов в Аризоне, а на кампус дата-центров в Индиане будет затрачено $2 млрд. Наконец, €600 млн Google потратит на проект своего первого кампуса ЦОД в Норвегии.

Компания Google, по сообщению Datacenter Dynamics, развернёт новый кампус ЦОД в Форт-Уэйне на территории Индианы (США). Стоимость проекта с кодовым названием Zodiac, технические подробности о котором пока не раскрываются, оценивается в $2 млрд.

Инициатива предусматривает строительство 12 объектов на площади приблизительно 283 га. В рамках проекта Google будет сотрудничать с компанией Indiana Michigan Power Company (I&M) по направлению чистой энергии, которую планируется поставлять в локальную энеросеть. Детали партнёрства с I&M не разглашаются.

Источник изображения: Google

Форт-Уэйн расположен к северо-востоку от Индианаполиса, к востоку от Чикаго и к западу от Колумбуса. Как отметила мэр Форт-Уэйна Шэрон Такер (Sharon Tucker), инвестиции Google не только помогут в расширении IT-инфраструктуры и экономическом развитии региона, но и «обеспечат более устойчивое будущее».

Google на сегодняшний день оперирует более чем десятью кампусами дата-центров в США, а ряд дополнительных площадок находятся на этапе строительства. В частности, летом 2023 года компания начала создание ЦОД в Месе, пригороде Финикса (штат Аризона). Стоимость этого проекта составляет около $1 млрд.

Нужно отметить, что объекты в Индиане есть у многих других операторов дата-центров и облачных провайдеров. В их число входят Meta✴, US Signals, DataBank, Netrality и Digital Crossroads. А буквально на днях о строительстве в Индиане кампуса ЦОД стоимостью $11 млрд объявила Amazon Web Services (AWS).

Компания Meta✴ и Alphabet X работают над технологиями Direct Air Capture (DAC) для извлечения углекислого газа с последующей его утилизацией. По данным Datacenter Dynamics, для высвобождения углекислоты из сорбентов будет применяться тепло, выделяемое оборудованием дата-центров.

Meta✴ ведёт соответствующие работы над DAC как минимум с 2021 года. Похоже, история началась с лабораторного прототипа технологии удаления углекислоты, интегрированной в системы охлаждения ЦОД. С тех пор проект претерпел некоторые изменения, но исследования по-прежнему продолжаются, как с жидкими сорбентами, так и с твёрдыми. Для регенерации поглощающих элементов действительно предполагается использовать «мусорное» тепло ЦОД.

Источник изображения: Ella Ivanescu/unsplash.com

После захвата CO₂ из воздуха сорбент способен при нагревании высвобождать его для хранения где угодно, например, в подземных полостях. По последним данным, Meta✴ работает над новой системой DAC, использующей для высвобождения углекислоты нагрев до невысокой температуры — это значительно снизит издержки.

О проекте Alphabet X Development известно мало. Компания в 2021 году подала патентную заявку, описывающую методы и системы для высвобождения из DAC-сорбентов CO₂ с использованием тепла от производственных процессов. Сам был опубликован в 2023 году. Судя по описанию, «промышленное» тепло используется в комбинации с одним и более тепловым насосом для отделения CO₂ от твёрдого или жидкого сорбента. Некоторые из участников проекта с тех пор перешли в Amazon. Похожую патентную заявку, посвящённую системе захвата углерода с помощью тепла дата-центров, подавала и Microsoft.

Тепло ЦОД пытаются использовать повсеместно — от подогрева ферм по выращиванию угрей до нагрева воды в плавательных бассейнах. Нет ничего удивительного, что со временем возникла идея использования его для захвата углерода. Одной из проблем была необходимость нагревать сорбенты до высоких температур, что само по себе приводит к углеродным выбросам. К счастью, в прошлом году компания Spiritus представила сорбент, который можно нагревать до температур ниже 100℃. Как заявляют в Meta✴, ключевыми покупателями нового материал являются именно ЦОД.

Источник изображения: Spiritus

По данным Spiritus, целесообразно устанавливать DAC в дата-центрах, способных отдавать 20–50 МВт избыточного тепла, а кампусы, способные генерировать 300 МВт тепла способны захватывать три мегатонны углекислоты ежегодно в сравнении с мегатонной, доступной более ранним DAC-технологиям, целесообразность которых тоже была под вопросом. Так, в рамках не связанного с ЦОД проекта Orchard One компания будет удалять из атмосферы по две мегатонны CO₂ каждый год.

При этом в Spiritus отказались сообщать, участвует ли она в проектах Meta✴ или X. Впрочем, будущее всех подобных проектов пока под вопросом, поскольку природные или искусственные полости для закачки туда углекислоты есть далеко не везде, а транспортировка CO₂, возможно, не получит одобрения регуляторов. Другими словами, ЦОД с системами подобной очистки можно будет строить лишь в некоторых местах.

Alphabet и Meta✴ входят в проект Frontier Climate, в рамках которого осуществляется покупка «углеродных кредитов» у компаний, использующих самые разные технологии захвата углекислоты из атмосферы, включая DAC. Frontier Climate является инвестором в другие проекты вроде Lithos, CarbonCapture Inc., Airhive, Inplanet, Living Carbon и Heirloom. Google, инвестировавшая $35 млн в проект по захвату углерода, заявила, что недавно покупала углеродные кредиты у Frontier, но деталей сделки не раскрыла.

Компания Google анонсировала новый проект по развитию интернет-инфраструктуры в Японии: он предполагает расширение инициативы Pacific Connect и прокладку двух новых подводных волоконно-оптических кабелей — Proa и Taihei. Суммарные инвестиции составят $1 млрд.

Проект реализуется в сотрудничестве с несколькими партнёрами, включая KDDI, Arteria, Citadel Pacific и Содружество Северных Марианских островов (CNMI). Новые оптоволоконные маршруты между континентальной частью США и Японией помогут повысить надёжность и качество связи между этими странами, а также рядом островных государств и территорий Тихого океана. Строительство линий будет осуществляться в рамках программы Google по цифровизации Японии — Google Japan Digitization Initiative.

Подводный кабель Proa от NEC соединит Японию, CNMI и Гуам. Линия названа в честь проа — это особый тип многокорпусного парусного судна у народов Полинезии и Самоа в Тихом океане. Для дальнейшего повышения надёжности интернет-соединений в регионе кабельная система NEC Тайвань — Филиппины — США (TPU) будет расширена до CNMI. В результате Proa и TPU вместе сформируют новый маршрут между континентальной частью США и городом Сима в Японии.

Источник изображения: Google

В свою очередь, линия Taihei (по-японски обозначает «мир» и «Тихий океан») — ещё один кабель NEC — соединит Японию с Гавайями. Вместе с тем подводный интернет-кабель Google Tabua будет продлен до Гавайев. После завершения строительства системы Taihei и Tabua сформируют каналы между континентальной частью США и Такахаги в Японии. В рамках проекта Google также профинансирует прокладку связующего кабеля, соединяющего Гавайи, CNMI и Гуам. Это соединение повысит надёжность интернет-каналов и уменьшит задержки для пользователей на островах Тихого океана и по всему миру.

Компания Google объявила о выпуске собственного процессора для своих ЦОД. В основу новинки, получившей имя Axion, легла архитектура Arm, что ставит её в один ряд с Amazon Graviton, Alibaba Yitian и Microsoft Cobalt.

Это не первый процессор, разработанный Google: c 2015 года компания успела создать пять поколений ИИ-ускорителей Tensor Processing Units (TPU), а в 2018 она представила процессор Video Coding Unit (VCU) Argos для транскодирования видео. Но Axion стал первым чипом Google, который подпадает под определение «процессор общего назначения». При его создании компания сделала упор не только на энергоэффективность, но и на высокий уровень производительности, достаточный для использования в современных серверах.

Источник изображений: Google

В основу Axion легли Armv9-ядра Neoverse V2 (Demeter). Этот же дизайн используется в AWS Graviton4 и NVIDIA Grace. К сожалению, архитектурных подробностей Google пока не раскрывает, известно лишь, что ядра Neoverse V2 работают совместно с фирменными контроллерами Titanium. Последние отвечают за работу с сетью, защиту и разгрузку IO-операций при работе с блочным хранилищем Hyperdisk, то есть чем-то напоминают AWS Nitro. При этом Google вложилась в SystemReady Virtual Environment (VE), чтобы упростить перенос нагрузок на новые чипы как для себя, так и для пользователей облака.

Если верить разработчикам, на момент анонса Google инстансы на базе Axion минимум на 30 % производительнее инстансов на базе самых быстрых Arm-процессоров других вендоров, а по сравнению с сопоставимыми по классу x86-процессорами преимущество может достигать и 50 % при 60 % выигрыше в энергоэффективности. Судя по всему, Axion ранее был известен под кодовым именем Cypress. А ещё один Arm-процессор Google Maple, который, по слухам, являлся наследником почивших Marvell ThunderX, в серию, видимо, не пошёл.

Сама компания уже начала переводить на Axion сервисы BigTable, Spanner, BigQuery, Blobstore, Pub/Sub, Google Earth Engine и YouTube Ads. Ряд клиентов и партнёров Google уже оценили Axion по достоинству. Виртуальные машины с новыми процессорами будут доступны в ближайшие месяцы. Они же будут доступны и в Kubernetes Engine, Dataproc, Dataflow, Cloud Batch и т.д.