Google Cloud сообщила, что в следующем месяце станут доступны инстансы Google Compute Engine A3 на базе платформы NVIDIA HGX H100 с восемью ускорителями H100, двумя процессорами Intel Xeon Sapphire Rapids, 2 Тбайт, а также интерконнектом NVLink и адаптерами Google Titanium. Платформ обеспечивает высокую производительность для всех видов ИИ-приложений, в том числе для обучения и обслуживания особенно требовательных рабочих нагрузок ИИ и больших языковых моделей (LLM).

В блоге Google Cloud отмечено, что сочетание ускорителей NVIDIA с ведущими инфраструктурными технологиями Google Cloud обеспечивает масштабируемость и производительность и является огромным шагом вперёд в возможностях ИИ: обучение происходит в 3 раза быстрее, а пропускная способность сети в 10 раз выше, чем у предыдущего поколения. Инстансы A3 также поддерживают масштабирование до 26 тыс. ускорителей H100.

Изображение: NVIDIA

Незадолго до этого Google Cloud объявила NVIDIA партнёром года по генеративному ИИ (Generative AI Partner of the Year). Компании сотрудничают по разным направлениям: от проектирования инфраструктуры до реализации программного обеспечения, чтобы упростить создание и развёртывание приложений ИИ на платформе Google Cloud. PaxML, платформа Google для создания больших языковых моделей, теперь оптимизирована для решений NVIDIA и доступна в реестре NVIDIA NGC. Google использовала PaxML для создания внутренних моделей, включая DeepMind, а также исследовательских проектов.

Кроме того, компании сервис Google Dataproc позволяет задействовать решения NVIDIA для ускорения работы Apache Spark. H100 вскоре также появятся на платформе Vertex AI. Наконец, было обещано, что в облаке Google появятся NVIDIA DGX Cloud и новейшие гибридные чипы GH200. Впрочем, вместе с анонсом A3 Google представила ИИ-инстансы на базе собственных ускорителей TPU v5e.

Как известно, Google Cloud использует в своей инфраструктуре не только сторонние ускорители, но и TPU собственной разработки. Эти кастомные ASIC компания продолжает активно развивать — она анонсировала предварительную доступность виртуальных машин с новейшими TPU v5e, разработка которых заняла более двух лет. Сам чип TPU v5e позиционируется Google как эффективный со всех точек зрения ускоритель, предназначенный для обучения нейросетей или инференс-систем среднего и большого классов.

В сравнении с TPU v4 он, по словам Google, обеспечивает вдвое более высокую производительность в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей. Для инференс-систем преимущество по тому же критерию составляет 2,5x. В сравнении с аналогичными решениями на базе других чипов, например, GPU, выигрыш может составить и 4x. Каждый чип TPU v5e включает четыре блока матричных вычислений, по одному блоку для скалярных и векторных расчётов, а также HBM2-память.

Источник изображения: Google

Компания отмечает, что не экономит на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях. Правда, здесь есть нюанс: INT8-производительности TPU v5e составляет 393 Тфлопс против 275 Тфлопс у v4, но вот BF16-производительность у TPU v4 составляет те же 275 Тфлопс, тогда как у v5e этот показатель равен уже 197 Тфлопс.

Источник изображения: Google

В настоящее время для предварительного тестирования доступно уже восемь вариантов инстансов на базе v5e, а в зависимости от конфигурации количество TPU может составлять от 1 до более чем 250. В рамках платформы обеспечена полная интеграция с Google Kubernetes Engine, собственной платформой Vertex AI, а также с большинством современных фреймворков, включая PyTorch, TensorFlow и JAX. Работа с TPU v5e будет значительно дешевле, чем с TPU v4 — $1,2/час против $3,4/час (за чип).

Источник изображения: Google

В настоящее время машины с TPU v5e доступны только в североамериканском регионе (us-west4), но в дальнейшем возможность их использования появится в регионах EMEA (Нидерланды) и APAC (Сингапур). Также Google предлагает опробовать технологию Multislice, позволяющей объединять в единый комплекс десятки тысяч TPU v5e или TPU v4, где каждый «слайс» может содержать до 3072 чипов TPU (v4). В максимальной конфигурации можно развернуть 64 инстанса, работающих с 256 кластерами TPU v5e. Сама компания уже использует новые чипы для своего поисковика и Google Photos.

Компания Google опубликовала ежегодный доклад Environmental Report о влиянии своего бизнеса на окружающую среду, а также о том, как ИИ в её облачных сервисах используется для минимизации экологического ущерба. Хотя ИИ помогает решить некоторые задачи, как сообщает The Register, его применение имеет и негативные последствия, да и в целом показатели экоустойчивости Google весьма неоднозначные.

Доклад Google по итогам 2022 года, в частности, рассказывает о том, в какой мере ИИ помогает клиентам компании снизить ущерб окружающей среде, оптимизируя работу облачных сервисов, и о достижениях самой компании, связанных с использованием безуглеродной энергии, отчётность по которой теперь учитывает работу офисов и сторонних дата-центров.

Источник изображения: Marcin Jozwiak/unsplash.com

Например, применяемый в Google Maps ИИ оптимизирует маршрута, снижая уровень потребления топлива или расход заряда тяговых АКБ. Эта функция позволила с момента запуска предотвратить углеродный выброс объёмом 1,2 млн тонн — столько за год генерируют 250 тыс. машин с ДВС. А термостаты Nest за 10 лет избавили от планету от 36 млн тонн выбросов. Впрочем, несмотря на декларируемые цели, доля «безуглеродной» энергии в потреблении компании снизилась в 2022 году с 66 до 64 %, а выбросы парниковых газов уровня Scope 2 выросли на 37 %.

При этом ИИ помог снизить негативный эффект от использования самих ИИ-моделей, оптимизировав нагрузки в ЦОД. В Google утверждают, что сделали свои дата-центры одними из самых эффективных в мире. Заодно Google помогает клиентам принимать решения для снижения выбросов и устранения климатических рисков. Так, функция Active Assist в Google Cloud использует машинное обучение для выявления потенциально бесполезных нагрузок, благодаря чему можно не только сократить углеродный выброс, но и сэкономить деньги.

Есть и значимые недостатки использования ИИ. Рост масштабов использования ИИ сам по себе ведёт к росту энергопотребления, увеличению углеродного выброса, а также объёма задач, которые необходимо выполнять в ЦОД. Впрочем, по данным Google, использование проверенных технологий позволило компании снизить расход энергии на тренировку моделей до 100 раз и выбросы — до 1000 раз. В дальнейшем компания планирует повысить эффективность этих методов.

Источник изображения: Guillaume de Germain/unsplash.com

Речь в докладе идёт и о других темах — в частности, компания сообщает, что к концу 2022 года её проекты помогли «восстановить» чуть больше 1 млн м³ воды. Всего Google потребила 21,2 млн м³. В будущем она намерена компенсировать 120 % от использованной пресной воды. Впрочем, пока результаты не впечатляют, поскольку «безвозвратное» потребление воды выросло в 2022 году на 22 % год к году. Ранее выяснилось, что только на один ЦОД Google в Орегоне приходится четверть объёма потребления питьевой воды американского городка.

Все выбросы Scope 1, 2 и 3 составили более 11 млн тонн в 2021 году и более 10 млн тонн в 2022. Для достижения нулевого выброса Google намерена покупать «углеродные кредиты» и ограничить доступными средствами выбросы Scope 3, за которые отвечают партнёры компании. Впрочем, как отмечает The Register, при расчёте ограничений выбросов Scope 3 компания учитывает далеко не все категории, какие следовало бы.

Стремясь удовлетворить ожидаемый спрос на генеративный ИИ, компания Microsoft увеличила капвложения в IV квартале 2023 финансового года до $10,7 млрд с $7,8 млрд в предыдущем квартале, пишет Data Center Dynamics (DCD). Капвложения Google во II квартале 2023 года составили $6,89 млрд, что, впрочем, ниже первоначальных прогнозов аналитиков, ожидавших около $7,9 млрд. Это связано с замедлением строительства офисов и задержками «некоторых проектов строительства ЦОД», отметил DCD.

Как сообщает Microsoft значительные средства были вложены в дата-центры, вычислительную инфраструктуру и сети. По словам компании, капвложений с каждым кварталом будут увеличиваться на протяжении всего 2024 финансового года. «Ускорение действительно довольно значительное, — отметила финдиректор Эми Худ (Amy Hood) в квартальном отчёте. — Это касается как ЦОД, так и CPU с GPU, а также сетевого оборудования». Худ добавила, что компания направляет средства на увеличение ёмкости для «обычных рабочих нагрузок Azure, а также некоторых рабочих нагрузок ИИ».

Источник изображения: Microsoft

Вложив миллиарды долларов в OpenAI, Microsoft стала единственным облачным провайдером стартапа, но вместе с тем, как и другие гиперскейлеры, стремится получить достаточное количество ускорителей NVIDIA. Ранее она подписала соглашение о сотрудничестве с CoreWeave об использовании его мощностей для обработки ИИ-нагрузок своих клиентов. По слухам, аналогичное соглашение Microsoft имеет и с Lambda. А до этого она обсуждала совместное использование ускорителей с Oracle, поскольку NVIDIA, похоже, предпочитает отдавать новейшие продукты тем компаниям, которые не пытаются разработать собственные ИИ-ускорители.

«Главная задача — быть в состоянии активно удовлетворять кривую спроса», — заявила Худ. Возможность увеличения капвложений обеспечивается ростом доходов: Microsoft сообщает об увеличении выручки за квартал на 8 % год к году до $56,2 млрд. Продажи облака Azure выросли на 27 %. Компания отметила, что около одного п.п. роста приходится на ИИ, и в следующем квартале, как ожидается, рост ИИ составит 2 п.п. При этом Microsoft не предоставляет финансовые данные по Azure. Известно лишь, что выручка подразделения Intelligent Cloud, куда входит Azure, составила в минувшем квартале $24 млрд.

Источник изображения: Google

Google также заявила, что инвестирует значительные средства в ЦОД и ИИ-инфраструктуру. «Самая большая часть расходов пришлась на серверы, что включало значительное увеличение наших инвестиций в ИИ-вычисления», — сообщила в квартальном отчёте Рут Порат (Ruth Porat) финансовый директор холдинга Alphabet, куда входит Google. По словам Порат, «уровни инвестиций в техническую инфраструктуру [вырастут] во II половине 2023 года и продолжат расти в 2024 году», что позволит наверстать медленный старт. Компания будет «инвестиировать в GPU и TPU, а также в мощности ЦОД».

В свою очередь, глава Alphabet Сундар Пичаи (Sundar Pichai) заявил, что ИИ-инфраструктура компании является ведущей платформой для обучения и обслуживания моделей генеративного ИИ. Более 70 % компаний-единорогов в этой области являются клиентами Google Cloud, включая Cohere, Jasper, Typeface и т.д. Также компания, по его словам предлагает, самые широкие возможности ИИ-суперкомпьютинга на базе TPU и ускорителей NVIDIA. Подразделение Google Cloud сообщило о 28-% увеличении продаж во II квартале (до $8 млрд) в годовом исчислении и прибыли в размере $395 млн.

Холдинг Alphabet, материнская структура Google, отрапортовал о работе во II четверти 2023 года. Выручка за трёхмесячный период составила приблизительно $74,6 млрд, что на 7 % больше прошлогоднего результата ($69,7 млрд). Причём показатель превзошёл ожидания аналитиков, прогнозировавших выручку в размере $72,8 млрд.

Чистая прибыль Alphabet в период с апреля по июнь включительно достигла $18,4 млрд против $16,0 млрд годом ранее. Прибыль в пересчёте на одну ценную бумагу увеличилась в годовом исчислении с $1,21 до $1,44.

Источник изображения: Google

В отчёте говорится о продолжающемся расширении облачного бизнеса Google Cloud. Выручка в данном сегменте во II квартале 2023-го составила $8,0 млрд против $6,3 млрд годом ранее. Таким образом, рост оказался на уровне 28 %. При этом была показана операционная прибыль в размере $395 млн, в то время как во II четверти 2022 года подразделение Google Cloud продемонстрировало операционные убытки в $590 млн. В прошлом квартале облако Google впервые за 15 лет получило прибыль.

Генеральный директор Alphabet Сундар Пичаи отметил, что в перспективе расширению Google Cloud будут способствовать приложения и сервисы на основе ИИ, которым требуются значительные вычислительные ресурсы. По его словам, инфраструктура Google Cloud, оптимизированная для ИИ, является одной из ведущих в отрасли платформ для обучения генеративным моделям.

На этом фоне холдинг Alphabet несколько расширил штат. По состоянию на конец июня 2023 года в различных подразделениях трудились в общей сложности 181 798 сотрудников. Для сравнения: годом ранее у компании было 174 014 работников.

Компания Google начала закладку фундамента для дата-центра в Месе, пригороде Финиксе (штат Аризона), сообщил ресурс Data Center Dynamics со ссылкой на публикации местных СМИ. Проект стоимостью $1 млрд, ранее известный как «Redhawk», был одобрен городской администрацией ещё в 2019 году.

Как сообщается сейчас, кампус ЦОД общей площадью 70 000 м² будет построен на участке 75,7 га на месте бывших сельскохозяйственных угодий. Первая очередь ЦОД площадью 26 805 м² должна быть введена в эксплуатацию в июле 2025 года, а все три очереди кампуса будут готовы к 2030 году.

Источник изображения: Mesa City Council/Data Center Dynamics

В заявлении Google указано, что ЦОД в Месе будут обеспечивать работу таких сервисов компании, как «Поиск», Gmail, «Карты» и «постоянных инноваций в области ИИ». Сделка с властями Месы включает предоставление льгот по налогу на имущество в размере $16 млн в течение 25 лет.

В современных ИИ-системах огромную роль играет перемещение больших объёмов данных, однако механика этого перемещения далеко не оптимальны. Google представила экспериментальную реализацию механизма Device Memory TCP для ядра Linux, который позволяет избавиться от ненужного копирование данных в буфер хост-системы, сообщает Phoronix.

Инициатива Device Memory TCP как раз и нацелена на то, чтобы избавиться от лишних перемещений больших объёмов данных при копировании их с устройств хранения на удалённые ускорители GPU/TPU в тех случаях, когда эти данные не требуют обработки хост-системой. То есть Devmem TCP позволяет открыть прямой сетевой доступ к ресурсам памяти GPU, TPU и прочих сопроцессоров.

Google: TPU Pod. В системах такого масштаба использование Devmem TCP позволит существенно поднять эффективность

Если технология Devmem TCP будет внедрена в Linux, то в ОС появятся новые API для работы с сокетами, позволяющие непосредственно отсылать содержимое памяти по сети, а также и принимать напрямую в память пакеты, приходящие из сети, без промежуточной буферизации. По словам Google, это позволит существенно снизить нагрузку на подсистемы памяти и более эффективно использовать доступную пропускную способность PCI Express. В тестовой реализации уже удалось добиться утилизации сетевого канала на уровне 96,6 %.

Компания Google, по сообщению ресурса Datacenter Dynamics, подала заявку на строительство нового кампуса дата-центров в Бельгии. Речь идёт о создании трёх объектов в бизнес-парке Ecopôle в Валлонии. Ещё в 2021 году Google заключила соглашение с компанией Igretec о покупке 53 га земли в Ecopôle. Тогда же поставщик электроэнергии Elia сообщил о готовности предоставить до 200–300 МВт для питания кампуса.

Как теперь сообщается, кампус будет занимать территорию около 53 000 м². Строительство начнется в конце 2023 года, а откроется новая площадка ЦОД в 2025 году. На начальном этапе речь идёт о введении в эксплуатацию объектов площадью приблизительно 7500 м². Кампус будет включать солнечные панели для выработки электроэнергии и систему рекуперации тепла для подачи в городскую тепловую сеть.

Источник изображения: Google

Нужно отметить, что в бельгийском Сен-Гислене (коммуна в Валлонии, расположенная в провинции Эно, округ Монс) находится первый дата-центр Google в Европе. С 2009 года компания построила пять ЦОД на своей площадке в Сен-Гилене площадью 90 га, а также солнечную электростанцию. Google выполняет основную часть своих операций в Бельгии через фирму-прокладку Crystal Computing.

Разработчик чипов MediaTek отрицает появившиеся в Сети данные о сотрудничестве с Google. По данным DigiTimes, слухи касались возможной разработки в творческом тандеме тензорных процессоров TPU.

По информации тайваньских СМИ, которую в самой MediaTek называют ложной, новые тензорные процессоры будут производиться на мощностях TSMC в соответствии с 5-нм техпроцессом, а производство пробных партий для оценки качества решений начнётся до конца текущего года. В 2024 году якобы планируется начало массового производства. Как сообщает издание Economic Daily со ссылкой на источники, знакомые с вопросом, MediaTek предоставит Google свои SerDes-блоки.

Источник изображения: MediaTek

TPU компании Google представляют собой кастомные ASIC, ориентированные на ИИ-вычисления. В частности, ранее Google утверждала, что её облачные кластеры Pod на базе TPU v4 в 1,2–1,7 раза быстрее и в 1,3–1,9 раза экономичнее, чем сопоставимое решение на базе NVIDIA A100. Однако у Google есть и компактные решения Edge TPU (4 Топс, 2 Вт). Именно в этом сегменте у двух компаний есть немало точек соприкосновения. Ранее в MediaTek заявляли, что периферийные ИИ-вычисления станут основой всех аспектов бизнеса MediaTek.

Google объявила о решении закрыть сервис доменных имён Google Domains и продать активы компании Squarespace Inc, занимающейся созданием веб-сайтов и хостингом. В рамках сделки к Squarespace перейдёт более 10 млн доменов, принадлежащих клиентам Google Domains. По данным Bloomberg, стоимость сделки составляет $180 млн.

В соответствии с условиями контракта Squarespace сохранит цены на прежнем уровне для всех существующих клиентов Google Domains в течение как минимум 12 месяцев после закрытия сделки. Чтобы обеспечить плавный переход, Squarespace задействует имеющуюся инфраструктуру Google Domains. Миграция не повлияет на делегирование доменов и DNS.

Источник изображения: Google

«Как только вы станете клиентом Squarespace, вы сможете управлять дополнительными услугами (по мере доступности) через их консоль управления, — сообщила Google. — Зашифрованные платёжные данные будут, где это применимо, безопасно перенесены в Squarespace и их платёжные системы».

Сервис Google Domains был запущен в 2014 году в виде закрытой бета-версии, в 2015 году он стал доступен для всех, но лишь спустя семь лет вышел из режима бета-тестирования. На данный Google Domains является пятым по величине регистратором для доменов верхнего уровня. Проведение сделки Google и Squarespace поддержит банк JPMorgan Chase, который частично обеспечит финансирование оплаты. Ожидается, что сделка будет завершена в III квартале 2023 года.