На днях была основана новая группа Open Cloud Coalition (OCC), намеренная продвигать «открытость и совместимость» на рынке облачных услуг. По данным Computer Weekly, она будет поддерживать антимонопольные ведомства, надзирающие за бизнес-практиками гиперскейлеров. Новый проект пришёлся по вкусу не всем облачным операторам.

OCC основана 10 компаниями, призывающими к большей открытости, совместимости и честной конкуренции на облачном рынке. Участники также обязуются публиковать исследовательские данные и консультировать регуляторов в Европе, исследующих антиконкурентное поведение. Примечательно, что в число основателей входит Google Cloud, недавно подавшая жалобу в Еврокомиссию на неконкурентные практики облачного лицензирования Microsoft.

Не так давно ассоциация облачных провайдеров CISPE уже жаловалась европейским властям на Microsoft, но в итоге последняя урегулировала проблему, заплатив небольшим компаниям более $20 млн. Google, по слухам, предлагала в разы больше, чтобы более мелкие игроки не отказывались от претензий, но компанию и AWS оставили один на один с Microsoft, а последняя заявляла, что конкуренты «мутят воду», только притворяясь слабыми.

Источник изображения: jean wimmerlin/unsplash.com

Теперь, по данным СМИ, Google фактически запускает собственную версию CISPE, включающую Centerprise International, Civo и Gigas, а также других мелких игроков, в том числе ControlPlane, DTP Group, Prolinx, Pulsant, Clairo и Room 101. Представители коалиции заявляют, что в будущем привлекут новых участников, а соответствующие переговоры уже ведутся.

Новость о появлении коалиции обнародована на фоне вестей с мирового облачного рынка, где активно расследуется антиконкурентное поведение как Microsoft, так и Amazon (AWS). В частности, соответствующие расследования ведёт Управление по конкуренции и рынкам (CMA) Великобритании с подачи регулятора Ofcom, в сферу внимания которого попали Microsoft и AWS, не в последнюю очередь с подачи Google. Похожие расследования ведутся в Испании и Дании.

В условиях, когда облачная инфраструктура становится незаменимой, многие компании попали в ловушки, связанные ограничительными соглашениями, фактически не дающими возможности реализовать «мультиоблачные» стратегии. Этот тренд и намерена изменить OCC, продвигая более конкурентные практики и открытые стандарты, а также принципы, позволяющие легко менять провайдеров.

Впрочем, в Microsoft уже раскритиковали инициативу, назвав организацию «искусственным газоном, созданным Google». Хотя Google формально не является лидером коалиции, предполагается, что именно она является теневым «кукловодом». В Microsoft утверждают, что конкурент добивается двух целей — пытается отвлечь от антимонопольных расследований по всему миру, проводящихся против самой Google, и пытается изменить вектор внимания регуляторов в свою пользу вместо того, чтобы состязаться честно.

В Google занялись испытаниями роботов для управления и обслуживания оборудования в своих дата-центрах. Как сообщает Datacenter Dynamics со ссылкой на Рика Миллера (Rich Miller) из Data Center Frontier, соответствующую информацию представитель Google обнародовал в ходе недавнего мероприятия Open Compute Summit — роботы уже действуют на одном из объектов.

В Google заявили, что роботы помогут кардинально пересмотреть подход к масштабированию операций, а их внедрение благотворно скажется на безопасности и надёжности работ. Робототехника может сыграть важную роль в задачах вроде перемещения компонентов и стоек, мониторинга оборудования и даже его обслуживания и ремонта. В прошлом году компания начала эксперименты по использованию роботов для замены вышедших из строя накопителей. А сейчас компания намерена привлечь роботов к обслуживанию стоек с ускорителями, которые значительно тяжелее традиционных стоек.

Источник изображений: Google / OCP

Использование роботов для обеспечения работы ЦОД давно рассматривается гиперскейлерами и колокейшн-провайдерами. Впрочем, в большинстве случаев речь идёт о робособаках вроде моделей, выпускаемых Boston Dynamics, Unitree Go1 и Anybotics. Такие модели обычно выполняют в основном патрульные функции — для охраны и оповещения об инцидентах. Пока что Google использует довольно массивную, автономно передвигающуюся платформу собственной разработки.

В 2023 году Microsoft создала команду, занимающуюся автоматизацией работы ЦОД вообще и роботами в частности. В том же году Digital Edge, Digital Realty, Scala Data Centers, и Oracle протестировали роботов для выполнения самых разных операций в дата-центрах. А вот у японской NTT Data подход иной — компания создала робота Ugo на моторизованной платформе, который получил две роборуки-манипулятора.

Google показала собственный вариант суперускорителя NVIDIA Blackwell GB200 NVL для своей облачной ИИ-платформы, передаёт Datacenter Dynamics. Решение Google отличается от вариантов Meta✴ и Microsoft, представленных ранее. Тем не менее, это показывает высокий интерес к новой ИИ-платформе NVIDIA со стороны гиперскейлеров. Google заявила о тесном сотрудничестве с NVIDIA для формирования «устойчивой вычислительной инфраструктуры будущего».

Источник изображения: Google

Подробнее о новой платформе будут рассказано на одной из будущих конференций Google. Пока что, увы, даже не до конца ясна конфигурация суперускорителя в исполнении Google. На фото видно сразу две стойки. Одна содержит неназванное количество ускорителей GB200, а вторая комплектуется оборудованием Google, в том числе блоками питания, коммутаторами и модулями охлаждения. Хотя NVIDIA рекомендует использовать в качестве интерконнекта InfiniBand в своих ИИ-платформах, некоторые эксперты считают, что Google пользуется собственными инфраструктурными наработками на базе Ethernet. Так, компания уже применяет оптические коммутаторы (OCS) собственной разработки в ИИ-кластерах с фирменными ускорителями TPU.

Вариант Microsoft также состоит из двух стоек. Во второй смонтирован огромный теплообменник, который, вероятно, обслуживает не одну стойку с ускорителями, а сразу несколько. Известно, что ранее между Microsoft и NVIDIA были разногласия по поводу компоновки платформ для GB200. Наконец, вариант Meta✴ наиболее близок к оригинальной версии NVIDIA GB200 NVL72. При этом NVIDIA открыла её спецификации в рамках OCP. Ранее компания отказалась от выпуска «компромиссных» суперускорителей GB200 NVL36×2, которые сами по себе занимают две стойки.

Google и Kairos Power заключили соглашение о закупке энергии с малых модульных реакторов (SMR), разрабатываемых Kairos. Первый SMR должен заработать к 2030 году, а последующие реакторы — до 2035 года. Всего речь идёт о шести-семи реакторах суммарной мощностью до 500 МВт. Проект касается только Соединённых Штатов. Он обеспечит Google безуглеродной и относительно экобезопасной энергией.

Kairos разрабатывает SMR с охлаждением расплавами солей и гранулированным в керамические шарики топливом. Генерируемое тепло передаётся в паровую турбину для выработки электроэнергии. В июле Kairos Power уже начала строить демонстрационный реактор в Теннесси. Подробная информация о сделке, её стоимости и местоположении реактора не разглашается.

Похожие проекты реализуют и другие компании. В марте 2024 года AWS купила за $650 млн кампус ЦОД Talen Energy рядом с принадлежащей последней АЭС Susquehanna Steam Electric Station. Сообщалось, что АЭС обеспечит кампусу до 960 МВт. В мае AWS получила добро на перезонирование участка площадью около 650 га для строительства 15 зданий ЦОД. В минувшем сентябре Microsoft объявила о покупке возвращаемой к жизни атомной электростанции Three Mile Island мощностью 837 МВт.

Источник изображения: Kairos Power

Oracle также сообщила, что намерена построить кампус ЦОД на 1 ГВт с питанием от трёх SMR. Наконец, Equinix готова приобрести 500 МВт атомной энергии в виде PPA-соглашений у Oklo, у неё же Wyoming Hyperscale получит 100 МВт. При этом пока SMR остаются непроверенной технологией, внедрение которой неизбежно вызовет внимание и, возможно, противодействие регуляторов.

В огромной лаборатории в штаб-квартире Google в Маунтин-Вью (Калифорния, США) установлены сотни серверных стоек с ИИ-ускорителями TPU (Tensor Processing Unit) собственной разработки, с помощью которых производится обучение больших языковых моделей, пишет ресурс CNBC, корреспонденту которого компания устроила небольшую экскурсию.

Первое поколение Google TPU, созданное ещё в 2015 году, и представляет собой ASIC для обработки ИИ-нагрузок. Сейчас компания использует такие, хотя и более современные ускорители для обучения и работы собственного чат-бота Gemini. С 2018 года TPU Google доступны облачным клиентам компании. В июле этого года Apple объявила, что использует их для обучения моделей ИИ, лежащих в основе платформы Apple Intelligence.

TPU v1 (Источник изображений здесь и далее: Google)

«В мире есть фундаментальное убеждение, что весь ИИ, большие языковые модели, обучаются на (чипах) NVIDIA, и, конечно, на решения NVIDIA приходится львиная доля объёма обучения. Но Google пошла по собственному пути», — отметил гендиректор Futurum Group Дэниел Ньюман (Daniel Newman). Благодаря расширению использованию ИИ подразделение Google Cloud увеличило доход, и в последнем квартальном отчёте холдинг Alphabet сообщил, что выручка от облачных вычислений выросла на 29 %, впервые превысив $10 млрд за квартал.

Google была первым провайдером облачных вычислений, создавшим кастомные ИИ-чипы. Лишь спустя три года Amazon Web Services анонсировала свой первый ИИ-ускоритель Inferentia, Microsoft представила ИИ-ускоритель Azure Maia 100 в ноябре 2023 года, а в мае того же года Meta✴ рассказала об семействе MTIA. Однако лидирует на рынке генеративного ИИ компания OpenAI, обученная на ускорителях NVIDIA, тогда как нейросеть Gemini была представлена Google спустя год после презентации ChatGPT.

В Google рассказали, что впервые задумались о создании собственного чипа в 2014 году, когда в руководстве решили обсудить, насколько большими вычислительными возможностями нужно обладать, чтобы дать возможность всем пользователям поговорить с поиском Google в течение хотя бы 30 с каждый день. По оценкам, для этого потребовалось бы удвоить количество серверов в дата-центрах. «Мы поняли, что можем создать специальное аппаратное обеспечение, <…> в данном случае тензорные процессоры, для обслуживания [этой задачи] гораздо, гораздо более эффективно. Фактически в 100 раз эффективнее, чем было бы в противном случае», — отметил представитель Google.

С выходом второго поколения TPU в 2018 году Google расширила круг выполняемых чипом задач, добавив к инференсу обучение ИИ-моделей. Процесс создания ИИ-ускорителя не только отличается высокой сложностью, но и требует больших затрат. Так что реализация таких проектов в одиночку не по силам даже крупным гиперскейлерам. Поэтому с момента создания первого TPU Google сотрудничает с разработчиком чипов Broadcom, который также помогает её конкуренту Meta✴ в создании собственных ASIC. Broadcom утверждает, что потратила более $3 млрд в рамках реализации совместных проектов.

В рамках сотрудничества Google отвечает за собственно вычислительные блоки, а Broadcom занимается разработкой I/O-блоков, SerDes и иных вспомогательных компонентов, а также упаковкой. Самы чипы выпускаются на TSMC. С 2018 года в Google трудятся ещё одни кастомные чипы — Video Coding Unit (VCU) Argos, предназначенной для обработки видео.

Что касается TPU, то в этом году клиентам Google будет доступно шестое поколение TPU Trillium. Более того, им станут доступны и первые Arm-процессоры Axion собственной разработки. Google выходит на этот рынок с большим отставанием от конкурентов. Amazon выпустила первый собственный процессор Graviton в 2018 году, Alibaba Yitian 710 появились в 2021 году, а Microsoft анонсировала Azure Cobalt 100 в ноябре. Все эти чипы основаны на архитектуре Arm — более гибкой и энергоэффективной альтернативе x86.

Энергоэффективность имеет решающее значение. Согласно последнему экологический отчёту Google, с 2019 по 2023 год выбросы компании выросли почти на 50 %, отчасти из-за увеличения количества ЦОД для ИИ-нагрузок. Для охлаждения ИИ-серверов требуется огромное количество воды. Именно поэтому начиная с третьего поколения TPU компания использует прямое жидкостное охлаждение, которое только теперь становится практически обязательным для современных ИИ-ускорителей вроде NVIDIA Blackwell.

Компания Google объявила о выпуске собственного процессора для своих ЦОД. В основу новинки, получившей имя Axion, легла архитектура Arm, что ставит её в один ряд с Amazon Graviton, Alibaba Yitian и Microsoft Cobalt.

Это не первый процессор, разработанный Google: c 2015 года компания успела создать пять поколений ИИ-ускорителей Tensor Processing Units (TPU), а в 2018 она представила процессор Video Coding Unit (VCU) Argos для транскодирования видео. Но Axion стал первым чипом Google, который подпадает под определение «процессор общего назначения». При его создании компания сделала упор не только на энергоэффективность, но и на высокий уровень производительности, достаточный для использования в современных серверах.

Источник изображений: Google

В основу Axion легли Armv9-ядра Neoverse V2 (Demeter). Этот же дизайн используется в AWS Graviton4 и NVIDIA Grace. К сожалению, архитектурных подробностей Google пока не раскрывает, известно лишь, что ядра Neoverse V2 работают совместно с фирменными контроллерами Titanium. Последние отвечают за работу с сетью, защиту и разгрузку IO-операций при работе с блочным хранилищем Hyperdisk, то есть чем-то напоминают AWS Nitro. При этом Google вложилась в SystemReady Virtual Environment (VE), чтобы упростить перенос нагрузок на новые чипы как для себя, так и для пользователей облака.

Если верить разработчикам, на момент анонса Google инстансы на базе Axion минимум на 30 % производительнее инстансов на базе самых быстрых Arm-процессоров других вендоров, а по сравнению с сопоставимыми по классу x86-процессорами преимущество может достигать и 50 % при 60 % выигрыше в энергоэффективности. Судя по всему, Axion ранее был известен под кодовым именем Cypress. А ещё один Arm-процессор Google Maple, который, по слухам, являлся наследником почивших Marvell ThunderX, в серию, видимо, не пошёл.

Сама компания уже начала переводить на Axion сервисы BigTable, Spanner, BigQuery, Blobstore, Pub/Sub, Google Earth Engine и YouTube Ads. Ряд клиентов и партнёров Google уже оценили Axion по достоинству. Виртуальные машины с новыми процессорами будут доступны в ближайшие месяцы. Они же будут доступны и в Kubernetes Engine, Dataproc, Dataflow, Cloud Batch и т.д.

Чилийский суд пересмотрел уже полученное Google разрешение на строительство в стране ЦОД за $200 млн. По данным Datacenter Dynamics, дата-центр планируется построить в столице Чили — Сантьяго. Суд предписал гиперскейлеру пересмотреть положения заявки, приняв во внимание масштабные климатические изменения и истощение водных ресурсов чилийской столицы.

В постановлении предписывается оценить потенциал Центрального водоносного горизонта Сантьяго и принять во внимание возможную доработку систем охлаждения серверов. В Чили и, в частности, в Сантьяго в течение 15 лет продолжается беспрецедентная засуха, из-за чего серьёзно пострадало водоснабжение столицы — в 2022 году было введено нормирование воды, а ранее в этом месяце в результате «рекордного» пожара погибли минимум 112 человек, а тысячи лишились мест проживания.

Google заявила, что уже внесла изменения в заявку на строительство, предусматривающие использование воздушного охлаждения. В декабре 2023 года AWS тоже получила разрешение властей на строительство кампуса ЦОД в Сантьяго, но в этом случае, видимо, никаких проблем не было.

Источник изображения: Jesus Fernandez/unsplash.com

Схожая ситуация наблюдается и в соседнем Уругвае, который тоже страдает от засухи. Местная оппозиция буквально восстала против плана Google построить ЦОД на юге страны, поскольку в результате судебного разбирательства выяснилось, что охлаждающим установкам ЦОД понадобится 7,6 млн литров питьевой воды ежедневно. В Google заявляют, что уругвайский проект находится лишь на стадии подготовки и техническая команда IT-гиганта активно работает над ним при поддержке властей.

Холдинг Alphabet сообщил результаты работы в IV квартале и 2023 году, завершившемся 31 декабря. Выручка облачного подразделения Google Cloud составила около $9,2 млрд, увеличившись год к году на 25,66 %. Что примечательно, подразделение сработало с операционной прибылью в размере $864 млн, в то время годом ранее у него были убытки в $186 млн.

Выручка всего Alphabet в IV квартале составила $86,31 млрд по сравнению с $76,048 млрд годом ранее. Выручка за весь 2023 год — $307,394 млрд, что значительно превышает результат 2022 года, равный $282,836 млрд. Чистая прибыль холдинга выросла в 2023 году до $73,795 млрд с $59,972 млрд годом ранее, отчасти благодаря решению компании продлить срок службы серверов и сетевого оборудования.

Alphabet впервые продлил срок службы своего оборудования в 2021 году, увеличив продолжительность работы серверов с трёх до четырёх лет, а сетевого оборудования — с четырёх до пяти. В 2023 году Alphabet вновь продлил срок эксплуатации оборудования, на этот раз — до шести лет. Благодаря этому только в IV квартале 2023 года расходы компании на амортизацию оборудования упали на $983 млн, а чистая прибыль увеличилась на $765 млн. За весь год амортизация оборудования Alphabet снизилась на $3,9 млрд, а чистая прибыль увеличилась на $3 млрд.

Изображение: Google

При этом компания вложила значительные средства в новую инфраструктуру. В IV квартале общие капитальные затраты составили $11 млрд, что, по словам президента и главного инвестиционного директора Alphabet и Google Рут Порат (Ruth Porat), было обусловлено «инвестициями в техническую инфраструктуру, причём самый крупный компонент — серверы, за которыми следуют ЦОД». В предыдущем квартале капзатраты составили $7,6 млрд. Резкое увеличение капзатрат обусловлено «перспективами создания уникальных приложений ИИ для пользователей, рекламодателей, разработчиков, облачных корпоративных клиентов и правительств во всем мире, а также возможностями долгосрочного роста, которые они предлагают».

Порат добавила, что компания будет придерживаться этой политики и в 2024 году. «Мы ожидаем, что капитальные затраты в 2024 году будут значительно больше, чем в 2023 году», — отметила она. Порат также подчеркнула, что фактором роста Google Cloud Platform (GCP) является ИИ. Гендиректор Сундар Пичаи (Sundar Pichai) заявил, что компания продолжит инвестировать в инфраструктуру, как в ЦОД, так и в вычислительную технику, чтобы поддержать рост возможностей ИИ-технологий.

Изображение: Google

Подразделение Google Cloud снова стало самым быстрорастущим сегментом. После значительного замедления роста с +28 % год к году во II квартале до +22 % в III квартале рост облака вновь ускорился до +26 %. Более того, в этот раз ускорение темпов роста было сильнее, чем у AWS и Azure. Рост доходов от облачных технологий вновь ускорился на 4 п. п. Также резко выросла операционная маржа Google Cloud — последовательно на 6 п.п. до 9 %. Компания объяснила замедление темпов роста в III квартале проведением оптимизации рабочей нагрузки. В ходе нынешнего отчёта Сундар Пичаи сообщил, что этот вопрос «в основном был проработан».

Темпы роста Google Cloud по-прежнему опережают рынок: по оценкам Synergy Research Group, общемировой прирост рынка облаков составил +20 % в годовом исчислении до $74 млрд в IV квартале, ускорившись с 18 % в годовом исчислении в III квартале. Доминирует Amazon (31 % рынка), за ним следуют Microsoft (24 %) и Google (11 %). Большая тройка занимает 67 % рынка. Причём Microsoft и Google нарастили свои доли, а AWS — снизила.

Google объявила о намерении проложить новые кабели в центральной части Тихого океана. Как сообщает пресс-служба компании, речь идёт о кабелях, не покидающих пределы тихоокеанского бассейна — Bulikula и Halaihai. Они будут проложены при сотрудничестве с Amalgamated Telecom Holdings (ATH), APTelecom и Telstra и обеспечат рост доступности и надёжности связи в регионе.

В частности, Bulikula свяжет Гуам с Фиджи, а Halaihai — Гуам и Французскую Полинезию. В рамках более глобального проекта South Pacific Connect, анонсированного в октябре и включающего кабели Honomoana и Tabua, а также Humboldt, инициатива Central Pacific Connect позволит создать кольцевую связь между Гуамом, Французской Полинезией и Фиджи, с заранее запланированными ответвлениями для подключения и других стран и территорий в этой местности.

После ввода в эксплуатацию Bulikula и Halaihai значительно усилятся позиции Гуама, уже сегодня выступающего в качестве хаба для кабелей Apricot, Echo и др. Власти Гуама принимают все меры для развития цифровой инфраструктуры и сокращения информационной пропасти между жителями. Заявлено, что дополнительно Гуам поможет обеспечить связью острова в северной и южной частях океана. Поддерживают аналогичные инициативы и власти Фиджи и Французской Полинезии.

Источник изображения: Google

В целом Pacific Connect рассматривается как ключевая инвестиция, способная внести фундаментальные изменения в структуру доступа к Сети на Островах Кука, на Фиджи, Кирибати, Самоа и Вануату, а также обеспечить магистральный интернет всем тихоокеанским островам. Инициативу приветствовали и в Австралии, тесно связанной с регионом, а также в США. Считается, что это поможет экономическому и социальному развитию, обеспечит новые возможности для торговли, электронной коммерции и доступа к правительственным сервисам.

Google предложила операторам в России изменить формат обмена трафиком для сохранения качественного доступа к своим сервисам — вместо серверов Google Global Cache использовать прямое присоединение к своей сети. Как сообщает РБК, российские операторы планируют увеличивать количество прямых стыков с Google, что позволит ускорить процесс загрузки контента, поступающего от американской компании.

Представитель «Ростелекома» пояснил РБК, что после того, как Google перестала поставлять оборудование для модернизации серверов Global Cache и новые серверы, остался лишь один выход — модернизировать стыки в Москве. Такой подход использовался и ранее, а сам «Ростелеком» по мере необходимости расширяет имеющиеся стыки с сетями Google. Гендиректор MSK-IX выразил мнение, что расширение стыков с Google только в Москве не решит проблему с задержкой сигнала при передаче трафика дальше по стране в связи с тем, что Google Global Cache, возможно, будут со временем отключены.

Источник изображения: Google Cloud

Впрочем, несколько участников рынка сообщили, что в письме гиперскейлера система Google Global Cache не упоминалась. В письме Google сообщила, что с января 2024 года перестанет передавать трафик через серверы маршрутизации на точках обмена трафиком (IX): «Мы обнаружили, что сегодня полагаемся на серверы маршрутизации для обмена трафиком с вашей сетью на некоторых точках обмена трафиком. Как только мы прекратим поддержку маршрутного сервера, этот трафик изменится. Чтобы свести к минимуму влияние, мы хотели бы пригласить вас как можно скорее подключиться к Google напрямую».

Глава Piter-IX отметил, что использование серверов маршрутизации имеет свои преимущества — экономится время и память маршрутизатора. «Но так как Google — очень большая компания, она может позволить себе заставить всех остальных следовать ее правилам», — сообщил он, добавив, что благодаря этому Google сможет сэкономить на затратах на оплату трафика на точках обмена, а операторам, пока не имеющим прямого стыка с Google, нужно будет просто поменять конфигурацию роутера.

По словам главы GlobalNet (сеть обмена трафиком DATAIX), подобное предложение было сделано операторам не только в России, поскольку Google «принципиально уходит с серверов маршрутизации на точках обмена трафиком во всем мире». Он отметил существующие опасения участников рынка, что после отказа от работы через роут-серверы Google окажется не готова к таким объёмам новых прямых присоединений.