Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Synergy Research Group прогнозирует, что средняя ёмкость дата-центров гиперскейл-уровня в следующие 6 лет может вырасти почти втрое. Как сообщает пресс-служба компании, хотя критические нагрузки гиперскейлеров давно растут, развитие ИИ-технологий обеспечило отрасли дополнительный импульс и скоро потребуются значительно более производительные ЦОД.

По мере того как растёт средняя нагрузка на отдельные ЦОД, число эксплуатируемых дата-центров тоже будет увеличиваться, а уже существующие объекты подвергнут модернизации. В результате общая ёмкость вырастет приблизительно в 3 раза.

Исследование Synergy основано на оценке площадей ЦОД и деятельности 19 крупнейших компаний, предоставляющих облачные или интернет-сервисы. При этом компании должны соответствовать критериям Synergy, чтобы быть признанными операторами-гиперскейлерами, представляющими SaaS, IaaS или PaaS, поисковые службы, социальные сети, площадки для игр и электронной коммерции.

Источник изображения: Microsoft

По данным на середину 2023 года эти компании управляли 926 ЦОД по всему миру. Известно о планах строительства ещё 427 объектов, на чём и основаны прогнозы компании. Специфика в отдельных регионах может отличаться, но в целом общее количество ЦОД за последние пять лет удвоилось. При этом влияние сферы ИИ заключается в первую очередь не в том, что число дата-центров растёт и будет расти примерно на сто в год, а в росте энергопотребления этих объектов.

Источник изображения: Synergy Research Group

По мере того как число ускорителей в ЦОД гиперскейлеров продолжает расти в связи с развитием ИИ-систем, плотность мощности задействованных стоек тоже должна вырасти, что в перспективе должно привести гиперскейлеров к пересмотру архитектуры ЦОД и планов их ввода в эксплуатацию.

Еврокомиссия провела опрос с участием компаний, бизнес-ассоциаций, НКО, исследовательских институтов, граждан и даже структур и лиц за пределами Евросоюза. Как сообщает The Register, идея заставить IT-гигантов платить за использование сетей связи не особенно интересна опрошенным, но за некоторыми важными исключениями.

Тема стала предметом дискуссий после того, как соответствующие правила ввели в Южной Корее. Европейские операторы связи лоббируют такие же платежи под предлогом того, что строительством и обслуживанием сетей занимаются сами операторы, а основную прибыль от них получают совсем другие компании — например, Google и Netflix, поставляющие контент. Вместе с тем гиперскейлеры активно строят собственные трансокеанские и трансконтинентальные сети связи, вытесняя таким образом крупных магистральных провайдеров.

Источник изображения: Oliver Cole/unsplash.com

В целом, операторы жалуются на то, что гиперскейлеры зарабатывают намного больше самих операторов, хотя никогда не смогли бы добиться таких успехов, если бы не развитая инфраструктура широкополосных сетей связи. Поэтому операторы считают, что IT-гиганты должны отчислять средства на строительство и обслуживание растущих сетей.

Результаты опроса отражают мнение большинства опрошенных, но какой будет реальная политика Евросоюза в этом вопросе, остаётся только догадываться. Подчёркивается, что идею заставить платить поставщиков контента поддерживают преимущественно телеком-операторы, в то время как большинство других опрошенных считает, что такие идеи не будут работать и даже помешают инновациям. По мнению некоторых экспертов, подобные попытки являются попыткой в том или ином виде добиться субсидирования сетей связи и увеличения прибылей. Эксперты призывают найти другие способы ускорить построение сетевой инфраструктуры.

Фото: Lars Kienle / Unsplash

В документе резюмируется, что респонденты в целом уверены в том, что государственное финансирование будет способствовать и росту инвестиций вообще. Также опрошенные поддерживают объединение имеющейся инфраструктуры в единую базовую сеть 5G, что в следующие пять лет может принести €200–300 млн. Кроме того, опрошенные поддерживают «более гармоничное» управление спектром, что позволит «разблокировать рыночный потенциал» и легче внедрять трансграничные сервисы, а также стимулировать инвестиции и инновации.

Опрос позволяет сделать и другие выводы. Например, респонденты сходятся в том, что сетевая виртуализация, пограничные облачные сервисы, ИИ и открытые сети окажут важное влияние на сектор электронных коммуникаций. Эти технологии будут востребованы в основанных на программных и облачных решениях сетях, работающих с гигабитными, а со временем и петабитными скоростями. Немаловажно, что в документе рассматривается необходимость замены «вендоров с высоким уровнем риска» — другими словами, китайских Huawei и ZTE.

Инвестирующая в недвижимость и управляющая соответствующими активами американская Pimco, имеющая немало активов в Европе, основала компанию Apto для работы на европейском рынке. Как сообщает DataCenter Dynamics, новый бизнес займётся строительством и управлением ЦОД гиперскейл-класса, а также будет управлять уже имеющимися дата-центрами Pimco.

Главой Apto выбран Рассел Пул (Russell Poole), ранее возглавлявший британское подразделении Equinix и пришедший туда ещё в 2007 году. По его словам, ключевой миссией Apto является быстрый и беспрепятственный выход на рынки, которые будут формировать будущий спрос в Европе. Опыт и компетенции Pimco в области недвижимости, а также доступ к капиталам позволят сотрудничать с ведущими мировыми гиперскейлерами, намеренными возглавить новую волну цифровизации европейской экономики.

Источник изображения: Pimco

Кроме того, к Apto уже присоединились бывшие специалисты и топ-менеджеры Digital Realty и Interxion, AWS и Equinix. Apto намерена обеспечить гиперскейлерам необходимые мощности и обещает строить их в наиболее востребованных такими провайдерами местах. Apto заявляет, что имеет проверенные планы проектирования, позволяющие избежать препятствий при получении одобрения регуляторов и быстро реализовать проекты, сохраняя высокий уровень их качества.

Проект Open19 объявил о проведении ребрендинга и трансформации в структуру Sustainable and Scalable Infrastructure Alliance (SSIA). В рамках реорганизации председатель правления Open19 Закари Смит (Zachary Smith) уйдёт с занимаемой должности.

Инициатива Open19 была анонсирована в 2016 году социальной сетью LinkedIn (заблокирована на территории РФ за нарушение правил хранения персональных данных российских пользователей). Проект нацелен на снижение стоимости владения оборудованием и оптимизацию энергозатрат. Вместе с тем он не настолько широко распространён как OCP (Open Compute Project).

Источник изображения: SSIA

В официальном заявлении говорится, что инициатива Open19 ориентирована на создание открытого стандарта, подходящего под любой 19″ серверный шкаф. В 2021 году организация Open19 присоединилась к Linux Foundation, крупнейшей в мире экосистеме open source. На фоне развития проекта Open19 использование нового бренда и формирование альянса SSIA, как ожидается, поможет ускорить внедрение инноваций в дата-центрах и на периферии.

Говорится, что после трансформации господин Смит продолжит активно участвовать в деятельности SSIA. Вместе с тем в должность председателя правления альянса вступит технический директор Equnix Май Труонг (My Truong). Он помогает в развитии спецификации Open19 V2, которая включает в себя стандарт жидкостного охлаждения, собственное решение питания на 48 В и другие технологии.

Компания ChinData, которая скоро перейдёт в полную собственность Bain Capital, представила набор полнофункциональных модульных продуктов для крупных дата-центров. По данным DataCenter Dynamics, он включает всевозможные элементы, от интегрированных систем энергоснабжения до готовых зданий.

Новые продукты представлены в ходе мероприятия Data Center New Technology Development Forum на конференции 2023 China Computing Conference в Китае. В компании подчёркивают, что продукты предназначены для удовлетворения спроса крупных строителей ЦОД в новую эпоху генеративного ИИ (AIGC).

Значительная часть применяемых технологий поставляется партнёрами. Так, в прошлом году ChinData представила «первую в мире безводную систему охлаждения», которая на поверку оказалось решением Vertiv Liebert DSE для фрикулинга. В этом году речь зашла о безмасляных компрессорах на магнитной подушке, которые, похоже, тоже уходят корнями к Vertiv. В случае с ChinData речь идёт о двухфазной системе охлаждения X-Cooling Maglev на таких компрессорах. Также применяются и другие технологии охлаждения, за управление которыми отвечает специальный ИИ.

Источник изображения: ChinData

Модульная система X-PrePower 3.0 включает блоки питания и распределения энергии с эффективностью 98,5 %. В ChinData подчеркнули, что такие блоки выгоднее немодульных и занимают на 20 % меньше места. Более того, время доставки снижается с двух месяцев до одной недели. Наконец, платформа Kunpeng обеспечивает эксплуатацию, управление, мониторинг и контроль новых модульных решений.

В итоге новый комплекс решений позволяет формировать стойки мощностью до 35 кВт. Упрощённая конструкция с повышенной надёжностью, по данным компании, способна обеспечить годовой показатель Cooling Load Factor (CLF) на уровне 0,08 на севере Китая и 0,15 в Малайзии.

Коммерческий директор Intel Кристоф Шелл (Christoph Schell) уведомил сотрудников о выделении управления продаж AWS, Google, Microsoft и другим особо крупным игрокам в отдельную структуру. Как сообщает CRN, подразделение Global Solutions and Services решено сформировать после того, как топ-менеджер по глобальным продажам Райан МакКарди (Ryan McCurdy) покинул свой пост, став вице-президентом Lenovo в североамериканском регионе. Серверное подразделение Intel продолжает терять выручку и терпеть убытки, а AMD тем временем отбирает у неё долю рынка.

В своём послании группе SMG, ответственной за продажи, маркетинг и коммуникации, её глава и коммерческий директор Intel сообщил, что компании необходимы инновации на только технологическом уровне, SMG тоже должна быть инновационной в освоении рынков. При этом команда МакКарди, который провёл в Intel более 23 лет, обеспечивала около половины из $60 млрд годовой выручки компании. В связи с уходом топ-менеджера Intel разделяет управление крупнейшими клиентскими аккаунтами между двумя подразделениями, подведомственными SMG.

Источник изображения: Intel

За продажи Dell, HP и Lenovo будет отвечать Грег Эрнст (Greg Ernst). Ведение дел с крупнейшими облачными клиентами Intel в лице AWS, Microsoft и Google перейдёт к группе Global Solutions and Services, а основной фокус будет сделан на предоставлении клиентам максимальной ценности с учётом конкретных потребностей. Группу возглавит Дэвид Меффе (David Meffe) — ветеран продаж Intel, которому временно поручили продажи в Network and Edge Group (NEX). Последняя перейдёт в подчинение Global Solutions and Services. Новый глава NEX пока не назначен.

Источник изображения: Intel

Специальная команда будет создана и для формирования стратегии SMG, параллельно будет вестись поиск её главы, а подразделение Transformation Program войдёт в её состав и продолжит управление критически важными трансформациями бизнеса. Планируются и другие изменения. При этом программный бизнес Intel, как ожидается, сохранит собственную маркетинговую команду и софтверные продукты по-прежнему будут продаваться отдельно. Продажи ПО и сбыт SaaS продолжит возглавлять Тахер Бехбехани (Taher Behbehani).

Китайские IT-гиганты начали массовые закупки ускорителей NVIDIA, стремясь обеспечить развитие собственной ИИ-инфраструктуры. Как сообщает Financial Times, только в этом году местным клиентам будут поставлены соответствующие чипы на $1 млрд и ещё на $4 млрд — в следующем.

В Китае только ByteDance уже владеет 10 тыс. ускорителей NVIDIA, а ещё почти 70 тыс. чипов A800 должны быть поставлены в следующем году. По данным Financial Times, один лишь этот заказ оценивается в $700 млн. Сопоставимые закупки сделали или готовы сделать и другие техногиганты из Поднебесной.

В связи с тем, что США ввели ограничения на поставку своих продуктов и технологий в КНР, покупателям из Поднебесной пришлось согласиться на очевидно дискриминационные предложения — для страны выпускаются урезанные варианты ускорителей в лице A800 и H800. Не исключено, что США и их союзники и дальше будут ужесточать экспортную политику, поэтому местные компании принялись активно закупать хотя бы A800 — пока не запретили поставлять и их, что невероятно усложнит обучение больших языковых моделей (LLM).

Источник изображения: NVIDIA

По данным DataCenter Dynamics, прошлым вечером акции NVIDIA упали на 4 % на фоне опасений, что регуляторы США прибегнут к новым ограничительным мерам в отношении китайских компаний и организаций. Дело в том, что президент США уже издал указ, предусматривающий в отношении Китая дальнейшие ограничения, связанные с технологиями ИИ, квантовыми вычислениями и экспортом технологий, связанных с производством чипов.

Производители прибегают к различным уловкам для того, чтобы обойти американские санкции. Так, Intel изменила модельный ряд Xe и представила ИИ-ускоритель Habana Gaudi 2 для китайских покупателей. Готовит особые ускорители и AMD.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

Источник изображения: Pixabay

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

Согласно данным Synergy Research Group, количество крупных дата-центров, управляемых гиперскейлерами, приближается к 900, и на них сейчас приходится 37 % всей ёмкости ЦОД в мире. Примерно половина этой ёмкости размещена в собственных ЦОД гиперскейлеров, вторая половина — в арендованных.

С учётом того, что на колокейшен-ёмкости, которые не относятся к гиперскейлерам, приходится 23 % от мировой ёмкости ЦОД, получается, что на долю обычных ЦОД приходится всего 40 %. Это резко контрастирует с тем, что было пять лет назад, когда их доля составляла почти 60 %. По оценкам Synergy Research Group, в ближайшие пять лет на гиперскейлеров будет приходиться более половины всех мощностей ЦОД, а на локальные — менее 30 %.

При этом общая мощность всех ЦОД будет продолжать неуклонно расти, главным образом за счёт гиперскейлеров, которые практически удвоят ёмкость своих объектов в течение следующих пяти лет. В то время как доля локальных ЦОД в общей ёмкости будет снижаться более чем на два п.п. в год, фактическая мощность локальных ЦОД уменьшится незначительно. Доля колокации в общей ёмкости останется относительно постоянной.

Источник: Synergy Research Group

Synergy Research Group отметила, что 10 лет назад предприятия ежегодно тратили более $80 млрд на аппаратное и программное обеспечение своих собственных ЦОД, инвестируя менее $10 млрд в зарождающиеся сервисы облачной инфраструктуры. Сейчас же расходы на локальные ЦОД растут в среднем всего на 2 % в год, тогда как расходы на облачные сервисы быстро росли, увеличиваясь в среднем на 42 % ежегодно и достигнув $227 млрд в 2022 году.

По мере того как предприятия радикально пересматривали свои инвестиции в ИТ и сокращали расходы на собственные ЦОД, ведущие провайдеры облачных услуг быстро создавали крупные глобальные сети дата-центров гиперскейл-класса. Дальнейшему росту гиперскейлеров способствовало быстрое развитие более ориентированных на потребителя цифровых сервисов, таких как социальные сети, электронная коммерция и онлайн-игры.

Более того, в то время как компании сохраняли на прежнем уровне или медленно увеличивали расходы на оборудование для ЦОД, всё большая доля этого оборудования перемещалась на колокейшн-площадки. По оценкам аналитиков, корпоративные ЦОД не исчезнут в ближайшее время, но всё больше и больше будут уступать по масштабам гиперскейлерам и колокейшн-провайдерам.

Данные Synergy Research Group по гиперскейлерам основаны на анализе работы ЦОД и деятельности 19 крупнейших мировых компаний, предоставляющих облачные и интернет-услуги, включая крупнейших операторов *aaS, поиска, социальных сетей, электронной коммерции и игр. Данные по колокации и аренде ЦОД Synergy Research Group собраны на основе отчётов по более чем 230 компаниям.