Компания Cisco отрапортовала о работе в последней четверти и 2023 финансовом году в целом, который был закрыт 29 июля. По ключевым показателям зафиксирован заметный рост. Так, выручка за трёхмесячный период достигла $15,2 млрд, что на 16 % больше прошлогоднего результата, равного $13,1 млрд.

В общем объёме продаж на продукты пришлось $11,65 млрд; ещё $3,55 млрд принесли сервисы. С географической точки зрения американский рынок остаётся крупнейшим с продажами на уровне $9,08 млрд. Регион EMEA (Европа, Ближний Восток и Африка) обеспечил $3,93 млрд, рынок APJC (Азиатско-Тихоокеанский рынок, Япония и Китай) — $2,20 млрд.

Источник изображения: Cisco

Чистая прибыль Cisco в IV квартале 2023 финансового года достигла $4,0 млрд против $2,8 млрд годом ранее. Таким образом, по данному показателю отмечен рост на 41 %. Прибыль в пересчёте на одну ценную бумагу за год взлетела на 43 % — с 68 до 97 центов.

Отмечается, что Cisco практически избавилась от огромного количества невыполненных заказов, которые она накопила в период пика пандемии COVID-19, спровоцировавшего многочисленные сбои в каналах поставок. Задержки в отгрузках продуктов во многих случаях достигали нескольких месяцев. При этом сама Cisco не только недополучала средства от поставок оборудования, но и была вынуждена приостанавливать для таких заказчиков оказание сопутствующих услуг, что также приводило к сокращению денежных потоков.

По итогам 2023 финансового года в целом Cisco получила $57,0 млрд выручки — на 11 % больше по сравнению с предыдущим годом ($51,6 млрд). Чистая прибыль поднялась на 7 % — с $11,8 млрд до $12,6 млрд.

Ещё в прошлом месяце контрактный производитель полупроводников TSMC заявил о том, что спрос на чипы упал во всех сегментах рынка, за одним исключением — чипы для ИИ по-прежнему пользуются высоким спросом. Как сообщает Barron’s, в первую очередь речь идёт о чипах NVIDIA, доминирующих на рынке соответствующих решений.

Растущий спрос на генеративные ИИ-системы привёл к тому, что ускорители H100 стали самым ценным ресурсом. Как заявляют в Amazon Web Services (AWS), спрос на них устойчиво превышает предложение. Своей точкой зрения на проблему поделился и технический директор облачного ИИ-провайдера CoreWeave Брайан Вентуро (Brian Venturo). Компания одной из первых начала предлагать доступ к H100 и имеет тесные связи с NVIDIA — последняя инвестировала в стартап не менее $100 млн.

По словам Вентуро, если в I квартале 2023 года можно было довольно легко получить новые ускорители, то уже в апреле ситуация кардинально изменилась буквально за неделю — сроки выполнения заказов стали переноситься на конец года. H100 потребовались облачным провайдерам, крупным корпорациям и лабораториям, занимающимся ИИ-решениями. Сейчас H100 практически невозможно приобрести. Желающие сделать заказ сегодня могут рассчитывать на поставки в I или II квартале 2024 года. CoreWeave уже оформляет заказы, которые NVIDIA должна выполнить во II и III кварталах 2024 года.

Источник изображения: NVIDIA

При этом решения других компаний, включая AMD, по данным CoreWeave, не пользуются таким спросом. Продукты NVIDIA не просто имеют лучшую аппаратную составляющую, но и развитое и повсеместно распространённое ПО — у стартапов просто нет времени для внедрения решений AMD или Google TPU. NVIDIA годами инвестировала в программную платформу CUDA и теперь, как считает Вентуро, на 10 лет опережает конкурентов.

В кратко- и среднесрочной перспективе CoreWeave не видит появления значимых конкурентов NVIDIA. Так, TPU или AWS Trainium являются весьма специфическими решениями, не подходящими для обычных стартапов, которым требуются быстрые результаты. В этом в CoreWeave видят преимущество для своего бизнеса — компания не только имеет довольно стабильный доступ к ускорителям NVIDIA, но и готова предложить соответствующую вычислительную инфраструктуру малым игрокам.

Сама CoreVeawe активно приобретает всё больше продуктов NVIDIA, привлекая в долг средства для покупки чипов под залог уже имеющихся ускорителей. Как сообщалось в июле, в Техасе компания намерена потратить $1,6 млрд на создание дата-центра для своего ИИ-супероблака. Тем временем NVIDIA инвестирует не только в CoreVeawe — она поддержала конкурента компании, вложив средства в развитие ИИ-стартапа Lambda Labs.

Облачный провайдер Amazon Web Services (AWS) объявил о введении платы в размере $0,005/час за каждый публичный IPv4-адрес с 1 февраля 2024 года, причём независимо от того, привязан ли адрес к какому-либо инстансу или сервису или же нет. Нововведение касается всех служб AWS, включая EC2, RDS, EKS, а также любых других, которым может быть назначен и привязан общедоступный IPv4-адрес во всех регионах AWS, в том числе AWS China и GovCloud.

«IPv4-адреса становятся все более дефицитным ресурсом, и стоимость приобретения одного публичного IPv4-адреса выросла более чем на 300 % за последние 5 лет», — пояснил руководитель AWS Джефф Барр (Jeff Barr). «Это изменение отражает наши собственные затраты, а также призвано побудить вас быть немного более экономным при использовании IPv4 и подумать об ускорении перехода на IPv6», — добавил он. Напомним, что Amazon купила в 2019 году 4 млн адресов IPv4 за $108 млн. А всего по состоянию на конец 2020 года стоимость IPv4-адресов, принадлежащих Amazon, превысила $2 млрд.

Источник изображения: Pixabay

С клиентов не будет взиматься плата за их собственные IP-адреса, управляемые посредством Amazon BYOIP. Годовой бесплатный пробный период в AWS будет включать 750 часов использования публичных IPv4-адресов в месяц. Чтобы помочь клиентам определить будущие расходы, компания теперь будет добавлять информацию об адресах в отчёт о затратах (AWS Cost and Usage Reports, CUR). Также была представлена новая функция Public IP Insights для анализа и аудита используемых IPv4-адресов.

Последние свободные IPv4-адреса закончились ещё в 2019 году, и с тех пор их стоимость неуклонно растёт, что привлекает мошенников, стремящихся заработать на этом. Чтобы хоть на время справиться с нехваткой IPv4-адресов, Сет Шон (Seth Schoen), известный по работе в EFF и Let’s Encnrypt, предложил забрать 300 млн зарезервированных для особых нужд IPv4-адресов. В свою очередь Китай ускоряет внедрение IPv6, планируя полностью перейти на этот протокол к 2030 году.

Microsoft подчеркнула в квартальном отчёте для инвесторов важность обеспеченности достаточным количеством ускорителей вычислений для стабильной работы облачных сервисов искусственного интеллекта (ИИ). Компания добавила уровень обеспеченности GPU в перечень факторов риска сбоев, с которым она может столкнуться, если не будет иметь надлежащую инфраструктуру.

Этот факт отражает растущий спрос ведущих технологических компаний на ИИ-ускорители, необходимые для предоставления доступа к ИИ-сервисам небольшим предприятиям.

Microsoft увеличила объём капвложений в облачные системы в IV квартале 2023 финансового года, включая расходы на ускорители вычислений, и планирует наращивать их в дальнейшем, стремясь удовлетворить растущий спрос на облачные сервисы искусственного интеллекта (ИИ).

Источник изображения: NVIDIA

«Наши центры обработки данных зависят от наличия разрешённой и пригодной для строительства земли, предсказуемых поставок энергии, сетевых материалов и серверов, включая ускорители вычислений (GPU) и другие компоненты», — указано в квартальном отчёте Microsoft. До этого GPU не упоминались в таком разрезе в предыдущих годовых отчётах Microsoft. Также нет упоминания GPU в таком смысле в недавних годовых отчётах других крупных технологических компаний, таких как Alphabet, отметил ресурс CNBC.

В рамках партнёрства с Microsoft компания OpenAI использует облако Azure для выполнения вычислений для ИИ-чат-бота ChatGPT и различных ИИ-моделей. Microsoft также начала использовать ИИ-модели OpenAI для улучшения с помощью генеративного ИИ своих продуктов, таких как приложения Outlook и Word, а также поисковая система Bing. Это повлекло за собой рост потребности компании в ИИ-ускорителях. Чтобы обеспечить в полной мере своих клиентов вычислительными ресурсами, Microsoft подписала соглашение о сотрудничестве с CoreWeave об использовании его оборудования для обработки своих ИИ-нагрузок.

Хотя европейский сектор строительства ЦОД переживает эпоху расцвета, из-за быстрого роста спроса на новые мощности увеличилось и количество проблем. В частности, как сообщает The Register, не хватает строительных материалов, а также тяжёлой строительной техники. Между тем в ближайшие годы потребуются буквально тысячи новых ЦОД.

Как сообщается в докладе Aggreko, спрос на новые ЦОД значительно превышает предложение, причём многим подрядчикам приходится переносить сроки сдачи объектов. Для составления доклада Aggreko опросила 700 отраслевых специалистов в Великобритании и ряде стран ЕС. По данным британской Savills, в Европе в ближайшие три года планируют построить намного меньше ЦОД, чем необходимо. В компании уверяют, что уже к середине десятилетия потребуется не менее 3 тыс. новых дата-центров. Удовлетворить их будет непросто по ряду причин.

Источник: Aggreko

Виной всему не только нехватка строительных материалов и техники, на которую претендуют и другие отрасли, но и, например, проблемы с подключением к энергосетям и нехватка квалифицированных кадров. Также в числе препятствий упоминается и ужесточение контроля природоохранными ведомствами, поскольку строительству и эксплуатации ЦОД обычно сопутствуют высокие углеродные выбросы. А в случае разногласий между застройщикам и муниципальными властями возведение объекта может быть приостановлено на неопределённый срок.

Источник: Aggreko

В некоторых местах наличие доступа к энергии оказалось важнее цены на неё. Кроме того, сказывается недостаток опыта в использовании источников возобновляемой энергии — не считая рисков, связанных с самим использованием таких источников. Также важным фактором является и цена земельных участков, особенно в Германии, Франции и Нидерландах. Антирекордсменами по срокам сдачи ЦОД стали Нидерланды и Швеция, где задержка может превышать два месяца.

Ожидается, что с учётом нарастающего спроса рынок станет ещё более неустойчивым — в Aggreko предлагают использовать в некоторых случаях компромиссные решения, например, создание временных машинных залов ещё до завершения строительства всего объекта. Признаётся необходимость спотовых покупок материалов и техники для удовлетворения краткосрочного спроса и аренды некоторого оборудования вроде генераторов, а также наращивание запасов оборудования и иных мер, в том числе увеличение сроков сдачи проектов.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Источник изображения: Marc PEZIN / Unsplash

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

В Сингапуре пошли на ослабление моратория, запрещавшего строительство новых дата-центров. Как сообщает DataCenter Dynamics, страна распределила первые за несколько лет 80 МВт — они достались Equinix, Microsoft, AirTrunk (в паре с ByteDance) и GDS. Ранее представители технологического сектора Сингапура жаловались, что страна упустила «представляющийся раз в жизни» шанс стать мировым хабом для дата-центров.

Мораторий на строительство новых ЦОД появился в 2019 году — исключение составили проекты, уже получившие одобрение местных властей. Год назад запрет был смягчён, поскольку появилась возможность подать новые заявки. Всего таковых набралось более 20, так что в ближайшие год-полтора будут распределены новые мощности для ЦОД — страна по-прежнему намерена стать «глобальным цифровым хабом», намереваясь при этом добиться нулевого углеродного выброса.

Источник изображения: Mike Enerio/unsplash.com

Победителями, как сообщается, стали компании, лучше всех способные достичь желаемых Сингапуром экономических и экологических результатов. В частности, победители смогли предложить наиболее энергоэффективные решения для машинного обучения, ИИ и HPC, в том числе с новыми системами охлаждения. Также победители выразили готовность взять на себя «иные экономические обязательства» помимо прямых инвестиций. Впрочем, есть ещё один предварительно одобренный проект морского дата-центра.

Microsoft запустила первый в стране облачный регион Azure в 2010 году, последний ЦОД AirTrunk был открыт в Сингапуре в 2020 году, а Equinix, владеющая пятью ЦОД в стране, ввела в эксплуатацию последний из них уже после введения моратория. И только GDS построит дата-центр в Сингапуре впервые. В русле этой политики вполне ожидаемо, что Сингапур намеревается потратить более $7 млрд на расширение системы подводных интернет-кабелей и провести в ближайшие 10 лет комплексную модернизацию интернет-инфраструктуры.

Хотя многие компании считают облако лучшим выбором для обучения и запуска больших приложений ИИ, лишь небольшая часть существующей облачной инфраструктуры на данный момент имеет соответствующие вычислительные мощности, пишет The Wall Street Journal (WSJ). «Сейчас существует довольно большой дисбаланс между спросом и предложением», — сообщил Четан Капур (Chetan Kapoor), директор по управлению продуктами в подразделении AWS EC2. Ниди Чаппелл (Nidhi Chappell), генеральный менеджер Azure AI Infrastructure, отметила наличие «неутолимого» спроса на запуск больших языковых моделей (LLM).

Однако основная часть текущей облачной инфраструктуры не была создана для запуска таких больших и сложных систем. Облако позиционировалось как удобная альтернатива локальным серверам, которую можно легко масштабировать под свои цели с оплатой по факту использования. Большая часть современного облачного пространства состоит из серверов с CPU общего назначения, предназначенных для одновременного выполнения нескольких рабочих нагрузок. И гораздо меньше имеется GPU-серверов и кластеров, оптимизированных для ИИ и больших рабочих нагрузок. При этом AWS, Google, Meta✴ и Microsoft уже увеличили срок эксплуатации имеющегося оборудования с трёх–четырёх до шести лет.

Источник изображения: Google

По словам Капура, оптимизированная для ИИ-нагрузок инфраструктура составляет лишь небольшой процент от общего объёма облачных ресурсов компании, хотя темпы её роста гораздо выше, чем у других сегментов. Капур сообщил, что в течение следующих 12 мес. компания развернёт несколько ИИ-кластеров. Microsoft Azure и Google Cloud Platform заявили WSJ, что тоже работают над тем, чтобы сделать ИИ-инфраструктуру большей частью своего парка. Вместе с тем в Microsoft отметили, что не собираются отказываться от серверов общего назначения, которые по-прежнему ценны для компаний.

А вот Dell ожидает, что высокая стоимость облачных вычислений может подтолкнуть компании к локальному развёртыванию систем. «Существующие экономические модели, в первую очередь, публичной облачной среды, не были оптимизированы для того типа спроса и уровня активности, который мы увидим, когда люди перейдут на ИИ-системы», — заявил технический директор Dell Джон Роес (John Roese). По его словам, в локальной среде компании смогут сэкономить на расходах на сеть и хранение данных. С этим не согласны облачные провайдеры, утверждающие, что у них есть доступные по цене предложения, и что в долгосрочной перспективе on-premise системы обойдутся дороже в связи с необходимостью обновления оборудования.

HPE и вовсе строит собственный публичный облачный сервис для обучения моделей ИИ на базе суперкомпьютера, который будет доступен во второй половине 2023 года. «Он специально создан для крупномасштабных сценариев использования ИИ», — заявил Джастин Хотард (Justin Hotard), исполнительный вице-президент и глава сегмента HPC & AI. Впрочем, поставщики оборудования сходятся во мнении, что ИИ-индустрия всё ещё находится на начальном этапе, и что в конечном итоге решение может быть гибридным, когда только часть вычислений будет выполняться в облаке.

Рынок ЦОД Северной Вирджинии продолжают преследовать неприятности. Помимо того, что местные жители активно выступают против старых и новых дата-центров, в местной округе наметилась масштабная нехватка электроэнергии. Как сообщает The Register, в регионе буквально не хватает линий электропередач для снабжения всех ЦОД энергией.

По данным Digital Realty, владеющей и обслуживающей более 290 ЦОД, местная энергоснабжающая компания Dominion Energy разослала оповещение ключевым местным потребителям, сообщив, что проблемы с электроснабжением в регионе закончатся не раньше 2026 года. При этом проблема заключается не в нехватке генерирующих мощностей, а именно в дефиците линий электропередач для достаточного энергообеспечения ЦОД. Текущая ёмкость дата-центров в штате составляет порядка 1,7 ГВт.

Источник изображения: Matthew Henry/unsplash.com

Округ Лаудон (Loudoun County) фактически является крупнейшим в мире хабом для дата-центров с общей полезной площадью ЦОД в миллионы квадратных метров. Округ нередко называют «ключевым игроком» в мировой цифровой экономике. Одни только налоги на недвижимость от сектора ЦОД должны составить в фискальном 2023 году почти $600 млн — этого достаточно, чтобы покрыть все расходы властей округа.

Проблемы с энергоснабжением могут означать, что многие планируемые проекты переедут в соседние округа Принс-Уильям (Prince William) и Фокир (Fauquier), а то и вовсе в соседний штат Мэриленд. Dominion Energy как минимум частично обслуживает и Принс-Улильям, а вот округ Фредерик в Мэриленде подключен к другой энергосети.

Источник изображения: Álvaro Serrano/unsplash.com

Известно, что беспрецедентный рост нагрузки на сеть Dominion начался в 2018 году на фоне стремительного развития дата-центров и всё ещё не остановился, поэтому в существующие планы развития энергосетей придётся вносить корректировки. На днях Dominion Energy признала, что не сможет обслуживать потребности города Эшберна (Ashburn) в округе Лаудон, где расположена т.н. «Аллея дата-центров». Это будет означать не только остановку уже стартовавших многомиллиардных проектов строительства ЦОД, но и снижение налоговых поступлений.

Как сообщает портал DataCenter Dynamics, по прогнозам Wells Fargo, компания может остановить поставки энергии новым ЦОД до 2025 или 2026 года — если проектам, до завершения строительства которых осталось не более полугода, энергии может хватить, то совсем новые объекты, возможно, электричества не получат, несмотря на ранее полученные от Dominion гарантии. А строительство ЦОД, запланированных на 2023-2024 годы, может быть значительно отложено. Впрочем, в Wells Fargo считают, что с нехваткой электричества могут в скором времени столкнуться и уже существующие в регионе кампусы ЦОД.