Оператор ЦОД Equinix завершил внутренний аудит. Datacenter Dynamics сообщает, что по результатам проверки компания отвергла все обвинения в недобросовестной работе с бухгалтерской отчётностью, выдвинутые Hindenburg Research. С марта акции Equinix потеряли почти четверть цены, но на прошлой неделе после публикации результатов аудита они снова выросли.

В марте Hindenburg обвинила Equinix в крупных манипуляциях с бухгалтерией, заявив, что компания переоценила скорректированные средства от операций (AFFO) — а это ключевая метрика для REIT-бизнесов, занимающихся недвижимостью подобно Equinix. Только в 2023 году речь якобы шла об искажении данных минимум на 22 % — после таких обвинений и было инициировано внутреннее расследование. В своей квартальной отчётности, представленной на днях, Equinix опровергла все обвинения и заявила, что аудит с участием независимых экспертов не выявил нарушений.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Equinix также сообщила, что комитет, занимавшийся аудитом, не нашёл неточностей или ошибок, требующих исправления или иных мер вмешательства. Компания подчеркнула, что вскоре после жалобы Hindenburg Research в Equinix получили повестку из офиса прокурора Северного округа Калифорнии и Комиссии по ценным бумагам и биржам США. Расследование продолжается, а компания полностью сотрудничает с контролирующими органами и не намерена давать дальнейших комментариев до тех пор, пока это не будет «приемлемо».

В Hindenburg заявляли, что Equinix, став REIT-компанией в 2015 году, начала в том же году использовать AFFO в качестве ключевой метрики, занизив расходы на обслуживание на 47 %, что привело к увеличению AFFO на 19 %. Утверждалось, что капитальные расходы на обслуживание классифицировались как капитальные инвестиции, в результате чего компания выглядела в глазах инвесторов более прибыльной. Кроме того, менеджменту Equinix выплачивались многомиллионные бонусы.

Руководитель DigitalBridge Марк Ганзи (Marc Ganzi) выступил с чрезвычайно пессимистичным прогнозом. По данным Datacenter Dynamics, он уверен, что энергия для дата-центров закончится уже через два года — значительно раньше, чем прежде считали в самой компании.

Американская DigitalBridge владеет ЦОД и инвестирует в инфраструктуру по всему миру. На её долю приходится более 60 дата-центров и 20 интерконнект-хабов на 30 региональных рынках, а также модульная ЦОД-платформа для периферийных вычислений.

Выступление главы бизнеса состоялось в ходе отчёта о финансовых показателях I квартала 2024 года. По словам Ганзи, энергия будет исчерпана в ближайшие 18–24 месяца. Ранее он был более оптимистичен — на мероприятии Berlin Infrastructure Conference руководитель DigitalBridge заявлял, что электричество для ЦОД закончится только через пять лет.

Источник изображения: American Public Power Association/unsplash.com

По его мнению, в американских сетях остался резерв менее 7 ГВт и менее 3 ГВт — в Европе. Проблема даже не только и не столько в производстве энергии, сколько в её передаче и распределении, поскольку допустимая ёмкость сетей электропередач ограничена. При этом бизнесмен подчеркнул, что разрешение на новую линию электропередач или подстанцию гораздо сложнее получить, чем, например, на вышку мобильной связи.

В DigitalBridge сообщают, что к концу 2023 года компания зарезервировала доступ к более 5 ГВт, а сейчас идёт строительство 2 ГВт ёмкостей. При расходах по $10 млн за МВт, компания ожидает, что капитальные издержки в грядущие годы составят $20 млрд. Также Ганзи добавил, что DigitalBridge намерена построить объекты ёмкостью 3 ГВт при сотрудничестве с Silver Lake для удовлетворения спроса на ИИ и облачную инфраструктуру.

Ранее Ганзи заявлял, что потенциал рынка ЦОД для генеративных облачных ИИ-решений, кабелей и другого оборудования имеет ёмкость в 38 ГВт и сотни миллионов долларов. Компания намерена обучать ИИ-модели с низкой задержкой с использованием ЦОД, расположенных недалеко от существующих «зелёных» энергомощностей, т.е. ветряных, солнечных, газовых и гидроэлектростанций.

Например, принадлежащий DigitalBridge оператор ЦОД — компания Switch использует преимущественно ветряную и солнечную энергию, активно применяются и гидроресурсы. Ганзи назвал искусственный интеллект частью решения проблемы энергетики, по его словам, ИИ будет внедряться для оптимизации дата-центров DigitalBridge.

Компания CoreWeave, специализирующаяся на предоставлении облачных услуг для решения ИИ-задач, по сообщению Datacenter Dynamics, намерена активно развивать бизнес в Великобритании. В ближайшее время в соответствующие проекты планируется инвестировать £1 млрд (приблизительно $1,25 млрд).

Отмечается, что CoreWeave уже открыла представительство в Лондоне, которое станет европейской штаб-квартирой компании. В 2024 году CoreWeave намерена запустить в Великобритании два дата-центра с последующим развитием инфраструктуры в 2025-м. Подробности об этих ЦОД пока не раскрываются.

Майк Интратор (Mike Intrator), соучредитель и генеральный директор CoreWeave, заявил, что укрепление присутствия в Великобритании является важной вехой на пути дальнейшего развития компании. CoreWeave рассчитывает разворачивать облачные сервисы на местном рынке, предоставляя клиентам вычислительные ресурсы для внедрения приложений ИИ.

Источник изображения: CoreWeave

Стартап CoreWeave, основанный в 2017 году, изначально занимался майнингом криптовалют. Затем компания переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. Недавно CoreWeave привлекла финансирование в размере $1,1 млрд, получив оценку в $19 млрд. CoreWeave заявляет, что её сервисы с ускорителями NVIDIA позволяют клиентам выполнять задачи более эффективно и с повышенной производительностью, нежели традиционные публичные облака.

На сегодняшний день CoreWave предоставляет услуги из трёх ЦОД-регионов. Это площадки US East в Уихокене (Нью-Джерси), US West в Лас-Вегасе (Невада) и US Central в Чикаго (Иллинойс). К концу 2024 года компания рассчитывает управлять в общей сложности 28 дата-центрами. В частности, CoreWeave намерена потратить не менее $1,6 млрд на ЦОД в городе Плано (Техас).

На предстоящей конференции для разработчиков WWDC 2024, которая пройдёт в июне, Apple, как ожидается, представит новую версию iOS 18 с множеством функций генеративного ИИ. Некоторые из них будут выполняться локально, но часть будет использовать ИИ-модели, развёрнутые в ЦОД Apple.

Как сообщает Bloomberg со ссылкой на информированные источники, компания в рамках программы Apple Chips in Data Centers (ACDC) начала обновлять инфраструктуру, оснащая свои ЦОД серверами с чипами собственной разработки M2 Ultra для обеспечения более эффективной работы ИИ-моделей. По словам источников, за последние три года компания инвестировала сотни миллионов долларов в новую облачную инициативу.

Источник изображения: Apple

Чип M2 Ultra включает вычислительный модуль Neural Engine для запуска ИИ-моделей. В ближайшем будущем в ЦОД будут также устанавливаться серверы с чипами M4, представленными на прошлой неделе. Ранее на этой неделе The Wall Street Journal сообщал, что Apple в рамках ACDC разрабатывает собственные серверные ИИ-ускорители для инференса.

Пока Apple планирует использовать для новых облачных сервисов собственные ЦОД, но в конечном итоге перенесёт часть нагрузок на «сторонние объекты». На это намекнул финансовый директор Лука Маэстри (Luca Maestri). «У нас есть собственные мощности ЦОД, а затем мы используем мощности третьих сторон, — сказал он после того, как его попросили рассказать об ИИ-инфраструктуре. — Эта модель исторически хорошо работала для нас, и мы планируем продолжать в том же духе и в дальнейшем».

Саудовская компания DataVolt начала строительство дебютного дата-центра Tashkent IT Park Data Center в Ташкенте, передаёт Datacenter Dynamics. Спецификации нового объекта оператором пока не раскрывались, но Министерство цифровых технологий Узбекистана сообщило, что речь идёт о проекте ёмкостью 10 МВт и стоимостью $150 млн.

В DataVolt заявили, что новый ЦОД представляет собой модульное решение с возможностью масштабирования, что позволит организовать выполнение самых разных задач, а производительность может составить от сотен до тысяч Тфлопс. Церемония закладки объекта состоялась в присутствии президента Узбекистана и саудовского принца, в числе прочего занимающего пост министра энергетики.

Источник изображения: Sarvar Samigov/unsplash.com

Это лишь первый проект DataVolt в Узбекистане, но речь уже идёт об инновационном решении в области экоустойчивости — он предусматривает использование солнечной и ветряной энергии, запасать которую предполагается в энергохранилищах. Дополнительно предусмотрено питание от водорода и иных видах «зелёного» топлива для круглосуточного обеспечения экобезопасной энергией. Такой подход позволит обеспечить экономически эффективную базу для внедрения ИИ-вычислений в Узбекистане — проект станет локомотивам развития передовой IT-индустрии.

Основанная в прошлом году DataVolt является дочерней структурой Vision Invest, саудовской инвестиционно-строительной компании, занимающейся объектами критической инфраструктуры. Значительная часть руководства DataVolt, включая генерального директора, ранее работала в ACWA Power, занимавшейся созданием электростанций и опреснителей — эта компания тоже принадлежит Vision Invest.

Ранее DataVolt подписала с властями Узбекистана инвестиционное соглашение, согласно которому в стране будут возведены ЦОД ещё на 500 МВт. Т.н. «Новый Ташкент» разместит у себя кампус ёмкостью 250 МВт на участке в 25 га. Ещё один объект ёмкостью 40 МВт появится в Бухаре, в перспективе его мощность будет доведена до 250 МВт.

В прошлом году DataVolt анонсировала партнёрство с индийской AquaTech Systems, предусматривающее создание водно-эффективных ЦОД, а также со Sterling and Wilson. Кроме того, DataVolt раскрыла планы по строительству кампуса ЦОД в Бангладеш. А в самой Саудовской Аравии компания намерена инвестировать $5 млрд в строительство дата-центров.

После того, как компании Foxconn не удалось наладить крупное производство на площадке в Маунт-Плезант (Висконсин, США), её передали Microsoft для строительства кампуса ЦОД общей стоимостью $3,3 млрд, передаёт The Register.

Получив налоговые льготы на сумму в $3 млрд, Foxconn так и не смогла ими воспользоваться — проект не отвечал требованиям штата, например, по количеству созданных рабочих мест. Компанию даже поймали на подтасовке статистики путём найма сотрудников с последующим увольнением сразу после подачи отчётности. К 2021 году объём планируемых инвестиций сократился до $672 млн, а налоговые льготы — до $80 млн.

Впрочем, Foxconn так и не удалось реализовать амбициозный проект — инициатива по созданию 13 тыс. рабочих мест провалилась, было снесено порядка 100 домов и ферм, а на подготовку площадки совершенно зря ушло $500 млн средств налогоплательщиков. Компания смогла сформировать только небольшое производство серверов.

Источник изображения: Dave Hoefler/unsplash.com

В 2023 году участок в 400 га, предназначавшийся для строительства завода, приобрела Microsoft. Здесь компания намерена построить кампус ЦОД, модернизировать местную инфраструктуру и совместно с Университетом Висконсина создать центр AI Co-Innovation Lab для внедрения машинного обучения в процессы автоматизации и обучения 100 тыс. местных жителей генеративным ИИ-технологиям вроде Copilot. Дополнительно компания намерена подготовить и сертифицировать 3 тыс. местных разработчиков ИИ-систем и 1 тыс. техников для обслуживания ЦОД.

Строительство началось в конце 2023 года. Ранее местные СМИ писали минимум о четырёх дата-центрах на территории кампуса. В Microsoft попытались развеять страхи, что кампус будет потреблять слишком много энергии — компания работает с National Grid над строительством в Висконсине солнечной электростанции на 250 МВт, последняя должна заработать в 2027 году. Также Microsoft намерена использовать замкнутую систему жидкостного охлаждения для большей части мощностей на площадке, которая будет потреблять воду только во время очень жаркой погоды. Ранее Microsoft попала в неприятности в окрестностях Финикса (Аризона), где её фактически заставили отказаться от испарительного охлаждения.

Что касается трудоустройства, планы у Microsoft даже близко не столь масштабные, как были у Foxconn: бизнес из Редмонда рассчитывает задействовать 2,3 тыс. человек в строительстве к 2025 году и сформировать 2 тыс. постоянных рабочих мест.

Тепло расположенного в Бохуме (Германия) ЦОД планируется хранить в заброшенной шахте и в дальнейшем использовать в районной системе отопления. По данным Datacenter Dynamics, проект местного Рурского университета призван продемонстрировать потенциал теплоаккумулятора Mine Thermal Energy Storage (MTES). Проект финансируется в рамках поддерживаемой Евросоюзом схемы PUSH-IT, рассматривающей подземные объекты в качестве экоустойчивых хранилищ энергии.

Университет управляет собственной теплоэлектростанцией с 2019 года. Станция имеет два комбинированных тепловых/электрических модуля общей мощностью 9 МВт и три газовых котла с общей теплоотдачей 105 МВт. ТЭС не только обогревает университетский кампус, но обеспечивает энергией 5 тыс. квартир, 760 частных домов и 115 промышленных зданий. Оператором выступает Unique Wärme — совместное предприятие университета и коммунальной компании Stadtwerke Bochum, частично принадлежащей местным властям.

Источник изображения: Robert Thiemann/unsplash.com

При этом энергомодули расположены непосредственно над шахтой Мансфельд (Mansfeld) глубиной до 120 м, которая была закрыта в 1963 году. MTES позволит летом отправлять избыточное тепло дата-центра и других технических объектов университета в подземные глубины с помощью тепловых насосов. Там оно будет храниться в скважинах, откуда его по мере необходимости можно возвращать в систему отопления, когда спрос особенно высок, т.е. зимой.

MTES, как ожидается, может увеличить использование источников возобновляемой энергии и сгладить пиковые нагрузки в системе отопления в зимние месяцы. Это, в частности, приведёт к снижению углеродных выбросов и стоимости эксплуатации. По данным координаторов PUSH-IT, MTES пока находится на стадии разработки, а создание экспериментальных скважин предусмотрено осенью.

Похожий проект разрабатывается в стенах Эдинбургского университета, где «мусорное» тепло суперкомпьютерного ЦОД также предлагается сохранять в старой шахте до того, как использовать его для отопления местных домов. Такая схема позволит обогревать не менее 5 тыс. домов, если расчёты учёных подтвердятся. Впрочем, воду из подземных выработок можно использовать и просто для охлаждения дата-центров.

Amazon планирует потратить $9 млрд на развитие облачной инфраструктуры в Сингапуре. По данным гонконгской SCMP, это последнее, но далеко не единственное вложение компании в Юго-Восточной Азии. Средства будут потрачены в следующие четыре года. Фактически речь идёт об удвоении инвестиций AWS в стране. Это поможет удовлетворить спрос на облачные сервисы, а также, как заявляют в компании, ускорить внедрение ИИ.

AWS расширяет присутствие за пределами США, значительная часть инвестиций приходится на Азию. С учётом инвестиций в Сингапуре всего в этом году AWS пообещала инвестировать за пределами США $35 млрд, включая рынки Японии, Саудовской Аравии и Мексики. Дополнительно компания строит ЦОД в Малайзии, Таиланде и Южной Корее. Годовая выручка AWS впервые должна превысить $100 млрд — компания намерена заработать на проектах IT-модернизации корпоративных клиентов и ИИ-сервисах.

Источник изображения: R.H. Lee/unsplash.com

Азиатские рынки активно осваивают другие компании, от Microsoft до Apple. Делается это в попытке диверсифицировать источники доходов, львиная доля которых в регионе приходится на Китай, с которым у США в последние годы наметились значительные политико-экономические разногласия. Microsoft, ключевой конкурент AWS, организовала настоящий тур, в рамках которого глава компании Сатья Наделла (Satya Nadella) анонсировал в облачную и ИИ-инфраструктуру в Индонезии, Малайзии и Таиланде.

В своё время AWS именно в Сингапуре построила свой первый облачный регион в Азии. В Amazon считают, что запланированные инвестиции обеспечат поддержку рабочих мест, эквивалентных 12,3 тыс. вакансий с полной занятостью ежегодно. Дополнительно компания будет в течение двух лет проводить семинары для клиентов, а совместно с властями Сингапура будет способствовать внедрению генеративного ИИ малым бизнесом.

Сингапур довольно давно стал своего рода хабом для американских гиперскейлеров. Сейчас он рассматривается как «ворота» в Юго-Восточную Азию в целом, где ожидается быстрый рост облачного бизнеса. При этом власти страны всё более ужесточают регулирование индустрии ЦОД, а местные игроки в содружестве с американскими компаниями готовы сами осваивать рынки соседних стран. И теперь уже у Малайзии есть шансы стать новым IT-хабом в регионе.

Оператор глубоководных дата-центров Subsea Cloud предложил потенциальным клиентам оценить возможности своего ЦОД в течение 90 дней. Как сообщает The Register, так компания пытается привлечь новых пользователей — если в последние три года дорогостоящие испытания проводились индивидуально, то теперь доступ к необычным дата-центрам упростится.

В Subsea заявляют, её дата-центры имеют на 40 % меньше углеродных выбросов, а операционные расходы для клиентов на 30 % меньше в сравнении с наземными ЦОД. Наконец, затрат энергии и воды на охлаждение вовсе нет. Изюминка Subsea Cloud в том, что компания предлагает не просто подводные, а именно глубоководные (до 3000 м) решения. В 2022 году компания сообщала о внедрении первого коммерческого подводного проекта в районе Порт-Анджелеса (штат Вашингтон), дополнительные ЦОД планировалось развернуть в Мексиканском заливе и Северном море.

Источник изображения: Subsea Cloud

В рамках Project OTTO компания предложит протетсировать возможности своего ЦОД недалеко от юго-западного побережья Норвегии. Первая фаза стартует в октябре. Участникам будут доступны тестовые периоди длительностью 30, 60 и 90 дней. При этом поучаствовать в тестировании можно только один раз — за исключением случаев, когда потенциальные клиенты захотят значительно изменить аппаратную составляющую своего оборудования, что потребует дальнейших тестов. О стоимости тестирования ничего не говорится, но компания предупреждает, что в случае отказать подписать соглашение о дальнейшем развёртывании мощностей продление тестирования не будет доступно.

Базовый модуль Subsea Cloud представляет собой ёмкость размерами 6,1 × 2,6 м, практически тех же габаритов, что и стандартный 20-футовый контейнер — в нём можно разместить до 16 стоек мощностью до 150 кВт каждая (суммарно до 1,5 МВт) или 826 серверов. Для охлаждения используется погружная СЖО. Компания может предоставить клиентам и собственные серверы. В целом конфигурация ЦОД рассчитана на высокоплотное размещение энергоёмких систем, например, для ИИ- и HPC-нагрузок. Срок службы модуля составляет 25–30 лет.

Источник изображения: Subsea Cloud

Подводные ЦОД пытаются внедрять не впервые. Microsoft в течение нескольких лет развивала Project Natick. Этот проект был признан успешным, но коммерциализировать компания его не стала в отличие от аналогичного проекта Highlander в Китае. Одним из сдерживающих клиентов факторов является отсутствие лёгкого доступа к оборудованию в подводных дата-центрах. По словам Subsea Cloud на то, чтобы добраться до модуля и заменить или обслужить серверы, уйдёт 4–16 часов.

В Subsea Cloud рассчитывают на сотрудничество с офшорными ветряными электростанциями — это обеспечит подводным ЦОД удобный доступ к возобновляемой энергии. Кроме того, компания намерена подключать свои подводные кампусы непосредственно к подводным ВОЛС. При этом в компании подчёркивают, что общая стоимость обслуживания значительно ниже, чем у обычных ЦОД. Правда, сама же говорит, что экономически целесообразно развёртывание не менее 20 модулей.

Dominion Energy в прошлом году подключила к энергосети в Вирджинии — крупнейшем в мире рынке ЦОД — 15 дата-центров общей ёмкостью 933 МВт. По данным Datacenter Dynamics, в 2024 году электроснабжение получат ещё столько же ЦОД, суммарная ёмкость которых пока не подсчитана. А всего с 2019 года Dominion Energy подключила в Северной Вирджинии 94 дата-центра общей ёмкостью 4 ГВт. Для сравнения — ёмкость ЦОД Microsoft по всему миру только недавно превысила 5 ГВт.

В докладе Dominion Energy за 2023 год сообщается, что на дата-центры приходится 24 % продаж электричества дочерней Virginia Power, тогда как в 2022 году их доля была 21 %. При этом подчёркивается, что спрос отдельных ЦОД вырос с приблизительно с 30 МВт до 60–90 МВт, а запросы кампусов выросли с 300 МВт до «нескольких гигаватт». При этом на максимальное потребление они теперь выходят не за 4–5 лет, а всего за 2–3 года, причём в дальнейшем нагрузка только увеличится.

Источник изображения: American Public Power Association/unsplash.com

American Electric Power (AEP) получила запросы на поставку до 15 ГВт, львиная доля которых приходится на ЦОД. Драйверами спроса служат гиперскейлеры вроде AWS и Google. Компания имеет мощности около 38 ГВт и готова инвестировать более $27 млрд в линии электропередач и системы распределения энергии в следующие пять лет. Она ожидает увеличение капитальных издержек в будущем, связанных с ростом потребления энергии ЦОД.

Public Service Enterprise Group (PSEG) ведёт переговоры о строительстве ЦОД ёмкостью 50–100 МВт рядом со своими АЭС. Наконец, отвечающая за электропередачу компания PJM заявила, что располагает достаточными ресурсами для того, чтобы удовлетворить спрос летом 2024 года. Однако она предупреждает о проблемах в будущем из-за того, что для замены 1 МВт энергии от обычных электростанций на ископаемом топливе, которые активно выводятся из эксплуатации, фактически требуется несколько МВт из возобновляемых источников из-за нестабильности последних.

Проблема энергоснабжения ЦОД в США вообще и Северной Вирджинии в частности носит системный характер. В апреле сообщалось, что «зелёные» энергопроекты не смогут «прокормить» ИИ на крупнейшем в мире рынке ЦОД, причём тревогу поставщики бьют уже не первый год. Если ситуацию не удастся оперативно исправить, то дефицит энергии может привести к сокращению ИИ-нагрузок или даже к постройке ТЭС непосредственно на территории кампусов, как это уже происходит в Европе.