Компания Meta✴, по сообщению ресурса Datacenter Dynamics, на фоне стремительного развития ИИ и больших языковых моделей (LLM) намерена увеличить инвестиции в дата-центры и серверное оборудование «на миллиарды долларов». Эти затраты, по заявлениям генерального директора Meta✴ Марка Цукерберга, жизненно необходимы, чтобы стать «ведущей ИИ-компанией в мире».

По итогам I квартала текущего финансового года, который был завершён 31 марта, Meta✴ получила выручку в размере $36,46 млрд. Это на 27 % больше результата годичной давности, когда была зафиксирована сумма в $28,65 млрд. Чистая прибыль при этом подскочила на 117 % — с $5,71 млрд до $12,37 млрд.

Источник изображения: Meta✴

В финансовом отчёте говорится, что капитальные затраты по итогам квартала оказались на уровне $6,72 млрд, что несколько ниже по сравнению с прошлогодними $7,09 млрд. Тем не менее, Meta✴ намерена нарастить общие капвложения: ожидается, что в 2024 году в целом они достигнут $35–$40 млрд, тогда как ещё в феврале называлась цифра в диапазоне $30–$37 млрд. Это будут крупнейшие капиталовложения в истории компании.

«Мы ожидаем, что капитальные затраты продолжат расти и в следующем году, поскольку мы активно инвестируем средства в исследования в области искусственного интеллекта», — отмечает финансовый директор Meta✴ Сьюзен Ли (Susan Li). По словам Цукерберга, в ближайшие годы компания будет наращивать инвестиции в создание и внедрение передовых ИИ-моделей, а также запуск ведущих мировых сервисов на базе ИИ. При этом Meta✴ намерена активно использовать собственные ИИ-ускорители Artemis в качестве альтернативы решениям NVIDIA и AMD.

Компания Amazon и губернатор Индианы Эрик Холкомб (Eric J. Holcomb), по сообщению Datacenter Dynamics, анонсировали проект создания на территории этого штата крупного комплекса дата-центров. Инвестиции в проект оцениваются в $11 млрд, что станет крупнейшими капитальными вложениями в истории Индианы.

Технические подробности об инициативе не раскрываются. Но известно, что объекты ЦОД расположатся в округе Сент-Джозеф на севере центральной Индианы. Говорится, что в 2023 году облачная платформа Amazon Web Services (AWS) купила в названном регионе более 364 га сельскохозяйственных земель через фирму Razor5. Именно на этой территории и планируется возведение сооружений.

Как отмечается, кампус построят неподалёку от города Нью-Карлайла (расположен примерно в 130 км к востоку от Чикаго). По словам Холкомба, инвестиции в проект окажут положительное влияние на развитие региона «на многие годы вперёд». В частности, будут созданы дополнительные рабочие места. Кроме того, появление кампуса ЦОД будет способствовать расширению технологического сектора штата.

Источник изображения: AWS

Amazon в рамках проекта получила ряд налоговых льгот. Корпорация экономического развития Индианы (IEDC) предоставит AWS освобождение от налога с продаж для соответствующих капитальных вложений на срок 50 лет. Кроме того, IEDC обеспечит до $18,3 млн в виде налоговых льгот на персонал, до $5 млн в виде грантов на обучение, до $20 млн льгот на реконструкцию и пр.

Отметим, что по итогам 2023 года AWS управляла 3,549 млн м² площадей дата-центров и офисов. Облачная платформа продолжает активно развивать направление ЦОД. В ближайшие 15 лет Amazon планирует потратить почти $150 млрд на дата-центры, что позволит ей справиться с ожидаемым взрывным ростом спроса на ИИ и другие цифровые сервисы.

В ближайшие годы ожидается стремительный рост спроса китайских дата-центров на воду по мере развития ИИ-технологий. Datacenter Dynamics сообщает, что в новом докладе гонконгской НКО China Water Risk (CWR) сделана оценка потребления этого ценного для дата-центров ресурса — оно вырастет более чем в два раза в следующие шесть лет.

CWR рассчитывает, что потребление воды китайскими ЦОД сегодня составляет 1,3 млрд м³ ежегодно, но к 2030 году увеличится до 3 млрд м³. Организация отмечает, что Китайская академия экологического планирования (China Academy of Environmental Planning, CAEP) ранее выяснила, что число стоек в КНР достигло 5,4 млн шт. в 2021 году, то выросло на 27 % год к году, а к 2030 году оно составит уже 11,3 млн. Общее потребление воды местными ЦОД в 2020 году было неизвестно, но эксперты посчитали, что оно держалось приблизительно на уровне 300 млн м³.

Источник изображения: Jani Brumat/unsplash.com

Как указывают в докладе CWR, китайские IT-гиганты должны принять экстренные меры для того, чтобы стать «водно-положительными» или хотя бы «водно-нейтральными». Китай активно развивает индустрию ЦОД в западной части страны, хотя именно здесь преобладают обширные засушливые области, где удобно размещать солнечные электростанции, но где дефицит воды может оказаться катастрофическим.

Более того, водоснабжение может даже ухудшиться несмотря на рост спроса из-за неспособности своевременно реагировать на стихийные бедствия, а также рост «хронических рисков» вроде простой нехватки водных ресурсов и роста уровня моря. Хотя некоторые IT-гиганты начали планировать модернизацию, многие ещё не разработали никаких стратегий для уменьшения рисков. Впрочем, даже те, кто готовятся, могут столкнуться с проблемами из-за ускоренного глобального потепления — ранее принятые меры были недостаточно хороши.

Источник изображения: CWR

В CWR утверждают, что только 32 % китайских стоек находятся в богатых водой регионах, 46 % — в чрезвычайно сухих местах. Как минимум 41 % стоек расположен в регионах с частыми засухами и 28 % — в зонах, где нередко случаются наводнения. А как минимум пятая часть находятся в Цзянсу, Шанхае и Тяньцзине, которые часто страдает и от того, и от другого.

Конкуренция за воду в регионах уровня Dry 10 будет только расти и запросы ЦОД могут оказаться не в приоритете — поскольку в водных ресурсах нуждается сельское хозяйство, жилые дома и промышленность. В Китае ещё не утверждены стандарты эффективности водопользования (Water Usage Effectiveness, WUE), но власти на местах пытаются внедрять свои собственные требования. Например, шанхайское руководство рекомендует WUE на уровне 1.4.

Источник изображения: CWR

Как свидетельствуют публикации ограниченных данных, Baidu и Xiaomi увеличили своё водопотребление в 2021 году на 23 % и 53 % соответственно, а Tencent подняла потребление ресурса на 31 % в 2022 году. При этом China Mobile, наоборот, сократила потребление на 17 %.

CWR рекомендует местным операторам начать формулировать стратегию управления водными ресурсами и добиваться «водно-положительных» результатов. Также НКО предлагает переключиться с на другие, не столь водно-интенсивные технологии охлаждения, требующие меньше воды на единицу выручки, особенно в локациях с дефицитом воды, хотя иногда это это может привести к ухудшению показателей PUE. Стоит отметить, что проблема внедрения экобезопасных технологий актуальна, как никогда. Появилась информация о массовых закупках Китайским бизнесом ресурсоёмких серверов для ИИ-вычислений.

Оператор Vantage Data Centers готовится потратить €1 млрд ($1,07 млрд) на новый кампус ЦОД недалеко от Дублина. По данным Datacenter Dynamics, объект DUB1 построят в хабе Profile Park в 15 км к югу от ирландской столицы. Кампус площадью 38 тыс. м² будет размещён на площадке около 9 га и на первых порах достигнет ёмкости 52 МВт. Первый объект ёмкостью 32 МВт введут в эксплуатацию к концу 2024 года, второй объект ёмкостью 20 МВт появится позднее.

В Vantage заявляют, что PUE кампуса будет на уровне 1.2, при этом он практически не станет потреблять воду для охлаждения. На территории DUB1 будут развёрнуты генерирующие мощности на 100 МВА, способные работать с разными видами топлива, в том числе в комбинированных вариантах. Речь в первую очередь о гидрированном растительном масле (HVO) и газе, поставляемом Gas Networks Ireland.

Пока в стране фактически действует мораторий на строительство новых ЦОД в Дублине и его ближайших окрестностях, энергетическая компания EirGrid утверждает, что не примет никаких заявок до 2028 года. Правительство подчеркнуло, что не намерено сокращать или ограничивать число ЦОД в стране, но существует проблема энергоснабжения, и ранее в этом месяце появилась информация об ограничении AWS в Ирландии вычислительных мощностей для клиентов.

Источник изображения: Gregory DALLEAU/unsplash.com

Vantage утверждает, что собственная электростанция позволит добиться оптимальной эффективности на фоне ограничений. При этом энергия будет передаваться в случае необходимости в национальную энергосеть — такая схема становится популярной во всём мире. Кроме того, компания намерена использовать растительное масло для своих резервных генераторов вместо дизельного топлива и намерена заключать соглашения о покупке «зелёной» энергии (PPA) у местных генерирующих компаний.

По словам Vantage, возведение кампуса окажет благоприятное воздействие и на местное сообщество, поскольку будет привлечено до 1100 рабочих на пике строительных работ, а позже компания создаст 165 рабочих мест для управления ЦОД — в компании обещают быть «хорошим соседом». Строительство ЦОД приветствовали лидеры местного бизнеса, заявив, что компания не только внесёт вклад в местную экономику в виде налогов и рабочих мест, но и обеспечит безопасность данных местным компаниям в ближайшие годы.

У Vantage уже имеются европейские кампусы — в Германии (Берлине и Франкфурте), Великобритании (Лондоне и Кардиффе), Италии (Милане), Польше (Варшава), Швейцарии (Цюрих), а также в Южной Африке (Йоханнесбурге). В прошлом году компания закрыла две инвестиционных сделки, предусматривающих вложение на континенте €2,5 млрд ($2,67 млрд) для дальнейшей экспансии.

Разрешение на строительство двух зданий, который будут в первую очередь построены на территории DUB1, было выдано ещё в 2021 году. Тем не менее, в прошлом году оператору отказали в разрешении на снос жилого здания для строительства третьего объекта — компания намерена опротестовать решение. Ранее ирландские власти разрешили Microsoft пристроить к её дублинским ЦОД 170-МВт газовую электростанцию.

Компания Tesla обнародовала показатели деятельности в I квартале 2024 года. Выручка производителя электромобилей составила $21,3 млрд, что на 9 % меньше результата годичной давности. Предприятие Илона Маска не смогло оправдать ожидания аналитиков, которые называли сумму на уровне $22,34 млрд.

Показатели ухудшаются на фоне сокращения продаж автомобилей под давлением китайских конкурентов. Чистая квартальная прибыль Tesla составила $1,13 млрд. Это на 55 % меньше по сравнению с показателем за I четверть 2023-го, когда компания заработала $2,51 млрд.

Как отмечает ресурс Datacenter Dynamics, в январе–марте 2024 года Tesla инвестировала в развитие ИИ-инфраструктуры около $1 млрд. По словам Маска, компании удалось преодолеть трудности в плане расширения мощностей для обучения ИИ. На текущий момент Tesla ввела в эксплуатацию ресурсы, эквивалентные по производительности 35 тыс. ускорителей NVIDIA H100. К концу года, согласно заявлениям Маска, этот показатель приблизится к 85 тыс.

Источник изображения: Tesla

Учитывая, что в презентации говорится об «эквиваленте Н100», компания может применять различные ИИ-решения, включая собственные чипы Tesla D1. В целом, Tesla увеличила мощности для обучения ИИ более чем на 130 % в I квартале 2024-го. Ожидается, что суперкомпьютер Dojo поможет увеличить рыночную стоимость Tesla на $500 млрд.

Маск также сообщил, что в перспективе электромобили Tesla смогут выполнять функции распределённой edge-платформы для инференса. Идея заключается в том, чтобы задействовать вычислительные мощности автомобилей во время простоя для выполнения задач ИИ.

Глава Tesla предлагает представить будущее, в котором по всему миру насчитывается 100 млн электромобилей компании. Каждый из них теоретически может обладать мощностью на уровне 1 кВт, что в сумме даёт 100 ГВт для инференса. Даже с учётом того, что каждая из этих машин будет эксплуатироваться около 7 часов ежедневно, остаётся более 100 часов в неделю для обслуживания ИИ-нагрузок.

Для питания своих дата-центров и колокейшн-мощностей Apple использовала в 2023 году 2,344 ТВт∙ч электроэнергии. Datacenter Dynamics сообщает, что компании принадлежит семь собственных ЦОД, а также неизвестное число колокейшн-площадок по всему миру, энергопотребление тех и других на 100 % компенсируется покупкой PPA-сертификатов.

В докладе Environmental Progress Report компания сообщила, что объект в Месе (штат Аризона) был крупнейшим потребителем, на него пришлось 488 ГВт∙ч, 82 % потреблённого электричества приходится на солнечную энергию, включая 4,76 МВт, которые получаются на территории самого кампуса. Ещё 18 % получают за счёт энергии ветра. ЦОД в Мейдене (Северная Каролина) использовал 453 ГВт·ч, 82 % приходится на солнечную энергию и 12 % — на ветряную.

В Рино (Невада) кампус потребил 440 ГВт∙ч, энергия обеспечена полностью за счёт солнца, в том числе 20 МВт от проекта Fort Churchill Solar Array, в котором используются искривлённые зеркала для концентрации света на фотоэлектрических ячейках. В Прайнвилле (Орегон) использовано 269 ГВт∙ч — 60 % получено за счёт ветряной энергии, 38 % — за счёт солнечной, а ещё 2 % — от малых ГЭС. Компания начала использовать микро-ГЭС в 2013 году, проект Earth By Design реализован рядом с ирригационным каналом. В компании утверждают, что теперь имеется уже два таких проекта.

Источник изображения: Apple

Два дата-центра в Китае использовали в общей сложности 171 ГВт∙ч, на солнечную и ветряную энергию приходится по 50 %. Правда, согласно местным законам, Apple не считается оператором этих ЦОД. На ЦОД в Виборге (Дания) пришлось 40 ГВт∙ч. Точных данных по распределению энергии не имеется, зато в Apple сообщили, что этот дата-центр не нуждается в резервных дизельных генераторах. В 2019 году компания отказалась от строительства второго ЦОД в стране, проект оценивался в $921 млн.

Что касается колокейшн-ёмкостей, то в США и за их пределами компания использовала 387 и 96 ГВт∙ч соответственно — на них приходится около 20,6 % IT-энергопотребления компании. Кстати, впервые в истории Apple использование электричества её колокейшн-объектами упало с 487,9 ГВт∙ч в 2022 году. В предыдущие пять лет до 2022 года оно росло в среднем на 14,49 % ежегодно.

В доклад не вошла отчётность об использовании Apple облаков. Компания давно пользуется услугами Google Cloud и, похоже, это крупнейший клиент платформы, а прошлом году на базе облака Google начата разработка ИИ-моделей. Самое приблизительное представление даёт статистика 2019 года. Тогда сообщалось, что более $30 млн/мес. тратится на облако AWS.

Оператор дата-центров Digital Realty намерен реорганизовать систему питания своих ЦОД в Ирландии таким образом, чтобы та могла отдавать электричество в энергосети во время пиковых нагрузок. The Register сообщает, что это поможет сгладить нагрузки на энергосистемы, снизить выбросы углекислого газа и обеспечить операторам дополнительную выручку.

Один из крупнейших в мире операторов дата-центров работает с энергораспределяющей компанией Enel X, которая позволит сохранить стабильность сетей с помощью систем бесперебойного питания ЦОД. Это, например, даст возможность снизить зависимость от электростанций, работающих на ископаемом топливе в часы максимальных нагрузок. Digital Realty уже ранее реализовала подобный проект с помощью Enel X в Сиднее.

Только вокруг Дублина оператор ЦОД имеет девять объектов. Он утверждает, что аккумуляторы их ИБП прошли самые строгие проверки и одобрены для снабжения резервной энергией электросетей. Для начала в программе будут участвовать источники бесперебойного питания мощностью 6 МВт. Соглашение с Enel X позволит Digital Realty использовать по-новому использовать энергетические активы дата-центров, в числе прочего позволяя подключать к сети больше возобновляемых источниках энергии.

Источник изображения: israel palacio/unsplash.com

Ирландия уже получает 30–40 % энергии из возобновляемых источников, что имеет и негативные стороны. В частности, неизбежны перепады качества энергоснабжения из-за нестабильности работы ветряков и других подобных источников. В Digital Realty подчёркивают, что в таких ситуациях пригодится энергия ИБП дата-центров. В этом месяце оператор EirGrid объявил о снижении минимального числа больших генераторов на ископаемом топливе, которые должны работать в энергосети страны в любое время — с пяти до четырёх, в ответ на растущую доступность возобновляемой энергии.

Впрочем, Digital Realty не первой представляет подобную схему в Ирландии. Microsoft уже анонсировала внедрение интерактивной ИБП-технологии в собственном ЦОД в Дублине в середине 2022 года, она сотрудничает с Eaton и той же Enel X. Последняя служит агрегатором для объединения коммерческих источников энергии в «виртуальные электростанции». В прошлом году Microsoft объявила, что проект увенчался успехом и заявила о намерении масштабировать его на другие ЦОД по всей планете.

Энергия для ЦОД стала весьма обсуждаемой темой в последнее время, эксперты предупреждают, что рост ёмкости дата-центров на фоне взрывного спроса на ИИ-сервисы может привести к тому, что только в США ЦОД будет потребляться к 2030 году 20–25 % всей электроэнергии, а в Ирландии к 2026 году — около трети. Это уже привело к рационированию вычислительных ресурсов AWS.

Занимающаяся разработкой и выпуском солнечных элементов питания компания Exowatt получила финансирование от руководителя OpenAI Сэма Альтмана (Sam Altman), а также двух других инвесторов. The Register сообщает, что точных данных об объёмах инвестиций Альтмана нет, но вкладывает деньги не его компания, а он лично.

Доля вложений Альтмана в Exowatt неизвестна, но есть данные, что двумя другими инвесторами выступили Andreessen Horowitz и Atomic. Общий объём инвестиций составляет $20 млн. В Exowatt рассчитывают генерировать экобезопасное электричество, стоимость которого со временем упадёт до $0,01/кВт·ч. Серьёзные проекты начнут реализовать уже в 2024 году.

Exowatt разрабатывает солнечные панели, сохраняющие энергию в виде тепла, которое конвертируется в электричество. Интеграция довольно больших «тепловых аккумуляторов» с собственно солнечными линзами в одном блоке, как заявляют в компании, и является ключевым отличием от других решений. Утверждается, что новое солнечное решение для питания ИИ и дата-центров будущего обеспечит меньшую стоимость энергии, чем у электростанций на ископаемом топливе.

Источник изображения: Exowatt

Высокие энергетические показатели чрезвычайно важны, когда речь идёт о дата-центрах, не говоря о ЦОД для ИИ-систем — дефицит электричества является серьёзной проблемой для гиперскейлеров вроде AWS, Microsoft или Google. Сам Альтман ещё в январе 2024 года говорил о проблемах с электроснабжением и подчёркивал, что для развития ИИ потребуется «прорыв» в энергетических технологиях.

Считается, что причиной инвестиций Альтмана отчасти стала дружба с главой Atomic Джеком Абрахамом (Jack Abraham), хотя глава OpenAI не впервые вкладывает деньги в энергетические проекты. Например, он поддерживает «атомные» стартапы Helion и Oklo. Примечательно, что первым потенциальным клиентом Helion является Microsoft, имеющая тесные связи с OpenAI — компания намерена получить доступ к электричеству, полученному за счёт термоядерного синтеза, уже в 2028 году.

Впрочем, в краткосрочной перспективе будут применяться более привычные источники электричества — солнечная и атомная энергии. Exowatt и другие экзотические энергетические компании всё ещё находятся на стадии стартапов. В то же время Amazon, например, использует традиционную АЭС для питания недавно купленного кампуса ЦОД.

Джейсон Тейлор (Jason Taylor), бывший исполнительный директор Meta✴ Platforms, по сообщению The Information, перешёл на работу в Microsoft, где занял пост старшего руководителя команды дата-центров. Его непосредственным начальником станет технический директор Microsoft Кевин Скотт (Kevin Scott).

Тейлор проработал в Meta✴ почти 14 лет. Занимая должность вице-президента по инфраструктуре, он в числе прочего курировал расширение сети ЦОД и создание серверных чипов Meta✴. Тейлор ушёл из компании Марка Цукерберга (Mark Zuckerberg) в сентябре 2022 года. Согласно информации профилю LinkedIn, с тех пор он официально работал только в Intrepid Ventures.

Источник изображения: LinkedIn / Datacenter Dynamics

Отмечается, что в Microsoft Тейлор будет исполнять обязанности, аналогичные тем, что были возложены на него в Meta✴. В настоящее время Microsoft активно развивает направление дата-центров, что связано со стремительным внедрением технологий ИИ. В частности, совместно с OpenAI создаётся масштабный кампус ЦОД под названием Stargate стоимостью около $100 млрд. Мощность объектов в составе этого комплекса суммарно составит до 5 ГВт. Кроме того, Microsoft продолжает закупать ускорители на базе GPU для решения ИИ-задач: планируется, что количество таких изделий в составе вычислительной ИИ-инфраструктуры корпорации к концу 2024 года достигнет 1,8 млн штук.

Ожидается, что Тейлор примет участие в расширении сети дата-центров Microsoft, а также возьмёт на себя некоторые обязанности Брайана Гарри (Brian Harry), старшего руководителя команды ЦОД, который планирует уйти на пенсию. Сама корпорация назначение Тейлора никак не комментирует. Два месяца назад Microsoft также переманила к себе Ахмеда Шихаба (Ahmed Shihab), ответственного ранее за аппаратные решения облака AWS. На новом месте он займётся «созданием передовых сервисов хранения данных для платформы Azure».

Synergy Research Group опубликовала результаты нового исследования, согласно которому количество крупных дата-центров, управляемых гиперскейлерами, превысило в начале 2024 года отметку в 1000 штук. В конце 2023 года число таких ЦОД составляло 992 единицы.

Как отметили в Synergy Research Group, всего четыре года потребовалось для того, чтобы общая ёмкость ЦОД гиперскейлеров удвоилась, поскольку их количество растёт наряду с увеличением средней ёмкости дата-центра. По данным аналитической компании, на США по-прежнему приходится 51 % мировой ёмкости, измеряемой в МВт критической ИТ-нагрузки, а на Европу и Китай — около трети.

Источник: Synergy Research Group

Согласно прогнозу Synergy Research Group, общая ёмкость ЦОД гиперскейлеров в ближайшие четыре года вновь удвоится. Хотя ежегодно будет появляться около 120–130 ЦОД гиперскейлеров, рост ёмкости будет во всё большей степени будет обусловлен ещё большим увеличением мощности новых ЦОД. Основной причиной такого роста будет расширение использования технологий генеративного ИИ. У Synergy Research Group есть информация о 440 объектов, которые находятся на разных стадиях планирования, разработки или оснащения.

Исследование основано на анализе работы ЦОД 19 крупнейших мировых компаний, предоставляющих облачные и интернет-услуги, включая крупнейших операторов SaaS, IaaS, PaaS, поиска, социальных сетей, электронной коммерции и игр.

Больше всего ЦОД у ведущих провайдеров облачных услуг Amazon, Microsoft и Google. Помимо большого количества ЦОД в США, каждая из них также имеет дата-центры во многих странах по всему миру. В совокупности на эти компании приходится 60 % общей ёмкости ЦОД гиперскейлеров. За ними в рейтинге следуют Meta/Facebook, Alibaba, Tencent, Apple, ByteDance и другие менее крупные игроки.