Председатель правления и генеральный директор Meta✴ Марк Цукерберг (Mark Zuckerberg), по сообщению ресурса Tom's Hardware, раскрыл масштабы кластера, который используется для обучения ИИ-модели нового поколения Llama-4. По его словам, для этих целей задействованы более 100 тыс. ускорителей NVIDIA H100.

Напомним, в начале сентября нынешнего года стартап xAI, курируемый Илоном Маском (Elon Musk), объявил о запуске ИИ-суперкомпьютера Colossus, в основу которого положены 100 тыс. штук H100. В дальнейшем количество ускорителей в составе Colossus планируется увеличить вдвое. Теперь об эксплуатации кластера схожего масштаба рассказал Цукерберг.

Глава Meta✴ не стал вдаваться в подробности о характеристиках Llama-4, ограничившись лишь фразами вроде «новые модальности», «более сильные рассуждения» и «повышенное быстродействие». Ранее Meta✴ заявляла о намерении потратить в 2024-м от $30 млрд до $37 млрд на развитие своей инфраструктуры — прежде всего для задач ИИ. Кроме того, говорилось, что к концу текущего года компания рассчитывает оперировать мощностями, эквивалентными более чем 500 тыс. ускорителей NVIDIA H100.

Источник изображения: Meta✴

Вместе с тем, как отмечается, возникают сложности при обеспечении питанием столь масштабных ИИ-кластеров. Дело в том, что один современный GPU может потреблять до 3,7 МВт·ч электроэнергии в год. Это означает, что массив из 100 тыс. таких ускорителей потребует не менее 370 ГВт·ч в год, чего достаточно для обеспечения энергией более 34 млн среднестатистических американских домохозяйств. Цукерберг признаёт, что трудности, связанные с доступностью энергоресурсов, в перспективе могут ограничить темпы роста отрасли ИИ.

Как добавляет ComputerWeekly, Meta✴ также отказалась от практики увеличения срока службы серверов с целью сокращения расходов. Ранее компания сообщила о продлении периода эксплуатации оборудования до пяти лет вместо прежних четырёх с половиной: это, как ожидалось, даст экономию в $1,5 млрд. Однако теперь финансовый директор Meta✴ Сьюзан Ли (Susan Li) заявила, что компания в свете стремительного развития ИИ намерена применять серверы последнего поколения, чтобы максимально эффективно использовать доступную ёмкость существующих дата-центров.

Компания Meta✴ Platforms объявила результаты III квартала 2024 года, завершившегося 30 сентября. Выручка и прибыль компании, чья структура включает соцсети Facebook✴ и Instagram✴, превысили ожидания аналитиков Уолл-стрит. Тем не менее, акции компании упали после публикации результатов на 3 %, что объясняется более низким, чем ожидалось, количеством пользователей и планами по увеличению расходов на инфраструктуру в 2025 финансовом году.

Выручка Meta✴ выросла на 19 % до $40,59 млрд, что выше консенсус-оценки аналитиков, опрошенных LSEG, в размере $40,29 млрд. Чистая прибыль компании составила $15,7 млрд или $6,03 на акцию, что на 35 % больше год к году, а также выше консенсус-прогноза аналитиков, ожидавших $5,25 прибыли на акцию. Несмотря на впечатляющее увеличение прибыли за квартал, это самый низкий показатель роста со II квартала 2023 финансового года.

Источник изображения: NVIDIA

Meta✴ повысила прогноз капитальных затрат на 2024 финансовый год до $38–$40 млрд с предыдущего прогноза в размере с $37–$40 млрд. Также компания заявила, что ожидает значительного роста капитальных затрат в 2025 году из-за ускорения расходов на инфраструктуру. «Наши инвестиции в ИИ по-прежнему требуют серьезной инфраструктуры, и я ожидаю, что продолжу вкладывать в неё значительные средства», — сообщил гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) в ходе телефонной конференции с аналитиками.

Цукерберг сообщил об огромных инвестициях компании в ИИ, которые включают строительство ЦОД и приобретение ускорителей NVIDIA для реализации стратегии в области ИИ и улучшения основного бизнеса компании в сфере онлайн-рекламы. По словам Цукерберга, более миллиона рекламодателей использовали рекламные инструменты на базе генеративного ИИ.

Meta✴ также обновила прогноз общих расходов на 2024 финансовый год, которые будут находиться в диапазоне от $96 до $98 млрд, что ниже предыдущего прогноза в $96–$99 млрд. Что касается текущего квартала, то Meta✴ ожидает получить выручку в диапазоне от $45 млрд до $48 млрд со средней точкой выше консенсус-прогноза аналитиков в $46,3 млрд.

Компания KKR подписала соглашение о стратегическом партнёрстве с американской инвестиционной компанией Energy Capital Partners (ECP) на $50 млрд. По данным пресс-службы KKR, сотрудничество будет связано с ускоренным развитием ЦОД, генерацией энергии, а также строительством инфраструктуры для облачных и ИИ-сервисов по всему миру. Как заявляют в KKR, объединив свои ресурсы и возможности, компании получат портфель проектов ЦОД более чем на 8 ГВт, а также 100 ГВт уже действующих и готовых к строительству источников энергии, что позволит быстро реализовать все планы.

Сотрудничество направлено на поддержку крупномасштабных проектов по обучению ИИ-моделей, их тюнингу и инференсу в разных регионах. Партнёры будут работать с участниками отрасли, включая коммунальные службы, производителей энергии, а также девелоперов для того, чтобы ускорить создание крупных кампусов для гиперскейлеров. KKR внесёт вклад в совместные проекты существующей инфраструктурой, стратегическими проектами в сфере недвижимости и страховыми счетами. ECP предложит свои нынешние и будущие пулы капитала для инфраструктурных инициатив.

Источник изображения: Sebastian Herrmann/unsplash.com

Как считают в ECP, чтобы сохранить лидерство США в сфере ИИ, понадобятся крупные инвестиции в энергетическую инфраструктуру, которые помогут решить вопросы, связанные с ценами на электричество и углеродными выбросами. ECP уже сегодня инвестирует в возобновляемую энергетику, в частности, в системы хранения энергии, экоинфраструктуру, повышение эффективности и надёжности объектов и др. Компания владеет более 83 ГВт генерирующих мощностей на рынке США.

KKR владеет и управляет значительным числом ЦОД — более 100 объектов по всему миру. Компания называет себя одним из ключевых инвесторов на рынке дата-центров. В 2021 году компания закрыла одну из крупнейших сделок по покупке ЦОД, купив вместе с Global Infrastructure Partners (теперь BlackRock) компанию CyrusOne за $15 млрд.

Недавно в союзе с Singtel компания объявила о намерении инвестировать S$1,75 млрд ($1,3 млрд) в оператора ST Telemedia Global Data Centres, с возможностью вложить дополнительные S$1,24 млрд ($920 млн). Есть собственные инфраструктурные проекты и у других компаний. Например, BlackRock запустила собственный фонд инвестиций в ИИ-инфраструктуру для дата-центров и энергетических проектов — инициатива поддерживается Microsoft и NVIDIA.

Холдинг Alphabet, материнская структура Google, сообщил неаудированные финансовые результаты III квартала 2024 года, завершившегося 30 сентября. Alphabet заявил, что его инвестиции в ИИ окупаются, поскольку выручка облачного подразделения выросла на 35 %. Также значительно увеличилась выручка самого холдинга, значительно превысив прогнозы Уолл-стрит, благодаря чему его акции выросли в цене почти на 6 % на внебиржевых торгах во вторник.

Перед пресс-конференцией в среду гендиректор Alphabet Сундар Пичаи (Sundar Pichai) отметил, что «долгосрочная ориентация и инвестиции компании в ИИ» начинают приносить плоды как корпоративным клиентам, так и обычным потребителям.

Выручка Alphabet составила за квартал $88,27 млрд, превысив показатель аналогичного квартала в 2023 году на 15 %, а также консенсус-прогноз аналитиков, опрошенных LSEG, в размере $86,30 млрд. При этом доход Google Cloud вырос год к году на 35 % до $11,35 млрд, а операционная прибыль платформы увеличилась в семь раз до $1,9 млрд с $266 млн в прошлом году.

Источник изображения: Google

Как отметила финансовый директор Alphabet Анат Ашкенази (Anat Ashkenazi), присоединившаяся к холдингу в июне после 23 лет работы в фармацевтической компании Eli Lilly, набор облачных услуг Google Workspace показал сильный рост в III квартале. При этом набор облачных инструментов для управления данными и ИИ опередил по темпам роста показатель облачного подразделения в целом.

Ашкенази также сообщила, что капитальные затраты Alphabet в 2025 году будут выше, чем в этом году. В III квартале капзатраты Alphabet выросли на 62 % до $13 млрд. Большая часть этих расходов пошла на «техническую инфраструктуру, из которых около 60 % пришлось на серверы, а 40 % — на ЦОД и сетевое оборудование.

Источник изображения: Google

По словам финдиректора, Google взяла на себя обязательство вложить в текущем квартале более $7 млрд в запланированные инвестиции в ЦОД, из которых $6 млрд будут инвестированы в объекты на территории США. Компания планирует оптимизировать «физическое присутствие и повысить эффективность технической инфраструктуры», а также «оптимизировать операции всей компании с помощью ИИ», сказала Ашкенази. Ожидается, что в IV квартале капзатраты будут такими же, как в III квартале.

Чистая прибыль Alphabet выросла до $26,3 млрд или $2,12 на акцию, по сравнению с $19,7 млрд или $1,55 на акцию в аналогичном квартале прошлого года при консенсус-прогнозе аналитиков, опрошенных LSEG, в размере $1,85 прибыли на акцию.

Стремительный рост рынка дата-центров в США, связанный с активным внедрением ИИ, ведёт и к увеличению спроса на природный газ. Как сообщается в новом докладе S&P Global на основе модели роста спроса на электроэнергию для ЦОД, если 50 % прироста ёмкости объектов будет обеспечиваться газовыми генераторами и электростанциями, то национальной сети дополнительно потребуется до 50 ГВт.

В результате спрос на природный газ для поддержки работы ЦОД может вырасти до 85 млн м³/день, хотя показатели могут меняться в зависимости от объектов и доступности других источников энергии. Так, если доля природного газа в цепочках генерации энергии будет больше, чем прочих энергоносителей, спрос только дата-центров к 2030 году может подняться и до 170 млн м³/день.

Это противоречит целям по снижению углеродных выбросов, поставленным гиперскейлерам вроде Google, Microsoft и Amazon (AWS), которые, вероятно, те всё равно не смогут добиться. Хотя сжигание природного газа считается более экологичным, чем других видов ископаемого топлива, от CO₂ всё равно никуда не деться. Впрочем, в S&P считают, что природный газ будет служить скорее резервным источником в условиях использования возобновляемой энергетики, отличающейся нестабильными поставками электричества.

Источник изображения: Frantzou Fleurine/unsplash.com

Риски для таких проектов невелики, говорит S&P — газовые станции и генераторы могут использовать уже существующую инфраструктуру газопроводов, из-за чего проблемы с получением дополнительных разрешений на подключение будут минимальными, равно как и сопротивление местных жителей. Большинство подключений можно будет организовать в течение 12 месяцев — это гораздо меньше, чем в случае других проектов по генерации энергии. Это если не будет других проблем вроде нехватки ЛЭП и слабой экономики.

От более масштабного использования природного газа, вероятно, больше всего выиграют Северная Вирджиния и Техас (Даллас-Форт-Уорт), поскольку они ближе всего находятся к площадкам для его добычи — Marcellus и Permian Basin соответственно. Близость упрощает поставки топлива новым частным станциям, не зависящим от регулируемых властями коммунальных предприятий. Впрочем, развитие новых генерирующих мощностей в этих районах ещё слабо, хотя некоторые проекты уже есть. Также прогнозируется, что возобновляемая энергетика позволит к 2035 году вытеснить природный газ из энергосистемы PJM Interconnection, к которой относится и Вирджиния. В Техасе использование этого топлива останется устойчивым.

Рост спроса на электричество со стороны ЦОД должен способствовать и процветанию секторов транспортировки, хранения, переработки и т.п. Основными выгодоприобретателями станут компании вроде Enbridge, Kinder Morgan, TC Energy и Williams Cos. Операторы ЦОД уже местами переходят на природный газ для питания своих объектов. Летом в Wells Fargo прогнозировали, что бум ИИ ЦОД в США сыграет на руку поставщикам природного газа, а в марте EQT Corp и вовсе объявила, что газ сам по себе станет драйвером роста ЦОД.

Компания Equinix запустила свой первый в Южной Африке ЦОД IBX. По информации Datacenter Dynamics, впервые анонсированный ещё в декабре 2022 года дата-центр официально заработал на прошлой неделе. Расположенный в городском округе Джермистон ЦОД JN1 Johannesburg IBX Data Center имеет около 1,9 тыс м² колокейшн-площадей, но со временем площадь должна вырасти до 9,5 тыс. м².

На начальном этапе речь идёт о 700 серверных стойках, но в итоге их число должно вырасти до 3475. Ёмкость поэтапно вырастет с 4 МВт до 20 МВт. Особенностью ЦОД является поддержка СЖО. Ранее компания заявляла, что намерена инвестировать в проект $160 млн. Первыми резидентами ЦОД названы Liquid Intelligent Technologies, Intelys Technology Group, Seacom и WorkOnline Communications, а также Johannesburg Internet Exchange (JINX), принадлежащая INX-ZA. В числе прочих операторов, действующих в окрестностях Йоханнесбурга — Digital Parks Africa, OADC, Digital Realty (Teraco), Vantage, NTT и Africa Data Centers.

По словам представителя Equinix в Южной Африке, новый ЦОД IBX станет мощной платформой для бизнеса и инноваций и поспособствует процветанию не только ЮАР, но и соседних стран. Новый объект должен стать ключевым центром перекрёстной связи на континенте для ряда наиболее быстро развивающихся стран и бизнесов. Первые шаги на континенте Equinix сделала в декабре 2021 года, купив компанию MainOne, «дочка» которой (MDXi) управляет четырьмя объектами общей площадью 5,95 тыс. м² в Нигерии, Гане и Кот-д'Ивуаре.

Источник изображения: Simon Hurry/unsplash.com

ЮАР интересы Equinix не ограничиваются — компания расширяет присутствие в Таиланде, намереваясь поэтапно инвестировать здесь около $500 млн в течение следующих десяти лет. На покупку земли в Бангкоке уйдёт $34 млн. Приобретённых участков площадью 18,7 тыс. м² хватит на строительство двух ЦОД IBX на 3375 стоек. Сроки окончания строительства пока не называются.

В компании утверждают, что Таиланд находится на переднем крае цифрового развития Юго-Восточной Азии и становится ключевым игроком в региональной цифровой экономике. Проект в Бангкоке — ещё один этап стратегии развития связей между Таиландом и остальной частью Юго-Восточной Азии. Новые проекты, предположительно, будут реализованы для обеспечения запросов корпоративных клиентов, а также крупнейших облачных провайдеров — драйвером развития станет близость Таиланда к Камбодже, Лаосу, Мьянме и Вьетнаму, а также «проактивной политике» правительства Cloud First Policy.

Сегодня Equinix уже присутствует в ряде стран и территорий Азиатско-Тихоокеанского региона: Индии, Индонезии, Японии, Сингапуре, Австралии, Южной Корее, Малайзии, в материковом Китае, а также в Гонконге. В Таиланде ведут деятельность и другие операторы ЦОД: Edgnex, Etix Everywhere, NextDC, NTT, STT GDC, CtrlS, Evolution DC, Telehouse, Singtel, True IDC, Digital Edge, Bridge DC, Edge Centres, Supernap и др.

Blackstone продолжает пополнять портфолио своих дата-центров. По данным Datacenter Dynamics, сейчас она управляет активами ЦОД на $70 млрд, но уже готова увеличить их ещё на $100 млрд. Примечательно, как заметно планы и показатели компании изменились с прошлого квартала. В III календарном квартале 2024 года компания располагала ЦОД «всего» на $55 млрд и только-только намеревалась построить объекты на $70 млрд.

Впрочем, основной причиной роста в последние месяцы стало приобретение Blackstone компании AirTrunk за AU$24 млрд ($16 млрд). Как заявил покупатель, сегодня Blackstone является крупнейшим провайдером ЦОД в мире, с объектами в США, Европе, Индии и Японии. AirTrunk, по оценкам Blackstone, была крупнейшим оператором ЦОД в Азиатско-Тихоокеанском регионе.

Источник изображения: Tuân Nguyễn Minh/unsplash.com

В компании заявили, что оценили потенциал новой сферы и всего за три года масштабировали соответствующий бизнес до «крупнейшего в мире». Впрочем, много ещё предстоит сделать. В частности, компания займётся решение проблем с энергоснабжением ЦОД, что со временем откроет дополнительные возможности для инвестиций. По словам представителя компании, ЦОД остались крупнейшим драйвером роста в III квартале в инфраструктурных проектах, связанных с недвижимостью, а также для компании в целом.

Тот факт, что у компании оказались масштабные запасы капитала, стало огромным конкурентным преимуществом — на покупку и развитие соответствующих бизнесов требуется немало средств. По данным компании, с момента покупки QTS за $10 млрд в 2021 году, ёмкость арендуемых мощностей её ЦОД выросла в восемь раз. При этом Blacskstone располагает не только ЦОД, но и сопутствующей инфраструктурой, доступом к энергии и прочим активам. В Blackstone утверждают, что компания является ведущим поставщиком финансирования для приблизительно 15 % всех проектов возобновляемой энергетики в США за последние 12 месяцев.

Помимо QTS и AirTrunk, Blackstone неоднократно инвестировала и в другие проекты, связанные с ЦОД, включая Vnet, Lumina CloudInfra, Copeland, Park Place Technologies и Winthrop Technologies, а также имеет совместные инвестиционные проекты с COPT, Digital Realty и другими компаниями. Так, Blackstone вложит £10 млрд в создание крупнейшего ЦОД в Европе ЦОД в Великобритании.

Управляющая альтернативными активами компания DigitalBridge Group сообщила о заключении соглашения о покупке Yondr Group через один из своих инвестиционных фондов. По данным Bloomberg, сделка будет закрыта уже в начале 2025 года. Сообщается, что Yondr продолжит действовать в качестве независимой структуры в составе портфеля DigitalBridge, уже включающего компании Vantage, Switch, DataBank, Scala, а также другие бизнесы.

По словам представителя DigitalBridge, активы Yondr и крепкие связи компании с клиентами из числа ведущих гиперскейлеров будут способствовать планам по развитию цифровой инфраструктуры. Yondr расширит портфолио ЦОД, принадлежащих DigitalBridge, и усилит возможности компании поддерживать проекты гиперскейлеров. Вместе компании смогут заработать на растущем спросе на дата-центры гиперскейл-класса, подогреваемом развитием ИИ, облачных вычислений и продолжающейся цифровой трансформацией в самых разных отраслях.

Источник изображения: Yondr

Лондонская Yondr принадлежит Cathexis, Apollo Global Management и Mubadala и занимается как строительством, так и управлением ЦОД. Компания реализует проекты в Вирджинии (США), Великобритании, Малайзии, Японии, Германии и Индии. Согласно пресс-релизу более 420 МВт ёмкостей Yondr выделено на нужды гиперскейлеров, а в перспективе есть возможность увеличить ёмкость до более 1 ГВт.

Эксклюзивным финансовым консультантом Yondr выступила Citi, а юридическим советником — White & Case LLP. Linklaters, Deloitte, Ramboll и Nomura были юридическими, финансовыми, техническими и финансовыми консультантами DigitalBridge. Пока непонятно, как скажется сделка на бизнесе фонда Mubadala Investment Co. — в августе он сообщал, что намерен инвестировать в Yondr.

Компания NVIDIA анонсировала инициативу Enterprise Reference Architectures (Enterprise RA), в рамках которой партнёры и заказчики смогут использовать эталонные архитектуры для построения собственных ИИ-платформ корпоративного уровня, рассчитанных на ресурсоёмкие нагрузки.

NVIDIA отмечает, что на фоне перехода от вычислений общего назначения к ускоренным вычислениям предприятия сталкиваются с различными трудностями при проектировании и развёртывании инфраструктуры ЦОД. Это затрудняет разработку долгосрочных стратегий и снижает эффективность инвестиций. Инициатива Enterprise RA призвана решить проблемы.

Источник изображения: NVIDIA

Эталонные архитектуры Enterprise RA помогут организациям минимизировать ошибки при проектировании так называемых фабрик ИИ (дата-центров для задач ИИ), предоставляя комплексные рекомендации по аппаратному и программному обеспечению, а также подробные указания по оптимальным конфигурациям серверов, кластеров и сетей. В результате клиенты смогут снизить затраты и сократить время, необходимое для построения вычислительной ИИ-инфраструктуры нового поколения.

Среди преимуществ предлагаемого подхода названы масштабируемость и управляемость, высокий уровень безопасности (применяется принцип нулевого доверия), оптимальная производительность, снижение сложности систем и ускоренный выход на рынок. Эталонные архитектуры спроектированы таким образом, чтобы их можно было легко модернизировать в будущем. Говорится о совместимости с различными сторонними аппаратными и программными компонентами, но в перечень рекомендаций входят прежде всего решения самой NVIDIA, включая:

• Сертифицированные серверы с ИИ-ускорителями на основе GPU разработки NVIDIA;
• Оптимизированная сетевая платформа на базе NVIDIA Spectrum-X AI Ethernet и NVIDIA BlueField-3 DPU;
• Программные компоненты NVIDIA AI Enterprise, в том числе микросервисы NVIDIA NeMo и NVIDIA NIM для быстрого создания и развёртывания приложений ИИ.

Решения на базе NVIDIA Enterprise RA будут предлагаться партнёрами NVIDIA, включая Dell, НРЕ, Lenovo и Supermicro.

Повышение ключевой ставки Центробанком РФ может привести к неблагоприятным последствиям для рынка дата-центров в России. «Коммерсантъ» сообщает, что рост ставки до 21 % грозит замедлением строительства ЦОД, в том числе из-за удорожания строительного оборудования, а уже через полтора года вероятен дефицит вычислительных мощностей. Возможным выходом для операторов является IPO — некоторые уже начали готовиться к размещению акций на бирже.

Как считают в компании ART Engineering, выпускающей решения для телеком-инфраструктуры, увеличение ключевой ставки Банком России стало причиной роста затрат на обслуживание займов для строительства дата-центров и обновление оборудования в ЦОД старше пяти лет.

В iKS-Consulting поддерживают подобную точку зрения, подчёркивая, что ЦОД на 70–80 % строятся на заёмные средства и лишь на 20–30 % — на собственные деньги операторов. При этом капитальные затраты на 1 МВт IT-ёмкости составляют 1,2 млрд руб., поэтому долговая нагрузка при строительстве будет расти, из-за чего будет падать привлекательность инвестиций в этот сектор. Не исключён дефицит мощностей, сопоставимый с кризисом 2022 года.

Источник изображения: Annie Spratt/unsplash.com

В ноябре 2023 года, когда ставка поднялась с 13 % до 15 %, многие проекты строительства ЦОД отменили. По словам Президента Ассоциации участников отрасли ЦОД, срок окупаемости проектов велик, поэтому повышением стоимости услуг финансовые проблемы не решить. При этом отдельных льгот для строителей ЦОД не предусмотрено, хотя находящийся на согласовании нацпроект «Экономика данных» пока включает получение строителями субсидий для компенсации высокой ставки по кредитам.

Важное значение имеет ключевая ставка для дистрибьюторов и локальных производителей вычислительной техники, поскольку они используют кредитные средства. По словам представителей отрасли, исчезает целесообразность получения средств от банков, из-за чего увеличиваются сроки оплаты и поставки компонентов конечной продукции.

По словам главы АНО «Координационный центр по ЦОД и облачным технологиям», дефицит коммерческих ЦОД может начаться приблизительно через полтора года. По мнению некоторых экспертов, средства компании могут привлечь в результате выхода на IPO и продажи акций. Например, в мае «Ростелеком» сообщал о намерении вывести на фондовый рынок дочернюю структуру «РТК-ЦОД». Однако конъюнктура для размещения акций пока неблагоприятная, а в 2025 году при отсутствии драйверов роста не исключена череда слияний и поглощений, отмечают собеседники «Коммерсанта».