Компания MTS Web Services (MWS), дочернее предприятие МТС, объявила о запуске сегмента виртуальной инфраструктуры в собственном модульном ЦОД «Фёдоровский», находящемся в поселке Фёдоровское Ленинградской области.

Как сообщается, новый кластер предназначен для размещения в нём ИТ-систем компаний, требующих большого объёма вычислительных мощностей. На базе кластера также будут работать все ключевые облачные сервисы MWS. По словам компании, с запуском кластера общий объём её облачных мощностей в регионе вырос более чем на треть.

Отмечается, что передовые вычислительные характеристики кластера позволяют развернуть любые высоконагруженные системы бизнеса: от систем управления предприятием до сайтов с миллионами посетителей ежедневно. На его базе можно будет запустить такие ключевые облачные сервисы MWS, как резервное копирование, объектное хранилище, виртуальные рабочие места или офисное ПО. Вся виртуальная инфраструктура будет развернута в модульном ЦОД «Федоровский» с уровнем отказоустойчивости Tier III.

Источник изображения: MWS

Директор по продуктам МТС Web Services, что кластер в «Фёдоровском» стал 15-ой зоной доступности облачных сервисов MWS. Он отметил, что согласно исследованию MWS, в 2024 году отечественный рынок облаков вырос на 32 %, поэтому, чтобы удовлетворить растущий спрос заказчиков, компания регулярно расширяет свою виртуальную инфраструктуру.

Поддерживаемая Сэмом Альтманом (Sam Altman) компания Oklo, занимающаяся разработкой малых модульных реакторов (SMR) и переработкой отходов атомной промышленности, заключила меморандум о взаимопонимании с RPower, поставщиком решений для основного и резервного питания. Вместе компании займутся созданием гибридной модели электроснабжения ЦОД с использованием природного газа и атомной энергии, сообщает пресс-служба Oklo.

Решение предусматривает использование газовых генераторов RPower и реакторов на быстрых нейтронах Oklo Aurora Powerhouse мощностью 15-50 МВт, разрабатываемых Oklo. В течение 24 месяцев будут развёрнуты газовые генераторы для обеспечения основных потребностей ЦОД, которые не могут обслужить коммунальные компании на местах. После этого будут установлены SMR производства Oklo,по мере их коммерческой доступности. Наконец, SMR будут постепенно вытеснять газовые генераторы, становясь основным источником питания. Газовые генераторы будут выполнять функцию резервных источников. Это, как ожидается, заодно поможет исключить использование дизель-генераторов.

По данным Datacenter Dynamics, в конце 2024 года Oklo подписала не обязывающее соглашение о поставках 12 ГВт оператора ЦОД Switch до 2044 года. В апреле подписан договор на 500 МВт с Equinix, в мае — не обязывающее письмо о намерениях, связанное с PPA для Prometheus Hyperscale на 100 МВт, в декабре 2024 года — партнёрские соглашения с двумя неназванными операторами ЦОД, предусматривающее поставки до 750 МВт. Фактически сегодня у Oklo есть заказы на более чем 14 ГВт.

Источник изображения: Oklo

Впрочем, у Oklo не всё идёт гладко. В 2023 году ВВС США отказались от контракта на один SMR. Кроме того, компания ещё не получила одобрения своих проектов у Комиссии по ядерному регулированию США. А в 2024 году инвестиционно-управляющая компания Kerrisdale Capital и вовсе заявила, что Oklo чересчур оптимистична при оценке своих возможностей, рассчитывая подать заявку на получение лицензии в 2025 году и развернуть первый реактор к концу 2027-го. В Kerrisdale подчёркивают, что Oklo до сих пор не имеет соглашений о долгосрочных поставках ядерного топлива.

RPower, поддерживаемая I Squared Capital, основана в 2021 году и специализируется на выпуске газовых генераторов. В последние месяцы она сделала ряд анонсов, связанных с рынком ЦОД. В сентябре компания заключила партнёрство с Wise Asset для предоставления решений для обслуживания крупных потребителей энергии на землях последней, в том числе ЦОД и промышленных предприятий.

KKR & Co. намерена приобрести долю в Gulf Data Hub, одном из крупнейших операторов дата-центров на Ближнем Востоке. Богатый ресурсами регион постепенно превращается для мировых фондов в площадку для инвестиций на фоне роста спроса на инфраструктуру ЦОД, сообщает Bloomberg. Финансовые детали пока не раскрываются, но компании объявили о необходимости потратить $5 млрд на развитие инфраструктуры в регионе и по всему миру.

В прошлом году KKR заявляла, что рост спроса на дата-центры для ИИ и облачных вычислений придаст импульс расходам в соответствующем секторе — до $250 млрд ежегодно. KKR и её конкуренты Blackstone и Brookfield Asset Management агрессивно накачивают деньгами рынок ЦОД.

Gulf Data Hub, основанная в 2012 году, имеет штаб-квартиру в Дубае. Компания владеет семью ЦОД в стране, а также соседней Саудовской Аравии. Новые площадки планируется построить и в других странах Персидского залива. Сделка с KKR стала одной из крупных международных инвестиций в бизнесы ОАЭ. Ранее KKR, имеющая офисы в Дубае и Эр-Рияде, инвестировала в нефтепроводы и авиакомпании.

Источник изображения: Piotr Chrobot/unsplash.com

Благодаря огромным энергетическим резервам и большим запасом средств Персидский залив становится всё более привлекательным регионом для инвестиций. Доступ региона к дешёвой энергии и его расположение на «перекрёстке» континентов считаются дополнительными преимуществами, а ОАЭ и Саудовская Аравия соревнуются за право стать главным региональным ИИ-хабом. По словам KKR, сегодня Ближний Восток является одним из самых привлекательных регионов для инвестиций «вдолгую».

В 2008 году KKR сформировала отдельную команду для инвестиций в инфраструктурные объекты. Портфолио соответствующих проектов компании к осени прошлого года достигло порядка $77 млрд. KKR потратила $29 млрд в ходе 22 инвестиций в ЦОД, ВОЛС и сопутствующие бизнесы. Ещё $15 млрд было потрачено на энергетику и коммунальные компании.

Техасский оператор ЦОД Aligned Data Centers объявил о привлечении $12 млрд на постройку ИИ ЦОД мощностью 5 ГВт в Северной и Южной Америках. $5 млрд поступило в виде акционерного капитала из фондов, подконтрольных Macquarie Asset Management, ещё $7 млрд — в виде долговых обязательств, сообщает SiliconAngle.

В Aligned заявляют, что у неё уникальное положение на рынке — у компании более 10 лет опыта в создании систем охлаждения энергоёмких дата-центров. Последнее поколение фирменных СЖО DeltaFlow^~ позволяет повысить плотность размещения ресурсов до 300 кВт на стойку. Также компания разработала систему воздушного охлаждения Delta³ (Delta Cube).

Aligned Data Centers управляет многочисленными колокейшн-объектами. Также она строит дата-центры для гиперскейлеров и корпоративных клиентов. В США компания управляет объектами в Чикаго, Далласе, Финиксе, Солт-Лейк-Сити и Северной Вирджинии. Новые площадки строятся в Вирджинии, Иллинойсе, Мэриленде и Огайо. В мае 2024 года Aligned купила бразильского оператора ЦОД OData, у которого уже были объекты в Бразилии, Чили, Мексике и Колумбии. Наконец, компания инвестировала в канадского оператора QScale SEC.

Источник изображения: Aligned Data Centers

Быстрый рост ИИ в последние годы вызвал и рост спроса на высокопроизводительные дата-центры, способные вместить тысячи ускорителей одновременно. В результате бизнес Aligned значительно вырос. Упомянутая австралийская Macquarie совсем недавно сообщила, что выделит до $5 млрд на ИИ ЦОД Applied Digital — ещё одного американского оператора дата-центров.

Проведённое Калифорнийским технологическим институтом (Caltech) и Калифорнийским университетом в Риверсайде (University of California Riverside) исследование показало, что невероятные потребности ИИ в электроэнергии станут причиной опасного загрязнения воздуха. Это приведёт к появлению симптомов астмы у 600 тыс. человек и 1,3 тыс. преждевременных смертей ежегодно, а также к росту расходов на здравоохранение на $20 млрд/год к 2030 году, сообщает eWeek.

В работе The Unpaid Toll: Quantifying the Public Health Impact of AI анализируется разрушительное влияние ИИ ЦОД на жизнь общества. Чем больше появляется дата-центров и сопутствующей инфраструктуры, тем больше энергии требуется для их питания и тем выше уровень выбросов электростанций, а также резервных дизельных генераторов. При этом выбросы содержат микрочастицы размером менее 2,5 мкм (PM_2,5), диоксид серы (SO₂) и диоксид азота (NO₂), негативно влияющие на человека.

Согласно результатам исследований, малоимущим гражданам, проживающим около электростанций и дата-центров, рост заболеваний угрожает больше всего. Так, резервные дизельные генераторы выделяют в 200–600 раз больше диоксида азота в сравнении с газовыми электростанциями, но загрязнением близлежащих территорий дело не ограничивается. Выбросы отравляют и соседние штаты, влияя даже на районы, находящиеся далеко от начального места загрязнения.

Источник изображения: Janusz Walczak/unsplash.com

Например, загрязнения от дизель-генераторов ЦОД в Северной Вирджинии, служащей главным хабом ЦОД США и, пожалуй, всего мира, распространяются также на Западную Вирджинию, Мэриленд, Пенсильванию, Нью-Йорк, Нью-Джерси, Делавэр и даже достигают Вашингтона. Даже если выбросы генераторов не превышают 10 % от допустимой нормы, региональные расходы на здравоохранение на здравоохранение составят $190-260 млн ежегодно. Если выбросы генераторов будут на максимально допустимом уровне, то расходы увеличатся на порядок.

В работе подчёркивается масштаб проблемы. Обучение одной большой языковой модели (LLM) уровня Llama 3.1 ведёт к выбросам, эквивалентным 10 тыс. поездок на обычном автомобиле между Лос-Анджелесом и Нью-Йорком. В 2030 году вызванное ИИ загрязнение сможет посоперничать с выбросами 35 млн транспортных средств. По показателю воздействия на общественное здоровье ИИ превзойдёт даже сталелитейную отрасль.

Источник изображения: UC Riverside / Caltech

Учёные подчёркивают недостаток корпоративной ответственности. По их словам, если посмотреть отчёты об устойчивом развитии технологических компаний, можно заметить, что в тех содержится информация преимущественно об углеродных выбросах и расходе воды (ранее сообщалась, что только в ходе одной сессии бот вроде ChatGPT «выпивал» около 0,5 л воды), а о загрязнениях, уже создающих нагрузку на систему здравоохранения, не упоминается вообще.

Авторы исследования призывают работающие над ИИ компании к более прозрачным отчётам, где будет сообщаться не только о выбросах углерода, но и других загрязнителях воздуха. Также рекомендуется выплачивать компенсации пострадавшим сообществам и внедрять экоустойчивые технологии для минимизации ущерба окружающей среде.

Тем временем дефицит энергии в мире и США из-за ИИ ЦОД только нарастает, и проблема загрязнения воздуха — не единственная. Выяснилось, что дата-центры нарушают баланс в системе энергоснабжения жилых домов в Соединённых Штатов, что в худшем случае может приводить даже к пожарам в домах близ ЦОД. Приказом ещё действующего президента США федеральные земли будут выделять под строительство ИИ-инфраструктуры и объектов «зелёной» энергетики.

Венчурные капиталисты пока не боятся возможного финансового «пузыря», связанного с ИИ-технологиями, поэтому вливают миллиарды долларов в новые ИИ ЦОД. Так, австралийская финансовая компания Macquarie сообщила о намерении вложить $5 млрд в проекты американского оператора дата-центров Applied Digital, сообщает The Register.

Техасский оператор работает на рынке ИИ и HPC относительно недавно, но это не мешает ему на равных соперничать с сильными конкурентами с более богатой историей. Во многом история компания напоминает путь CoreWeave, вышедшей на рынок HPC-объектов приблизительно в 2022 году и свернувшей бизнес по майнингу криптовалют.

Applied Digital, как и CoreWeave и Lambda Labs, предлагает услуги ЦОД и облачные сервисы на базе ускорителей NVIDIA. Австралийские инвестиции, в том числе в ходе начального раунда финансирования в объёме $900 млн, позволят компании продолжить работу над кампусом Ellendale High Performance Computing в Северной Дакоте мощностью 100 МВт (до 400 МВт в перспективе), а также вернуть порядка $300 млн, ранее инвестированных в объект в виде акционерного капитала.

Источник изображений: Applied Digital

Кампус в Эллендейле (Ellendale) — лишь одна из площадок Applied Digital, в которые Macquarie готова вложить средства. В соответствии с новым соглашением, она получила преимущественное право участвовать в новых проектах, связанных с ИИ ЦОД в следующие 30 месяцев на сумму $4,1 млрд. В Applied Digital заявляют, что с сегодняшними ценами на строительство у компании будет значительная часть средств, необходимых для создания HPC-объектов мощностью более 2 ГВт, включая кампус в Эллендейле. Место, по-видимому, привлекательное для таких объектов — две неизвестных компании готовы потратить до $250 млрд на строительство в штате гигаваттных ИИ ЦОД.

Пока не сообщается, когда, где и сколько дата-центров Applied Digital в итоге построят, но, согласно пресс-релизу, объекты получат жидкостное охлаждение. Вероятнее всего, как и в Северной Дакоте, другие объекты получат ускорители NVIDIA. Не исключено даже использование 120-кВт GB200 NVL72. В сентябре NVIDIA вместе с другими инвесторами сама вложила в оператора $160 млн. Большая часть инвестиций, вероятно, вернётся в виде заказов на чипы и подписки AI Enterprise. Что касается Macquarie, она фактически выкупила себе 15 % в бизнесе Applied HPC, а оператор сохранил за собой 85 %.

$1,5 млрд обычно достаточно для создания ЦОД с 16 тыс. ускорителей уровня NVIDIA H100 для последующей сдачи в аренду. В течение четырёх лет это принесёт около $5,27 млрд выручки при благоприятных условиях. С учётом уровня окупаемости инвестиций нетрудно понять, почему многие инвесторы желают участвовать в подобных проектах.

Не мешает и высокий спрос на ускорители — иногда они используются в качестве залога при крупных кредитах. Так, в апреле 2024 года Macquarie помогла привлечь Lambda порядка $500 млн заёмного финансирования под залог ускорителей NVIDIA. Среди крупнейших бенефициаров таких сделок — CoreWeave, по данным Crunchbase, только в 2024 году получившая $9,9 млрд финансирования и заёмных средств. Деньги под залог ускорителей она брала ещё в 2023 году.

Уходящий президент США в последние дни своей работы подписал приказ, который разрешает строить дата-центры на федеральных землях. Кроме того, документ обеспечит поддержку «зелёной» энергетики, направленной на обеспечение новых объектов экологичной электроэнергией, сообщает Silicon Angle. Согласно новым правилам, Министерство энергетики (DoE) и Министерство обороны США (DoD) обяжут сдавать в аренду федеральные объекты девелоперам ИИ ЦОД. Часть объектов будут предназначены для малого бизнеса и стартапов.

Кроме того, участники соответствующих инициатив должны будут реализовать энергетические проекты, полностью удовлетворяющие потребности их ИИ ЦОД. Министерство внутренних дел США (занимается земельными вопросами) определить площадки в федеральной собственности, подходящие для объектов «чистой» энергетики. Также оно упростит процесс получения лицензий на использование геотермальной энергии. Собственную программу поддержки «чистой» энергии запускает и Министерство энергетики — помимо прочего, она будет сосредоточена на развитии и ядерных инициатив.

Примут участие и другие федеральные ведомства, которые выделят сотрудников для оперативной выдачи разрешений на проекты ИИ-инфраструктуры. Упростить процесс получения разрешений поможет инструмент «категорических исключений» из Национального закона об экологической политике США (National Environmental Policy Act). Он, в частности, позволяет ускорить процессы прохождения проверок проектам, которые не будут оказывать значительного воздействия на окружающую среду. Такие исключения будут искаться федеральными ведомствами намеренно.

Источник изображения: Eric Saunders/unsplash.com

Кроме строительства новых ЦОД и объектов «зелёной» энергетики, документ предусматривает и расширение сети линий электропередачи для питания ЦОД. Министерство энергетики поможет девелоперам с поиском финансирования, планированием и постройкой новых ЛЭП. Власти определят регионы, где для избежания перегрузок потребуются новые линии. Планируется сотрудничать с коммунальными службами, чтобы определить, каким именно образом необходимо совершенствовать энергетическую инфраструктуру. Поддержка будет оказана и производителям оборудования вроде трансформаторов. Министерства обороны, энергетики и торговли предварительно оценят возможности создания запасов такого оборудования, а также рассмотрят вопросы гарантий по кредитам.

По мнению экспертов консалтинговой NCC Group, больше всего выиграет от нового проекта NVIDIA. Впрочем, параллельный акт о запрете свободных поставок ИИ-оборудования в другие страны, негативно отразится на компании. Недавно эксперты компании JLL спрогнозировали в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и дефицит энергии. По их прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы.

Стоимость аренды места для размещения IT-оборудования в российских дата-центрах в 2024 году существенно увеличилась. Об этом сообщает газета «Коммерсантъ», ссылаясь на исследование компании iKS-Consulting и оператора ЦОД 3data.

Говорится, что в IV квартале прошлого года стоимость колокейшн-услуг в Москве и Подмосковье достигала в среднем 144,9 тыс. руб., что на 35 % больше по сравнению с последней четвертью 2023-го. В Санкт-Петербурге и Ленобласти цена составляла 91,4 тыс. руб. — это на 9 % больше в годовом исчислении. По оценкам iKS-Consulting, по итогам 2024 года в коммерческих дата-центрах РФ появится ещё 12 тыс. стойко-мест. Прирост будет ниже, чем в 2023 году, а общее количество стойко-мест составит 82,4 тыс. шт.

Глава 3data объясняет рост цен несколькими причинами. Это, в частности, сформировавшаяся экономическая ситуация, резкое повышение ключевой ставки ЦБ и волатильность курса валюты. Кроме того, ещё в начале 2024 года сообщалось, что в России спрос на услуги дата-центров превышает предложение. В РТК-ЦОД считают, что дефицит ресурсов всё ещё сохраняется. У большинства операторов мощности либо полностью исчерпаны, либо доступны единичные стойки, чего может быть недостаточно для крупных заказчиков.

Абсолютный прирост количества стойко-мест в ЦОД РФ (тыс. шт.) / Источник: iKS-Consulting

Вместе с тем в России наблюдается тенденция увеличение мощности серверных стоек. Глава 3data отмечает, что пять лет назад стандартный показатель составлял 5 кВт при фактическом потреблении 3,5–4 кВт. Сейчас значение варьируется от 6 до 20 кВт. Объясняется это в том числе активным развёртыванием ИИ-приложений.

Стоит также добавить, что в России строительство дата-центров приносит от 200 млрд до 250 млрд руб. в год. При этом создание ЦОД в регионах является одной из приоритетных задач национального проекта «Экономика данных».

Как свидетельствуют новые данные консалтинговой компании Synergy Research Group, после относительного затишья в 2024 году стоимость закрытых сделок, связанных со слияниями и поглощениями (M&A) ЦОД, стала рекордной, достигнув $73 млрд, сообщает пресс-служба компании.

До этого рекордным был 2022 год. Совокупная стоимость официально закрытых сделок превысила $52 млрд, в 2023 году был двухкратный спад до $26 млрд. Впрочем, даже в 2022 году такого уровня не удалось бы добиться без двух крупнейших сделок в данной сфере, объёмом от $11 млрд каждая. Другими словами, «обычные» сделки объёмом до $2 млрд обеспечили довольно скромную статистику и в 2022 году. В этой отношении пиковым был 2021 год.

Примечательно, что помимо уже закрытых сделок в 2024 году также имеются оформленные, но ещё не закрытые соглашения на сумму $29 млрд. Также возможны сделки ещё на $15 млрд — компании ищут финансирование или рассматривают доступные варианты. 2025 год тоже имеет все шансы стать рекордным для индустрии ЦОД.

Истчоник: Synergy Research

Всего с 2015 года Synergy Research зарегистрировала 1498 сделок слияния и поглощения на рынке ЦОД, общая стоимость составила $300 млрд. В основном речь идёт о покупке компаний целиком, но также были учтены миноритарные инвестиции в акционерный капитал и другие финансовые вложения вплоть до покупки отдельных дата-центров, земли для них и др. В 2021–2022 гг. были закрыты четыре сделки стоимостью от $10 млрд: покупка CyrusOne, Switch, CoreSite и QTS, входящих в Топ-15 колокейшн-провайдеров.

В 2024 году в Vantage Data Centers инвестировали в ходе двух сделок $9,2 млрд. Кроме того, компания дважды получила вливания в акционерный капитал в регионе EMEA на общую сумму $3,1 млрд. Также крупные вливания в 2024 году получили EdgeConneX и DataBank. При этом в последние годы на рынок буквально заполонили частные капиталовложения. Если в 2020 году на такие инвестиции пришлось лишь 54 % стоимости закрытых сделок, то в 2021 году их доля увеличилась до 65 %. С тех пор доля выросла до 80–90 % и держится на этом уровне.

В Synergy Research подчёркивают, что стремительный рост спроса на мощности ЦОД обусловлен развитием облачных сервисов, социальных сетей и всевозможных цифровых сервисов потребительского и корпоративного уровня. ИИ только усиливает и без того высокий спрос. Уточняется, что сами операторы ЦОД не могли или не хотели инвестировать собственные средства, тогда как частные инвесторы оказались готовыми вложиться в рост рынка.

UPD 29.01.2024: Synergy обновила доклад, посвящённый сделкам на рынке ЦОД в 2024 году. Если ранее сообщалось, что их общая сумма составляла $57 млрд, то уточнённые показатели свидетельствуют, что она оказалась выше на целых $16 млрд и составила $73 млрд. В докладе указывается, что добавилась сделка, которая должна была быть закрыта лишь в начале 2025 года, но закрылась в конце декабря. Речь идёт о покупке Blackstone компании AirTrunk, состоявшейся ещё в сентябре, но завершившейся лишь перед самым Новым годом.

Уран становится всё дороже. Рост спроса на ядерное топливо стимулирует развитие индустрии дата-центров для ИИ-вычислений, сообщает The Financial Times. По информации издания, цена обогащённого урана уже выросла до $190 за т.н. «единицу работы разделения» (Separative Work Unit, SWU). Для сравнения, три года назад речь шла лишь о $56 за SWU.

Цены выросли в связи с инициативами гиперскейлеров и крупных операторов ЦОД, начавших отдавать приоритет атомной энергетике в энергоснабжении. В 2024 году AWS и Microsoft подписали соглашения, предусматривавшие выкуп энергии у крупных АЭС, а Meta✴ заявила о готовности инвестировать в атомные проекты. Кроме того, Equinix, AWS и Google подписали контракты на питание ЦОД от SMR, хотя коммерческие варианты малых модульных реакторов вряд ли появятся раньше 2030 года.

Ограничения цепочки поставок оказывают дополнительное давление на цены. Как заявили аналитики Berenberg, 27 % импорта обогащённого урана, поставленного в США в 2023 году, приходилось на Россию. Цены выросли из-за санкций США, а также ответных мер России, в 2024 году запретившей экспорт ценного сырья для реакторов в Соединённые Штаты. В конце 2027 года срок действия американских льгот для импортёров истекает и энергосектору придётся искать новые предприятия, способные перерабатывать уран в специальные топливные «таблетки».

Источник изображения: Jonas Denil/unsplash.com

На Западе действующие предприятия по переработке урана имеются во Франции, США и Канаде. Тем не менее недостаток времени на строительство новых мощностей и необходимость значительных финансовых вливаний в отрасль может серьёзно повлиять на доступность ядерного топлива в краткосрочной перспективе. По словам представителя инвестиционной группы Ocean Wall, на Западе просто нет достаточных мощностей для его производства, именно поэтому цена изменилась и будет расти.

По словам аналитиков, сокращение предложения может привести к росту цен на немедленные поставки. В частности, казахстанская государственная структура Казатомпром, занимающаяся добычей и обработкой сырья, недавно сообщила, что производство пока на уровне ниже ожидавшегося. Кроме того, по словам представителей инвестора Yellow Cake, всё больше казахстанского урана будет поступать в Россию и Китай и всё меньше — на Запад. В среднесрочной перспективе не исключён кризис поставок.