Коммерческие дата-центры в России пользуются всё большим спросом. По данным Forbes, речь идёт не только об использовании облаков — многие компании вместо эксплуатации собственных ЦОД всё чаще предпочитают размещать собственные серверы на арендованных объектах.

Согласно прогнозам iKS-Consulting, уже к 2028 году рынок коммерческих ЦОД в России, возможно, вырастет в 2,1 раза в сравнении с 2023 годом — до 148 тыс. стойко-мест. В денежном выражении на фоне роста спроса рынок может вырасти в 2,8 раза — до 121 млрд рублей. Одной из вероятных причин называется рост арендных ставок для размещения серверов клиентов. При этом рынок облачной инфраструктуры к концу 2024 года может вырасти до 162 млрд руб., а к 2028 году — составить 464 млрд руб. (в 2023 году он составил 121,4 млрд руб.).

Из-за быстрого роста объёмов хранимой и обрабатываемой информации компании могут либо развивать собственную IT-инфраструктуру, либо арендовать её у оператора, поскольку собственные ЦОД могут позволить себе лишь очень крупные бизнесы. По данным Forbes, в последние годы доля ЦОД, принадлежащих компаниям, на российском рынке неуклонно снижается. При этом, если в 2023 году доля коммерческих ЦОД составляла 18,6 % по объёму серверных стоек, то в 2027 году она, возможно, превысит 25 %. В мире этот показатель достиг 31 %, а доля корпоративных ЦОД постепенно сокращается.

Источник: iKS-Consulting

Как отмечают в iKS-Consulting, с 2020 года рынок коммерческих ЦОД в России вырос на 80 %, а в 2024 году, вероятно, составит 82,4 тыс. стойко-мест. Лидером рынка является дочерняя структура «Ростелекома» — РТК-ЦОД. Этим летом она приобрела крупный ЦОД на севере Москвы и теперь располагает 27 тыс. серверных стоек. У ближайших конкурентов IXcellerate, «Росатома» и DataPro насчитывается более 8,3 тыс. стоек, 6,6 тыс. стоек и 6,6 тыс. стоек соответственно. 3data из-за сделки PNK Group с «Ростелекомом» откатилась с четвёртого на седьмое место.

Источник: iKS-Consulting

Среди российских клиентов популярны как облака, так и колокация. Выбор во многом зависит от возможностей IT-специалистов компаний. При этом облачные сервисы предоставляют далеко не все операторы ЦОД, поскольку для этого требуется немало средств и компетенций. Из десятки операторов коммерческих ЦОД, по данным Forbes, лишь три числятся в десятке облачных провайдеров: РТК-ЦОД, Selectel и МТС. Впрочем, компании всё активнее пользуются облачными сервисами. Основные критерии выбора: кибербезопасность, экономическая целесообразность и бесперебойная работа IT-инфраструктуры.

Впрочем, есть и негативные тенденции. По словам iKS-Consulting, среди основных трендов отрасли в России — увеличение сроков эксплуатации инженерного оборудования дата-центров. Основные причины — рост стоимости и сложности с закупками из-за увеличения санкционного давления.

Компания HPE анонсировала, как утверждается, первую в отрасли архитектуру прямого жидкостного охлаждения (DLC), в составе которой вообще не используются вентиляторы. Решение ориентировано на дата-центры для ресурсоёмких нагрузок ИИ и НРС.

Отмечается, что эффективность ИИ-ускорителей следующего поколения повышается, но их энергопотребление продолжает расти. Поэтому ЦОД, рассчитанные на масштабные рабочие нагрузки ИИ, внедряют новые системы охлаждения. Наиболее эффективной технологией, как заявляет HPE, на сегодняшний день является DLC.

Представленное решение включает жидкостное охлаждение для CPU и GPU, blade-сервера целиком, локального хранилища, сетевой фабрики, стойки, модуля/кластера и блок распределения охлаждающей жидкости (CDU). Применяется высокоплотная конструкция с интегрированной сетевой фабрикой, дополненная специальным ПО для мониторинга. При этом обеспечивается гибкость выбора ИИ-ускорителей. «Новая архитектура прямого жидкостного охлаждения обеспечивает снижение энергопотребления на 90 % по сравнению с традиционными системами воздушного охлаждения», — говорит Антонио Нери (Antonio Neri), президент и генеральный директор HPE.

Источник изображения: HPE

Полностью безвентиляторная архитектура DLC обеспечивает ряд преимуществ по сравнению с другими решениями. В частности, затраты на охлаждение «лезвия» сокращаются на 37 % по сравнению с гибридным прямым жидкостным охлаждением. Это позволяет снизить расходы на коммунальные услуги, а также уменьшить выбросы вредных газов в атмосферу. Кроме того, достигается высокая плотность монтажа оборудования, благодаря чему занимаемые площади в ЦОД могут быть уменьшены в два раза.

Отметим, что российская Группа компаний РСК давно предлагает узлы (в том числе с ускорителями), СХД, коммутаторы и стойки с полностью жидкостным охлаждением.

ABB Robotics объявила о сотрудничестве с американским стартапом Molg для разработки роботизированных микрозаводов, способных восстанавливать и перерабатывать неисправное оборудование ЦОД. По данным Datacenter Dynamics, микрозаводы Molg автономно собирают и разбирают сложные электронные устройства вроде серверов, ноутбуков и промышленной электроники.

Поскольку многие из таких устройств содержат редкоземельные элементы, автоматизация их переработки обеспечит определённые экономические преимущества — материалы можно будет применять в новых устройствах. Микрозаводы предназначены для гиперскейлеров, управляющих крупными сетями дата-центров, и компаний, занятыми утилизацией различных IT-активов (IT Asset Disposition-компании).

Интерес к новым разработкам подогревается значительным прогрессом вычислительной техники. В результате появилась насущная необходимость обновлять оборудование на объектах гиперскейлерах более регулярно, что ведёт к появлению электронных отходов в больших объёмах.

Источник изображений: Molg

По словам представителя Molg, инвестиции ABB позволят ускорить работу по созданию более экоустойчивого, «циклического» производственного процесса для электроники, благодаря чему обеспечен круговорот в индустрии ценных материалов и повышается надёжность цепочки поставок.

«Циркулярный» подход к ЦОД стал весьма популярным. К 2030 году масса мировых электронных отходов должна достичь 75 млн тонн. Микрозаводы для их утилизации должны сыграть важную роль в сокращении таких отходов — также они поддержат более эффективные и устойчивые операции в секторе ЦОД.

В результате развития экоустойчивых подходов к переработке гиперскейлеры нарастили инвестиции в компании, занимающиеся утилизацией. Так, Microsoft инвестировала в Cyclic Materials — подконтрольный REE стартап, специализирующийся на переработке жёстких дисков. Seagate также пришла к восстановлению и очистке б/у HDD. Lenovo готова продавать восстановленные ПК и серверы. Amazon создала целую фабрику по восстановлению и переработке собственного серверного оборудования. А Meta✴ и вовсе экспериментирует с технологиями утилизации строительных отходов с помощью грибов.

Подразделение дубайской Damac Group инвестирует около $1 млрд в дата-центры в Таиланде. По данным Bloomberg, это продолжение тренда крупных IT-игроков на формирование крупных ЦОД и ИИ-инфраструктур в Юго-Восточной Азии.

Подконтрольная Damac компания Edgnex Data Centers готовится вложить более ฿32 млрд (около $1 млрд) в три-четыре кампуса ЦОД. Реализация проектов будет осуществляться через совместное предприятие, открытое с местным оператором ЦОД Proen Corp. Первый объект будет расположен в Бангкоке и заработает уже к марту 2025 года, исходная ёмкость — 5 МВт, позже она будет увеличена до 20 МВт.

Похожий проект готовится реализовать и Google — компания тоже намерена потратить $1 млрд на строительство дата-центров в Таиланде, чтобы удовлетворить растущий спрос на ИИ-решения. Предполагается, что такие вливания помогут перезапустить местную экономику, страдающую от ряда экономических проблем. Юго-Восточная Азия с населением около 685 млн человек, открывает перспективы для роста Microsoft, NVIDIA и Amazon, которые тратят миллиарды долларов на местную ИИ-инфраструктуру.

Источник изображения: Edgnex

Как заявляют в самой Damac, компания будет расширять ёмкость ЦОД в Бангкоке по мере того, как правительство начнёт поддерживать инициативы по развитию цифровой экономики. В числе потенциальных клиентов — гиперскейлеры и связанные с ИИ компании, а также правительственные ведомства. Всего компания запланировала строительство ЦОД общей ёмкостью 100 МВт.

Кроме того, она планирует вкладывать средства и в возведение в стране элитного жилья. В Индии же, к примеру, застройщик элитного жилья обратил внимание на рынок ЦОД. Допускается, что успех Damac поможет проложить дорогу и другим дубайским компаниям для инвестиций в эту страну.

В конце июня уже появилась новость о том, что Власти Таиланда одобрили $291 млн инвестиций в местную индустрию ЦОД. Индонезия, Малайзия и Таиланд уже привлекли миллиарды долларов инвестиций на развитие ЦОД от американских и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже прогнозируют рост, а Сингапур, похоже, наоборот, вскоре может потерять статус не только регионального, но и международного лидера индустрии дата-центров.

Французская компания Denv-R спустил на воду свой первый плавучий дата-центр. По информации Datacenter Dynamics, объект разместился на берегу Луары в Нанте. Компания представила концепт речного ЦОД в 2022 году, а первый 200-кВт объект анонсировала в апреле 2023 года. Тогда речь шла о четырёх стойках в контейнере площадью 100 м², покрытом солнечными панелями и установленном на плавучей платформе от Geps Techno.

Как сообщают представители Denv-R, речь идёт о кульминации семилетней работы. Речной ЦОД не занимает места на суше и использует воду Луары для охлаждения своих систем. Решение Denv-R идентично концепции плавучего ЦОД Nautilus Data Technologies, размещённого в Калифорнии. Но в Denv-R утверждают, что их решение компактнее и лучше подходит для использования в черте города.

Источник изображения: Denv-R

Кроме того, её система охлаждения пассивна и не требует насосов. Ранее сообщалось, что Denv-R также разрабатывает и оффшорную версию ЦОД, которая будет использовать энергию морских волн для получения электричества. Keppel, ранее инвестировавшая в Nautilus, также планирует построить плавучий парк ЦОД в Сингапуре, на водородном топливе.

Партнёром Denv-R является основанная в 2011 году Geps Techno, которая разрабатывает «умные» буи и платформы. Например, вариант Wavegem Platform оснащён солнечным и «волновым» генераторами энергии, для питания находящегося на борту или неподалёку оборудования. В прошлом году компания объединила усилия с Meta✴, чтобы выяснить, смогут ли её платформы использоваться для питания подводных кабелей посреди океана.

Компания Blue Owl, занимающаяся управлением бизнес-активами, намерена приобрести инвестиционную группу IPI Partners. По данным Reuters, стоимость сделки составит около $1 млрд: 80 % будет отдано ценными бумагами, оставшиеся 20 % — валютой. Компания видит большой инвестиционный потенциал в сфере ЦОД, связанный с ростом спроса на облачные и ИИ-технологии.

По данным СМИ, информация о возможной покупке появилась в начале октября. IPI Partners представляет собой совместное предприятие, принадлежащее управляющей инвестициями компанией Iconiq Capital (занята инвестициями в интересах частных лиц и семейного бизнеса) и частной инвестиционной компанией Iron Point Partners (работает в интересах непубличных компаний).

Источник изображения: Afif Ramdhasuma/unsplash.com

Для Blue Owl это «пробный шар» в сфере цифровых инфраструктур, сделка позволит получить под управление активы на сумму около $10,5 млрд. В портфолио IPI Partners входят 82 дата-центра по всему суммарной ёмкостью 2,2 ГВт. Инвестиционная компания владеет бизнесом Stack Infrastructure, сформированным в 2019 году в результате слияния оператора ЦОД T5 и трёх объектов Informat. Также в 2022 году была создана дочерняя компания Radius DC, ответственная за edge-проекты.

В распоряжении Blue Owl находятся активы приблизительно на сумму $192 млрд. Недавно компания создала совместное предприятие с Chirisa и PowerHouse для строительства ЦОД на территории США, в основном для ИИ-облака CoreWeave. Покупка IPI Partners стала уже четвёртым приобретением Blue Owl в этом году. Ранее компания приобрела Kuvare Asset Management, Prima Capital Advisors и Atalaya Capital Management.

Американская криптомайнинговая компания MARA (Marathon Digital Holdings) объединила усилия с компанией NGON. По данным Datacenter Dynamics, партнёры запустили микро-ЦОД на 25 МВт с питанием от попутного (факельного) газа с нефтяных скважин в Техасе и Северной Дакоте. Объекты планируется окончательно ввести в эксплуатацию к январю 2025 года.

ЦОД будут питаться только за счёт излишков газа, сопутствующего нефти на месторождениях. В противном случае они были бы просто сожжены. Это поможет местным энергокомпаниям более эффективно снизить выбросы метана. Эффективность утилизации метана при сжигании в факелах составляет 92 %, а в газовых генераторах — до 99 %. Всё это позволит значительно снизить операционные расходы, в то же время повысив экоустойчивость нефтедобычи. Дополнительно появится возможность генерации углеродных кредитов в реестре Verra.

Источник изображения: MARA

MARA располагет 760 МВт майнинговых мощностей. Часть работает на возобновляемых источниках энергии, но в основном электричество поступает из американских магистральных электросетей, на 80 % зависящих от ископаемого топлива. Компания намерена перейти на более экологичные меотды работы. В 2023 году был запущен пилотный проект с переработкой метана со свалок в Юте с установкой по добыче биткоинов на 280 кВт. В Финляндии MARA подключила свой ЦОД к районной системе центрального отопления.

Источник изображения: MARA

Операторы ЦОД, использующие электричество, получаемое в ходе сжигания попутного газа, подчёркивают, что процесс полезен окружающей среде, поскольку применяется «мусорная» энергия, которая тратилась бы впустую. При этом энергетические установки позволяют утилизировать больше метана, являющегося одним из самых опасных парниковых газов. При сгорании метана выделяется CO₂ — тоже парниковый газ, причём значительно более устойчивый. Тем не менее, для окружающей среды он считается намного менее опасным. Аналогичные проекты уже активно реализуются по всему миру. Такие решения есть, например, у Crusoe, CryptoBlox, White Rock и др.

У Microsoft, как оказалось, не хватает мощностей ЦОД для обеспечения всех потребностей OpenAI. По данным The Information, в ИИ-компании намерены агрессивно масштабировать свои вычислительные способности.

По словам журналистов, после того как OpenAI привлекла в октябре $6,6 млрд инвестиций, финансовый директор Сара Фрайар (Sarah Friar) выступила перед сотрудниками, заявив, что компания будет активнее искать дата-центры и ИИ-чипы. Ранее она же сообщала акционерам, что Microsoft слишком медлительна для работы с ИИ-стартапом. Например, компания xAI Илона Маска (Elon Musk) в кратчайшие сроки запустила крупный ИИ ЦОД в Мемфисе, когда в этом возникла необходимость.

OpenAI постепенно отдаляется от Microsoft, которая остаётся ключевым владельцем доли в компании. В июне была анонсирована сделка с Oracle по аренде серверов в дата-центре, пока что строящемся в Абилине (Техас). Хотя Microisoft упомянута в пресс-релизе, IT-гигант не слишком вовлечён в проект. Вместо этого он фактически будет арендовать серверы и предоставлять их OpenAI. Это позволяет говорить, что компания всё ещё является эксклюзивным облачным провайдером последней.

Источник изображения: Mariia Shalabaieva/unsplash.com

Теперь OpenAI ведёт переговоры об аренде этого дата-центра целиком, к середине 2026 года его ёмкость составит почти 1 ГВт. Если Oracle удастся получить больше энергии, площадка вырастет до 2 ГВт. Дополнительно OpenAI может заняться своим давно обещанным дата-центром Stargate на 5 ГВт, но уже без Microsoft — если ИИ-компания сможет найти финансирование для ЦОД стоимостью более $100 млрд и снабдить его энергией.

По словам главы OpenAI Сэма Альтмана, выступившего на этой неделе перед сотрудниками, затраты теоретически можно снизить, используя чипы, разрабатываемые самой OpenAI, но пока непонятно, на какой стадии реализации находится этот проект. Ранее сообщалось, что Альтман пытается убедить власти США в необходимости строительства в стране сети 5-ГВт ЦОД.

Комитет по архитектуре и градостроительству Москвы (Москомархитектура), входящий в Комплекс градостроительной политики и строительства столицы, сообщил о проекте нового дата-центра, который расположится в районе Царицыно на юге столицы.

Характеристики будущего ЦОД пока не раскрываются. Известно лишь, что речь идёт об объекте общей площадью примерно 35 тыс. м², который будет построен на земельном участке в 1,4 га. С целью реализации проекта внесены изменения в правила землепользования и застройки по адресу: Деловая улица, земельный участок 9.

Источник изображения: Гознак

Подчёркивается, что проект предусматривает создание всей необходимой инфраструктуры, которая обеспечит высокую производительность и надёжность при работе с большими объёмами данных. По имеющейся информации, речь идёт о строительстве нового дата-центра для Гознака. В настоящее время эта организация эксплуатирует московский ЦОД, имеющий сертификацию Tier III. Мощность объекта площадью 2420 м² составляет 5,2 МВт. Предусмотрены 11 изолированных машинных залов суммарной ёмкостью 370 стойко-мест. Развёрнуты три периметра безопасности: круглосуточная военизированная охрана, система контроля и управления доступом, видеонаблюдение и сигнализация.

Нужно отметить, что в Москве ведётся активное развитие инфраструктуры дата-центров. Ранее мэр столицы Сергей Собянин сообщил, что в Косино-Ухтомском районе построят комплекс из двух дата-центров общей мощностью 100 МВт. В начале 2024 года было завершено строительство одного из крупнейших в России дата-центров «Москва-2»: общая подведённая мощность составляет 36 МВт. В подмосковной Дубне ведётся создание ЦОД мощностью 8 МВт по проекту компании WildTeam. Кроме того, крупный дата-центр в Подмосковье построит компания Wildberries.

Компания Nebius, образовавшаяся из Yandex N.V., занимающаяся разработкой ИИ-решений, объявила об увеличении мощности дата-центра в финской общине Мянтсяля (Mäntsälä). По данным Datacenter Dynamics, ёмкость ЦОД вырастет втрое.

Nebius увеличит ёмкость дата-центра с 25 до 75 МВт, на объекте разместятся более 60 тыс. ускорителей. Ещё в июле компания сообщала об увеличении площади ЦОД — две секции уже построены, позже будут возведены ещё две, как и планировалось ранее.

К середине 2025 года компания намерена инвестировать более $1 млрд в ИИ-инфраструктуру Европы, в том числе «кастомных» ЦОД по индивидуальным заказам, и запустит первый ИИ-кластер во Франции на базе ускорителей NVIDIA H200. Кроме того, на прошлой неделе компания намекнула на строительство ЦОД в США, а в Европе Nebius уже подписала два соглашения о намерениях строительства двух новых ЦОД.

Источник изображения: Miikka Luotio/unsplash.com

Объект в Финляндии будет использовать ускорители NVIDIA H200, доступ к которым клиенты NVIDIA должны получить с ноября 2024 года. В этом случае Nebius станет одним из первых операторов в Европе, представивших решения на базе этой платформы на рынке.

ЦОД в Финляндии использует фрикулинг и отдаёт тепло для отопления местных жилых помещений. Сегодня речь идёт о ежегодной «рекуперации» около 20 ГВт∙ч. После расширения возможности компании только увеличатся. Конструкция ЦОД позволяет работать при температурах до +40 °C, благодаря этому экономится ещё 15 % энергии. По словам представителя Nebius Андрея Короленко, утроение мощности стало важным этапом на пути построения лучшей в своём классе инфраструктуры ИИ в Европе, демонстрирующим возможности Nebius.

Базирующая в Амстердаме Nebius, оставшаяся в Европе после раскола «Яндекса», сохранила финский ЦОД компании и подразделение Nebius AI, а также подразделение Toloka AI для обработки данных, поставщика образовательных технологий TripleTen и компанию Avdrive, занимающуюся системами автономного вождения. ЦОД в Мянтсяля был одним из пяти дата-центров «Яндекса» и сегодня является крупнейшим налогоплательщиком местного муниципалитета.