Компания iKS-Consulting опубликовала отчёт «Российский рынок коммерческих дата-центров 2024», посвящённый основным трендам рынка услуг, предоставляемых коммерческими дата-центрами, включая услуги колокации и облачные услуги. Исследование было проведено в июле-сентябре 2024 года.

В исследовании отмечено, что уже второй год рынок коммерческих ЦОД демонстрирует высокие темпы ввода новых мощностей. В 2023 году прирост введённых стойко-мест составил год к году 20,7 %, что оказалось в два с лишним раза выше, чем годом ранее: 12 тыс. новых стойко-мест против 5,7 тыс. соответственно. По оценкам iKS-Consulting, общее количество стойко-мест на конец 2023 года в России составило 70,4 тыс.

Проблемы с получением оборудования в целом были решены — начаты поставки от новых вендоров, осуществляется переход на российских поставщиков, налажены поставки альтернативными маршрутами. Новые проекты ЦОД в России учитывают ситуацию, в них закладываются универсальные решения без привязки к определённым вендорам. Вместе с тем усилились проблемы с оплатой зарубежного оборудования, что может привести к очередному увеличению стоимости контрактов и сроков их исполнения.

Динамика роста количества стойко-мест в РФ, тыс. ед. (Источник здесь и далее: iKS-Consulting)

Также существует проблема с финансированием строительства ЦОД, обострившаяся с оттоком в 2022 году иностранных инвестиций, поскольку теперь приходится опираться только на ресурсы внутри страны. Негативно сказывается на кредитовании строительства ЦОД рост ключевой ставки Центробанка РФ. Тем не менее, строительство продолжается и ожидается, что до конца 2024 года в России будет введено около 12 тыс. новых стойко-мест, как и в прошлом году.

Абсолютный прирост количества стойко-мест в ЦОД РФ (тыс. шт.)

Несмотря на то, что в 2023–2024 гг. был отмечен вывод на рынок колокации большого количества новых стойко-мест, спрос по-прежнему опережает предложение. Многие крупные компании заказывают стойко-места уже на стадии строительства и бронируют часть стойко-мест на один-два года вперед с планами расширения. Вместе с тем возведение новых ЦОД привело к дефициту опытных строителей и организаций, специализирующихся на их проектировании, строительстве и оснащении.

Среди основных трендов развития рынка ЦОД в iKS-Consulting назвали следующие:

• Рост объёмов данных, цифровизация бизнеса и повседневной жизни. Рост рынка в деньгах на 25%.
• Сохранение высокого спроса на крупные партии стойко-мест в коммерческих ЦОД в Московском регионе.
• Вступление рынка коммерческих ЦОД в стадию зрелости. Выход на рынок профессиональных девелоперов (PNK, «Монарх»).
• Рост концентрации рынка. Выделилась группа лидеров.
• Нехватка высококвалифицированного персонала и команд по строительству и управлению ЦОД.

В 2025 году на смену национальному проекту «Цифровая экономика» придёт реализация национального проекта «Экономика данных и цифровая трансформация государства». Ожидается, что это приведёт к росту инвестиций в сектор ЦОД и стимулированию роста внутреннего спроса на инфраструктуру хранения и обработки данных. Также в некоторой степени стимулом для развития рынка коммерческих ЦОД могут стать требования закона о КИИ.

ТОП поставщиков услуг ЦОД в РФ по количеству стойко-мест (итог 2023 года и прогноз на 2024 год)

В исследовании также указано, что последние пять лет растёт концентрация рынка, которой также способствует более динамичный рост крупных ЦОД относительно общего рынка. Доля лидеров рынка резко увеличилась в 2020 году после слияния операторов коммерческих дата-центров «РТК-ЦОД» и DataLine. За последние три года определились три лидера: «РТК-ЦОД», «Росатом» и IXcellerate.

Доли ТОП поставщиков по количеству введённых стойко-мест на конец 2024 года (оценка)

По количеству введённых в эксплуатацию стойко-мест в 2023 году по-прежнему лидировала группа компаний «Ростелеком/РТК-ЦОД», в числе ключевых объектов которой комплекс ЦОД NORD, Москва I–V, столичный узел обмена трафиком ММТС-9, а также новый крупный кластер ЦОД «Медведково», купленный за 26,28 млрд, в результате чего в рейтинге по количеству стойко-мест снизила свою позицию 3data.

К концу года у «Ростелеком/РТК-ЦОД» было 20 957 стойко-мест, включая 19 962 стойко-места «РТК-ЦОД». При выполнении планов на конец 2024 года группа компаний суммарно будет иметь 27 033 стойко-места, включая 26 020 у «РТК-ЦОД». На втором месте в 2023 году была компания DataPro c долей 9,3 % (6553 стойко-места). На третьем — IXcellerate с долей 8,9 % (6279 стойко-мест).

Динамика максимальной разрешённой электрической мощности коммерческих ЦОД в РФ

Исходя из объявленных планов, в ближайшие два-три года подведённая мощность будет увеличиваться на 110–130 МВт ежегодно. Лидерами по подведённой мощности являются ЦОД «РТК-ЦОД» и IXcellerate с суммарной долей рынка по этому показателю около 43 %. На пятёрку лидеров, в которую также входят «Росатом», ГК Key Point и DataPro, приходится 62 % рынка.

Intel намерена продать по крайней мере миноритарную долю в своем подразделении Altera (ранее PSG), специализирующемся на разработке ПЛИС, чтобы получить несколько миллиардов долларов для укрепления пошатнувшегося финансового положения, сообщил CNBC со ссылкой на информированные источники. Крупнейшим конкурентом Altera, как и крупнейшим производителем FPGA является AMD, которая вышла на этот рынок в 2022 году благодаря приобретению Xilinx за $49 млрд.

По словам источников ресурса, на минувшей неделе компания обратилась к ряду частных и стратегических инвесторов с предложением о продаже доли в Altera. Некоторым из них она сообщила о готовности продать контрольный пакет акций. В предлагаемой сделке Intel исходит из рыночной стоимости Altera в $17 млрд, что ненамного больше $16,7 млрд, уплаченных за неё в 2015 году.

Источник изображения: Intel

Сообщение CNBC подтверждает сделанное ранее заявление гендиректора Altera Сандры Ривера (Sandra Rivera) о том, что компания продолжает следовать плану, объявленному более года назад. План предусматривает продажу доли в компании и проведение IPO в 2026 году. Ривера заявила об этом после появления сообщений о том, что Intel может продать Altera полностью, возможность чего она исключает.

Компания AMD анонсировала изделие Alveo UL3422: это, как утверждается, самый быстрый в мире однослотовый ускоритель половинной длины (FHHL) для брокерских и биржевых приложений. Новинка уже поставляется заказчикам из финансового сектора по всему миру.

В устройстве применена FPGA Virtex UltraScale+ VU2P. Конфигурация включает 32 трансивера с ультранизкой задержкой, 787 тыс. LUT и 1680 DSP. В состав FPGA входят 256 Мбайт встроенной памяти — 76 Мбайт блочной RAM и 180 Мбайт UltraRAM. Заявленная задержка на уровне трансиверов составляет менее 3 нс.

Карта использует интерфейс PCIe 4.0 x8 (коннектор x16). Заявленный показатель TDP равен 120 Вт; используется пассивное охлаждение. В оснащение входят 16 Гбайт памяти DDR4-2400. Предусмотрены два разъёма QSFP-DD (16​×​10/25G) и два коннектора ARF6.

Источник изображения: AMD

Ускоритель Alveo UL3422 может использоваться в комплексе с платформой разработки Vivado Design Suite. AMD также предоставляет клиентам среду разработки FINN с открытым исходным кодом и поддержкой сообщества, что позволяет интегрировать модели ИИ с низкими задержками в высокопроизводительные торговые системы. FINN использует PyTorch и методы квантования нейронных сетей.

Ускоритель поставляется с набором референсных проектов и тестов производительности. Среди ключевых сфер применения новинки названы торговые операции со сверхнизкими задержками и анализ рисков.

Некоммерческая организация Open Compute Project Foundation (OCP), специализирующаяся на создании открытых спецификаций оборудования для ЦОД, сообщила о том, что для её инициативы Open Systems for AI собственные разработки предоставят NVIDIA и Meta✴.

Проект Open Systems for AI был анонсирован в январе 2024 года при участии Intel, Microsoft, Google, Meta✴, NVIDIA, AMD, Arm, Ampere, Samsung, Seagate, SuperMicro, Dell и Broadcom. Цель инициативы заключается в разработке открытых стандартов для кластеров ИИ и дата-центров, в которых размещаются такие системы. Предполагается, что Open Systems for AI поможет повысить эффективность и устойчивость ИИ-платформ, а также обеспечит возможность формирования цепочек поставок оборудования от нескольких производителей.

В рамках инициативы NVIDIA предоставит OCP спецификации элементы электромеханической конструкции суперускорителей GB200 NVL72, включая архитектуры стойки и жидкостного охлаждения, механические части вычислительного и коммутационного лотков.

Источник изображения: NVIDIA

Кроме того, NVIDIA расширит поддержку стандартов OCP в своей сетевой инфраструктуре Spectrum-X. Речь идёт об обеспечении совместимости со стандартами OCP Switch Abstraction Interface (SAI) и Software for Open Networking in the Cloud (SONiC). Это позволит клиентам использовать адаптивную маршрутизацию Spectrum-X и управление перегрузками на основе телеметрии для повышения производительности Ethernet-соединений в составе масштабируемой инфраструктуры ИИ. Адаптеры ConnectX-8 SuperNIC с поддержкой OCP 3.0 появятся в 2025 году.

В свою очередь, Meta✴ передаст проекту Open Systems for AI свою архитектуру Catalina AI Rack, которая специально предназначена для создания ИИ-систем высокой плотности с поддержкой GB200. Это, как ожидается, позволит организации OCP «внедрять инновации, необходимые для создания более устойчивой экосистемы ИИ».

Компания Lightmatter, специализирующаяся на разработке ИИ-ускорителей и других продуктов на основе кремниевой фотоники, объявила о проведении раунда финансирования Series D, в рамках которого на дальнейшее развитие привлечено $400 млн.

Стартап Lightmatter, основанный в 2017 году, базируется в Бостоне (Массачусетс, США). Учредителями являются Дариус Бунандар (Darius Bunandar), Томас Грэм (Thomas Graham) и Николас Харрис (Nicholas Harris). Последний занимает пост генерального директора. В число разработок компании входит оптический интерконнект Passage для объединения чиплетов и чипов, который, как утверждается, обеспечивает до 100 раз более высокую пропускную способность по сравнению с традиционными решениями.

Источник изображения: Lightmatter

В 2018 году создатели Lightmatter, помимо прочих средств, получили на свой проект $11 млн, а в 2021-м был осуществлён раунд финансирования на $80 млн. В июне 2023-го компания привлекла ещё $154 млн, после чего в конце того же года последовали инвестиции в размере $155 млн. Тогда говорилось, что капитализация стартапа достигла $1,2 млрд.

Нынешний раунд финансирования на $400 млн проведён новыми инвесторами, рекомендованными T. Rowe Price Associates. В программе также приняли участие существующие инвесторы, включая Fidelity Management & Research Company и GV (Google Ventures). Таким образом, на сегодняшний день общая сумма средств, привлечённых компанией Lightmatter, достигла $850 млн. Капитализация стартапа поднялась до $4,4 млрд. Полученные средства будут направлены на ускорение передовых разработок в области ИИ.

«Мы не просто развиваем инфраструктуру ИИ — мы изобретаем её заново. Благодаря Passage, самому быстрому в мире фотонному интерконнекту, мы устанавливаем новый стандарт производительности и преодолеваем барьеры, ограничивающие развитие ИИ», — отмечает господин Харрис.

Российский фонд прямых инвестиций (РФПИ) и оператор ЦОД для майнинга BitRiver объявили о партнёрстве, в рамках которого они займутся проектами по внедрению технологии ИИ и строительству ЦОД в странах БРИКС, сообщили «Ведомости». Также предполагается, что совместная работа позволит увеличить долю России на мировом рынке вычислительных мощностей.

Согласно данным РФПИ, BitRiver обслуживает в России 21 ЦОД, ещё десять строятся. Как отметили в фонде, ускорение внедрения технологий ИИ привело к глобальному дефициту вычислительных мощностей энергоёмких ЦОД, что создаёт для России перспективные возможности с учётом существующих мощностей ЦОД, а также имеющегося опыта по их строительству и эксплуатации.

Гендиректор РФПИ назвал приоритетным для России и её партнёров по БРИКС развитие вычислительных мощностей для внедрения ИИ в различных отраслях экономики. Он заявил, что совместное использование высокотехнологичной инфраструктуры позволит участникам БРИКС снизить затраты, сократить зависимость от иностранных поставщиков технологий, развивать собственные цифровые решения и самостоятельно контролировать критически важные данные.

Источник изображения: BitRiver

Владелец и гендиректор BitRiver сообщил, что партнёры сосредоточатся на создании инфраструктурной базы на основе майнинга — «строительстве дата-центров и подведении к ним необходимых мощностей, чтобы была возможность разворачивать и реализовывать проекты, связанные с ИИ, и развивать таким образом это направление в масштабе всей страны», передают «Ведомости».

По словам аналитика Минг-Чи Куо (Ming-Chi Kuo), Microsoft резко нарастила закупки суперускорителей NVIDIA GB200 NVL. Заказы на IV квартал текущего года выросли в три-четыре раза, а общий объём заказов Microsoft выше, чем у других облачных провайдеров. Поставщики ключевых компонентов для новых ИИ-платформ Microsoft начнут их массовое производство и отгрузку в IV квартале, что укрепит цепочку поставок компании. При этом компоненты будут отгружаться в независимости от того, смогут ли сборщики готовых платформ вовремя удовлетворить запросы Microsoft.

Предполагается, что до конца года будет поставлено 150–200 тыс. чипов Blackwell, а в I квартале 2025 года поставки вырастут до 500–550 тыс. ед. И Microsoft готова закупать их. В дополнение к первоначальным заказам GB200 NVL36 (в основном для тестирования) Microsoft намерена получить кастомизированные суперускорители GB200 NVL72 до начала массового производства референсного варианта DGX GB200 NVL72 от самой NVIDIA (середина II квартала 2025 года). Заказы Microsoft на IV квартал выросли с изначальных 300–500 стоек (в основном NVL36) до примерно 1400–1500 стоек (около 70 % NVL72). Последующие заказы Microsoft будут сосредоточены преимущественно на NVL72.

Источник изображения: X/@satyanadella

Согласно опросам двух крупнейших сборщиков GB200 NVL, Foxconn и Quanta, заказы Microsoft в настоящее время, по-видимому, превышают общий объём заказов от других облачных провайдеров. Так, Amazon рассчитывает до конца года получить всего 300–400 стоек GB200 NVL36, а Meta✴ и вовсе ориентируется на платы Ariel, имеющие по одному чипу B200 и Grace, а не пару B200, как у «классических» плат Bianca. NVIDIA, по словам Минг-Чи Куо, решила отказаться от выпуска двухстоечной конфигурации GB200 NVL36×2.

При этом NVIDIA, судя по всему, не удалось убедить Microsoft закупать полностью готовые NVL-стойки. На днях редмондский гигант показал свою реализацию суперускорителя GB200 NVL с огромным теплообменником. Первыми эти системы получат дата-центры Microsoft, расположенные в более холодном климате, например, на севере США, в Канаде, в Финляндии и т. д. Это позволит избежать проблем из-за недостатка времени на оптимизацию систем охлаждения ЦОД.

Google показала собственный вариант суперускорителя NVIDIA Blackwell GB200 NVL для своей облачной ИИ-платформы, передаёт Datacenter Dynamics. Решение Google отличается от вариантов Meta✴ и Microsoft, представленных ранее. Тем не менее, это показывает высокий интерес к новой ИИ-платформе NVIDIA со стороны гиперскейлеров. Google заявила о тесном сотрудничестве с NVIDIA для формирования «устойчивой вычислительной инфраструктуры будущего».

Источник изображения: Google

Подробнее о новой платформе будут рассказано на одной из будущих конференций Google. Пока что, увы, даже не до конца ясна конфигурация суперускорителя в исполнении Google. На фото видно сразу две стойки. Одна содержит неназванное количество ускорителей GB200, а вторая комплектуется оборудованием Google, в том числе блоками питания, коммутаторами и модулями охлаждения. Хотя NVIDIA рекомендует использовать в качестве интерконнекта InfiniBand в своих ИИ-платформах, некоторые эксперты считают, что Google пользуется собственными инфраструктурными наработками на базе Ethernet. Так, компания уже применяет оптические коммутаторы (OCS) собственной разработки в ИИ-кластерах с фирменными ускорителями TPU.

Вариант Microsoft также состоит из двух стоек. Во второй смонтирован огромный теплообменник, который, вероятно, обслуживает не одну стойку с ускорителями, а сразу несколько. Известно, что ранее между Microsoft и NVIDIA были разногласия по поводу компоновки платформ для GB200. Наконец, вариант Meta✴ наиболее близок к оригинальной версии NVIDIA GB200 NVL72. При этом NVIDIA открыла её спецификации в рамках OCP. Ранее компания отказалась от выпуска «компромиссных» суперускорителей GB200 NVL36×2, которые сами по себе занимают две стойки.

Поставщик инженерной инфраструктуры Schneider Electric приобрёл контрольный пакет акций компании Motivair Corporation. Последняя специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ и других критических систем. По данным The Register, позже будет выкуплена и оставшаяся доля компании.

На первом этапе Schneider Electric выплатит из своих средств $850 млн за 75 % акций Motivair Corporation. Сделка должна быть закрыта в ближайшие кварталы. Компания намерена к 2028 году выкупить оставшиеся 25 % акций. Бизнес вольётся в подразделение Schneider Electric Energy Management, которое тоже специализируется на технологиях прямого жидкостного охлаждения и теплообмена в целом.

У Motivair довольно большой опыт оснащения системами жидкостного охлаждения суперкомпьютеров. Руководство компании считает, что поглощение более крупным игроком поможет ей масштабировать бизнес и получить инвестиции на развитие новых технологий. В Schneider Electric уверены, что, хотя СЖО сами по себе не являются принципиально новым решением, у технологии большое будущее в секторе ЦОД. Во многом успеху СЖО будет способствовать распространение генеративного ИИ и повсеместное внедрение больших языковых моделей (LLM), ставших катализаторами роста энергопотребления.

Источник изображения: Motivair

О росте энергопотребления ЦОД и возможных проблем с охлаждением говорится и в недавнем отчёте Международного энергетического агентство (IEA). В целом отраслевые эксперты уверены, что жидкостное охлаждение более эффективно для новых высокоплотных ЦОД в сравнении с воздушным, хотя расход воды может оказаться значительно больше, установка оборудования — дороже, а ущерб для экологии — выше.

Ранее Schneider Electric фактически установила лимит в 20 кВт/стойку, выше которого без СЖО обойтись никак не удастся. Компания склоняется к системам прямого охлаждения (DLC) с водоблоками для горячих компонентов, а к погружным СЖО относится прохладно, особенно к двухфазным.

В скором будущем в Итальянских Альпах появится уникальный подземный дата-центр, который разместят в действующей шахте, где до сих пор ведётся добыча доломита, а в выработанных штольнях по соседству хранятся яблоки, вино и сыр. По данным Университета Тренто, ЦОД начнёт предоставлять колокейшн-сервисы уже в 2026 году.

Проект будет реализован университетом совместно с компанией Trentino DataMine. Также в нём примут участие Covi Costruzioni, Dedagroup (Deda), GPI Group и ISA-Istituto Atesino di Sviluppo. Ёмкость Intacture составит 5 МВт, объект будет вмещать около 1220 стоек. Реализация обойдётся в €50,2 млн. Из них €18,4 млн будет получено от государства в рамках плана Recovery and Resilience Plan (NRRP), а остальное предоставят частные инвесторы.

Источник изображений: Trentino DataMine

ЦОД построят в горе Валь-ди-Нон в 40 км от Тренто. Строительство идёт в шахте компании Tassullo, ведущей доломитовые разработки. Подобные проекты в мире реализуют довольно редко, поскольку дата-центры нуждаются в инфраструктуре: хороших дорогах, доступном электричестве, чистой воде и др. При этом подземный ЦОД имеет ряд преимуществ в сравнении с надземным — это устойчивая температура круглый год, возможность фрикулинга, защита от неблагоприятных погодных условий и даже электромагнитных импульсов и т.д. У таких ЦОД высокий потенциал энергоэффективности и экономичности в целом.

По словам представителя Trentino DataMine, шахта Сан-Ромедио, где разместят ЦОД, обеспечивает максимальную физическую защиту, в том числе от сейсмических и гидрогеологических рисков. Кроме того, можно экономить более 25 % электроэнергии в сравнении со средними показателями по Европе, и до 40 % в сравнении со средиземноморскими странами. Кроме того, не потребуется занимать земельный участок, поскольку более 80 % конструкций ЦОД разместятся в недрах горы. PUE будет не выше 1,25.

Пока строительство ЦОД Intacture находится на первом этапе. Авторы проекта в Trentino DataMine уже видят превращение дата-центра в «зелёный» инновационный хаб, не только для региона, но для всей страны. Не исключается предоставление и других услуг помимо колокации, в том числе для исследований в сфере естественных наук, ИИ, «энергетического перехода» и обеспечения кибербезопасности.

О намерении построить ЦОД близ Тренто сообщалось ещё в 2023 году, но официально объявили о его реализации только в начале октября уже после начала работ. Хотя для гиперскейлеров ёмкости этого ЦОД слишком мало, для местных проектов он способен обеспечить вполне подходящую площадку — в регионе имеется ВОЛС подключения объекта к дата-центрам Милана.