Японская технологическая компания Ubitus K.K., предоставляющая облачную инфраструктуру некоторым из ключевых участников игровой индустрии, включая Nintendo и Sega, намерена построить новый ЦОД рядом с действующей атомной электростанцией, передаёт Bloomberg со ссылкой на главу компании Уэсли Куо (Wesley Kuo). Сейчас Ubitus в партнёрстве с NTT управляет двумя дата-центрами в Токио и Осаке. Ранее в этом году компания получила инвестиции от NVIDIA.

Участок для строительства ещё не выбран, но компания рассчитывает возвести объект ёмкостью до 50 МВт. Компания искала землю для нового ЦОД в районе Киото, Симане или на Кюсю. Третья площадка должна помочь расширить портфолио компании ИИ-сервисами, а поскольку для обучения моделей близость к конечному потребителю и низкий уровень задержки не так важны, на первый план выходят другие параметры.

Новому ЦОД на начальном этапе потребуется всего 2–3 МВт, а до 50 МВт он может быть масштабирован позже. По словам Куо, пока не появится энергии лучше, эффективнее и дешевле, чем атомная, именно она останется наиболее конкурентоспособной по многим параметрам. И для ИИ она подходит как нельзя лучше. Однако доступ к атомной энергии в Японии жёстко ограничен после катастрофы на Фукусиме. В этом важное отличие от, например, США.

Источник изображения: Ubitus K.K.

Ранее в этом году AWS приобрела за $650 млн кампус ЦОД у Talen Energy рядом с АЭС Susquehanna в Пенсильвании. Потенциально АЭС способна обеспечить до 960 МВт. В мае AWS получила разрешение на возведении на участке площадью 650 га 15 зданий ЦОД. В сентябре Microsoft анонсировала перезапуск 837-МВт АЭС Three Mile Island для питания исключительно её ЦОД течение 20 лет. Также компания заключила несколько PPA с другими АЭС. Oracle намерена построить 1-ГВт кампус ЦОД с питанием от трёх малых модульных реакторов (SMR), а на прошлой неделе Google анонсировала сделку с Kairos Power, в рамках которой она получит SMR мощностью 500 МВт.

В Google занялись испытаниями роботов для управления и обслуживания оборудования в своих дата-центрах. Как сообщает Datacenter Dynamics со ссылкой на Рика Миллера (Rich Miller) из Data Center Frontier, соответствующую информацию представитель Google обнародовал в ходе недавнего мероприятия Open Compute Summit — роботы уже действуют на одном из объектов.

В Google заявили, что роботы помогут кардинально пересмотреть подход к масштабированию операций, а их внедрение благотворно скажется на безопасности и надёжности работ. Робототехника может сыграть важную роль в задачах вроде перемещения компонентов и стоек, мониторинга оборудования и даже его обслуживания и ремонта. В прошлом году компания начала эксперименты по использованию роботов для замены вышедших из строя накопителей. А сейчас компания намерена привлечь роботов к обслуживанию стоек с ускорителями, которые значительно тяжелее традиционных стоек.

Источник изображений: Google / OCP

Использование роботов для обеспечения работы ЦОД давно рассматривается гиперскейлерами и колокейшн-провайдерами. Впрочем, в большинстве случаев речь идёт о робособаках вроде моделей, выпускаемых Boston Dynamics, Unitree Go1 и Anybotics. Такие модели обычно выполняют в основном патрульные функции — для охраны и оповещения об инцидентах. Пока что Google использует довольно массивную, автономно передвигающуюся платформу собственной разработки.

В 2023 году Microsoft создала команду, занимающуюся автоматизацией работы ЦОД вообще и роботами в частности. В том же году Digital Edge, Digital Realty, Scala Data Centers, и Oracle протестировали роботов для выполнения самых разных операций в дата-центрах. А вот у японской NTT Data подход иной — компания создала робота Ugo на моторизованной платформе, который получил две роборуки-манипулятора.

Вьетнам намерен перевести все сети страны на протокол IPv6, обновить сетевую инфраструктуру и поддержать развитие ЦОД в стране. По данным The Register, новая стратегия правительства отражена в рамках Решения № 1132/QD-TTg, определяющего цели на 2025 и 2030 гг.

Так, в течение года страна намерена подключить два новых подводных интернет-кабеля. Ранее в этом году три из пяти кабелей, обеспечивавших Вьетнаму связь с внешним миром, вышли из строя. Также планируется обеспечить домохозяйства FTTH-подключением, покрыть 5G-связью все крупные города и промышленные зоны, а также начать работы над ИИ ЦОД с PUE не выш 1.4.

Ещё грандиознее планы на 2030 год. Ожидается, что к этому моменту все сети в стране перейдут на IPv6, скорость широкополосного оптического подключения повсеместно достигнет 1 Гбит/сек, а 5G-сети охватят 99 % населения. Также будут подключены ещё шесть подводных кабелей суммарной ёмкостью 350 Тбайт/сек. Один из них будет находиться в государственной собственности.

Население Вьетнама превышает 100 млн человек, при этом количество абонентских договоров составляет 140 на 100 жителей. IPv4-адресов не хватает, поскольку развивающиеся страны и так в своё время получили их не слишком много. Поэтому переход на IPv6 выглядит логичным и своевременным. Например, соседний Китай намерен ускорить внедрение IPv6, причём действует весьма решительно. Ещё с прошлого года поддержка IPv6 стала обязательной для всего нового Wi-Fi оборудования в стране.

Источник изображения: Peter Hammer/unsplash.com

Планом предусмотрено строительство ряда ЦОД гиперскейл-уровня, ИИ ЦОД, а также периферийных и региональных дата-центров. Вьетнам также утвердил решение об обеспечении кибербезопасности, в рамках которого организации и частные лица призывают пользоваться услугам местных ЦОД. Предусматривается и поощрение переноса IT-нагрузок бизнеса и властей в облака. Для строительства дата-центров правительство намерено привлечь как местные, так и иностранные инвестиции.

Ещё одной целью на 2030 год стало обеспечение каждого жителя Вьетнама четырьмя IoT-подключениями. А 70 % населения к этому времени должны перейти на использование персональных цифровых подписей. Кроме того, правительство решило, что ежегодный оборот полупроводниковой индустрии должен достичь $100 млрд к 2050 году.

Глава одной из IT-компаний из Мэриленда, по данным Минюста США (DoJ), подделал документы о получении сертификата надёжности ЦОД уровня Tier IV в Белтсвилле (Мэриленд). The Register сообщает, что это было сделано ради контракта на размещение оборудования Комиссии по ценным бумагам и биржам США (SEC).

Хотя такие сертификаты Uptime Institute выдаёт только после проверки, обвиняемый Дипак Джайн (Deepak Jain) выбрал другой путь. Его компания, по мнению властей, предоставила SEC поддельные документы о сертификации. Причём обвиняемый не просто скорректировал документы Uptime Institute, а «изобрёл» некую организацию Uptime Council, которая, похоже, вообще не существует.

В Министерстве юстиции США заявили, что не потерпят схем, ставящих под угрозу безопасность данных правительства. Как власти выяснили, что Джайн сертификацию буквально выдумал, не говорится, но сообщается, что SEC столкнулась с проблемами с безопасностью, охлаждением и энергоснабжением в ЦОД. В своё время сотрудник компании помешал осмотру Beltsville Data Center до заключения контракта в 2012 году. После того, как срок сделки истёк в 2018 году, SEC отказалась продлевать договор. Всего Комиссия потратила на услуги данного ЦОД $10,7 млн.

Источник изображения: Bermix Studio/unsplash.com

За подобную «изобретательность» Джайну грозит по 10 лет тюрьмы за каждое из шести обвинений в крупном мошенничестве, а также до пяти лет в связи с обвинением в ложных заявлениях. Хотя сама компания в судебных документах не называется, в Сети есть информация, что Дипак Джайн является основателем и генеральным директором белтсвилльской AiNET (именно она управляет ЦОД). Впрочем, доказательств того, что вся компания в целом замешана в махинациях, пока нет. При этом на сайте AiNET неоднократно упоминается, что её ЦОД имеет сертификацию Tier IV.

Представляющие интересы Джайна юристы сообщили журналистам, что клиент отрицает вину, и говорят, что его компания выполнила все условия контракта с SEC, а доказательства утери данных или их компрометации по вине владельца ЦОД отсутствуют. Случай примечателен тем, что финансовые махинации, в том числе связанные с ЦОД, происходят довольно часто, но о столь наглых попытках подделать Tier-сертификаты известно немного.

Компания iKS-Consulting опубликовала отчёт «Российский рынок коммерческих дата-центров 2024», посвящённый основным трендам рынка услуг, предоставляемых коммерческими дата-центрами, включая услуги колокации и облачные услуги. Исследование было проведено в июле-сентябре 2024 года.

В исследовании отмечено, что уже второй год рынок коммерческих ЦОД демонстрирует высокие темпы ввода новых мощностей. В 2023 году прирост введённых стойко-мест составил год к году 20,7 %, что оказалось в два с лишним раза выше, чем годом ранее: 12 тыс. новых стойко-мест против 5,7 тыс. соответственно. По оценкам iKS-Consulting, общее количество стойко-мест на конец 2023 года в России составило 70,4 тыс.

Проблемы с получением оборудования в целом были решены — начаты поставки от новых вендоров, осуществляется переход на российских поставщиков, налажены поставки альтернативными маршрутами. Новые проекты ЦОД в России учитывают ситуацию, в них закладываются универсальные решения без привязки к определённым вендорам. Вместе с тем усилились проблемы с оплатой зарубежного оборудования, что может привести к очередному увеличению стоимости контрактов и сроков их исполнения.

Динамика роста количества стойко-мест в РФ, тыс. ед. (Источник здесь и далее: iKS-Consulting)

Также существует проблема с финансированием строительства ЦОД, обострившаяся с оттоком в 2022 году иностранных инвестиций, поскольку теперь приходится опираться только на ресурсы внутри страны. Негативно сказывается на кредитовании строительства ЦОД рост ключевой ставки Центробанка РФ. Тем не менее, строительство продолжается и ожидается, что до конца 2024 года в России будет введено около 12 тыс. новых стойко-мест, как и в прошлом году.

Абсолютный прирост количества стойко-мест в ЦОД РФ (тыс. шт.)

Несмотря на то, что в 2023–2024 гг. был отмечен вывод на рынок колокации большого количества новых стойко-мест, спрос по-прежнему опережает предложение. Многие крупные компании заказывают стойко-места уже на стадии строительства и бронируют часть стойко-мест на один-два года вперед с планами расширения. Вместе с тем возведение новых ЦОД привело к дефициту опытных строителей и организаций, специализирующихся на их проектировании, строительстве и оснащении.

Среди основных трендов развития рынка ЦОД в iKS-Consulting назвали следующие:

• Рост объёмов данных, цифровизация бизнеса и повседневной жизни. Рост рынка в деньгах на 25%.
• Сохранение высокого спроса на крупные партии стойко-мест в коммерческих ЦОД в Московском регионе.
• Вступление рынка коммерческих ЦОД в стадию зрелости. Выход на рынок профессиональных девелоперов (PNK, «Монарх»).
• Рост концентрации рынка. Выделилась группа лидеров.
• Нехватка высококвалифицированного персонала и команд по строительству и управлению ЦОД.

В 2025 году на смену национальному проекту «Цифровая экономика» придёт реализация национального проекта «Экономика данных и цифровая трансформация государства». Ожидается, что это приведёт к росту инвестиций в сектор ЦОД и стимулированию роста внутреннего спроса на инфраструктуру хранения и обработки данных. Также в некоторой степени стимулом для развития рынка коммерческих ЦОД могут стать требования закона о КИИ.

ТОП поставщиков услуг ЦОД в РФ по количеству стойко-мест (итог 2023 года и прогноз на 2024 год)

В исследовании также указано, что последние пять лет растёт концентрация рынка, которой также способствует более динамичный рост крупных ЦОД относительно общего рынка. Доля лидеров рынка резко увеличилась в 2020 году после слияния операторов коммерческих дата-центров «РТК-ЦОД» и DataLine. За последние три года определились три лидера: «РТК-ЦОД», «Росатом» и IXcellerate.

Доли ТОП поставщиков по количеству введённых стойко-мест на конец 2024 года (оценка)

По количеству введённых в эксплуатацию стойко-мест в 2023 году по-прежнему лидировала группа компаний «Ростелеком/РТК-ЦОД», в числе ключевых объектов которой комплекс ЦОД NORD, Москва I–V, столичный узел обмена трафиком ММТС-9, а также новый крупный кластер ЦОД «Медведково», купленный за 26,28 млрд, в результате чего в рейтинге по количеству стойко-мест снизила свою позицию 3data.

К концу года у «Ростелеком/РТК-ЦОД» было 20 957 стойко-мест, включая 19 962 стойко-места «РТК-ЦОД». При выполнении планов на конец 2024 года группа компаний суммарно будет иметь 27 033 стойко-места, включая 26 020 у «РТК-ЦОД». На втором месте в 2023 году была компания DataPro c долей 9,3 % (6553 стойко-места). На третьем — IXcellerate с долей 8,9 % (6279 стойко-мест).

Динамика максимальной разрешённой электрической мощности коммерческих ЦОД в РФ

Исходя из объявленных планов, в ближайшие два-три года подведённая мощность будет увеличиваться на 110–130 МВт ежегодно. Лидерами по подведённой мощности являются ЦОД «РТК-ЦОД» и IXcellerate с суммарной долей рынка по этому показателю около 43 %. На пятёрку лидеров, в которую также входят «Росатом», ГК Key Point и DataPro, приходится 62 % рынка.

Стартап Xscape Photonics, создающий решения на основе кремниевой фотоники, вышел из скрытного режима, объявив о проведении раунда финансирования Series A на сумму в $44 млн. Таким образом, как отмечается, общий объём привлечённых компанией средств на сегодняшний день достиг $57 млн.

Xscape Photonics была основана в 2022 году. В число её учредителей входят доктора наук и специалисты с опытом работы в области полупроводников в различных компаниях, таких как Broadcom, Cerebras, InPhi, Intel, Juniper, Lumentum, Marvell и Neophotonics. Среди основателей — доктора Вивек Рагхунатхан (Vivek Raghunathan) и Йоши Окавачи (Yoshi Okawachi), а также профессоры Александр Гаэта (Alexander Gaeta), Михал Липсон (Michal Lipson) и Керен Бергман (Keren Bergman).

Источник изображения: Xscape Photonics

Xscape Photonics ставит своей целью решение проблемы ширины полосы пропускания, которая является узким местом платформ для рабочих нагрузок ИИ. Стартап разрабатывает фотонные чипы для организации высокоскоростных соединений в дата-центрах.

«Исторически проблемы производительности и масштабируемости при обучении больших языковых моделей решались путём создания более крупных ЦОД. Такой подход является неэффективным и порождает множество дополнительных сложностей, связанных с потреблением энергии и стоимостью. Мы стремимся помочь клиентам полностью переосмыслить то, как они решают эти проблемы», — говорит Рагхунатхан, занимающий пост генерального директора Xscape Photonics.

Компания создаёт многоволновую фотонную платформу ChromX, которая позволяет повысить пропускную способность в системах на основе GPU-ускорителей при одновременном снижении энергопотребления. В результате, улучшается общая производительность при выполнении задач инференса.

Раунд финансирования Series A проведён под руководством IAG Capital Partners с участием Altair, Cisco Investments, Fathom Fund, Kyra Ventures, LifeX Ventures, NVIDIA и OUP. Деньги будут направлены на ускорение разработки платформы ChromX.

Российский фонд прямых инвестиций (РФПИ) и оператор ЦОД для майнинга BitRiver объявили о партнёрстве, в рамках которого они займутся проектами по внедрению технологии ИИ и строительству ЦОД в странах БРИКС, сообщили «Ведомости». Также предполагается, что совместная работа позволит увеличить долю России на мировом рынке вычислительных мощностей.

Согласно данным РФПИ, BitRiver обслуживает в России 21 ЦОД, ещё десять строятся. Как отметили в фонде, ускорение внедрения технологий ИИ привело к глобальному дефициту вычислительных мощностей энергоёмких ЦОД, что создаёт для России перспективные возможности с учётом существующих мощностей ЦОД, а также имеющегося опыта по их строительству и эксплуатации.

Гендиректор РФПИ назвал приоритетным для России и её партнёров по БРИКС развитие вычислительных мощностей для внедрения ИИ в различных отраслях экономики. Он заявил, что совместное использование высокотехнологичной инфраструктуры позволит участникам БРИКС снизить затраты, сократить зависимость от иностранных поставщиков технологий, развивать собственные цифровые решения и самостоятельно контролировать критически важные данные.

Источник изображения: BitRiver

Владелец и гендиректор BitRiver сообщил, что партнёры сосредоточатся на создании инфраструктурной базы на основе майнинга — «строительстве дата-центров и подведении к ним необходимых мощностей, чтобы была возможность разворачивать и реализовывать проекты, связанные с ИИ, и развивать таким образом это направление в масштабе всей страны», передают «Ведомости».

В скором будущем в Итальянских Альпах появится уникальный подземный дата-центр, который разместят в действующей шахте, где до сих пор ведётся добыча доломита, а в выработанных штольнях по соседству хранятся яблоки, вино и сыр. По данным Университета Тренто, ЦОД начнёт предоставлять колокейшн-сервисы уже в 2026 году.

Проект будет реализован университетом совместно с компанией Trentino DataMine. Также в нём примут участие Covi Costruzioni, Dedagroup (Deda), GPI Group и ISA-Istituto Atesino di Sviluppo. Ёмкость Intacture составит 5 МВт, объект будет вмещать около 1220 стоек. Реализация обойдётся в €50,2 млн. Из них €18,4 млн будет получено от государства в рамках плана Recovery and Resilience Plan (NRRP), а остальное предоставят частные инвесторы.

Источник изображений: Trentino DataMine

ЦОД построят в горе Валь-ди-Нон в 40 км от Тренто. Строительство идёт в шахте компании Tassullo, ведущей доломитовые разработки. Подобные проекты в мире реализуют довольно редко, поскольку дата-центры нуждаются в инфраструктуре: хороших дорогах, доступном электричестве, чистой воде и др. При этом подземный ЦОД имеет ряд преимуществ в сравнении с надземным — это устойчивая температура круглый год, возможность фрикулинга, защита от неблагоприятных погодных условий и даже электромагнитных импульсов и т.д. У таких ЦОД высокий потенциал энергоэффективности и экономичности в целом.

По словам представителя Trentino DataMine, шахта Сан-Ромедио, где разместят ЦОД, обеспечивает максимальную физическую защиту, в том числе от сейсмических и гидрогеологических рисков. Кроме того, можно экономить более 25 % электроэнергии в сравнении со средними показателями по Европе, и до 40 % в сравнении со средиземноморскими странами. Кроме того, не потребуется занимать земельный участок, поскольку более 80 % конструкций ЦОД разместятся в недрах горы. PUE будет не выше 1,25.

Пока строительство ЦОД Intacture находится на первом этапе. Авторы проекта в Trentino DataMine уже видят превращение дата-центра в «зелёный» инновационный хаб, не только для региона, но для всей страны. Не исключается предоставление и других услуг помимо колокации, в том числе для исследований в сфере естественных наук, ИИ, «энергетического перехода» и обеспечения кибербезопасности.

О намерении построить ЦОД близ Тренто сообщалось ещё в 2023 году, но официально объявили о его реализации только в начале октября уже после начала работ. Хотя для гиперскейлеров ёмкости этого ЦОД слишком мало, для местных проектов он способен обеспечить вполне подходящую площадку — в регионе имеется ВОЛС подключения объекта к дата-центрам Милана.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.