Белый дом, по сообщению Datacenter Dynamics, намерен создать рабочую группу по инфраструктуре ИИ ЦОД (Task Force on AI Datacenter Infrastructure). Такое решение принято по итогам встречи с участием ряда гиперскейлеров, разработчиков ИИ-платформ, чипмейкеров и компаний, занимающихся строительством ЦОД: AES, Alphabet, Anthropic, AWS, CoreWeave, Electric Power Research Institute, Exelon, Meta✴, Microsoft, NVIDIA, OpenAI и QTS.

Говорится, что власти США намерены упростить получение доступа к энергоресурсам и выдачу необходимых разрешений при создании новых дата-центров по всей стране суммарной мощностью в несколько ГВт. Создаваемая рабочая группа под руководством Национального экономического совета, Совета национальной безопасности и Офиса заместителя начальника штаба Белого дома обеспечит координацию политик в области развития дата-центров. Участники рынка и сторонние эксперты неоднократно подчёркивали, что именно проблемы с доступом к энергии ограничивает рост ИИ ЦОД.

Источник изображения: pixabay.com

Группе предстоит работать с участниками рынка, занимающимися ЦОД-инфраструктурой. Целями инициативы названы обеспечение необходимого финансирования, определение единых точек взаимодействия и расстановка приоритетов в области создания дата-центров, ориентированных на задачи ИИ. Предполагается, что это поможет в укреплении национальной безопасности и экономических интересов США. Кроме того, будут определены те сферы, в которых требуются законодательные изменения, направленные на поддержку развития отрасли ЦОД.

Вместе с тем Совет по выдаче разрешений будет сотрудничать с участниками рынка ИИ ЦОД для определения сроков и выделения средств агентствам, чтобы ускорить оценку проектов в области «чистой» энергии, подпадающих под акт FAST-41 (Fixing America’s Surface Transportation Act). Этот документ устанавливает новые процедуры координации и надзора над инфраструктурными проектами. Одновременно Корпус инженеров Армии США (USACE) определит общенациональные разрешения, которые могут помочь ускорить строительство дата-центров для ИИ.

Сообщается также, что Министерство энергетики США также создаст специальную группу по взаимодействию с участниками отрасли ЦОД для дальнейшей поддержки сектора. Ведомство намерено регулярно организовывать встречи с игроками соответствующего рынка, поставщиками решений в области «чистой» энергии, операторами энергосетей и другими заинтересованными сторонами «для стимулирования разработки инновационных решений».

DC01UK представила план строительства в Хартфордшире (Великобритания) одного из крупнейших, по словам компании, дата-центров в Европе. Пресс-служба DC01UK сообщает, что площадь строений составит почти 186 тыс. м2, а площадь территории кампуса — около 34 га. National Grid уже обеспечила на территории резервную мощность 400 МВА. Будущий кампус расположится недалеко от национальных и международных ВОЛС и относительно близко к уже существующим ЦОД.

DC01UK готовятся ввести в эксплуатацию в 2029 году, это сулит экономические выгоды как на местном, так и на общегосударственном уровнях. Оценочная стоимость проекта составляет £3,75 млрд ($4,9 млрд). На этапе строительства будет обеспечено не менее 500 рабочих мест. После ввода в эксплуатацию будет создано 200 постоянных рабочих мест. Местные жители смогут обучиться новым профессиям на базе учебного центра кампуса.

Источник изображений: DC10UK

Косвенно DC01UK обеспечит увеличение валовой добавленной стоимости (GVA) на £1,1 млрд/год и поможет создать 13,7 тыс. рабочих мест в смежных отраслях. Кроме того, DC01UK должен привлечь в регион инвестиции со всех концов света. В рамках проекта предполагается обновление местной дорожной и транспортной инфраструктуры, а также использование тепла ЦОД для отопления новых домов и предприятий — подобные проекты уже реализуются в Великобритании.

Строительство предусматривает использование технологий с низким уровнем углеродных выбросов, предусмотрена и генерация возобновляемой энергии на месте. Утверждается, что не менее 54 % участка останется «открытым зелёным пространством». В компании заявляют, что экопоказатели новых ЦОД превысят отраслевые стандарты. Кампус будет построен в интересах неназванного гиперскейлера.

Примечательно, что буквально вчера в Великобритании объявили о присвоении дата-центрам статуса критически важных инфраструктурных объектов, подлежащих разносторонней государственной защите. Новые меры повысят уверенность бизнеса в инвестициях в эту сферу в Великобритании. Отрасль, по некоторым оценкам, уже приносит £4,6 млрд выручки ежегодно.

Великобритания отнесла дата-центры к элементам критически важной национальной инфраструктуры (CNI). По данным The Register, в результате сектор будет обеспечен господдержкой, направленной на предотвращение негативных последствий сбоев в работе IT, примером которых может служить инцидент с CrowdStrike, а также на защиту от кибератак и природных катаклизмов.

ЦОД стали четырнадцатым дополнением к списку CNI-объектов Великобритании. Также в список входят гражданская атомная промышленность, энергетика, финансы, здравоохранение и др. Это первое обновление списка почти за 10 лет после добавления в него в 2015 году космической и оборонной сфер. Новость появилась через год после того, как NCSC предупредил о растущем уровне угрозы CNI-объектам Великобритании. В ноябре 2023 года было объявлено, что готовность справляться с киберугрозами в стране оставляет желать лучшего.

За поддержку отвечает специальная команда из высокопоставленных правительственных чиновников, которая будет отслеживать ландшафт угроз и прогнозировать возможные риски. Кроме того, та же команда будет отвечать за реагирование на чрезвычайные ситуации. Национальный центр кибербезопасности Великобритании (NCSC), а также другие спецслужбы будут получать приоритетный доступ к ЦОД, если те подвергнутся той или иной угрозе. Пока власти не комментируют, что подразумевается под «приоритетным доступом».

Источник изображения: Stanley Dai/unsplash.com

Как заявляют представители властей, уже само присвоение дата-центрам статуса CNI будет сдерживать киберпреступников от атак. СМИ усомнились в таких выводах, предположив, что это сделает объекты более привлекательной целью для злоумышленников. Также ожидается, что присвоение дата-центрам нового статуса повысит уверенность в будущих инвестициях в сектор.

Параллельно правительство Великобритании приветствовало инвестиции в объёме £3,75 млрд ($4,89 млрд) в крупнейший в Европе дата-центр, строительство которого запланировано компанией DC01UK в Хартфордшире, что недалеко от Лондона. После победы на выборах лейбористское правительство отозвали решения, блокировавшие строительство ЦОД в Хартфордшире и Бакингемшире, граничащими с «Большим Лондоном».

Впрочем, некоторые эксперты подчёркивают, что сегодня хранение и обработка данных обычно не ограничивается одной страной, так что любые новые правила стоит прорабатывать и принимать на международном уровне. При этом многие ЦОД обслуживают по несколько или даже много клиентов одновременно, поэтому ограничения затронут всех пользователей, даже тех, чей бизнес не относится к критической инфраструктуре. Это может замедлить инновации и повысить расходы. Возможно, операторам ЦОД придётся создать специальные кластеры только для критической инфраструктуры, что дополнительно усложнит решение вопросов и повысит затраты — необходимо будет найти баланс между безопасностью и небольшими затратами.

Облачная платформа Amazon Web Services (AWS), по сообщению Reuters, намерена инвестировать R$10,1 млрд (около $1,8 млрд) в развитие своей инфраструктуры ЦОД в Бразилии. Масштабная инициатива рассчитана на десять лет — до 2034 года. Средства, как отмечается, пойдут на «расширение, строительство, подключение, эксплуатацию и обслуживание дата-центров».

В 2011–2023 гг. AWS уже вложила в создание экосистемы ЦОД в этой стране около R$19,2 млрд ($3,39 млрд). У AWS есть облачный регион в Сан-Паулу с тремя зонами доступности, который был запущен в 2011 году. Кроме того, развёрнуты edge-площадки в Рио-де-Жанейро, Сан-Паулу и Форталезе. В 2020 году компания объявила, что в течение следующих двух лет инвестирует $240 млн в свою бразильскую облачную инфраструктуру, хотя подробности о том, на что будут потрачены эти деньги, не разглашались.

Источник изображения: Eduardo Soares / Unsplash

Другие ведущие облачные провайдеры также развивают инфраструктуру в Бразилии. В частности, Microsoft запустила регион São Paulo Azure (Brazil South) в Кампинасе (Campinas) в 2014 году. В 2021-м он был расширен до трёх зон доступности. В текущем году компания начала работу над дополнительными ЦОД в штате Сан-Паулу. В свою очередь, Google запустила бразильский облачный регион, также расположенный в Сан-Паулу, в 2017 году. А на днях принадлежащая DigitalBridge компания Scala Data Centers объявила о намерении построить огромный кампус ИИ ЦОД Scala AI City в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul).

В этом году в России наметилась тенденция строительства ЦОД собственными силами крупных корпораций, пишут «Ведомости» со ссылкой на заявление представителя «Систэм Электрик» (Systême Electric; ранее — Schneider Electric в РФ). Он отметил, что с 2012 года количество новых корпоративных ЦОД неуклонно снижалось, но в этом году был зафиксирован противоположный тренд — крупные компании снова взялись за строительство и модернизацию собственных дата-центров.

Рост интереса к строительству корпоративных площадок подтвердили «Атомдата» (ЦОД-подразделение «Росэнергоатом»), Wildberries, «Газпром», «Сбер» и «Северсталь». По словам Wildberries, на рынке коммерческих ЦОД не хватит мощностей для постоянно растущего бизнеса, а общий дефицит мощностей приводит к удорожанию аренды, что в случае маркетплейса делает её экономически невыгодной. Кроме того, в собственных дата-центрах гораздо проще контролировать инфраструктуру. У Wildberries есть ЦОД в Электростали, в следующем году планируется ввод ещё двух — в апреле в Дубне и осенью в Наро-Фоминске.

Источник изображений: Wildberries

В «Газпроме» сообщили, что не пользуются услугами коммерческих ЦОД. Недавно стало известно о её планах построить крупный дата-центр на 5000 стоек Великом Новгороде. «Газпромнефть» нацелена на развитие партнёрской экосистемы ЦОД, поскольку такая модель обеспечивает наибольшую эффективность и гибкость при использовании вычислительных мощностей, отметил представитель компании. В свою очередь, «Сбер» сообщил, что более 80 % вычислительных ресурсов банка размещены в собственных ЦОД.

Представитель «Северстали» сообщил «Ведомостям» о строительстве большого ЦОД на площадке Череповецкого металлургического комбината, а также строительстве объектов на других площадках компании. Кроме того, планируется провести до 2030 года модернизацию существующих ЦОД. Он отметил, что стратегически компания нацелена на строительство и развитие собственных мощностей, что обусловлено повышенными требованиями к безопасности хранимой информации в промышленном секторе и непрерывности производства.

Принадлежащая DigitalBridge компания Scala Data Centers планирует построить огромный кампус ИИ ЦОД Scala AI City в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul). Компания начнёт со скромных 54 МВТ и R$3 млрд ($500 млн) инвестеций, но со временем намерена масштабировать проект до 4,75 ГВт и $90 млрд. Scala уже приобрела около 700 га для AI City в муниципалитете Эльдорадо-ду-Сул (Eldorado do Sul) в 32 км от Порту-Алегри (Porto Alegre).

ЦОД изначально будет рассчитан на поддержку ИИ-нагрузок и предложит 150-кВт стойки с СЖО. Питание будет осуществляться исключительно из возобновляемых источников, PUE не превысит 1,2, а WUE и вовсе будет составлять 0, т.е. ЦОД не будет использовать питьевую воду. Отчасти достичь таких результатов поможет более прохладный климат юга страны. ЦОД будет введён в строй в течение двух лет и станет одним из крупнейших в Бразилии, где общая ёмкость ЦОД составляет 777 МВт.

Источник изображения: Scala Data Centers

В комментарии Datacenter Dynamics представитель оператора отметил, что проекты в Латинской Америке во многом отстают в технологическом плане из-за нестабильного курса валют и правовой неопределённости, но теперь ситуация изменилась. Появилась базовая инфраструктура для передачи данных и электроэнергии и огромные возможности генерации «чистой» энергии, равных которым нет во всём мире. В компании напомнили, что в Северной Вирджинии — крупнейшем рынке ЦОД ёмкостью 4 ГВт — вынуждены до семи лет ждать присоединения к энергосети

Тем временем в бразильских сетях имеются 12 ГВт, готовые к использованию, 5 из которых зарезервировала Scala. Предполагается, что в Северной Америке сегодня дата-центрам не хватает 4–6 ГВт. Так что клиенты вполне могут обратиться к бразильским ресурсам, если их не смущает достаточно высокая задержке при передаче данных.

Для сравнения, общая ёмкость дата-центров Microsoft Azure по всему миру оценивается приблизительно в 5 ГВт, хотя компания стремитально наращивает парк ЦОД. Две компании, одна из которых, по слухам, и есть Microsoft, ведут переговоры о строительстве в Северной Дакоте кампусов на 5–10 ГВт. Также на этой неделе Oracle объявила, что построит в США 1-ГВт ЦОД с питанием от малых модульных реакторов (SMR).

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.

Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.