Китайская холдинговая интернет-компания ByteDance, владеющая в том числе платформой TikTok, по сообщению Datacenter Dynamics, реализует масштабный проект по расширению кампуса ЦОД в Малайзии. Речь идёт о создании хаба, рассчитанного на поддержание ИИ-нагрузок.

Об инициативе объявил министр инвестиций, торговли и промышленности Малайзии Тенгку Зафрул Азиз (Tengku Zafrul Aziz) после встречи с вице-президентом TikTok Хеленой Лерш (Helena Lersch). В общей сложности на ИИ-хаб в этой стране ByteDance потратит около $2,13 млрд.

Отмечается, что ByteDance является якорным арендатором крупного кампуса ЦОД Bridge Data Centers (BDC) MY06 в технопарке Седенак в Джохоре. Не исключено, что часть средств будет направлена на модернизацию этой площадки. Как сообщил Тенгку Зафрул Азиз, ByteDance вложит примерно $317 млн в расширение возможностей своего дата-центра. Подробности о проекте пока не раскрываются.

Источник изображения: Bridge Data Centres

Комплекс MY06 открылся в 2022 году: мощность площадки на момент ввода в эксплуатацию составляла 110 МВт. По заявлениям BDC, это крупнейший ЦОД такого типа в Малайзии. Однако Yondr Group планирует создать в названном технопарке кампус мощностью 300 МВт. Компания уже получила кредит в размере $150 млн для финансирования строительства объекта.

Нужно отметить, что кампусы ЦОД в Малайзии создают ведущие мировые гиперскейлеры. В частности, Google вложит $2 млрд в ЦОД и облако в этой стране, тогда как Microsoft намерена потратить на аналогичные проекты $2,2 млрд. Equinix уже открыла в Малайзии два своих первых дата-центра. Вместе с тем NVIDIA и YTL Power (YTLP), энергетическое подразделение малайзийского конгломерата YTL, занялись созданием ИИ-облака и суперкомпьютеров в стране: общий объём инвестиций составит $4,3 млрд.

Таким образом, Малайзия становится всё ближе к тому, чтобы действительно стать новым IT-хабом Юго-Восточной Азии, тогда как соседний Сингапур, по-видимому, продолжит терять лидерские позиции из-за энергетического кризиса.

Оператор ЦОД Equinix запускает программу передачи тепла сети дата-центров IBX в системы центрального отопления и сейчас находится в поисках партнёров, готовых принять это тепло. По данным Datacenter Dynamics, компания предлагает принять участие в проекте властям муниципалитетов, энергетическим компаниям и также операторам теплосетей в рамках программы Equinix Heat Export.

Как заявляют в Equinix, практически полезную передачу тепла возможно организовать только при сотрудничестве с операторами инфраструктуры, поставщиками энергии и местными властями — всё во имя блага людей и планеты, говорит компания. Впрочем, истинной причиной появления столь масштабной программы являются скорее законодательные инициативы в области экологии и устойчивого развития. К тому же ЦОД сейчас становятся всё более энергоёмкими и горячими из-за активного внедрения ИИ. Equinix заявила, что уже реализовала некоторые схожие проекты в области отопления во Франции, Финляндии, Германии, Ирландии, Швейцарии и Канаде.

Источник изображения: Equinix

Уже в следующем месяце Equinix начнёт экспортировать тепло из парижского ЦОД PA10, которое, в частности, направят в Олимпийский водный центр. В Канаде (Торонто) тепло ЦОД TR5 распределяется между многочисленными жилыми зданиями, а также ближайшей гостиницей, университетом и местным торговым центром. Кроме того, круглый год ЦОД обеспечивает многочисленные здания горячей водой при посредничестве партнёра Markham District Energy.

Системы рекуперации и утилизации избыточного тепла применяют atNorth, Google, Apple, Microsoft, Green Mountain, Amazon, JD.com, VodafoneZiggo, Penta Infra, nLighten, Digital Realty, Stack, Elisa и другие бизнесы, прямо или косвенно относящиеся к рынку дата-центров. Например, всё чаще тепло ЦОД используется для обогрева бассейнов, бань и даже аквапарков.

По мнению экспертов IT-отрасли, решение Сингапура частично отказаться от моратория на строительство новых ЦОД и «разблокировать» 300 МВт для дата-центров вряд ли принесёт действительно значимые плоды. Datacenter Dynamics ссылается на доклад BMI, не сулящий новой инициативе ничего хорошего.

Сингапур ожидает, что в страну вернутся инвесторы, желающие строить и расширять дата-центры. Хотя в городе-государстве фактически введён мораторий на строительство новых кампусов, некоторые послабления всё же делаются. Высвободить сотни мегаватт для новых проектов поможет переход уже существующих в стране ЦОД на более энергоэффективные «зелёные» технологии. Так, Equinix, Microsoft, AirTrunk и GDS недавно получили разрешения увеличить ёмкость ЦОД всего на 80 МВт.

Источник изображения: R.H. Lee/unsplash.com

Проблема в том, что на роль нового IT-хаба уже претендует соседняя Малайзия, где с энергоресурсами всё значительно лучше, а также другие страны Азиатско-Тихоокеанского региона. В докладе BMI пессимистично прогнозируется, что никакие усилия не помогут Сингапуру вновь привлечь инвесторов. Ключевым перспективным рынком становится именно Малайзия. Отмечается, что многие сингапурские бизнесы сами перенесли свои нагрузки к соседям. Именно поэтому Джохор (Малайзия) и Батам (Индонезия) получили масштабные инвестиции на строительство ЦОД в объёме 1800 МВт и 285 МВт соответственно.

Близость Сингапура и благоприятные условия — от привлекательных законов до стоимости труда и энергии — стали причиной быстрой миграции мощностей за пределы страны, отчаянно пытающейся сохранить лидерские позиции. В BMI утверждают, что новых 300 МВт не хватит для того, чтобы удовлетворить требования пользователей. Близкие развивающиеся рынки Юго-Восточной Азии в краткосрочной перспективе суммарно предложат порядка 2500 МВт.

Впрочем, представленный сингапурским регулятором Infocomm Media Development Authority (IMDA) план развития индустрии предполагает не только увеличение ёмкости за счёт повышения энергоэффективности действующих ЦОД, но и сотни мегаватт от новых источников чистой энергии.

VK поделилась планами строительства нового центра обработки данных в Санкт-Петербурге — он станет вторым вычислительным комплексом компании в Северной столице. Технические характеристики будущего ЦОД не раскрываются. По сведениям издания TAdviser, обслуживанием IT-инфраструктуры VK и развитием сети ЦОД компании занимается её дочерняя организация «М100».

Одновременно с анонсом нового дата-центра было объявлено о соглашении о сотрудничестве между VK и правительством Ленинградской области. Появление нового дата-центра усилит облачную инфраструктуру VK, что поможет развить сервисы для частных пользователей и бизнеса и, как рассчитывает правительство, позволит «привлечь новые инвестиции и увеличить количество рабочих мест».

Функционирующий с 2011 года ЦОД VK в Санкт-Петербурге (источник фото: vk.com/blog/datatsentr-vkontakte)

По данным «Ведомостей», сейчас VK арендует мощности у сторонних провайдеров и использует два собственных дата-центра в Санкт-Петербурге и Москве на 1,2 тыс. стоек суммарно. Компания строит современный ЦОД в Домодедове, а в перспективе планирует развернуть ещё две площадки в Московском регионе. Как сообщалось на сайте Главного управления государственного строительного надзора Московской области, ЦОД в Домодедове получит шесть машинных залов с возможностью установки 30–50 шкафов в каждом. Мощность одной стойки составит до 20 кВт, что позволит установить серверы с ускорителями или же повысить плотность размещения традиционных систем.

Эксперты полагают, что с учётом растущего трафика и постоянно увеличивающихся нагрузок, компании VK в течение ближайших четырёх лет потребуется строительство дата-центров суммарной ёмкостью около 4–4,5 тыс. стоек. На реализацию такого масштабного проекта, по различным данным, может уйти от 20 млрд до 40 млрд руб. Участники рынка отмечают, что собственные ЦОД необходимы VK для хранения трафика российских пользователей в соответствии с «пакетом Яровой». На базе таких площадок компания сможет разворачивать CDN-сеть, развивать контентные и облачные сервисы.

Российский энергетический концерн «Росэнергоатом» (входит состав госкорпорации «Росатом») поделился планами по развёртыванию модульных центров обработки данных на отечественных атомных электростанциях.

Реализация проекта будет вестись в сотрудничестве с компанией «ИТК Система», на производственной площадке которой в городе Обнинске Калужской области будут осуществляться изготовление и сборка модульных ЦОД, по уровню надёжности и отказоустойчивости инженерной инфраструктуры соответствующих требованиям Tier III (согласно классификации Uptime Institute). Пилотной площадкой станет Нововоронежская АЭС (г. Нововоронеж Воронежской области). Далее до конца 2025 года проект планируется растиражировать на Балаковскую и Смоленскую атомные электростанции.

Нововоронежская АЭС (источник изображения: пресс-служба концерна Росэнергоатом» / rosenergoatom.ru, фотограф Роман Пышкин)

«Проект концерна «Росэнергоатом» по созданию модульных дата-центров для атомных электростанций России — важный шаг в обеспечении надёжной и высокопроизводительной инфраструктуры для стратегически важных объектов страны в будущем. Пока данные модульные ЦОД предназначены только для АЭС, но в перспективе у этого направления есть коммерческое будущее. Как и по многим другим кейсам, мы сначала внедряем их у себя, а потом можем предложить решение с положительным референсом во вне», — отметил Олег Шальнов, директор департамента управления IT-проектами и интеграцией АО «Концерн Росэнергоатом».

«Одним из важных преимуществ модульных ЦОД является то, что они не требуют капитального строительства или дорогостоящего переоборудования существующего помещения. Также это — возможность развернуть вычислительный комплекс в любом месте в короткий срок, лёгкость масштабирования. Уверен, что наше сотрудничество с компанией «ИТК Система» в разработке российских модульных ЦОД, в том числе, позволит повысить их коммерческую зрелость как продукта концерна», — добавил Олег Шальнов.

Провайдер облачных сервисов CoreWeave официально объявил о планах расширения деятельности на территории континентальной Европы. Datacenter Dynamics сообщает, что компания намерена инвестировать $2,2 млрд в три дата-центра на континенте ещё до конца 2025 года.

Основанная в 2017 году компания, занимавшаяся изначально майнингом и другими блокчейн-технологиями, вовремя переключилась на предоставление облачного доступа к современным ИИ-ускорителям. Компания уже привлекла миллиарды долларов инвестиций и даже взяла немало средств в долг. Сейчас она располагает тремя основными регионами ЦОД: US East в Нью-Джерси, US West в Неваде и US Central в Чикаго (Иллинойс). Также имеются сведения об ещё одном регионе в Рино (тоже в Иллинойсе).

В Европе компания суммарно потратит $3,5 млрд, включая $1,3 млрд на дата-центры в Великобритании. Три новых ЦОД дополнят проекты CoreWeave в этой стране. В компании считают, что Европа станет новым фронтиром для ИИ-индустрии и важной точкой роста самой CoreWeave. По словам представителей оператора, его инфраструктура обеспечит европейскому облачному рынку вычислительные решения и инструменты, необходимые для удовлетворения спроса на ИИ-проекты следующего поколения.

Источник изображения: Coreweave

Хотя подробностей о вложениях известно не так уж много, уже есть данные, что CoreWeave будет инвестировать в кампусы на территории Швеции и Норвегии. Ранее сообщалось, что компания планирует открыть объект и в Испании — она уже искала технического специалиста для работы в ЦОД EdgeConneX в Барселоне. При этом официальных данных о реализации проекта в Испании не поступало.

Шведские власти приветствуют инвестиции в местные ЦОД, предрекая, что они усилят критическую ИИ-инфраструктуру в стране и сами по себе являются свидетельством уверенности бизнеса в шведском технологическом секторе и местном финансовом климате, привлекающем подобные компании. В Норвегии также поддерживают инициативу и, похоже, намерены превратить страну в хаб для технологического развития и реализации ИИ-проектов.

В последние 18 месяцев компания стремительно наращивает арендуемые ёмкости и ранее сообщала, что рассчитывает управлять 14 дата-центрами к концу 2023 года и 28 — к концу 2024. Она уже подписала соглашения с Lincoln Rackhouse, Chirisa, Flexential, TierPoint, Digital Realty и Core Scientific в нескольких штатах США, по всей стране открыты вакансии компании для технических специалистов.

Мировое потребление электричества дата-центрами может вырасти более чем вдвое к 2026 году. По данным AI Business, соответствующие данные содержатся в докладе Fueling the Future компании PGIM, специализирующейся на управлении активами. Одним из ключевых факторов, влияющих на энергопотребление, называются высокие нагрузки при обучении больших языковых моделей (LLM).

Более того, если сегодня на долю ЦОД приходится всего 2 % от всего потребляемого в мире электричества, то к 2030 году потреблением может стремительно вырасти — до более 20 %. Также сообщается, что развитые страны просто не успевают расширять свою электрическую инфраструктуру. Например, спрос на энергию со стороны ЦОД в Ирландии, где её и так не хватает, должен удвоиться к 2026 году, составив до трети общего потребления электричества страны.

Источник изображения: American Public Power Association/unsplash.com

В PGIM считают, что операторы дата-центров должны искать баланс между наращиванием вычислительной мощности и возможностью получать энергию из каких-либо источников. В докладе отмечается, что операторы отвечают на этот вызов по-разному — некоторые активно сотрудничают с поставщиками «зелёной» энергии для интеграции «безуглеродных» источников непосредственно с комплексами ЦОД.

Источник: PGIM

Некоторые операторы, включая Microsoft, расширяют водородную энергетику — компания участвует в разработке водородных топливных ячеек, способных заменить дизельные генераторы. Перспективной является атомная энергия. Например, AWS приобрела принадлежавший Talen Energy кампус ЦОД возле АЭС. Некоторые рассчитывают на малые модульные реакторы (SMR), разрабатываемые многими стартапами, например — поддерживаемой Сэмом Альтманом (Sam Altman) компанией Oklo, их можно будет устанавливать в непосредственной близости от ЦОД и снабжать кампусы «чистой» энергией.

Как заключили авторы доклада, сегодня операторам ЦОД приходится не только думать о том, как масштабировать свой бизнес для увеличения вычислительных мощностей, но и как получать дешёвое электричество в достаточных объёмах. И пока это получается далеко не у всех.

Глава Supermicro Чарльз Лян (Charles Liang) ожидает, что 30 % стоек, которые компания поставит в следующем году, будут оснащены СЖО. Как передаёт The Register, компания теперь способна выпускать до 1 тыс. стоек с СЖО ежемесячно и готова отправлять их клиентам всего через 2–4 недели после получения заказа, хотя ранее сроки поставок такого оборудования могли составлять от четырёх месяцев до одного года.

Уже в этом году 15 % отгруженных компанией стоек будут оснащены СЖО, а в 2025 году этот показатель удвоится. По словам Ляна, настал звёздный час СЖО, хотя за предыдущие 30 лет эта технология смогла завоевать только 1 % рынка. Естественно, взрывной рост связан активным освоением генеративного ИИ, который требует всё большего количества всё более плотно упакованных ускорителей, для которых TDP на уровне 1 кВт становится нормой.

Источник изображения: Supermicro

DLC-системы Supermicro позволяют добиться плотности 80–100 кВт на стойку. При этом Лян снова повторяет всё те же тезисы, что звучали уже не раз. Так, СЖО позволят частично избавиться от не слишком подходящего при таких TDP воздушного охлаждения, сэкономить место в стойках, повысить общую «продуктивность» и энергоэффективность ЦОД, а значит — ещё больше приблизиться к идеалам устойчивого развития и экологичности индустрии в целом.

Компания готовит 4U-платформы с СЖО для HGX B200, но предложит и 10U-вариант с воздушным охлаждением. Также стоит ожидать «воздушную» систему на базе HGX B100 и собственную реализацию GB200 NVL72. А чтобы удовлетворить растущий спрос на свои серверы, компания к концу году откроет в Малайзии новый завод, способный выпускать до 5 тыс. полностью укомплектованных стоек каждый месяц.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Облачный провайдер CoreWeave предложил $1 млрд компании Core Scientific, предоставляющей хостинг для HPC-систем и параллельно занимающейся криптомайнингом. Datacenter Dynamics сообщает, что предложение поступило всего через несколько дней после подписания соглашения на аренду 200 МВт в течение 12 лет за $3,5 млрд.

Как сообщают отраслевые источники, речь идёт о покупке компании из расчёта $5,75 за акцию — это несколько меньше биржевой стоимости Core Scientific на момент предложения. Компании сотрудничают уже несколько лет — в Core Scientific говорят об аренде «тысяч ускорителей» с 2019 по 2022 гг. Если соглашение об аренде 200 МВт останется в силе, то последней придётся модифицировать многочисленные площадки для размещения ускорителей NVIDIA, принадлежащих CoreWeave.

Модернизация должна начаться летом 2024 года, а закончить её планируется в первой половине 2025-го. На это потребуется около $300 млн, которые будут получены от платежей CoreWeave за хостинг, но инвестировать можно будет не более половины от ежемесячной платы. Договор с CoreWeave позволяет дважды продлить аренду мощностей сроком на пять лет, в том числе на других площадках Core Scientific.

Предполагается, что сделка с CoreWeave позволит диверсифицировать бизнес и сбалансировать майнинг и хостинг для ИИ-проектов для максимизации прибыли и минимизации рисков. В Core Scientific заявили, что из доступных ей почти 1,2 ГВт мощностей она может выделить до 500 МВТ для HPC/ИИ-хостинга. Часть майнинговых проектов перенесут с одних площадок на другие, компактно высвобождая место для HPC-кластеров.

Источник изображения: Towfiqu barbhuiya/unsplash.com

CoreWeave, основанная в 2017 году, в своё время и сама занималась криптовалютами и блокчейн-технологиями, но впоследствии переключилась на облачные ИИ-платформы. Компания привлекла миллиарды долларов в качестве инвестиций и просто в долг. На сегодня она предлагает сервисы в трёх регионах: US East (Нью-Джерси), US West (Невада) и US Central (Иллинойс). Компания активно арендует мощности и к концу 2023 года намеревалась управлять 14 дата-центрами, а к концу 2024 — 28 ЦОД.

CoreWeave заявила, что потратит $1,6 млрд на постройку ЦОД для ИИ-супероблака, перенесёт часть мощностей в ЦОД Chirisa, арендует дата-центры Flexential и TierPoint в США. В марте этого года CoreWeave арендовала 16 МВт в ЦОД Core Scientific в Остине (Техас). Компания считается крупным клиентом Digital Realty, арендующим стойки для «десятков тысяч» ускорителей в одном из ЦОД на западном побережье США. Недавно компания анонсировала строительство двух ЦОД в Великобритании и присматривается к ЦОД EdgeConneX в Барселоне. Прямым конкурентом компании считается Lambda Labs, масштабы бизнеса которой гораздо скромнее.

Core Scientific тоже основана в 2017 году, но управляет криптомайнинговыми кампусами ЦОД в США. Всего компания располагает 745 МВт доступной энергии и ещё 372 МВт зарезервированной ёмкости. У неё имеется собственное майнинговое оборудование и, конечно, на её мощностях расположено оборудование клиентов. Впрочем, дела Core Scientific идут довольно плохо — в декабре 2022 года она подала заявление о банкротстве, после чего цена её акций упала на 98 %.

UPD 06.06.2024: руководство Core Scientific отказалось от предложения CoreWeave о покупке, отметив, что ведёт переговоры с другими клиентами по поводу предоставления ёмкостей для хостинга HPC- и ИИ-проектов. Компания считает, что для неё это пока более прибыльно, чем продажа. На фоне последних новостей акции компании выросли.

UPD 26.06.2024: CoreWeave подписала с Core Scientific ещё одно соглашение об аренде, на этот раз на 12 лет и 70 МВт.