Олимпиада-2024 в Париже привлекла внимание не только зрелищными выступлениями спорстменов, но и некоторыми удачными технологическими разработками. Datacenter Knowledge сообщает, что значительную роль в этом сыграло решение, позволяющее нагревать бассейны за счёт «мусорного» тепла ЦОД.

Во время любой летней Олимпиады требуются большие энергетические ресурсы для обслуживания бассейнов. На текущей Олимпиаде в Париже главным таким объектом является Paris Olympic Aquatic Centre в Сен-Дени, который уже использует разнообразные экобезопасные решения. Тепло для подогрева воды в бассейнах поступает из открытого в 2023 году парижского ЦОД Equinix PA10. Это уже десятый дата-центр, построенный компанией во французской столице за последние 20 лет.

Источник изображения: Taiki Ishikawa/unsplash.com

Питание PA10 на 100 % компенсируется возобновляемой энергией, а сам он предлагает 5 тыс. м² места для колокейшн-клиентов (2250 серверных шкафов). ЦОД изначально задумывался и строился с прицелом на использование тепла его оборудования. В компании объявили, что бесплатно в течение 15 лет будут поставлять тепло зоне городского развития Plaine Saulnier, а также Olympic Aquatic Centre, где проходят многие олимпийские мероприятия в 2024 году. После окончания Олимпиады объект будет доступен для посещения всеми желающими. Помимо передачи тепла и «восстановления» воды, новый дата-центр имеет на крыше теплицу и улей.

PA10 будет генерировать 10 тыс. МВт∙ч тепла ежегодно, чего достаточно для обогрева более 1 тыс. домохозяйств. Контур внутренней системы охлаждения ЦОД имеет температуру 28 °C круглый год, но перед отдачей тепла наружу тепловые насосы повышают её до 65 °C. Горячая вода через теплообменник отдаётся местному оператору тепловых сетей. Если тепло никуда не передаётся, оно просто выбрасывается в атмосферу, — подчёркивают в компании. PA10 — один из нескольких проектов теплоотдачи, реализуемых Equinix.

Сейчас контракты на поставку тепла заключили три площадки, а первый такой проект был реализован в 2010 году в Хельсинки при сотрудничестве с поставщиком энергии Helen. Ещё один объект расположен в Торонто (Канада), где Equinix поставляет тепло из дата-центра TR5 IBX районной энергетической сети Markham District Energy для обогрева жилых объектов, отелей, больницы и торгового центра. Кроме того, многим местным зданиям поставляется и горячая вода. В компании заявляют, что все её новые ЦОД изначально рассчитаны на экспорт тепла — на пути к «экономике замкнутого цикла».

В целом тепло ЦОД пытаются применять по всему миру, в том числе в бассейнах и других водных объектах — от ближайшей Великобритании до, например, США. В прошлом месяце дело дошло даже до аквапарков — компания Aventuur получила разрешение на реализацию в Новой Зеландии проекта, обеспечивающего круглогодичный доступ к подогретым ближайшим ЦОД волнам.

Сингапурский стартап Sustainable Metal Cloud (SMC), по информации Bloomberg, рассчитывает привлечь почти $1 млрд для создания специализированной облачной платформы для задач ИИ. Речь идёт о системе на основе высокопроизводительных ускорителей NVIDIA.

Фирма SMC основана в 2018 году. Она занимается созданием крупномасштабной инфраструктуры ЦОД: мощности площадки смогут использовать сторонние заказчики для разработки и запуска приложений ИИ.

На сегодняшний день платформа SMC в Сингапуре объединяет приблизительно 1200 ускорителей NVIDIA H100. До конца текущего года их количество планируется довести до 5000. При этом реализована возможность масштабирования до 32 тыс. ускорителей. SMC использует технологию иммерсионного (погружного) охлаждения, которая, как утверждается, позволяет сократить выбросы углекислого газа в атмосферу на 48 % по сравнению с традиционными решениями (при работе с моделями ИИ).

Источник изображения: SMC

Как сообщает Bloomberg, SMC поддерживается сингапурской компанией ST Telemedia Global Data Centers (STT GDC). Говорится, что SMC находится на завершающей стадии осуществления инвестиционного раунда на сумму около $400 млн. Кроме того, компания намерена получить долговое финансирование в размере $550 млн. Таким образом, общая сумма средств, которые рассчитывает привлечь SMC, составляет $950 млн.

Компания SMC создаёт новые облачные регионы в Сингапуре, Индии, Таиланде и Австралии. Оборудование размещается в независимо аккредитованных дата-центрах, что, как утверждается, позволяет формировать высокодоступную и безопасную инфраструктуру.

Корпорация Oracle, по сообщению ресурса Datacenter Dynamics, разрабатывает систему на основе машинного обучения для точного прогнозирования возможных источников сбоев в ЦОД. Патент на соответствующую технологию (№12,045,123 B2) выдан 23 июля 2024 года Управлением по патентам и товарным знакам США (USPTO).

Отмечается, что дата-центры становятся всё более крупными и сложными. В них используется большое количество разнообразного оборудования, а поэтому эффективное определение источника неполадок затрудняется. Новая платформа Oracle позволит выявлять причины проблем практически в реальном времени благодаря применению алгоритмов ИИ.

Источник изображения: Oracle

Система получает данные из различных источников, включая серверы и сетевое оборудование, а также системы питания и датчики окружающей среды. Собранные показания анализируются с применением машинного обучения. В случае существования вероятности сбоя генерируется предупреждение с подробным описанием предполагаемой проблемы. Таким образом, операторы ЦОД могут своевременно предпринять необходимые меры и избежать длительных простоев оборудования.

В патенте приводится пример отключения энергоснабжения, вызванный выходом из строя источника питания стойки. В такой ситуации ИИ-модель может определить, что уровень мощности источника питания падает ниже порогового уровня и отправить предупреждение. Предлагаемый подход даёт возможность оперативно осуществлять замену вышедших или выходящих из строя компонентов и тем самым повышать эффективность восстановительных работ.

Создателями платформы значатся Алекс Гамильтон (Alex Hamilton), директор по разработке ПО Oracle, Амар Монга (Amar Monga), старший менеджер по проектированию софта, и инженер-программист Бин Чен (Bin Chen). В конце прошлого года основатель и технический директор Oracle Ларри Эллисон (Larry Ellison) сообщил, что корпорация намерена развернуть 100 новых ЦОД. Не исключено, что в некоторых из них будет внедрена запатентованная система выявления сбоев для повышения надёжности и стабильности.

Исследование компании Omdia показало, что рынок готовых модульных дата-центров (PMDC) и микро-ЦОД к 2027 году достигнет $11,7 млрд. По данным пресс-службы компании, пик спроса придется на 2023–2024 гг., причиной стремительного роста спроса станет бум ИИ-технологий.

Рынок готовых, заранее собранных на производстве ЦОД включает как отдельные, так и многомодульные конструкции, которые могут выполнять как единичные функции (энергоснабжение, охлаждение), так и составлять ЦОД целиком. В Omdia рассчитывают, что в 2027 году объём продаж PMDC составит $8,6 млрд.

Крупнейшей категорией считаются предсобранные модули питания, их сбыт растёт самыми быстрыми темпами — в сравнении со всеми другими модулями, продажи которых тоже отслеживаются Omdia. Основным фактором роста является то, что именно в таких модулях нуждаются как новые, так и действующие ЦОД, требующие увеличения энергетической ёмкости.

Источник изображения: Omdia

Модульные микро-ЦОД (micro-DC) состоят или из одного или нескольких модулей, последние обычно поставляются уже в собранном состоянии. В Omdia прогнозируют, что их продажи составят в 2027 году $3,1 млрд. Такие объекты, по данным экспертов компании, подходят как облачным провайдерам, так и корпоративным клиентам. В Omdia утверждают, что подобные ЦОД на много стоек изначально использовались гиперскейлерами — предварительная сборка вдали от места установки ускоряла ввод в эксплуатацию на целевой территории. Подобные решения внедрялись как минимум с 2018 года.

Лидером на рынке PMDC является Huawei, за ней следуют Schneider Electric и Veritiv. В Северной Америке крупнейшими вендорами подобных решений являются Johnson Controls, Schneider Electric и M.C. Dean, в Западной Европе — Vertiv и Rittal, а Huawei — в Азии и Океании, а также на рынке Европы, Ближнего Востока и Африки (EMEA) в целом. Что касается рынка модульных микро-ЦОД, он гораздо более насыщеннее вендорами благодаря довольно низкому порогу вхождения. Впрочем, из здесь лидирует Huawei, ненамного от которой отстают Vertiv и DTCT.

В Omdia ожидают, что инновации в PMDC и micro-DC продолжатся. Акцент будет сделан на повышении энергетической плотности для того, чтобы обеспечить в новых ЦОД использование серверов с ресурсоёмким ИИ-оборудованием. В первую очередь ожидаются новые решения в сфере интеграции систем жидкостного охлаждения (СЖО) и аккумуляторов. В июне Omdia прогнозировала, что основной нагрузкой в ЦОД станут ИИ-приложения, которые подстегнут рост расходов на серверы.

Занимающаяся управлением инвестициями компания Blackstone намерена вложить в развитие сети дата-центров $70 млрд. По данным Datacenter Dynamics, согласно последнему финансовому отчёту компании, объём её портфолио ЦОД, включая строящиеся объекты, уже достиг $55 млрд.

Глава Blackstone Стивен Шварцман (Stephen Schwarzman) сравнил последствия появления ИИ с эффектом от внедрения электрических лампочек. По его словам, хотя на разработку «коммерчески жизнеспособных» лампочек в своё время ушли годы, развитие электросетей в последующие десятилетия сопоставимо со строительством сети дата-центров для ИИ в наше время.

По прогнозам Шварцмана, в следующие пять лет в США инвестируют порядка $1 трлн в возведение и обслуживание новых ЦОД, ещё столько же будет потрачено за пределами страны. При этом потребность этих ЦОД в электричестве станет основным фактором 40-% роста спроса на электроэнергию в США в следующие десять лет. По этим причинам у компании откроются беспрецедентные возможности для инвестиций, так что Blackstone позиционирует себя как крупнейшего инвестора в ИИ-инфраструктуру.

Источник изображения: Josue Isai Ramos Figueroa/unsplash.com

QTS — крупнейший бизнес в области ЦОД в портфеле Blackstone — нарастил мощности в семь раз после того, как Blackstone купила его в 2021 году за $10 млрд. Также в прошлом году Blackstone объявила, что совместно с QTS потратит ещё $8 млрд на ИИ ЦОД. Компания также инвестировала в ЦОД Vnet, Lumina CloudInfra, Copeland, Park Place Technologies и Winthrop Technologies, а также совместные бизнесы аналогичного профиля с COPT, Digital Realty и другими игроками.

Как заявил Шварцман, компания предоставит акционерный и заёмный капитал и другим бизнесам, связанным с ИИ-проектами. В частности, во II квартале Blackstone обязалась предоставить CoreWeave $4,5 млрд заёмных средств из необходимых $7,5 млрд, а теперь основное внимание уделяется удовлетворению потребностей сектора ЦОД в энергоснабжении.

В Blackstone подчёркивают, что благодаря масштабным возможностям в сфере инфраструктуры, недвижимости, частного кредитования и источников возобновляемой энергии компания находится в чрезвычайно выгодном положении для того, чтобы стать для других бизнесов предпочтительным партнёром в области ЦОД.

Компания Microsoft совместно с магистральным провайдером Lumen Technologies (прежде CenturyLink) объявили о намерении масштабировать пропускную способность каналов связи между дата-центрами техногиганта. По данным The Register, на такие меры Microsoft намерена пойти из-за расширения бизнеса, связанного с ИИ-технологиями.

В рамках нового проекта Microsoft будет применять технологию частных сетей Private Connectivity Fabric компании Lumen, а общая пропускная способность между работающими с ИИ-нагрузками дата-центрами будет увеличена благодаря комбинации существующих и новых оптоволоконных линий.

Стремление Microsoft нарастить технологические возможности вполне объяснимо — компания рассчитывает получить максимальную отдачу от инвестиций в OpenAI и другие ИИ-стартапы. Поэтому IT-гигант пытается интегрировать ИИ почти во все свои продукты. При этом необходимо обрабатывать и передавать огромные объёмы данных, для чего существующей сетевой инфраструктуры ЦОД уже не хватает. Впрочем, пока неизвестно, какую дополнительную ширину каналов обеспечит Lumen для Microsoft. Сами партнёры сотрудничество пока не комментируют.

Источник изображения: Lumen Technoligies

При этом Lumen в рамках сделки обязалась перенести часть рабочих нагрузок в облако Microsoft Azure. Вероятно, ИИ-инструменты Microsoft будут интегрированы и в продукты Lumen. Кроме того, вероятно использование Lumen платформы Microsoft Entra, обеспечивающей управление идентификацией и контролем доступа. В Lumen рассчитывают, что подобная миграция позволит компании экономить более $20 млн уже в следующем году и повысить уровень обслуживания клиентов — не исключено, что часть функций компания передаст чат-ботам Microsoft на основе технологий OpenAI.

Глава Tesla Илон Маск (Elon Musk), по сообщению ресурса Tom's Hardware, обнародовал фотографии вычислительного комплекса Dojo, который будет использоваться для разработки инновационных автомобильных технологий, а также для обучения автопилота.

Tesla, напомним, начала создание ИИ-суперкомпьютера Dojo в июле 2023 года. Основой системы послужат специализированные чипы собственной разработки Tesla D1. Дата-центр Dojo, расположенный в штаб-квартире Tesla в Остине (Техас, США), по своей конструкции напоминает бункер. В апреле нынешнего года сообщалось, что при строительстве ЦОД компания Маска столкнулась с трудностями, связанными в том числе с доставкой необходимых материалов.

Как теперь сообщается, Tesla намерена ввести Dojo в эксплуатацию до конца 2024 года. По производительности этот суперкомпьютер будет сопоставим с кластером из 8 тыс. ускорителей NVIDIA H100. По словам Маска, это «не слишком много, но и не тривиально». Для сравнения: мощнейший ИИ-суперкомпьютер компании xAI, также курируемой Илоном Маском, объединит 100 тыс. карт H100.

Источник изображений: Илон Маск

Отмечается, что чипы Tesla D1 специально ориентированы на машинное обучение и анализ видеоданных. Поэтому систему Dojo планируется использовать прежде всего для совершенствования технологии автономного вождения Tesla путём обработки видеоданных, полученных от автомобилей компании. В свою очередь, «ИИ-гигафабрика» xAI поможет в развитии чат-ботов Grok следующего поколения.

Маск также сообщил, что компания Tesla намерена «удвоить усилия» по разработке и развертыванию Dojo из-за высоких цен на оборудование NVIDIA. Вместе с тем финансовый директор Tesla Вайбхав Танеджа (Vaibhav Taneja) заявил, что, несмотря на снижение капвложений во II квартале 2024 года, компания по-прежнему ожидает, что соответствующие затраты превысят $10 млрд.

Amazon Web Services (AWS) планирует подписать PPA-соглашение о покупке 20 МВт «зелёной» энергии с производителем топливных элементов Bloom Energy. По информации Datacenter Dynamics, сделка заключена с прицелом на открытие нового дата-центра в Кремниевой долине, где ожидается бум строительства ЦОД.

Местная энергетическая компания Silicon Valley Power (SVP) разрешила строительство собственных генерирующих мощностей в Санта-Кларе для удовлетворения растущего спроса со стороны ЦОД. AWS рассчитывает использовать для генерации газ, так что для дата-центра 2315 MCB уже готовится подстанция — объект на четыре трансформатора с номинальной мощностью 99 МВА. Два трансформатора строятся уже сейчас. В документах городских властей сообщается, что ЦОД обычно используют 55 % номинальной мощности. Предполагается, что электричество будет на 50 % дороже в сравнении с текущими тарифами SVP для промышленных предприятий.

Изначально в своём ЦОД AWS намерена освоить 9 МВА, но в течение 10 лет (к 2034 году) мощность должна вырасти до 32 МВА. PPA, заключённые с Bloom Energy, обеспечат дополнительную энергию. Ожидается, что Amazon покроет все расходы, включая оплату работы сотрудников SVP, обслуживание оборудования, закупки газа и прочие издержки. В первый год проект обойдётся в $35 млн, включая взнос в 5 % в городской фонд. Кроме того, включена стоимость REC-кредитов на возобновляемую энергию для «компенсации» использования природного газа.

Источник изображения: Paul Hanaoka/unsplash.com

В ходе собрания, посвящённого проекту, представитель городских властей сообщил, что как минимум четыре дополнительных клиента намерены заключить аналогичные сделки. Ранее AWS заявляла, что будет использовать топливные элементы Bloom Energy в Орегоне на 72 МВт с питанием от природного газа, но в июне от планов пришлось отказаться, из-за местной критики относительно высоких углеродных выбросов.

По данным Управления энергетической информации США (US Energy Information Administration, EIA), при генерации электричества с использованием угля выделяется 1 кг CO₂ на кВт∙ч, нефти — 1,1 кг, а природного газа — 430 г. А вот при использовании солнечных элементов выделяется 48 г/кВт∙ч, энергии ветра — 12 г/кВт∙ч, атомной энергии — 12 г/кВт∙ч.

Ранее в этом месяце инициативная группа сотрудников AWS (AECJ) заявила, что компания искажает сведения о степени экобезопасности её ЦОД, раскритиковав использование REC-сертификатов на возобновляемую энергию. Исследование AECJ показало, что это «низкокачественные» сертификаты, которые никак не способствуют развитию зелёной энергетики — фактически речь идёт о торговле бумажными заявками на электричество, «которое другие люди уже сгенерировали и использовали».

Оператор дата-центров и колокейшн-провайдер Equinix приобрёл на территории Филиппин несколько ЦОД. По данным Datacenter Dynamics, компания приобрела на неизвестных условиях три объекта у местного поставщика технологических решений — Total Information Management.

Последняя основана в 1985 году в качестве поставщика IT-оборудования и занимается как новыми, так и восстановленными вычислительными мощностями, такими как мейнфреймы и сопутствующая периферия. На сегодняшний день компания также занимается управляемыми IT-сервисами, включая предоставление услуг публичных, частных и гибридных облаков.

Источник изображения: Ian Romie Ona/unsplash.com

Сделка предусматривает покупку уже имеющих необходимые коммуникации объектов, не привязанных к конкретному интернет-провайдеру. Ёмкости достаточно для размещения 1 тыс. IT-стоек, дополнительно имеется земля для расширения бизнеса в будущем.

Детали и спецификации пока не разглашаются, но на сайте Total Information Management сообщается, что речь идёт о ЦОД в Кармоне, Кавите и Макати. По словам представителя Equinix в регионе АТР, компания чрезвычайно рада анонсировать экспансию на Филиппины — быстро расширяющуюся цифровую экономику с большими возможностями для клиентов Equinix. В сочетании с недавним расширением в Малайзии и Индонезии, а также добавленной ёмкости в Сингапуре, новая покупка существенно расширит возможности оператора в регионе.

На сегодня в Азиатско-Тихоокеанском регионе Equinix управляет 56 дата-центрами в 14 локациях Австралии, материкового Китая, Гонконга, Индии, Японии, Южной Кореи, Малайзии и Сингапура. В том числе речь идёт о недавно открытых ЦОД в Джохоре (JH1) и Куала-Лумпуре (KL1) в Малайзии.

По итогам 2023 года на дата-центры в Ирландии пришлось более 21 % всего энергопотребления страны. По данным Datacenter Dynamics, в 2015 году на ЦОД приходилось лишь 5 %.

Данные Центрального статистического управления (Central Statistics Office, CSO) свидетельствуют о том, что дата-центрам в 2023 году потребовалось на 20 % больше энергии, чем годом ранее. В прошлом году в CSO заявили, что дата-центры потребляли на 31 % больше электричества в 2022 году, чем в 2021-ом, когда на ЦОД пришлось 18 % потребления Ирландии. Ежеквартально измеряемый расход электричества ЦОД увеличился с 290 ГВт∙ч в I квартале 2015 года до 1661 ГВт∙ч в IV квартале 2023 года, рост составил впечатляющие 473 %. Для сравнения, на сельские домохозяйства сейчас приходится 18 %, а на городские — 10 %.

Источник изображения: Gregory DALLEAU/unsplash.com

Согласно заявлению местных чиновников, в стране приветствуют строительство дата-центров, но приходится учитывать ограниченные ресурсы электростанций и энергетических сетей, а также климатические факторы. После временного взлёта показателей строительства ЦОД в районе Дублина местному государственному оператору энергосетей EirGrid пришлось ввести мораторий на новые объекты. Было заявлено, что заявки на новые объекты соответствующего профиля не будут одобряться до 2028 года.

Некоторые операторы ЦОД пытаются обойти ограничения, организовав генерацию непосредственно на территории своих кампусов, в том числе с подключением к газовым магистралям. Другие сумели получить разрешения на подключение к энергосети до введения моратория, поэтому теперь могут реализовать уже одобренные планы. Наконец, гиперскейлеры предлагают строить собственные ЛЭП, чтобы разгрузить государственные.

В прошлом месяце Google объявила о намерении построить свой третий ЦОД в Дублине, хотя пока неизвестно, получил ли проект разрешение от EirGrid. Amazon (AWS) также пытается построить три новых ЦОД в ирландской столице после отсрочек, вызванных судебными апелляциями. Ранее в этом году AWS пришлось ограничить для своих действующих ЦОД объём доступных ресурсов на фоне сомнений в наличии достаточного количества энергии.