Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

В последние годы гиперскейлеры Юго-Восточной Азии столкнулись с многочисленными проблемами, от дефицита специалистов до высоких цен на недвижимость и др. Но, как сообщает The Register, сегодня это мелочи в сравнении с главным вызовом — проблемой получения достаточного количества электроэнергии, которой не хватает и в США с Европой, и спросом, диктующим место строительства.

По словам главы BDx Data Centers Майянка Шриваставы (Mayank Srivastava), в странах Азиатско-Тихоокеанского региона уже ожидается скорая нехватка энергомощностей. В своём докладе на мероприятии DataCloud APAC 2024 в Сингапуре он заявил, что для обеспечения энергетической безопасности стране требуется 12 % избыточных мощностей. По данным Международного энергетического агентства (IEA), в Индонезии, Малайзии и на Филиппинах, а также в Японии избыточные мощности оцениваются в 5–12 %, а в материковом Китае, Южной Корее, Сингапуре, на Тайване и в Гонконге эти показатели ещё хуже.

Источник изображения: aboodi vesakaran/unsplash.com

Шривастава назвал дефицит «пугающей ситуацией», отметив, что ввод в эксплуатацию новых ЦОД в Сингапуре может привести к нестабильности энергосети. Его позицию поддержал и представитель STT GDC, заявив, что ещё десять лет назад компания рассчитывала на трёхмегаваттные контракты, но теперь речь в норме идёт о 10–15 МВт и более. В целом же потребность в энергии создаёт ситуацию, в которой приходится соблюдать баланс ряда факторов — от наличия специалистов до наличия свободных площадей для строительства ЦОД вблизи источника энергии, играют роль и другие аспекты бизнеса.

Но в целом местоположение нового дата-центра определяет именно спрос в конкретном регионе — часто приходится не принимать в расчёт даже стоимость проекта и доступность энергии. Если источника энергии нет, приходится искать и необычные решения, вроде генерации на территории самого кампуса. Другими словами, индустрия ЦОД становится всё более рискованным бизнесом, поскольку приходится строить инфраструктуру даже в регионах с высокой вероятностью стихийных бедствий вроде землетрясений и тайфунов.

С учётом необходимости увеличивать ёмкость ЦОД, отраслевые эксперты свидетельствуют, что бизнесу придётся рисковать — если пять лет назад строительство плавучих ЦОД было практически немыслимым, то теперь таких проектов довольно много. Технологии меняются, так что теперь дата-центры появляются там, где представить их раньше было бы невозможно. При этом азиатский рынок ЦОД становится всё привлекательнее для инвесторов.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна нова система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Согласно прогнозам правительства Японии, в стране придётся производить на 35 % или даже 50 % больше энергии к 2050 году. По данным Reuters, это связано с растущим спросом на электричество со стороны заводов по выпуску полупроводников и ростом числа дата-центров, занятых ИИ-вычислениями.

Если в текущем десятилетии ожидается энергогенерация на уровне 1 трлн кВт∙ч, то в 2050 году речь будет идти уже о 1,35-1,5 трлн кВт∙ч. Как сообщили в правительстве страны в понедельник, это будет необходимо для того, чтобы удовлетворить спрос, поскольку Япония строит всё больше дата-центров, заводов по выпуску чипов и прочих предприятий, потребляющих электроэнергию в больших объёмах.

Власти отмечают, что столь заметный рост спроса на энергию ожидается впервые за 20 лет, что потребует крупномасштабных вложений в создание генерирующих мощностей. Кроме того, предполагается, что если объёмы генерации возобновляемой энергии не увеличатся, о стабильных поставках энергии не может быть и речи, поскольку сейчас Япония сильно зависит от углеводородов с Ближнего Востока.

Источник изображения: Tianshu Liu/unsplash.com

Поэтому уже разрабатывается обновлённая стратегия декарбонизации и промышленной политики до 2040 года. В частности, в прошлом году принят закон об инвестициях в декарбонизацию более ¥150 трлн ($962 млн) в течение 10 лет в частном и государственном секторах. Для того, чтобы удовлетворить спрос в возобновляемой энергии, в Японии планируют применять современные перовскитные солнечные элементы, плавучие оффшорные ветроэлектростанции, возобновить работу АЭС и представить реакторы нового поколения.

В стране наблюдается дефицит собственных природных ресурсов — она практически полностью зависит от импорта энергоносителей. При этом уже к 2030 году планируется снизить углеродные выбросы на 46 % в сравнении с 2013 годом, а полной «углеродной нейтральности» достичь к 2050 году. Пока же Япония считается пятой страной мира по объёмам выбросов углекислого газа.

С учётом своих планов она пересмотрела решение о фактически полном отказе от АЭС — с учётом высоких цен на нефть и газ, было решено возобновить работу некоторых реакторов, включая крупнейшую в стране АЭС Kashiwasaki Kariwa на 8,2 ГВт. При этом Япония в формате G7 подписала запрет на использование угольных ТЭС до 2035 года, но, похоже, временно не станет его придерживаться наряду с Германией — из-за зависимости этих стран от стабильной угольной энергетики при отсутствии сопоставимых альтернатив.

Microsoft планирует инвестировать €4 млрд ($4,31 млрд) на создание инфраструктуры ЦОД во Франции и заключение соглашений о покупке «зелёной» энергии (PPA). Планы по развитию бизнеса в стране имеет и основной конкурент в лице Amazon.

Новый ЦОД Microsoft построят близ города Мюлуз (Mulhouse) на востоке Франции, а уже существующие площадки в Париже и Марселе IT-гигант намерен расширить. Реализацию нового проекта анонсировали 13 мая на инвестиционном саммите Choose France, проводимом главой страны Эммануэлем Макроном (Emmanuel Macron). Уже имеющиеся во Франции ЦОД Microsoft открыла в 2017 году. По словам президента Microsoft Брэда Смита (Brad Smith), крупные инвестиции демонстрируют приверженность компании к поддержке цифровых инноваций и экономического развития Франции.

Компания строит в стране передовую облачную и ИИ-инфраструктуру, а к 2027 году намерена обучить работе с ИИ 1 млн человек и поддержать 2,5 тыс. местных ИИ-стартапов. Реализация нового плана предполагает поставку более 25 тыс. самых современных ИИ-ускорителей к концу 2025 года. При этом не сообщается, какое оборудование будет закупаться. На фоне планов Microsoft иметь к концу 2024 года 1,8 млн ускорителей — это просто капля в море.

Источник изображения: Microsoft

Ранее появлялась информация о намерении превратить в ЦОД бывший автозавод в Ренне на западе страны, но ничего подобного в ходе последнего анонса не упоминалось. Также Microsoft упомянула о покупке PPA, но о сертификатах на какую именно возобновляемую энергию шла речь, не сказала. По данным компании, к концу 2024 года она оплатит экоустойчивые энергопроекты во Франции приблизительно на 100 МВт. Ранее уже появлялась информация, что облачный бизнес Microsoft ищет людей для расширения присутствия в Европе, Африке и на Ближнем Востоке, с поиском свободных площадок для новых ЦОД.

Microsoft — не единственный гиперскейлер, желающий активно развиваться во Франции. Amazon также планирует инвестировать в цифровую инфраструктуру страны — компания готова выделить €1,2 млрд ($1,29 млрд) и обещает создать 3 тыс. рабочих мест. Деньги в основном пойдут на облачные проекты во Франции, связанные с ИИ-решениями, а также логистические сервисы для системы доставок Amazon.

По информации компании, речь идёт о развитии облачной инфраструктуры в Париже — рабочие места будут создаваться дополнительно к тем 2 тыс., которые компания уже обещала обеспечить во Франции в 2024 году. Текущие вливания являются частью инвестицонного плана объёмом €6 млрд, который Amazon реализует в 2017–2031 гг.

Оператор ЦОД Equinix завершил внутренний аудит. Datacenter Dynamics сообщает, что по результатам проверки компания отвергла все обвинения в недобросовестной работе с бухгалтерской отчётностью, выдвинутые Hindenburg Research. С марта акции Equinix потеряли почти четверть цены, но на прошлой неделе после публикации результатов аудита они снова выросли.

В марте Hindenburg обвинила Equinix в крупных манипуляциях с бухгалтерией, заявив, что компания переоценила скорректированные средства от операций (AFFO) — а это ключевая метрика для REIT-бизнесов, занимающихся недвижимостью подобно Equinix. Только в 2023 году речь якобы шла об искажении данных минимум на 22 % — после таких обвинений и было инициировано внутреннее расследование. В своей квартальной отчётности, представленной на днях, Equinix опровергла все обвинения и заявила, что аудит с участием независимых экспертов не выявил нарушений.

Источник изображения: Towfiqu barbhuiya/unsplash.com

Equinix также сообщила, что комитет, занимавшийся аудитом, не нашёл неточностей или ошибок, требующих исправления или иных мер вмешательства. Компания подчеркнула, что вскоре после жалобы Hindenburg Research в Equinix получили повестку из офиса прокурора Северного округа Калифорнии и Комиссии по ценным бумагам и биржам США. Расследование продолжается, а компания полностью сотрудничает с контролирующими органами и не намерена давать дальнейших комментариев до тех пор, пока это не будет «приемлемо».

В Hindenburg заявляли, что Equinix, став REIT-компанией в 2015 году, начала в том же году использовать AFFO в качестве ключевой метрики, занизив расходы на обслуживание на 47 %, что привело к увеличению AFFO на 19 %. Утверждалось, что капитальные расходы на обслуживание классифицировались как капитальные инвестиции, в результате чего компания выглядела в глазах инвесторов более прибыльной. Кроме того, менеджменту Equinix выплачивались многомиллионные бонусы.

Руководитель DigitalBridge Марк Ганзи (Marc Ganzi) выступил с чрезвычайно пессимистичным прогнозом. По данным Datacenter Dynamics, он уверен, что энергия для дата-центров закончится уже через два года — значительно раньше, чем прежде считали в самой компании.

Американская DigitalBridge владеет ЦОД и инвестирует в инфраструктуру по всему миру. На её долю приходится более 60 дата-центров и 20 интерконнект-хабов на 30 региональных рынках, а также модульная ЦОД-платформа для периферийных вычислений.

Выступление главы бизнеса состоялось в ходе отчёта о финансовых показателях I квартала 2024 года. По словам Ганзи, энергия будет исчерпана в ближайшие 18–24 месяца. Ранее он был более оптимистичен — на мероприятии Berlin Infrastructure Conference руководитель DigitalBridge заявлял, что электричество для ЦОД закончится только через пять лет.

Источник изображения: American Public Power Association/unsplash.com

По его мнению, в американских сетях остался резерв менее 7 ГВт и менее 3 ГВт — в Европе. Проблема даже не только и не столько в производстве энергии, сколько в её передаче и распределении, поскольку допустимая ёмкость сетей электропередач ограничена. При этом бизнесмен подчеркнул, что разрешение на новую линию электропередач или подстанцию гораздо сложнее получить, чем, например, на вышку мобильной связи.

В DigitalBridge сообщают, что к концу 2023 года компания зарезервировала доступ к более 5 ГВт, а сейчас идёт строительство 2 ГВт ёмкостей. При расходах по $10 млн за МВт, компания ожидает, что капитальные издержки в грядущие годы составят $20 млрд. Также Ганзи добавил, что DigitalBridge намерена построить объекты ёмкостью 3 ГВт при сотрудничестве с Silver Lake для удовлетворения спроса на ИИ и облачную инфраструктуру.

Ранее Ганзи заявлял, что потенциал рынка ЦОД для генеративных облачных ИИ-решений, кабелей и другого оборудования имеет ёмкость в 38 ГВт и сотни миллионов долларов. Компания намерена обучать ИИ-модели с низкой задержкой с использованием ЦОД, расположенных недалеко от существующих «зелёных» энергомощностей, т.е. ветряных, солнечных, газовых и гидроэлектростанций.

Например, принадлежащий DigitalBridge оператор ЦОД — компания Switch использует преимущественно ветряную и солнечную энергию, активно применяются и гидроресурсы. Ганзи назвал искусственный интеллект частью решения проблемы энергетики, по его словам, ИИ будет внедряться для оптимизации дата-центров DigitalBridge.

Компания CoreWeave, специализирующаяся на предоставлении облачных услуг для решения ИИ-задач, по сообщению Datacenter Dynamics, намерена активно развивать бизнес в Великобритании. В ближайшее время в соответствующие проекты планируется инвестировать £1 млрд (приблизительно $1,25 млрд).

Отмечается, что CoreWeave уже открыла представительство в Лондоне, которое станет европейской штаб-квартирой компании. В 2024 году CoreWeave намерена запустить в Великобритании два дата-центра с последующим развитием инфраструктуры в 2025-м. Подробности об этих ЦОД пока не раскрываются.

Майк Интратор (Mike Intrator), соучредитель и генеральный директор CoreWeave, заявил, что укрепление присутствия в Великобритании является важной вехой на пути дальнейшего развития компании. CoreWeave рассчитывает разворачивать облачные сервисы на местном рынке, предоставляя клиентам вычислительные ресурсы для внедрения приложений ИИ.

Источник изображения: CoreWeave

Стартап CoreWeave, основанный в 2017 году, изначально занимался майнингом криптовалют. Затем компания переориентировалась на вычисления общего назначения и хостинг проектов генеративного ИИ. Недавно CoreWeave привлекла финансирование в размере $1,1 млрд, получив оценку в $19 млрд. CoreWeave заявляет, что её сервисы с ускорителями NVIDIA позволяют клиентам выполнять задачи более эффективно и с повышенной производительностью, нежели традиционные публичные облака.

На сегодняшний день CoreWave предоставляет услуги из трёх ЦОД-регионов. Это площадки US East в Уихокене (Нью-Джерси), US West в Лас-Вегасе (Невада) и US Central в Чикаго (Иллинойс). К концу 2024 года компания рассчитывает управлять в общей сложности 28 дата-центрами. В частности, CoreWeave намерена потратить не менее $1,6 млрд на ЦОД в городе Плано (Техас).

На предстоящей конференции для разработчиков WWDC 2024, которая пройдёт в июне, Apple, как ожидается, представит новую версию iOS 18 с множеством функций генеративного ИИ. Некоторые из них будут выполняться локально, но часть будет использовать ИИ-модели, развёрнутые в ЦОД Apple.

Как сообщает Bloomberg со ссылкой на информированные источники, компания в рамках программы Apple Chips in Data Centers (ACDC) начала обновлять инфраструктуру, оснащая свои ЦОД серверами с чипами собственной разработки M2 Ultra для обеспечения более эффективной работы ИИ-моделей. По словам источников, за последние три года компания инвестировала сотни миллионов долларов в новую облачную инициативу.

Источник изображения: Apple

Чип M2 Ultra включает вычислительный модуль Neural Engine для запуска ИИ-моделей. В ближайшем будущем в ЦОД будут также устанавливаться серверы с чипами M4, представленными на прошлой неделе. Ранее на этой неделе The Wall Street Journal сообщал, что Apple в рамках ACDC разрабатывает собственные серверные ИИ-ускорители для инференса.

Пока Apple планирует использовать для новых облачных сервисов собственные ЦОД, но в конечном итоге перенесёт часть нагрузок на «сторонние объекты». На это намекнул финансовый директор Лука Маэстри (Luca Maestri). «У нас есть собственные мощности ЦОД, а затем мы используем мощности третьих сторон, — сказал он после того, как его попросили рассказать об ИИ-инфраструктуре. — Эта модель исторически хорошо работала для нас, и мы планируем продолжать в том же духе и в дальнейшем».

Саудовская компания DataVolt начала строительство дебютного дата-центра Tashkent IT Park Data Center в Ташкенте, передаёт Datacenter Dynamics. Спецификации нового объекта оператором пока не раскрывались, но Министерство цифровых технологий Узбекистана сообщило, что речь идёт о проекте ёмкостью 10 МВт и стоимостью $150 млн.

В DataVolt заявили, что новый ЦОД представляет собой модульное решение с возможностью масштабирования, что позволит организовать выполнение самых разных задач, а производительность может составить от сотен до тысяч Тфлопс. Церемония закладки объекта состоялась в присутствии президента Узбекистана и саудовского принца, в числе прочего занимающего пост министра энергетики.

Источник изображения: Sarvar Samigov/unsplash.com

Это лишь первый проект DataVolt в Узбекистане, но речь уже идёт об инновационном решении в области экоустойчивости — он предусматривает использование солнечной и ветряной энергии, запасать которую предполагается в энергохранилищах. Дополнительно предусмотрено питание от водорода и иных видах «зелёного» топлива для круглосуточного обеспечения экобезопасной энергией. Такой подход позволит обеспечить экономически эффективную базу для внедрения ИИ-вычислений в Узбекистане — проект станет локомотивам развития передовой IT-индустрии.

Основанная в прошлом году DataVolt является дочерней структурой Vision Invest, саудовской инвестиционно-строительной компании, занимающейся объектами критической инфраструктуры. Значительная часть руководства DataVolt, включая генерального директора, ранее работала в ACWA Power, занимавшейся созданием электростанций и опреснителей — эта компания тоже принадлежит Vision Invest.

Ранее DataVolt подписала с властями Узбекистана инвестиционное соглашение, согласно которому в стране будут возведены ЦОД ещё на 500 МВт. Т.н. «Новый Ташкент» разместит у себя кампус ёмкостью 250 МВт на участке в 25 га. Ещё один объект ёмкостью 40 МВт появится в Бухаре, в перспективе его мощность будет доведена до 250 МВт.

В прошлом году DataVolt анонсировала партнёрство с индийской AquaTech Systems, предусматривающее создание водно-эффективных ЦОД, а также со Sterling and Wilson. Кроме того, DataVolt раскрыла планы по строительству кампуса ЦОД в Бангладеш. А в самой Саудовской Аравии компания намерена инвестировать $5 млрд в строительство дата-центров.