Новые мощности АЭС могли бы потенциально обеспечить около 10 % предполагаемого роста спроса на электричества для дата-центров в следующие десять лет. По данным экспертов Deloitte, спрос на электричество для ЦОД в США может вырасти с 33 ГВт в 2024 году до 176 ГВт в 2035 году, сообщает Datacenter Knowledge. Но чтобы успеть справиться с таким ростом, надо ускорить ввод в строй новых атомных мощностей.

По мнению аналитиков консалтинговой компании, на фоне стремительного роста спроса именно атомная энергия способна стать потенциальным решением для обеспечения части мощностей ЦОД электричеством благодаря надёжности и относительной экобезопасности АЭС. В течение ближайшиъ десяти лет будет введены генерируюшие мощности на 35–62 ГВт, так что порядка 10 % требований будущих ЦОД она удовлетворит. А по многим параметрам, от высокой энергетической плотности до низких углеродных выбросов, атомная энергетика является самым предпочтительным решением для питания ЦОД.

В числе недавних проектов — финансирование AWS малых модульных реакторов (SMR) в штате Вашингтон, соглашение Google с Kairos Power о строительстве SMR к 2030 году, а также соглашение о покупке энергии (PPA), заключённое между Microsoft и оператором АЭС Three Mile Island в Пенсильвании, закрытой в 2019 году (теперь её придётся вернуть в строй). Дополнительно известно, что Meta✴ запрашивала обеспечение до 4 ГВт атомных мощностей. Разработчик атомных решений Oklo намерена поставить 12 ГВт оператору ЦОД Switch.

Источник изображения: Lukáš Lehotský/unsplash.com

В минувшем марте коалиция крупнейших компаний, включая некоторых крупнейших операторов ЦОД, обеспечила кросс-секторные обязательства, подчёркивающие критическое значение АЭС в укреплении энергетической безопасности и надёжности. Группа, включающая Amazon, Meta✴ и Google, присоединилась к 14 финансовым институтам, 140 представителям атомной индустрии и руководству более 30 стран в поддержке инициативы World Nuclear Association по утроению атомных мощностей к 2050 году.

Хотя Deloitte сделала акцент на многочисленных преимуществах атомной энергетики для решения проблем ЦОД, аналитики признают, что общественно мнение об АЭС «сложное и изменчивое». Эксперты рекомендуют причастным к атомным проектам организациям «упростить» свою деятельность для ускорения и повышения их эффективности, решения проблем со сроками строительства и перерасходом средств. В то же время необходимо заниматься инновациями для обеспечения безопасности и утилизации отходов.

С учётом современных геополитических условий, Deloitte также выражает обеспокоенность эффективностью механизмов поставок обогащённого урана. США, крупнейший в мире рынок ЦОД, закупают его в основном у России и Китая, что якобы ставит под угрозу энергетическую безопасность страны и возможность строительства передовых реакторов. Помимо этого, проблемой являются и другие факторы — от сложной цепочки поставок комплектующих до трудностей производства крупных компонентов в США.

Инвестор, бизнесмен и шоумен Кевин О’Лири (Kevin O’Leary) объявил о строительстве «крупнейшего в мире» ИИ ЦОД, сообщает Tech Republic. Проект Wonder Valley (букв. «Чудо-долина» или «Долина чудес») предусматривает строительство крупного ИИ ЦОД без подключения к магистральным энергосетям в муниципальном округе Гринвью (Greenview) провинции Альберта на западе Канады.

Кампус займёт территорию более 2400 га, общая мощность составит беспрецедентные 7,5 ГВт. Первую фазу на 1,56 ГВт должны закончить в 2027–2028 гг., она обойдётся в $2 млрд.

По словам О’Лири, дата-центры — своеобразная «золотая лихорадка» современности. Вместе с тем получение питания для ЦОД стало большой проблемой, поскольку на присоединение может уйти пять или более лет. Он привёл пример, когда оператор ЦОД запрашивает 250 МВт сразу и ещё 250 МВт в течение двух лет, а в ответ ему предлагают 25 МВт с задержкой на три года, тогда как сейчас нужны проекты, которые будут готовы к работе уже через 24 месяца. Поэтом для питания нового кампуса будет использоваться природный газ.

Источник изображения: Richard Hedrick/unsplash.com

Wonder Valley представляет собой не просто крупнейший в мире дата-центр, но и экоустойчивый кампус на лоне дикой природы. Он сможет работать без подключения к магистральным электросетям и, более того, владельцы намерены поставлять энергию местным жителям. В регионе достаточно земли, природного газа, ВОЛС, кадров, инфраструктуры и др. По словам О’Лири, ИИ ЦОД рентабельны при реализации крупных проектов, так что теперь бизнес ищет другие площадки с государственной поддержкой и дешёвой энергией как в Альберте.

По мнению О’Лири, при строительстве ИИ ЦОД надо в целом менять подход и вместо того, чтобы забирать электроэнергию из уже загруженных сетей, повышая тем самым стоимость электричества для остальных, стоит самостоятельно генерировать энергию и передавать её часть местным жителям и бизнесу. Появление кампуса в Альберте даст не только дешёвое электричество для ИИ ЦОД, но создаст рабочие места для местных, сократит вредные выбросы (за счёт утилизации попутного газа и захвата углерода), а также пополнит бюджет за счёт налоговых поступлений.

Хотя газовые проекты для дата-центров в Северной Америке в последнее время очень популярны, производители газовых турбин, едва справляющиеся с заказами для дата-центров, опасаются расширять производство. А крупнейшая в США энергокомпания NextEra Energy предупреждает, что полагаться в энергетике только на газ очень опрометчиво. Что касается «крупнейшего с мире ЦОД», совсем недавно на это звание претендовал проект индийской Reliance с мощностью 3 ГВт.

Fujitsu, Supermicro и Nidec объявили об объединении усилий с целью снижения энергопотребления ЦОД. Речь идёт о создании платформы, которая поможет операторам дата-центров повысить коэффициент эффективности использования энергии (PUE).

Отмечается, что стремительное внедрение ИИ приводит к быстрому росту нагрузки на ЦОД. Это, в свою очередь, провоцирует увеличение энергопотребления, что объясняется установкой мощных серверов с ускорителями на базе GPU. Тем не менее, многие дата-центры продолжают использовать воздушное охлаждение. Хотя жидкостное охлаждение обеспечивает значительно более высокую эффективность, проектирование, строительство и эксплуатация таких систем требуют высокого уровня технических знаний и навыков.

В рамках нового проекта партнёры объединят ПО для мониторинга и управления жидкостным охлаждением Fujitsu, высокопроизводительные GPU-серверы Supermicro и высокоэффективную систему жидкостного охлаждения Nidec. В частности, Fujitsu намерена использовать свой 40-летний опыт в области СЖО, которые применяются в суперкомпьютерах. Supermicro предоставит высокопроизводительные серверные комплексы высокой плотности, оптимизированные для жидкостного охлаждения: такие устройства позволят сократить энергопотребление и снизить уровень шума благодаря отсутствию вентиляторов.

Источник изображения: Nidec

Nidec будет отвечать за поставки компонентов СЖО, включая блоки распределения охлаждающей жидкости (CDU), насосы и пр. Система охлаждения Nidec, как ожидается, улучшит управление температурой и снизит энергопотребление.

В целом, как заявляют партнёры, новая инициатива поможет повысить общую энергоэффективность ЦОД до 40 % по сравнению с традиционными методами воздушного охлаждения. Fujitsu оценит преимущества решения в своем центре обработки данных Tatebayashi.

Компания CoolIT Systems анонсировала блок распределения охлаждающей жидкости (CDU) CHx2000 для дата-центров, ориентированных на задачи ИИ и НРС. Новинка обеспечивает отвод более 2 МВт тепла: это, как утверждается, на сегодняшний день самый высокий показатель для CDU данного класса.

Устройство выполнено в виде шкафа с размерами основания 750 × 1200 мм. Заявленный расход жидкости составляет 1,2 л/мин. на кВт (LPM/kW): допускается охлаждение до двенадцати стоек NVIDIA GB200 NVL72 мощностью 120 кВт. По сравнению со своим предшественником (модель CHx1500) новинка обеспечивает повышение охлаждающей способности на 66 %.

При создании CHx2000 компания CoolIT Systems сделала упор на долговечность, безотказную работу и простоту обслуживания. Применены два насоса с возможностью горячей замены (N+N), обеспечивающие производительность 1500 л/мин. Трубы изготовлены из нержавеющей стали. В конструкции используются 4″ муфты Victaulic.  Благодаря резервированию критически важных компонентов доступность находится на уровне 99,9999 %.

Источник изображения: CoolIT Systems

Предусмотрена интегрированная система управления и мониторинга (Redfish, SNMP, TCP/IP, Modbus, BACnet и др.). Причём допускается групповое управление одновременно до 20 экземпляров CDU. Во время обслуживания возможен доступ с лицевой и тыльной сторон с поддержкой горячей замены насосов, фильтров и датчиков. Заявленная потребляемая мощность составляет 12,24 кВт при работе одного насоса (1500 л/мин). Во фронтальной части корпуса располагается информационный дисплей.

Блок CHx2000 уже доступен для заказа. CoolIT Systems предоставляет комплексную поддержку и услуги по проектированию, монтажу и обслуживанию в более чем 70 странах по всему миру.

Sitronics Group намерена принять участие в разработке и продвижении единых стандартов для рынка модульных ЦОД. Об этом в ходе конференции Data Fusion заявил директор профильного департамента компании Игорь Анисимов, призвав участников отрасли присоединиться к инициативе.

В России сектор ЦОД развивается и адаптируется к новым нагрузкам, в первую очередь к ИИ. При этом возрастает нагрузка на энергетическую инфраструктуру, что потенциально может спровоцировать дефицит. По словам Анисимова, участникам рынка следует заняться решением таких вопросов, как рост плотности энергопотребления, а также стандартизация строительства и эксплуатации дата-центров, ориентированных на ИИ-нагрузки. При этом необходимо сохранить рентабельность бизнеса с учётом технологических требований для развёртывания ЦОД. Модульные дата-центры позволяют заказчикам в сжатые сроки создавать платформы для ИИ, получив мощности в аренду или же масштабировав собственные посредством типовых модулей.

«Сегодня нет единого стандарта для центров обработки данных с ИИ-нагрузкой, который позволил бы снизить капитальные затраты за счёт уменьшения затрат на разработку уникальных решений для каждого ЦОД. Стандартизация позволит проработать совместимость инфраструктуры ЦОД с системами ИИ. Мы намерены активно участвовать в этом процессе, особенно в части разработки стандартов для модульных ЦОД, которые, на наш взгляд, обладают большим потенциалом для эффективного размещения систем искусственного интеллекта», — говорит Анисимов.

Источник изображения: Sitronics Group

По его словам, при развёртывании дата-центров для ИИ прежде всего требуется бесперебойное электроснабжение и эффективное охлаждение. Сама Sitronics Group ведёт разработки в соответствующих областях: в частности, компания занимается созданием системы фрикулинга с экономайзерами. Кроме того, при стандартизации ЦОД необходимо определить форм-фактор серверов (стандартный или OCP), оптимальную температуру теплоносителя на входе в стойку и на уровне процессора, изучить вопросы совмещения зон для стандартных и ИИ-вычислений в рамках одного объекта, рассчитать мощности инженерных систем и пр.

Совместный ЦОД-проект Stargate, реализуемый в США компанией OpenAI при участии SoftBank, Oracle, MGX и других партнёров, в ближайшие годы могут расширить. Предполагается организация площадок в Европе, сообщает The Financial Times. По информации издания, главным претендентом на строительство регионального объекта Stargate пока является Великобритания, но переговоры и обсуждения ещё находятся на самой ранней стадии.

В рамках Stargate планируется потратить только в ближайший год около $100 млрд, а в течение четырёх лет — порядка $500 млрд. Всю инфраструктуру пока планируется строить в Соединённых Штатах. Дальнейшее развитие запланировано только при условии, что OpenAI преуспеет в реализации Stargate в США. Лишь после этого компания и партнёры начнут уделять серьёзное внимание другим рынкам. По словам одного из источников, участвующих в совместных работах, в качестве кандидатов для развития Stargate также рассматриваются Германия и Франция.

Источник изображения: Mariia Shalabaieva/unsplash.com

На данный момент Великобритания считается в OpenAI самым перспективным кандидатом с учётом усилий местных властей по развитию ИИ и даже превращению в «ИИ-сверхдержаву» с помощью атомной энергетики. Франция также начала реализацию крупных ИИ-проектов в рамках более широкой инициативы по стимулированию инвестиций в экономику.

Издание не исключает, что «утечки» из OpenAI и прочих участников проекта могут использоваться для организации косвенного давления на европейские страны, побуждая те конкурировать друг с другом, предлагая налоговые льготы и упрощённые бюрократические процедуры. Ранее глава OpenAI Сэм Альтман (Sam Altman) заявил, что «хотел бы реализовать проект Stargate Europe» и сообщил, что уже провёл многообещающие беседы на континенте.

На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Работающий в Северной Европе колокейшн-провайдер atNorth объявил о партнёрстве с финским ретейлером Kesko Corporation. Компании намерены использовать тепло дата-центра FIN02 в Эспоо (Espoo) близ Хельсинки для отопления одного из магазинов Kesko, сообщает HPC Wire.

Это должно сократить выбросы Kesko уровней Scope 1 и Scope 2 на 50 %. Выделяемого тепла будет почти достаточно для полного теплоснабжения объекта — большая часть выбросов компании связана как раз с отоплением её зданий. Так что соглашение и повысит энергоэффективность atNorth, и сократит выбросы Kesko. В результате углеродный след уменьшится для обеих компаний, что будет способствовать развитию «экономики замкнутого цикла» в Финляндии.

Как утверждают в Kesko, одной из ключевых целей в рамках стратегии устойчивого развития компании является сокращение выбросов CO₂, связанных с отоплением объектов. Даже перевод одного магазина на централизованное теплоснабжение от ЦОД сократит выбросы на 0,9 %, что эквивалентно 200 т эквивалента CO₂ ежегодно. Экономия соответствует годовому потреблению около 120 отдельных домов, подключенных к местной сети центрального отопления.

Источник изображения: Pejman Nikram/unsplash.com

atNorth также заключила соглашение с коммунальной Caruna Espoo Oy о поставках 45 МВт энергии для FIN02. В atNorth подчёркивают, что сотрудничество позволит не только уменьшить углеродные выбросы самой компании, но и помочь в том же самом другим. А инвестиции в местные энергосети способствуют обеспечению доступности электроэнергии в долгосрочной перспективе и помогут местному обществу в целом.

atNorth активно инвестируют в Финляндию. Ранее компания приобрела два дата-центра у Advania: FIN01 и FIN03, которые «стратегически» расположены на территории городской агломерации Хельсинки. С тех пор компания занялась двумя дополнительными дата-центрами: FIN02 в Эспоо, который заработал в апреле, и «мега-объектом» FIN04 в Коуволе (Kouvola), который, как ожидается, заработает к концу 2025 года. Там тоже предусмотрена целевая утилизация тепла.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.

По данным Google, причиной недавнего шестичасового перебоя в работе одного из облачных регионов компании стали, как это ни иронично, источники бесперебойные питания — они не только не выполнили свою задачу, но и помешали наладить нормальную работу. В результате сбоя наблюдалась деградация более 20 сервисов Google Cloud или отсутствие доступа к ним в зоне us-east5-c, расположенной в Коламбусе (Columbus, Огайо). Инцидент произошёл 29 марта в США, сообщает The Register.

В докладе Google, посвящённом инциденту, говорится, что перебои с электричеством начались с отказом энергосети в соответствующей зоне. Обычно у гиперскейлеров всё предусмотрено на этот случай — сначала включаются источники бесперебойного питания (ИБП) для немедленного возобновления электроснабжения, затем запускаются дизельные генераторы.

Однако в данном случае ИБП пережили «критический отказ батарей» и попросту не заработали. Более того, похоже, именно из-за них энергия от генераторов тоже не смогла достичь оборудования, поскольку инженерам пришлось подключать последние в обход ИБП, так что на восстановление питания ушло почти два часа. Вскоре после этого большинство сервисов Google возобновило работу, но часть из них пришлось перезапускать вручную, что тоже отняло время.

Google выразила глубочайшие извинения и обязалась предотвращать повторение проблемы в будущем. Для этого компания пообещала:

• усовершенствовать восстановление кластеров после отключения питания, чтобы сервисы возвращались в строй быстрее;
• проверить системы переключения питания и исправить недочёты;
• разобраться с поставщиком ИБП, чтобы избежать проблем в будущем.

Обычно гиперскейлеры делают акцент на надёжности своих систем. В основном они действительно надёжны, но иногда что-то идёт не так. При этом перебои с электричеством — явление не уникальное, в том числе в США — крупный, но не столь продолжительный инцидент зарегистрировали тоже в марте. Более того, с аккумуляторами связаны и другие происшествия, менее безобидные. Они становятся причиной пожаров, как это, например, произошло в ЦОД Digital Realty в Сингапуре. Как отмечает Uptime Institute, именно проблемы с питанием чаще всего становятся причиной сбоев ЦОД, но избавиться от них не позволяет человеческий фактор.