Schneider Electric выступила с важным заявлением — оборудование для эффективной работы с ИИ-системами оказалось столь ресурсоёмким, что, возможно, операторам и строителям дата-центров придётся пересмотреть принципы создания и модернизации подобных объектов. Компания в своём исследовании даже отметила, что некоторые существующие ЦОД вряд ли подлежат модернизации в принципе.

Дело в том, что ИИ-системы обычно требуют сетевой инфраструктуры с низким временем задержки передачи данных в больших объёмах и «уплотнения» стоек, к чему инфраструктурные характеристики нынешних ЦОД просто не готовы. В условиях, когда один современный ускоритель может потреблять более 700 Вт, а серверные системы перешагнули за 10 кВт, мощностей современных ЦОД явно недостаточно, ведь для тренировки современных больших языковых моделей (LLM) за разумное время нужен не один-два ускорителя, а десятки или сотни стоек.

Фото: Anthony Indraus / Unsplash

В Schneider Electric заявляют, что большинство дата-центров имеет лимит в 10–20 кВт на стойку, а для работы с LLM крайне выгодно упаковать как можно больше оборудования в одну стойку, чтобы уменьшить задержки, избежать заторов в сети и вообще поменьше тратиться на интерконнект. Именно для этого NVIDIA, например, развивает NVLink. Хотя дешёвым такое решение вряд ли не назовёшь, по TCO оно действительно может оказаться выгоднее. Впрочем, с инференсом ситуация не столь печальна, поскольку ресурсов требуется гораздо меньше.

Источник: Schneider Electric

Так или иначе, встаёт вопрос о повышенном энергоснабжении стоек (более 20 кВт) и эффективном теплоотводе этой мощности. Проблемы разрешимы, но операторам придётся менять физическую инфраструктуру. Например, необходим переход с 120/208 В на 240/415 В, который позволит уменьшить число цепей. Впрочем, в самой Schneider Electric подчёркивают, что даже современные мощные PDU плохо подходят для таких нагрузок — их надо или ставить несколько на стойку, или вообще заказывать кастомные. Более того, придётся озаботиться защитой от появления дуговых разрядов.

Источник: Schneider Electric

Что касается охлаждения, то Schneider Electric поставила лимит в 20 кВт/стойку, выше которого избежать СЖО уже никак не удастся. Компания склоняется к системам прямого жидкостного охлаждения с водоблоками для горячих компонентов, а вот к погружным СЖО относится прохладно, особенно к двухфазным СЖО. Причина кроется в использование в них PFAS-химикатов, запрет которых возможен в Евросоюзе. В любом случае рекомендуется внимательно отнестись к выбору СЖО из-за фактического отсутствия единых стандартов.

Источник: Schneider Electric

Если особенности строений всё-таки допускают модернизацию (а это далеко не всегда так), рекомендуется использование более широких стоек высотой от 48U (не забыв про высоту проёмов и ворот) с глубиной монтажа оборудования не менее 40″, способных выдерживать статическую нагрузку не менее 1,8 т. Наконец, Schneider Electric советует использовать широкий ассортимент специализированного ПО для управления инфраструктурой ЦОД, электроснабжением и прочими аспектами работы — такое ПО способно выявить возможные проблемы до того, как они окажут критическое влияние на критические для бизнеса рабочие процессы.

Занимающаяся атомными проектами Kärnfull Next объявила о намерении создать на восточном побережье Швеции кампус с малыми модульными реакторами (SMR) для питания ЦОД. Как сообщает DataCenter Dynamics, уже выбрано место для строительства кампуса. Речь идёт о площадке компании Studsvik в Нючёпинге (Nyköping).

Ожидается, что эксплуатация нового оборудования Kärnfull Next начнётся в 2030 году. Как заявляют в компании, Studsvik является идеальным партнёром для проекта, поскольку существующая площадка хорошо оборудована для нового шведского атомного проекта. В Kärnfull Next подчёркивают, что один из первых в Европе парков малых реакторов не только обеспечит рабочие места, но и позволит сотрудничать с другими высокотехнологичными отраслями.

Источник изображения: Kärnfull Next

Пока не объявлялось, с какими типами ЦОД намерена сотрудничать Kärnfull. Ожидается, что строительство подобного парка позволит снизить цену и решить проблему доставки энергии, характерную для крупных АЭС. Более того, разработчики SMR вроде британской Rolls-Royce и американской Nuscale уверены, что атомная энергетика должна стать неотъемлемой частью любого плана по декарбонизации каждой индустрии.

Малые модульные реакторы (SMR) обеспечивают относительно небольшую мощность (до 300 МВт), при этом возможно серийное производство из стандартизированных компонентов заводского производства — ожидается, что это ускорит внедрения подобных малых АЭС в сравнении с полномасштабными станциями, строящимися по индивидуальным проектам.

Источник изображения: Kärnfull Next

В мае Kärnfull Next начала исследовать целесообразность использования площадки Studsvik, изучение возможности коммерческого производства электроэнергии здесь должно закончиться в декабре текущего года, уже подписан меморандум о взаимопонимании с потенциальным партнёром.

Пока Kärnfull всё ещё рассматривает вопросы финансирования, получения разрешений и возможность продажи соглашений о покупке энергии (PPA) — часто их приобретают потребители энергии вроде тех же ЦОД, желающие создать себе имидж «зелёных» компаний. Сообщается, что некоторые решения будут приняты компанией уже к концу 2024 года.

Аналогичные планы, конечно, формируются и в других регионах мира. Например, американская Green Energy Partners готовится построить многочисленные SMR на площадке в Вирджинии — проект хотят реализовать поблизости от уже действующей крупной АЭС.

В Кении начато строительство необычного для Африки дата-центра Ecocloud Data Centre в бизнес-парке KenGen Green Energy Park. По данным DataCenter Dynamics, питание 70-МВт ЦОД будет осуществляться исключительно за счёт геотермальной энергии.

Речь идёт о совместном проекте местной энергоснабжающей компании KenGen, организацией Konza Technopolis Development Authority (KoTDA) и местных инвесторов. По данным KenGen, речь идёт о первом проекте такого рода в Африке, а новый ЦОД станет первым резидентом KenGen Green Energy Park, размещённом на геотермальном поле, что позволит запитать дешёвой энергией ($0,07/кВт·ч) и дата-центр, и другие предприятия.

Местное правительство чрезвычайно заинтересовано в реализации новой инициативы. Уже заявлено о необходимости отказа от мощностей, увеличивающих углеродный след, и ведётся работа над поправками в законы о климате. В правительстве приветствуют строительство в стране большего количества «зелёных» ЦОД.

Источник изображения: KenGen/Twitter.com

В последнее время на рынке ЦОД Кении наблюдается высокая активность. Так, компания IXAfrica вслед за первым кампусом ЦОД готовится к строительству второго, а японская IIJ объявила об изучении возможности создания здесь же модульного контейнерного ЦОД. В конце 2022 года появилась информация о том, что Huawei намерена возглавить цифровую 5G-трансформацию на континенте, в том числе в Кении, опережая обладателей капиталов и технологий из США и Европы.

Власти Южной Кореи планируют построить на территории страны кампус, вмещающий более 20 ЦОД общей ёмкостью 1 ГВт. По данным DataCenter Dynamics, строительство будет вестись в три этапа до 2037 года. Общие инвестиции в проект могут составить около $7,5 млрд.

Информацию о проекте обнародовал отдел Министерства торговли, промышленности и энергетики Южной Кореи, курирующий новые отрасли промышленности и распределённую энергетику. По данным чиновников, масштабный кампус в провинции Южная Чолла будет вмещать до 25 ЦОД мощностью 40 МВт каждый. В министерстве заявили, что провинцию сочли наилучшей для реализации подобного проекта с использованием в перспективе 100 % возобновляемой энергии — здесь её довольно много и пока имеются свободные мощности.

Фото: Martin Bennie / Unsplash

К 2027 году построят пять корпусов и 300-МВт подстанцию для них, ещё пять и вторую подстанцию — к 2032 году, а последние восемь ЦОД должны быть готовы к 2037 году. Меморандум о взаимопонимании министерство подписало с местными властями, Korea Electric Power Corporation, Jeonnam Development Corporation, а также семью инвестиционными компаниями, включая Samsung C&T, LG CNS, NH Investment & Securities, Bosung Industry, TGK Co. Ltd., Korea DRD и Deus Systems.

По данным представителей правительства, власти не поскупятся на политическую, энергетическую и административную поддержку нового проекта, соответствующего требованиям Международной программы по распространению возобновляемой энергии (RE100). По имеющимся данным, к концу предыдущего года совокупная мощность солнечных электростанций в Южной Корее достигла 20,9 ГВт, из которых 8,8 ГВт (более 40 %) — в провинции Южная Чолла.

Petronas Digital, цифровая структура малайзийской энергетической компании Petronas, по сообщению издания Datacenter Dynamics, подписала соглашение с Microsoft о создании НРС-платформы для решения сложных и ресурсоёмких задач, связанных с ИИ.

Petronas намерена использовать НРС-инфраструктуру для запуска ИИ-алгоритмов и приложений машинного обучения с целью разработки новых технологий декарбонизации. Кроме того, платформа поможет выработать более эффективные методы использования энергии.

Microsoft реализует проект в сотрудничестве с Cegal — облачным провайдером, работающим в сфере энергетики и безопасности. Отмечается, что Petronas уже сотрудничает с обеими названными компаниями: они предоставляют энергетическому гиганту облачные услуги, сервисы автоматизации и пр.

Источник изображения: Microsoft

Планируется, что создаваемая для Petronas платформа HPC также будет доступна для использования другими компаниями энергетического сектора Малайзии, включая производственных подрядчиков. Об объёме инвестиций в проект стороны умалчивают.

«HPC-возможности и средства ИИ помогут дополнительно оптимизировать наши энергетические услуги и будут способствовать внедрению инноваций в энергетическом секторе», — отметил вице-президент Petronas по технологиям и коммерциализации Аадрин Азли (Aadrin Azly).

Корпорация Microsoft, по сообщениям ресурсов Datacenter Dynamics и Motley Fool, создаёт специализированный инструментарий, который позволит автоматически планировать выполнение рабочих нагрузок в ЦОД в зависимости от их срочности и воздействия на окружающую среду.

Идея заключается в том, чтобы выполнять определённые задачи в определённое время, что позволит минимизировать выбросы вредных газов в атмосферу. Например, те ресурсоёмкие задачи, выполнение которых не является срочным, могут быть отложены до момента, когда станет доступно необходимое количество энергии из возобновляемых источников.

Источник изображения: Microsoft

Microsoft патентует систему управления поведением оборудованием, «ориентированную на устойчивое развитие». Данный комплекс учитывает состояние энергосистемы в целом, а также другие факторы. На начальном этапе собирается информация о текущей нагрузке на сеть, о погодных условиях и температурах и т.д. После этого специальные алгоритмы делают прогноз использования ресурсов и распределяют выполнение задач так, чтобы они оказало «сравнительно меньшее воздействие на окружающую среду».

По заявлениям Microsoft, подобный подход позволит снизить нагрузку на энергосеть в часы-пик, а также увеличить срок службы оборудования. Кроме того, станет возможным более эффективное использование «зелёной» энергии. В частности, Microsoft может использовать систему для приостановки и возобновления некоторых операций в ЦОД для балансировки энергопотребления.

Нужно отметить, что Google ещё два года назад начала динамически и прозрачно для конечных потребителей перемещать нагрузки между различными дата-центрами, опираясь на уровень доступности для них «зелёной» энергии. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных. Для этого Google составляет прогнозы доступности энергии на день вперёд.

Поскольку термоядерный синтез стал одной из самых популярных технологических тем, соответствующим проектам выделяется немало ресурсов. Как сообщает The Register, Министерство энергетики Соединённых Штатов (DoE) намерено вложить более $100 млн в суперкомпьютерные проекты, которые призваны ускорить развитие термоядерной энергетики.

Всего будет потрачено $112 млн на 12 проектов. Программа Scientific Discovery through Advanced Computing (SciDAC) объединила уже существующие проекты Fusion Energy Sciences (FES) и Advanced Scientific Computing Research (ASCR). Такая комбинация, возможно, позволит осуществить новый прорыв в сфере «чистой» энергетики, задействовав ресурсы суперкомпьютеров, в том числе систем экзафлопсного класса.

В декабре 2022 года DoE уже выделило $33 млн исследователям, желающим применить машинное обучение и ИИ для анализа экспериментов с термоядерным синтезом. Основной акцент в этом случае делался на развитии пилотных технологий синтеза с помощью вычислительных систем. Средства были выделены после успехов Ливерморской национальной лаборатории (LLNL), которой удалось запустить реакцию термоядерного синтеза с положительным КПД (правда, без учёта затрат на питание лазеров для старта реакции).

Источник изображения: ChadoNihi/unsplash.com

С помощью суперкомпьютеров в рамках новой программы SciDAC предполагается моделирование изменения состояний плазмы в экстремальных условиях, изучение турбулентности в реакторах, использование ИИ для прогнозирования и устранения проблем потери энергии, моделирование стеллараторов и разработка пилотных термоядерных электростанций в целом.

Комиссия по коммунальным службам штата Мэриленд заблокировала использование дизель-генераторов для резервного питания дата-центров компанией Aligned. Как сообщает DataCenter Dynamics, штат предложил щедрые налоговые льготы для того, чтобы переманить операторов ЦОД, стремящихся обосноваться в «долине дата-центров» в соседней Вирджинии.

Первой компанией, выразившей готовность приобрести место в новом 2-ГВт кампусе Quantum Loophole, стала Aligned. При этом она подала заявку на установку 168 резервных дизельных генераторов мощностью 3 МВт каждый. Хотя заявка противоречит местным законам о защите окружающей среды, представители властей штата предложили сделать исключение для компании из соображений «общественного удобства и необходимости». Впрочем, комиссия не сочли подобные доводы убедительными — использование дизель-генераторов в 2023 году посчитали неприемлемым и посоветовали компании предложить вариант получше.

В самой Aligned рассчитывали получить исключения для каждого генератора по отдельности, но представители регулятора уверены, что фактически речь идёт об использовании одной 504-МВт дизельной электростанции, поскольку в случае чрезвычайной ситуации всё равно придётся включать все резервные генераторы одновременно. При этом в коммиссии задались вопросом, почему в Техасе Aligned несколько лет назад сумела установить альтернативную систему резервного питания, похваставшись тем, что она обеспечивает всего ⅒ от выброса традиционных генераторов, а в Мэриленде — не может.

Источник изображения: Aligned

Многие компании уже используют альтернативные решения, например, на водородном топливе, которые уже протестировала Microsoft. Впрочем, в Ирландии копрпорации разрешили построить полноценную ТЭС на природном газе. В Aligned утверждают, что для столь масштабного проекта такие системы не подходят, поскольку топливные ячейки или газовые турбины не могут заработать так же быстро, как дизельные генераторы — на то, чтобы переключиться с питания от ИБП на генератор, обычно имеется меньше минуты.

Дизельные источники электропитания в штате должны получать сертификат CPCN, который легко дают владельцами небольших индивидуальных генераторов. Aligned рассчитывала на исключение, но в комиссии предписали последовательно пройти весь процесс сертификации для каждого из 168 генераторов. Формально отказа властей нет, но одна только подача заявки стоит $10 тыс., а на её рассмотрение уходит 9–12 месяцев без гарантии одобрения. Как заявил один из членов комиссии, в новой реальности уже нельзя просто прийти за разрешением на использование 504-МВт генератора и тут же получить одобрение.

Компания Princeton Digital Group (PDG) последовательно расширяет снабжение своих ЦОД энергией из экобезопасных возобновляемых источников. Как сообщает DataCenter Dynamics, на этот раз она намерена использовать для 30-МВт дата-центра в индонезийском Сибитунге электричество, вырабатываемое за счёт переработки биотоплива энергоблоками PT Cikarang Listrindo Tbk (CL). Новый «зелёный» источник покроет 20 % потребностей дата-центра в энергии. Правда, есть несколько нюансов.

Дело в том, что электростанция CL имеет два блока мощностью 140 МВт, которые работают преимущественно на угле и лишь частично получение энергии происходит за счёт переработки биомассы. Более того, сразу три электростанции CL передают энергию на единую распределительную платформу, которая питает несколько индустриальных площадок, так что отделить «зелёное» электричество от «грязного» затруднительно. Для CL это первый ЦОД, с которым сотрудничает компания.

Источник изображения: Afif Ramdhasuma/unsplash.com

По словам PDG Indonesia, новое сотрудничество служит общим национальным целям декарбонизации Индонезии. PDG намерена и далее развивать экобезопасную инфраструктуру в стране. Ранее компания уже заключила несколько соглашений о поставке «зелёной» энергии для своих ЦОД, в том числе получаемой из геотермальных источников Индонезии. Речь шла о покупке у государственной PLN сертификатов возобновляемой энергии (REC).

Швейцарская Energy Vault (EV) сообщила об окончании строительства в китайской провинции Цзянсу гравитационного аккумулятора, который поможет накапливать энергию от ветряных электростанций. По данным DataCenter Dynamics, система, которая способна хранить до 100 МВт·ч и отдавать до 25 МВт электроэнергии, будет ведена в эксплуатацию уже в 2023 году. На очереди ещё одна система, которая будет задействована для питания ЦОД.

В компании утверждают, что речь идёт о первом в мире коммерческом гравитационном энергохранилище, принцип работы которого схож с довольно распространёнными гидроаккумулирующими электростанциями, которые тоже работают за счёт гравитации. Решение Energy Vault работает с использованием 24-тонных бетонных блоков — благодаря их подъёму накапливается кинетическая энергия, а спуску — высвобождается, что особенно удобно для солнечных и ветряных электростанций.

Источник изображения: Energy Vault

Скептики неоднократно выражали сомнения относительно практичности и экологичности таких аккумуляторов, поскольку энергии запасают они немного, а при производстве бетона и стали высок уровень выбросов. Впрочем, в самой Energy Vault заявляют, что многие из проблем компании удалось решить. Например, вместо бетона используется материал на основе переработанного пепла и других отходов.

Загрузка блоков (запасание энергии) у подобных гравитационных аккумуляторов может продолжаться от 2 до 12 часов и более в зависимости от задач и источников. Вводимая в эксплуатацию система в провинции Цзянсу недалеко от Шанхая будет работать в течение 4 часов. По имеющимся данным, система способна вернуть порядка 75–80 % накапливаемой энергии.

Монтировать конструкцию начали ещё в марте 2022 года совместно с Atlas Renewable и China Tianying (CNTY) и теперь, согласно официальным данным, она достигла «первой фазы ввода в эксплуатацию». В планах компании — строительство гравитационных аккумуляторах во всех регионах мира. В частности, уже идёт речь об аккумуляторе ёмкостью 100 МВт·ч в китайской провинции Хэбэй, который будет использован для питания местных ЦОД.