AWS объявила о запуске одного из крупнейших в мире ИИ-кластеров Project Rainier. Фактически амбициозный проект представляет собой распределённый между несколькими ЦОД ИИ-суперкомпьютер — это важная веха в стремлении AWS к развитию ИИ-инфраструктуры, сообщает пресс-служба Amazon. Платформа создавалась под нужды Anthropic, которая буквально на днях подписала многомиллиардный контракт на использование Google TPU.

В рамках Project Rainier компания AWS сотрудничала со стартапом Anthropic. В проекте задействовано около 500 тыс. чипов Trainium2, а вычислительная мощность в пять раз выше той, что Anthropic использовала для обучения предыдущих ИИ-моделей. Project Rainier применяется Anthropic для создания и внедрения моделей семейства Claude. К концу 2025 года предполагается использование более миллиона чипов Trainium2 для обучения и инференса.

В рамках Project Rainier в AWS уже создали инфраструктуру на основе Tranium2, на 70 % превосходящую любую другую вычислительную ИИ-платформу в истории AWS. Проект охватывает несколько дата-центров в США и не имеет аналогов среди инициатив AWS. Он задуман как гигантский кластер EC2 UltraCluster из серверов Trainium2 UltraServer. UltraServer объединяет четыре физических сервера, каждый из которых имеет 16 чипов Trainium2. Они взаимодействуют через фирменный интерконнект NeuronLink, обеспечивающий быстрые соединения внутри системы, что значительно ускоряет вычисления на всех 64 чипах. Десятки тысяч UltraServer объединяются в UltraCluster посредством фабрики EFA.

Эксплуатация такого ЦОД требует повышенной надёжности. В отличие от большинства облачных провайдеров, AWS создаёт собственное оборудование и может контролировать каждый компонент, от чипов до систем охлаждения и архитектуру дата-центров в целом. Управляющие ЦОД команды уделяют повышенное внимание энергоэффективности, от компоновки стоек до распределения энергии и выбора методов охлаждения. Кроме того, в 2023 году вся энергия, потребляемая Amazon, полностью компенсировалась электричеством из возобновляемых источников. В Amazon утверждают, что в последние пять лет компания является крупнейшим покупателем возобновляемой энергии и стремится к достижению нулевых выбросов к 2040 году.

Источник изображения: AWS

Миллиарды долларов инвестируются в ядерную энергетику и АКБ, а также крупные проекты в области возобновляемой энергетики для ЦОД. В 2024 году компания объявила о внедрении новых компонентов для ЦОД, сочетающих технологии электропитания, охлаждения и аппаратного обеспечения, причём не только для строящихся, но и уже для имеющихся объектов. Новые компоненты, предположительно, позволят снизить энергопотребление некоторых компонентов до -46 % и сократить углеродный след используемого бетона на 35 %.

Источник изображения: AWS

Для новых объектов, строящихся в рамках Project Rainier и за его пределами, предусмотрено использование целого ряда новых технологий для повышения энергоэффективности и экоустойчивости. Некоторые технологии связаны с рациональным использованием водных ресурсов. AWS проектирует объекты так, чтобы использовать минимум воды, или вовсе не использовать её. Один из способов — отказ от её применения в системах охлаждения на многих объектах большую часть года, с переходом на охлаждение наружным воздухом.

Источник изображения: AWS

Так, один из объектов Project Rainier в Индиане будет максимально использовать именно уличный воздух, а с октября по март дата-центры вовсе не станут использовать воду для охлаждения, с апреля по сентябрь в среднем вода будет применяться по несколько часов в день.

Amazon намерена увеличить количество ЦОД, использующих для охлаждения очищенные сточные воды, с 20 до 120. Реализация новой инициативы будет проводиться до 2030 года, сообщает Datacenter Dynamics. Как заявляют в компании, только в США ежегодно можно будет экономить около 2 млн м3 питьевой воды.

Поскольку отработанная вода постепенно накапливает бактерии и накипь, её обрабатывают с помощью химикатов, что обычно делает её непригодной для употребления людьми после отвода с территории дата-центров. Сколько именно индустрии ЦОД требуется чистой воды, доподлинно никто не знает, но, по некоторым оценкам, речь идёт о многих миллионах кубических метров ежегодно.

Сейчас AWS использует в ЦОД оборотную воду вместо питьевой на 20 объектах, 16 из которых находятся в Вирджинии (США), а ещё четыре — в Санта-Кларе (Santa Clara) в Калифорнии. Полученный опыт распространят на другие кампусы в Вирджинии, Джорджии и Миссисипи. Всего у Amazon есть более 100 активных ЦОД по всему миру, ещё десятки строятся. Компания управляет более чем 37 облачными регионами и 117 зонами доступности. Как минимум четыре новых региона и дюжина зон доступности готовится к вводу в эксплуатацию.

Источник изображения: Ivy.D Design/unspalsh.com

В 2020 году Amazon заявила, что стала первым оператором ЦОД, получившим «добро» на использование очищенной воды в системе прямого испарительного охлаждения в совместном проекте с Loudoun Water. Сточные воды ЦОД проходят трёхступенчатую очистку, устраняющую 99 % загрязнений. После того, как восстановленная вода проходит через систему охлаждения, она снова очищается и используется. Процесс повторяется до тех пор, пока очистка становится невозможной.

Компания заявляет, что испарительные системы могут использовать в некоторых случаях на 85 % меньше воды, чем традиционные. В некоторых локациях вроде Швеции и Ирландии AWS использует фрикулинг — благодаря холодному воздуху снаружи можно применять очень мало воды или не использовать её вовсе. AWS обещала стать «водно-положительной» (т.е. потреблять меньше чистой воды, чем возвращать в окружающую среду) к 2030 году. К 2023 году компания выполнила план на 41 % плана, а в 2024 году — уже на 53 %.

Предполагается, что новая инициатива компании снизит давление на локальные водоносные системы, но не в ущерб активно развивающимся ИИ ЦОД. Amazon утверждает, что её объекты в среднем тратят 0,15 л на кВт∙ч (для сравнения: европейские ЦОД было предложено ограничить показателем 0,4 л/кВт∙ч). Планы AWS вполне объяснимы. Совсем недавно появилась информация, что компания намерена продолжить активное расширение инфраструктуры ИИ ЦОД, поэтому возобновляемые ресурсы, вероятно, будут иметь для неё большое значение. В апреле сообщалось, что доступ к чистой воде становится одной из главных забот для операторов ИИ ЦОД.

Источник изображения: Paolo Nicolello/unspalsh.com

По данным Google, 22 % всей воды, используемой в её ЦОД (за исключением морской), приходится на очищенные сточные воды и другие непригодные для питья источники, а около трети кампусов применяют фрикулинг или другие непитьевые ресурсы. Google признаёт, что её дата-центры в среднем потребляют более 1700 м³/день, но к 2030 году компания планирует отдавать на 20 % больше чистой воды, чем использует.

К 2030 году водно-положительной намерена стать и Microsoft. Компания уже несколько использует очищенные сточные воды в своих ЦОД в Сан-Хосе (Калифорния), Куинси (Вашингтон), в Техасе и Сингапуре. Apple очищает сточные воды для своего дата-центра в Орегоне. Компания намерена восполнять 100 % воды, используемой в её работе в местах с неблагоприятными природными условиями к 2030 году. Кроме того, Apple внедрила методы очистки воды с применением растительности, что снижает использование химикатов. Стать водно-положительной к 2030 году намерена и Meta✴.

Европейский союз обнародовал планы по повышению устойчивости всего блока к засухам и улучшения качества воды. В Еврокомиссии подчёркивают, что около трети земель Европы ежегодно сталкиваются с нехваткой воды, поэтому новая стратегия появилась вполне своевременно. В числе прочего предусмотрено развитие контроля за использованием водных ресурсов IT-сектором, сообщает Bloomberg.

Работать над учреждением стандартов производительности для ограничения использования водных ресурсов в дата-центрах будет Еврокомиссия — как свидетельствуют материалы стратегии водной экоустойчивости, представленной в прошлую среду, регион столкнётся с вероятным дефицитом воды в ближайшие десятилетия. Общая цель ЕС — повысить эффективность использования воды минимум на 10 % к 2030 году. В последние годы нехватка воды ударила по Евросоюзу, поскольку повышение летних температур не могло не отразиться на качестве поставок этого важнейшего ресурса.

Источник изображения: Microsoft

Засухи нанесли серьёзный ущерб атомной энергетике Франции и усложнили доставку товаров по обмелевшей реке Рейн — одному из ключевых торговых путей Европы. При этом управление водными ресурсами в Евросоюзе фрагментировано, в числе прочего ему мешают запутанные системы водоснабжения и стареющие резервуары/водохранилища.

В апреле уже сообщалось, что доступ к чистой воде становится одной из главных забот для операторов ИИ ЦОД всего мира. В мае было анонсировано, что в рамках стратегии ЕС по водной экоустойчивости Water Resilience Strategy Евросоюз разработает новые лимиты потребления воды дата-центрами. По-видимому, они буду жёстче обозначенных ранее.

В Евросоюзе намерены установить новые стандарты потребления воды дата-центрами. Власти опасаются, что регион столкнётся с дефицитом воды в ближайшие десятилетия, сообщает Bloomberg. Новые стандарты в рамках программы повышения экоустойчивости дата-центров будут представлены к концу 2026 года, поскольку спрос ЦОД на воду и энергию резко возрастёт в самом ближайшем будущем.

В проекте стратегии ЕС по водной экоустойчивости Water Resilience Strategy подчёркивается, что ключевые отрасли для стратегической автономии Евросоюза — выпуск аккумуляторов, водорода, микрочипов и полупроводников вообще, а также дата-центры — требуют огромных объёмов воды, часто повышенной очистки. В связи с этим ЕС планирует оценить текущее и будущее водопотребление этих секторов, чтобы заранее предотвратить возможные негативные последствия для водных ресурсов.

Влияние ЦОД на климатические изменения в последнее время находится под пристальным вниманием, особенно с учётом развития ресурсоёмкого ИИ, потребляющего гораздо больше энергии, чем традиционные вычислительные системы. Также ИИ ЦОД потребляют очень много воды для охлаждения оборудования.

Источник изображения: Henry Lim/unsplash.com

Согласно анализу группы американских учёных, ЦОД требуется около 0,5 л для одной непродолжительной сессии с GPT-3. Для генерации изображений и видео используется гораздо больше ресурсов. По некоторым данным, в 2030 году спрос на чистую воду для таких объектов превысит её доступность на 40 %.

Хотя Европа обладает большими ресурсами, чем многие регионы, нагревается она тоже быстрее. В последние годы от засухи пострадала Франция, а также нарушилась торговля по реке Рейн — одной из ключевых торговых артерий Евросоюза. В проекте новой стратегии также изложат ряд других мер, которые нужно будет принять в ближайшие годы, в т.ч. для того, чтобы стимулировать фермеров использовать меньше воды. На сельское хозяйство в Европе сегодня приходится порядка ⅔ потребления воды в регионе.

Впрочем, проблемы с водой наметились не только в Европе. Ещё в 2024 году прогнозировалось, что потребление воды китайскими ЦОД удвоится к 2030 году, дойдя до более чем 3 млрд м³/год, а в конце апреля 2025 года агентство Moody сообщило, что доступ к чистой воде становится одной из главных забот для операторов ИИ ЦОД во всём мире.

Стремительное развитие мировой инфраструктуры ЦОД на фоне повсеместного внедрения ИИ ведёт к огромным затратам питьевой воды на охлаждение оборудования. В результате возникают финансовые, операционные и репутационные риски, сообщает Datacenter Knowledge. По данным доклада агентства Moody, нехватка воды нарастает на ключевых рынках ЦОД.

Консалтинговая компания сообщает о растущих рисках для операторов ИИ ЦОД, особенно гиперскейлеров. В докладе подчёркивается, что желание облачных гигантов в целом арендовать новые дата-центры может привести к ограничению доступности ресурсов на некоторых рынках. Большинство новых крупных ЦОД используют водные системы охлаждения, более подходящие для больших нагрузок, но требующие больше воды. ЦОД, которые не смогут установить системы охлаждения с эффективным расходом воды, могут столкнуться с повышенным вниманием со стороны регуляторов и инвесторов.

Как сообщили в Moody, дефицит грунтовых вод представляет серьёзный риск для быстрорастущих регионов размещения ЦОД гиперскейлеров — юго-востока США, Чили и Индии. Местные законы, инфраструктурные ограничения и общественное недовольство могут привести к тому, что гиперскейлеры могут отложить реализацию проектов или перенести их в другие, более благоприятные для бизнеса локации, особенно если препятствия приведут к увеличению цены в прежних местах.

Источник изображения: Claudio Biesele/unsplash.com

В зависимости от климата и типа инфраструктуры один объект гиперскейл-уровня может потреблять миллионы литров воды в день, наравне с небольшими городами. Хотя компании успешно повысили эффективность использования воды (WUE) до 0,2–0,5 л/кВт∙ч, общий спрос на чистую воду со стороны индустрии ЦОД продолжает расти в связи с быстрым ростом гиперскейлеров и ИИ-инфраструктуры. IT-гиганты могут отложить попытки стать водно-положительными.

По информации аналитиков JLL, наиболее известные игроки рынка ЦОД заблаговременно принимают меры, связанные с возможной будущей нехваткой воды и электричества, выбирая подходящие места для строительства и используя поэтапный подход в реализации проектов. Основной вызов — в сохранении баланса между заявляемыми целями и требованиями к безотказной работе и рентабельности.

СЖО и адиабатические системы охлаждения могут обеспечить низкий расход воды, но несут собственные риски и сложности — нельзя жертвовать надёжностью ради экоустойчивости. Опытные операторы ищут компромисс, например, используя гибридные подходы к охлаждению. Другие изучают возможность применения очищенных сточных вод, модульного охлаждения или замкнутых систем, но такие варианты часто дороги, особенно при оснащении новыми решениями существующих объектов. Правда, современные «безводные» технологии достаточно рискованны, т.к. отсутствует статистика их применения.

Источник изображения: Olga Angelucci/unsplash.com

Более того, в засушливых регионах ЦОД всё чаще конкурируют за ресурсы с местными жителями и сельскохозяйственным бизнесом. Такая конкуренция может привести к ужесточению законов, общественным протестам и задержкам в реализации проектов. По мере того, как нагрузка на окружающую среду будет расти, ужесточатся проверки регуляторов и вырастут репутационные риски, что скажется и на ценах.

Инвесторы всё чаще обращают внимание на подобные вопросы, и компании вынуждены, например, покупать «зелёные облигации». А муниципалитеты теперь требуют оценки воздействия на водные ресурсы до того, как выдадут разрешения на строительство. Подобные меры могут стать более распространёнными по мере того, как будут ужесточаться критерии экоустойчивости и отчётности.

С точки зрения кредитных рисков заблаговременная модернизация инфраструктуры дата-центров оценивается позитивно и соответствует растущему спросу арендаторов на экоустойчивые решения. Напротив, задержки в обновлении могут сигнализировать о недостатке инвестиций в адаптацию к экологическим требованиям, что в перспективе способно снизить конкурентоспособность оператора.

Microsoft анонсировала новую архитектуру охлаждения своих ЦОД, где вода циркулирует в замкнутом контуре, а испарения вообще нет. Все дата-центры Microsoft, разрабатываемые с августа 2024 года, получат новые системы охлаждения. Они, как ожидается, заработают к концу 2027 года. А впервые новые подходы будут опробованы в строящихся ЦОД в Финиксе (Аризона) и Маунт-Плезанте (Висконсин) в 2026 году, сообщает пресс-служба компании. Впрочем, существующие объекты по-прежнему будут использовать различные комбинации систем охлаждения.

По словам Microsoft, новая архитектура снизит потребление питьевой воды каждым дата-центром компании более чем на 125 млн л/год. Эта цифра рассчитана с учётом среднего показателя эффективности использования воды (WUE) на уровне 0,30 л/кВт∙ч, который за последние три года улучшился на 39 %. А с начала 2000-х, когда компания стала сама строить ЦОД, WUE снизился на 80 %. Это результат усилий по уменьшению объёма сточных вод, повышению температур в ЦОД и усилению контроля за работой оборудования. Кроме того, в Техасе, Вашингтоне, Калифорнии и Сингапуре компания использует очищенные сточные и оборотные воды.

Источник изображения: Microsoft

В компании заявляют, что новые технологии используют замкнутые контуры жидкостного охлаждения — как только система заполнена водой во время монтажа, вода будет циркулировать между серверами и охладителями без необходимости постоянной «дозаправки». Этот подход сочетается с прямым жидкостным охлаждением, что позволяет использовать в контурах более тёплую воду, улучшая не только WUE, но PUE.

Источник изображения: Microsoft

Правда, параллельно ожидается «номинальное увеличение» расхода электроэнергии каждым новым дата-центром на основе соответствующих технологий. Впрочем, в компании заявляют, что работают над другими инновациями для обеспечения «более целевого охлаждения» и снижения энергозатрат. Новая архитектура в некоторых случаях позволит избежать ситуаций, когда компания вынужденно использует воздушное охлаждение или строит системы очистки сточных вод своих дата-центров.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Источник изображения: Christian Lue/unsplash.com

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.