Потребность ИИ ЦОД в США в энергии к 2035 году может вырасти в 30 раз — до 123 ГВт с 4 ГВт в 2024 году. При этом работающие с ИИ-оборудованием дата-центры требуют гораздо больше энергии на единицу площади, чем классические, что может вызвать серьёзные проблемы в энергосетях уже в обозримом будущем, сообщает The Register со ссылкой на отчёт Deloitte Insights «Сможет ли инфраструктура США успеть за экономикой ИИ?» (Can US infrastructure keep up with the AI economy?)

В исследование подчёркивается, что крупные ЦОД потребляют всё больше энергии, в то время модернизация энергосетевой инфраструктуры и ввод новых источников энергии сталкиваются с рядом препятствий из-за бюрократии и сбоев в цепочках поставок. Потенциальным решением могут стать технологические инновации, которые сделают инфраструктуру ЦОД более энергоэффективной. Кроме того, успех зависит от упрощения регулирования и масштабов финансовых вливаний в отрасль.

Оценки Deloitte свидетельствуют, что в прошлом году американские дата-центры потребовали около 33 ГВт, но из них лишь 4 ГВт ушло на ИИ-проекты. Компания прогнозирует, что к 2035 году мощность ЦОД в целом вырастет впятеро, а вот ИИ ЦОД — более чем в 30 раз. На них придётся до 70 % от общего объёма в 176 ГВт.

Источник изображения: Deloitte

Дата-центров станет больше, и они будут крупнее. В Deloitte подчёркивают, что сейчас крупнейшие американские ЦОД «большой тройки» гиперскейлеров потребляют менее 500 МВт каждый, но сейчас строятся объекты с мощностью более 2 ГВт. На ранних стадиях планирования находятся дата-центры, потребляющие уже до 5 ГВт.

Другими словами, спрос на электричество продолжит расти. За последний год рост спроса в основном компенсировался увеличением генерации энергии газовыми электростанциями, несмотря на то что гиперскейлеры неоднократно декларировали приверженность «зелёной» повестке и обещали добиться нулевых выбросов.

Компания предупреждает, что некоторые запросы на присоединение смогут быть удовлетворены лишь через семь лет, причём на строительство ЦОД обычно уходит меньше времени, чем на создание генерирующих мощностей. Если дата-центр можно построить за несколько лет, то новые газовые электростанции, свободные от контрактов на поставку энергии, вероятно, появятся не раньше следующего десятилетия.

Источник изображения: Deloitte

Проблемы с цепочками поставок мешают как энергокомпаниям, так и гиперскейлерам, поскольку импорт в США многих критически важных компонентов с недавних пор подпадает под действие заградительных тарифов. Кроме того, потенциально будут расти цены на сталь, алюминий, медь и цемент, что только усугубит ситуацию в энергетике.

Исследователи Deloitte опросили операторов ЦОД и энергетические компании, чтобы выяснить, какие стратегии помогут справиться с потенциальной нехваткой энергии, вызванной бумом строительства ЦОД. Ключевыми инструментами названы технологические инновации, изменения в регулировании и рост финансирования. Инновации, как ожидается, позволят создать более энергоэффективную инфраструктуру — например, можно будет перейти на оптическую передачу данных и современные твердотельные трансформаторы.

Реформа нормативно-правовой базы регуляторами может включать переход от поддержки «спекулятивных» проектов на более реалистичные, с переходом на принцип «первым готов — первым обслужен». С похожими проблемами уже столкнулась Великобритания, в связи с чем регулятор Ofgem пересмотрел систему очередями на подключение, призванную исключить т. н. «зомби-проекты», и ускорить процесс введения в эксплуатацию более жизнеспособных.

Источник изображения: Deloitte

В итоге всё сводится к наличию больших денег, поскольку развитие инфраструктуры потребует масштабного финансирования, а влияние ИИ ЦОД на стратегию развития становится всё более очевидным в дискуссиях об инвестициях.

Потенциальные риски связаны с тем, что ограничения мощности и пропускной способности современных энергосетей США могут затормозить развитие ИИ — энергокомпании могут упустить шанс расширить и модернизировать сети, что может привести к катастрофическим последствиям для отрасли. В результате под вопросом может оказаться экономическое и геополитическое лидерство США — для страны это вопрос конкурентоспособности или даже национальной безопасности.

Американский регулятор North American Electric Reliability Corp. (NERC), отвечающий за надзор за электросетями и сопутствующей инфраструктурой, сообщил, что подключение ЦОД к электричеству сегодня весьма рискованно из-за их нестабильного энергопотребления. Ситуация может усугубиться с появлением ускорителей с энергопотреблением 15 кВт. В апреле Deloitte сообщала, что АЭС смогут обеспечить 10 % будущего спроса ЦОД США на электроэнергию, но строить их придётся быстрее.

Pure Storage, Solidigm и Ocient с одной стороны и Seagate с другой не сошлись во мнениях относительно углеродного следа SSD и HDD. В Seagate утверждают, что HDD экологичнее SSD вопреки распространённым предрассудкам, сообщает Blocks & Files.

Seagate утверждает, что SSD требуют меньше энергии в сравнении с HDD при эксплуатации, но хуже для окружающей среды с точки зрения углеродного выброса, поскольку загрязнение атмосферы в процессе производства с лихвой «компенсирует» выбросы при эксплуатации. Компания сравнила углеродные выбросы типовых 30,72-Тбайт SSD, 30-Тбайт HDD на базе Mozaic 3+ и ленточного привода с одним носителем LTO-9 (45 Тбайт со сжатием). Расчёты Seagate свидетельствуют, что по основным параметрам HDD выигрывают. По словам Seagate, цель доклада — предоставить точные сведения операторам дата-центров для принятия обоснованных решений.

В своих расчётах компания ссылается на статью 2023 года The Dirty Secret of SSDs: Embodied Carbon, согласно которой для SSD изначальный углеродный след (CO₂e) в значительной степени связан с затрачиваемым при производстве электричеством, преимущественно получаемом с помощью сжигания угля и природного газа. На 1 Гбайт флеш-памяти приходится 0,16 кг CO₂e (показатель SEF), а на 30,72 Тбайт — уже 4915,2 кг. По словам авторов доклада, на выпуск SSD приходится в восемь раз больше выбросов CO₂e, чем на HDD аналогичной ёмкости, но в расчётах Seagate разница составила почти 170x.

Источник изображения: OCIENT

Pure Storage, выпускающая All-Flash СХД и мечтающая изжить жёсткие диски из ЦОД, отметила в своём блоге, что восьмикратная разница в уровне SEF между SSD и HDD не соответствует реальности. На практике она сейчас составляет уже не 8x, а около 2x. При этом ёмкость новых SSD растёт, а по мере роста плотности размещения информации показатель CO₂e/Гбайт будет снижаться быстрее, чем у HDD, так что по этому показателю накопители скоро как минимум сравняются. А догнать по ёмкости QLC SSD жёсткие диски пока не в состоянии.

Ocient и Solidigm рассмотрели проблему со своей стороны. По их данным, в статье 2023-го года речь в основном идёт о потребительских накопителях, так что попытка Seagate перенести эти показатели на корпоративные СХД, по-видимому, не совсем корректна. В корпоративных сценариях NVMe SSD дают кратный прирост производительности в нагрузках Big Data и ИИ. Таким образом, их более высокий изначальный углеродный след нивелируется за счёт снижения энергозатрат и сокращения количества серверов.

Источник изображения: OCIENT

Для простоты расчётов Ocient и Solidigm приравняли по производительности один NVMe-накопитель к 100 жёстким дискам. По словам компаний, получается, что фактический углеродный след SSD будет совсем другим — 100 HDD по 20 кг CO₂ на диск (это на треть меньше показателя самой Seagate) дадут 2000 кг, тогда как один SSD — всего 900 кг даже с поправкой на ёмкость (без уточнения, о какой вместимости и поправке идёт речь). За пять лет система на 100 жёстких дисках выбросит 7960 кг CO₂, а NVMe SSD корпоративного класса — всего 24,6 кг. Суммарный углеродный след для HDD в этом случае составит 9960 кг, а для SSD — всего лишь 924 кг.

Проблемы, связанные с высокопроизводительными вычислениями (HPC), угрожают инновациям в США, утверждает Джек Донгарра (Jack Dongarra), лауреат премии А. М. Тьюринга и один создателей рейтинга самых мощных суперкомпьютеров в мире TOP500, чьи разработки и реализации многих библиотек, включая EISPACK, LINPACK, BLAS, LAPACK и ScaLAPACK, сыграли важную роль в продвижении HPC. В статье, опубликованной The Conversation, Донгарра рассказал о прогрессе HPC и проблемах с инновациями в США.

Учёный отметил, что HPC являются одной из самых важных технологий в современном мире, позволяющей решать различные задачи — от прогнозирования погоды до поиска новых лекарств и обучения ИИ-моделей, которые слишком сложны или слишком велики для обычных компьютеров. Сейчас HPC находятся на переломном этапе, и выбор, который правительство США, исследователи и технологическая отрасль делают сегодня, может повлиять на будущее инноваций, национальной безопасности и мирового лидерства, предупреждает Донгарра.

Используя тысячи и даже миллионы чипов с передовыми системами памяти и хранения для быстрого перемещения и сохранения огромных объёмов данных, HPC-платформы позволять выполнять чрезвычайно подробные симуляции и вычисления, говорит Донгарра. Важность HPC ещё больше возросла с развитием ИИ-технологий, требующих огромных вычислительных мощностей для обучения. «В результате ИИ и HPC теперь тесно сотрудничают, подталкивая друг друга вперёд», — отметил учёный.

По словам Донгарра, сегмент HPC находится под большим давлением, чем когда-либо, с более высокими требованиями к системам по скорости, данным и энергопотреблению. Также он отметил, что HPC сталкиваются с некоторыми серьёзными техническими проблемами.

Донгарра назвал одной из ключевых проблем разрыв между производительностью чипов и подсистем памяти. «Представьте себе, что у вас есть сверхбыстрый автомобиль, но вы застряли в пробке — мощность бесполезна, если дорога не может с ней справиться», — говорит учёный. Точно так же подсистемы памяти не способны «прокормить» вычислительные блоки, которые простаивают, что отражается на эффективности всей вычислительной системы.

Источник изображения: OLCF

Ещё одна проблема HPC — энергопотребление. Закон масштабирования Деннарда, согласно которому с уменьшением размеров транзистора уменьшается и энергопотребление при росте производительности, прекратил своё действие в 2006 году. Теперь, чем мощнее компьютеры, тем больше они потребляют энергии. Чтобы исправить это, исследователи ищут новые способы проектирования как аппаратного, так и программного обеспечения HPC.

Также существует проблема с типами производимых чипов, отметил учёный. Сейчас индустрия чипов в основном сосредоточена на ИИ, который отлично работает с вычислениями с низкой точностью. Однако для многих научных приложений по-прежнему требуется FP64-вычисления. В частности, NVIDIA сделала ставку исключительно на ИИ, поэтому FP64-производительность новейших GB300 почти в 30 раз меньше, чему GB200. У AMD, по слухам, в следующем поколении Instinct будет сразу два варианта ускорителей MI430X с поддержкой FP64 и MI450X, полностью лишённый тензорных ядер с FP64. Но и она может сделать ставку только на ИИ.

Если производители прекратят выпускать чипы, которые требуются учёным, это негативно отразится на выполнении важных исследований. Таким образом тенденции в производстве полупроводников и коммерческие приоритеты могут разниться с потребностями научного сообщества, а отсутствие специализированного оборудования может помешать прогрессу в исследованиях. Можно попытаться создавать специализированные чипы для HPC, но это дорого и сложно. Исследователи, тем не менее, изучают возможность применения новых конструкций для изготовления чипов, включая чиплеты, чтобы сделать их более доступными.

В прошлом у США было преимущество в области HPC благодаря государственному финансированию, поддержке и открытости разработок, но теперь многие страны вкладывают значительные средства в HPC в стремлении снизить зависимость от иностранных технологий и выйти на лидирующие позиции в таких областях, как моделирование климата и персонализированная медицина. В Европе развивают программу EuroHPC, у Японии есть собственный суперкомпьютер Fugaku (а скоро будет ещё один), а у Китая — целая серия «автохтонных» машин.

Источник изображения: WIkipedia / DoE

Правительства стран понимают, что HPC являются ключом к их национальной безопасности, экономической мощи и научному лидерству, отметил Донгарра, подчеркнув, что у США всё ещё нет чёткого долгосрочного плана на будущее. Другие страны развивают это направление быстро, а без национальной стратегии США рискуют отстать, предупредил он: «Национальная стратегия США должна включать финансирование создания новых машин и обучение людей их использованию. Она также должна включать партнёрство с университетами, национальными лабораториями и частными компаниями. Самое главное, что план должен быть сосредоточен не только на оборудовании, но и на ПО и алгоритмах, которые делают HPC полезными», — заявил учёный.

Он отметил, что некоторые шаги в этом направлении уже предприняты, включая принятие в 2022 году «Закона о чипах и науке» (CHIPS and Science Act) и создание управления, которое поможет превратить научные исследования в реальные продукты. В 2025 году также была сформирована целевая группа Vision for American Science and Technology, призванная объединить некоммерческие организации, академические круги и промышленность для помощи правительству в принятии решений. Кроме того, получили развитие квантовые вычисления. Но они пока находятся на ранних стадиях и, скорее всего, будут дополнять, а не заменять традиционные HPC. Поэтому важно продолжать инвестировать в оба вида вычислений.

Донгарра назвал это правильными шагами, но они не решат проблему поддержки HPC в долгосрочной перспективе. Помимо краткосрочного финансирования и инвестиций в инфраструктуру, учёный предложил:

• осуществлять долгосрочные федеральные инвестиции в НИОКР в области HPC, включая передовое оборудование, ПО и энергоэффективные архитектуры;
• производить закупку и развёртывание передовых вычислительных систем в национальных лабораториях и университетах;
• заниматься развитием кадров, включая обучение параллельному программированию, численным методам и интеграции ИИ-HPC;
• согласовывать планы по выпуску оборудования, гарантируя, что разработка коммерческих чипов будет совпадать с потребностями научных и инженерных приложений;
• использовать устойчивые модели финансирования, на которые не повлияют геополитические факторы;
• стимулировать государственно-частное партнёрство для преодоления разрыва между академическими исследованиями, отраслевыми инновациями и потребностями национальной безопасности.

Донгарра отметил, что HPC — это больше, чем просто быстрые суперкомпьютеры. Это основа научных открытий, экономического роста и национальной безопасности. Если США примут предложенные меры, то можно гарантировать, что HPC продолжат поддерживать инновации в течение десятилетий.

Эффективное использование энергии является одним из приоритетов для половины руководителей бизнеса, указывается в докладе Seagate Decarbonizing Data. По словам компании, «устаревающие» HDD могут оказаться более предпочтительным выбором для операторов ЦОД, чем SSD, сообщает Blocks & Files.

В докладе цитируется прогноз Goldman Sachs, в котором упомянуто, что потребление энергии ЦОД увеличится к 2030 году на 165 % в сравнении с 2023 годом. При этом рост объёмов обрабатываемых данных и замедление развития энергоэффективных технологий, а также рост применения ИИ «оказывают давление» на организации, пытающиеся одновременно контролировать углеродные выбросы, расширение инфраструктуры и совокупную стоимость владения (TCO).

По словам Seagate, дата-центры постоянно находятся в центре внимания, не только потому, что они поддерживают современные ИИ-задачи, но и потому, что становятся одним из наиболее энергоёмких секторов цифровой экономики. Операторам приходится находить баланс между стоимостью и экоустойчивостью, а также искать возможности для оптимизации того и другого.

Источник изображения: Seagate

Важно, что Seagate отнюдь не призывает избавляться от «устаревших» жёстких дисков — скорее, наоборот. В докладе приводится сравнение HDD, SSD и LTO с точки зрения углеродных выбросов, создаваемых во время производства и доставки накопителей разных типов (Embodied Carbon). Исследование показывает, что SSD в этом отношении наименее экологичны, как по массе выбросов на терабайт ёмкости, так и в целом.

HDD же оказались самыми экобезопасными в обоих отношениях. Ленточные (LTO) накопители демонстрируют «средний» уровень, но в пересчёте на годы работы их выбросы больше, чем у HDD. В докладе предлагается три столпа построения более экоустойчивого будущего:

• Технологические инновации — развитие вычислительных мощностей, увеличение поверхностной плотности хранения и внедрение энергоэффективных технологий вроде жидкостного охлаждения и современных HVAC-систем могут значительно снизить энергопотребление и углеродные выбросы;
• Увеличение жизненного цикла и циклическое использование оборудования — ремонт, повторное использование и регулярное обслуживание модулей хранения данных увеличивает срок их работы и снижает уровень выбросов, а мониторинг окружающей среды в режиме реального времени и прозрачность отчётов обеспечивает дополнительный уровень экобезопасности;
• Отчётность всей экосистемы — достижение значимого снижения выбросов Scope 1, 2 и 3 требует сотрудничества всех участников отрасли, включая вендоров, поставщиков и облачных провайдеров.

В качестве примера инноваций приводится передовая технология Mozaic 3+ на базе HAMR. Уже налажено массовое производство соответствующих HDD, позволяющих сохранять втрое больше данных, чем обычный жёсткий диск на 10 Тбайт. С точки зрения выбросов они более чем на 70 % экологичнее на каждый Тбайт. Кроме того, по данным IDC, у них на 25 % ниже и стоимость 1 Тбайт.

Источник изображения: Seagate

В Seagate считают, что вопрос экоустойчивости нельзя решить в изоляции одних технологий от других. Всеобъемлющий подход касается как инфраструктуры, так и управления жизненным циклом оборудования, а также отчётности, касающейся всей индустрии. Это позволяет обеспечить рост ИИ и операций ЦОД не за счёт окружающей среды.

Стоит отметить, что Seagate продаёт и собственные накопители Nytro SSD для дата-центров. При этом производитель All-Flash хранилищ Pure Storage придерживается иных взглядов, предлагая оценивать ситуацию в целом. По расчётам компании, у хранилища ёмкостью 1 Эбайт в течение 10 лет на жёсткие диски придётся 107 984 т выбросов углерода, тогда как в случае SSD-модулей Pure DFM — всего 14 779 т.

В 2023 году также сообщалось, что SSD оказались вреднее HDD, но не в процессе эксплуатации, а на этапе производства. Тогда же сообщалось, что ленточные накопители дешевле и экологичнее жёстких дисков для хранения «холодных» данных. Впрочем, решения всё той же Pure Storage уже начали выборочно вытеснять HDD.

Пекин представил новые нормы энергоэффективности для ИИ-ускорителей. Весьма вероятно, что они помешают китайским компаниям приобретать наиболее востребованные в Китае ускорители NVIDIA, если регуляторы всерьёз возьмутся за контроль их исполнения, сообщает The Financial Times.

Национальная комиссия по развитию и реформам (NDRC) настоятельно рекомендует местным игрокам рынка ЦОД использовать ускорители, соответствующие требованиям к энергоэффективности, при строительстве новых дата-центров и расширении уже существующих объектов.

Популярный в Китае ИИ-ускоритель NVIDIA H20 менее производителен, чем флагманские модели компании, но его можно официально поставлять в страну. Однако, по данным издания, на сегодняшний день H20 не соответствует новым требованиям комиссии. По информации источников, в последние несколько месяцев китайский регулятор без лишнего шума «отговаривает» местные IT-гиганты, такие как Alibaba, ByteDance и Tencent, от использования H20. Впрочем, пока правила применяются не слишком жёстко, и эти ускорители NVIDIA по-прежнему востребованы на китайском рынке.

Последствия для бизнеса NVIDIA могут оказаться серьёзнее, если комиссия решит ужесточить запрет — это поставит под угрозу многомиллиардные доходы компании в Китае. Несмотря на активное строительство дата-центров, американский разработчик рискует потерять заказы, а его место займёт Huawei, чьи продукты лучше соответствуют новым «зелёным» требованиям. В настоящее время NVIDIA ищет способы повысить энергоэффективность своих решений и стремится провести переговоры с руководством NDRC для обсуждения сложившейся ситуации. Однако это приведёт к снижению производительности H20 и, соответственно, конкурентоспособности на китайском рынке.

Источник изображения: Henry Chen/unsplash.com

Поскольку ограничения распространяются главным образом на новые, строящиеся ЦОД, некоторые компании обходят правила, заменяя в уже действующих дата-центрах старые ускорители на H20. В других случаях несоблюдение норм может привести к проверкам и штрафам. Хотя ограничения вступили в силу ещё в прошлом году, до недавнего времени о них не сообщалось — Китай всеми силами стремится к технологическому суверенитету в полупроводниковой сфере и активно содействует отказу местных компаний от продукции NVIDIA. Прямым конкурентом H20 считается Huawei Ascend 910B, на подходе и вариант 910C.

NRDC недвусмысленно намекает на будущее отношений Пекина и NVIDIA. После ужесточения экспортных ограничений США в отношении Китая в октябре 2023 года компания специально разработала ослабленную экспортную версию H20. Однако на фоне триумфа китайских ИИ-моделей стартапа DeepSeek в стране разразился настоящий бум ИИ-технологий, и компании вроде Alibaba и Tencent активно закупают H20, особенно с учётом вероятного дальнейшего ужесточения американских санкций, включая возможный запрет на поставки даже ослабленных ускорителей.

Китай — четвёртый по величине рынок для NVIDIA в мире: в 2025 фискальном году выручка компании здесь составила $17,1 млрд, или 13 % от всех продаж. Помимо Huawei, конкуренцию NVIDIA на китайском рынке может составить и Intel с её ускорителями HL328 и HL388, однако они также не соответствуют новым китайским требованиям по энергоэффективности. Впрочем, их доля в китайском импорте изначально была незначительной.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Группа «Т-Технологии» намерена построить сеть собственных дата-центров. Пресс-служба компании сообщает, что первый этап строительства завершится уже к 2027 году, и заработают два первых ЦОД. Ожидается, что к 2031 году объекты выйдут на полную мощность, ёмкость каждого составит 50 МВт и 100 тыс. серверов. О намерении Т-Банка строить собственные ЦОД сообщалось ещё в середине ноября.

Структура рассчитывает войти в «Топ-5» компаний России по мощности ЦОД в корпоративном сегменте рынка. Сеть ЦОД станет базой для развития и обеспечения работы экосистемы головной структуры, выделяя мощности для ресурсоёмких задач, таких как хранение и обработка данных более 50 млн клиентов банка. Наличие собственных ЦОД даст возможность «Т-Технологиям» усилить позиции в сфере ИИ — компании более не смогут помешать внешние ограничения и она сможет развиваться даже в условиях дефицита вычислительных мощностей.

Каждый день приложениями Т-экосистемы пользуются более 14 млн человек, половина из более 500 тыс. запросов клиентов приходится на автоматизированные консультации в чатах, говорится в пресс-релизе. Новые ЦОД помогут развитию перспективных направлений, запуск которых состоялся в текущем году — речь идёт о «вселенной ИИ-ассистентов», помогающих в самых разных сферах, от путешествий, до инвестиций, рекламы для бизнес-клиентов и пр.

Источник изображения: Artem Labunsky/unsplash.com

В компании сообщают, что новые ЦОД позволят «объединить арендованные мощности с собственными» — будет предоставлено более 7 тыс. мест для серверов и оборудования. При этом собственная инфраструктура, в отличие от универсальных типовых продуктов, позволит точнее учитывать потребности бизнеса и создавать специальные IT-решения. Ожидается, что Т-Банк станет первым из банков планеты, применяющих гибридную технологию охлаждения с прямым фрикулингом (direct free air cooling). Благодаря этому снизится как энергопотребление, так и ущерб окружающей среде. При этом показатель PUE составит 1.15 при среднемировом уровне 1,6.

Наконец, строительство собственных дата-центров даст возможность «Т-Технологиям» сэкономить 26 млрд руб. только до 2030 года, после чего ежегодная экономия будет составлять по 10 млрд руб. из-за отказа от аренды чужой инфраструктуры и объединения собственных и арендованных площадей. Строительство ЦОД в особых экономических зонах (ОЭЗ) даст возможность экономить на закупках оборудования и содействовать развитию IT-инфраструктуры в регионах.

Источник изображения: Т-Банк

По словам вице-президента Т-Банка Вячеслава Цыганова, выделяемое ЦОД тепло будет использоваться для отопления окружающей городской застройки. Кроме того, наличие собственных современных ЦОД позволит увеличить эффективность оказания услуг, повысить их качество и обеспечить стабильное развитие соответствующей сферы. Ранее сообщалось, что Сбербанку и Т-Банку всё труднее найти энергию для строительства дата-центров.

Над созданием собственных ЦОД работают и другие российские банки. По мнению экспертов, для развития ИИ и других IT-технологий организациям нужны дата-центры с высокой энергоэффективностью, способные использовать высоконагруженные стойки (от 22 кВт). На отечественном рынке таких предложений сейчас нет, поэтому достаточно богатые компании сами строят ЦОД под свои задачи, передают «Известия». Также отмечается, что банки всё в большей степени превращаются в IT-бизнес, от которого при этом требуется защита данных клиентов.

Входящая в группу Atos компания Eviden объявила, что 55 её суперкомпьютеров вошли в список TOP500 наиболее производительных вычислительных машин, а два из них лидируют в рейтинге наиболее энергоэффективных суперкомпьютеров мира Green500.

За последние 10 лет экспоненциально выросла вычислительная мощность, что в том числе обусловлено достижениями в области систем искусственного интеллекта. При этом растёт и энергопотребление — его снижение стало одной из главных задач при разработке и строительстве суперкомпьютеров.

В первую десятку рейтинга Green500 вошли три машины Eviden, в каждой из которых применяется проприетарная технология прямого жидкостного охлаждения, предусматривающая охлаждение суперкомпьютера тёплой водой с температурой до +40 °C, это помогает добиться отвода более 97 % тепла.

Источник изображения: Eviden

Первое место в рейтинге занимает модуль JEDI суперкомпьютера JUPITER — первой системы экзафлопсного класса в Европе, созданный EuroHPC. На втором месте — ROMEO 2025, построенный для Университета Реймса Шампань-Арденн (URCA). Шестое место в Green500 занимает ещё один модуль суперкомпьютера JUPITER — JETI. Другими словами, Eviden стремится предлагать клиентам не только высокопроизводительные, но и экоустойчивые, экономичные машины.

В TOP500 наиболее производительных суперкомпьютеров из построенных компанией вошли французская система Jean Zay (№ 27), новейший немецкий модуль JETI для JUPITER (№ 18) и система Gefion для Датского центра инноваций в области искусственного интеллекта (DCAI) под номером 21.

По словам представителя Eviden, системы компании лидируют в рейтинге Green500 и «укрепляют лидерство Европы» на рынке HPC. Eviden, на которую работает 41 тыс. человек, предлагает решения в области ИИ, облачных платформ и предоставляет услуги более чем в 47 странах. Годовая выручка этого подразделения Atos Group составляет около €5 млрд. Сама же Atos находится не в лучшем состоянии.

Окончание периода налоговых льгот для норвежских операторов ЦОД, похоже, приведёт к важным изменениям соответствующей индустрии в стране. Computer Weekly сообщает, что местные игроки всё чаще меняют стратегию развития и инвестиций и делают ставку на более энергоэффективные объекты. Говорится, что геополитическая ситуация и революция в сфере ИИ усиливают необходимость создания безопасных хранилищ данных на территории самой Норвегии. При этом страна должна получить экобезопасные и устойчивые ЦОД.

Во многом это связано с ожиданием ввода новых налогов на энергоёмкие отрасли в 2025 году, поскольку политики уже выразили озабоченность энергоэффективностью ЦОД и их энергопотреблением вообще. Инвестиции в отрасль приветствуются, но предпочтение всё чаще отдаётся наиболее экономичным и экобезопасным вариантам. Более того, норвежский консорциум, возглавляемый энергокомпанией Hafslund, телеком-провайдером Telenor с госучастием и инвестором HitecVision создал ГК Skygard — совместное предприятие займётся возведением энергоэффективных ЦОД по всей Норвегии. Участники консорциума будут владеть долями по 31,7 %. Оставшиеся 4,9 % получила консалтинговая Analysys Mason Nordic.

Источник изображения: Simon Williams/unsplash.com

Ключевым игроком является Hafslund, второй по величине производитель электроэнергии в Норвегии — комапнии принадлежит 81 ГЭС, в 2023 году на которые приходилось 5200 МВт. Telenor совместно с NVIDIA создаст суверенные облачные платформы для Норвегии. На первом этапе консорциум инвестирует €210 млн, в числе прочего предусмотрено строительство ЦОД в одном из районов Осло. Работы на площадке начались уже в марте 2024 года. Кампус Skygard должен начать работу в I половине 2025 года, колокейшн-ёмкости поступят в распоряжение нескольких арендаторов. Позже в районе «Большого Осло» будут построены ещё два дополнительных ЦОД. Совокупная ёмкость трёх объектов составит 40 МВт.

Компания Eidsiva — один из крупнейших энерго- и телеком-провайдеров в Норвегии, принадлежащий местным муниципалитетам, тоже решил заняться дата-центрами. В конце мая компания завершила покупку ЦОД ёмкостью 6 МВт. В компании предполагают, что цифровая инфраструктура Норвегии нуждается в собственных «строительных блоках» для оказания социально важных услуг — ими станут ЦОД в национальной и государственной собственности.

Переход от крупных ресурсоёмких ЦОД к более экономичным приобрёл особое значение в 2023 году, когда власти отказались от налоговых льгот для энергоёмких отраслей. При этом Норвежская ассоциация ЦОД (Norwegian Datacentre Industry, NDCI) свидетельствует, что на конец 2023 года в отрасли работало 2300 штатных сотрудников, а установленная мощность на конец года составляла 501 МВт, и которых сейчас используется 150 МВт или 1 % от общего объёма генерируемой в Норвегии энергии. 98 % этого электричества приходится на ГЭС. Ожидается, что к 2028 году потребление ЦОД составит 1,9 % от общенорвежского.

Источник изображения: Michael Fousert/unsplash.com

В целом рост сектора ЦОД в стране по-прежнему обусловлен ключевыми мировыми игроками вроде Microsoft и Google. Первая построила первый дата-центр в стране в 2019 году, вторая начала возводить ЦОД в рамках проекта стоимостью €600 млн в феврале 2024 года. Объект ёмкостью 240 МВт будет предлагать «мусорную» тепловую энергию местным муниципалитетам. В Google заявляют, что запуск планируется на 2026 год.

Политики хотят, чтобы муниципалитеты обязали операторов размещать вырабатывающие много тепла ЦОД рядом с промышленными центрами, способными его использовать. А обновлённый план National Energy Efficiency Action Plan норвежских властей связан с энергоёмкими отраслями. Так, правительство предложило поправки в Закон об энергетике (Energy Act), согласно которым от строителей ЦОД потребуется проведение анализа эффективности и целесообразности использования тепловых выбросов ЦОД. Инициатива касается дата-центров ёмкостью от 20 МВт. При этом Норвегия по-прежнему намерена стать «фантастической площадкой» для ЦОД.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна новая система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.