Согласно исследованию MS Amlin, страхующей риски самих страховых компаний, порядка половины запланированных в США дата-центров вполне могут пострадать от разрушительных штормов, землетрясений и других стихийных бедствий, сообщает Datacenter Dynamics.

Сегодня строительство ЦОД в США постепенно смещается на юг страны, где, как полагает компания, застройщикам всё сильнее грозят торнадо, крупный град, сильные штормы, ураганы и др. катастрофические погодные явления, довольно часто случающиеся в этом регионе. По данным MS Amlin, в США более 670 проектов ЦОД находятся на стадии строительства или планирования, из них 56 % строятся без учёта рисков разрушительных природных явлений. Рискам подвержены почти $800 млрд инвестиций.

Около 51 % этих ЦОД строится без оглядки на высокие риски сильных конвективных штормов (SCS), ещё 27 % строят или намерены строить в штатах с высокими рисками зимних бурь, 21 % — в зонах с высокими рисками появления ураганов, 3 % — с высокими рисками землетрясений. Статистика свидетельствует, что SCS являются основной причиной расходов страховых компаний. Только в прошлом году их потери в США составили $52 млрд, при этом с 2008 года потери от них растут на 8 % ежегодно. Подчёркивается, что в целом США является регионом с наибольшими затратами в мире, связанными со стихийными бедствиями.

Источник изображения: Library of Congress/unspalsh.com

Компания подчёркивает, что риски могут помочь в развитии новых ниш. Когда активы подобного типа сосредоточены в опасных регионах, открываются большие возможности для рынка специализированного страхования, но риски необходимо должным образом контролировать и понимать.

Обычно дата-центры застрахованы в рамках действующих программ для бизнеса — от страхования имущества до киберугроз, кредитных и политических рисков. Тем не менее стремительное развитие индустрии ЦОД, связанное с бумом ИИ, требует специальных страховок, поскольку вся отрасль с трудом успевает за изменениями. При этом дата-центры нередко подвергаются новым рискам, которые страховым компаниям трудно оценивать

Страховой бизнес сталкивается и с дополнительной угрозой — всё больше дорогих активов концентрируется в относительно небольших локациях. Кроме того, для одного объекта может предлагаться сразу несколько страховых полиса. Так, строительство дата-центра требует взаимодействия множества заинтересованных сторон, при этом на одном и том же объекте разным участникам могут быть проданы разные страховые продукты.

Стоит отметить, что проблема касается не только США. Исследование Rest of World показало, что почти 7 тыс. из 8808 дата-центров в мире построены в не самых комфортных, согласно стандартам ASHRAE, климатических условиях. Большинство находятся «за пределами оптимального температурного диапазона» для охлаждения, а 600 — в слишком жарких местах. Экономические, политические и даже сетевые реалии часто важнее для строителей и операторов, чем, например, экологическая целесообразность.

Проект строительства в штате Юта кампуса ЦОД поднял немало острых вопросов, в том числе вопрос влияния объекта на местную экологию. Согласно расчётам одного из учёных, кампус и связанные с ним электрогенерирующие мощности ежедневно могут выделять энергию, эквивалентную энергии 23 атомных бомб, сообщает The Register.

Дата-центр является частью специальной зоны Stratos Project Area в округе Бокс-Элдер (Box Elder County). Он курируется Управлением по развитию военных объектов (MIDA), координирующим действия военных структур, местных властей и частных застройщиков. Создание зоны Stratos площадью более 16 тыс. га было одобрено местными властями в начале мая после одобрения MIDA и несмотря на опасения и протесты жителей, обеспечившие отсрочку голосования.

Мощность Stratos Project Area после завершения строительства составит 9 ГВт — примерно столько же в среднем потребляет Нью-Йорк. Фактически речь идёт об одном из крупнейших дата-центров в мире. Для сравнения, кластер Hyperion компании Meta✴ рассчитан «всего» на 5 ГВт, а первые объекты мощностью 1 ГВт должны заработать только в 2026 году.

Источник изображения: Alex Vámos/unspalsh.com

По подсчётам профессора физики из Университета штата Юта (USU) Роба Дэвиса (Rob Davies), кампус и питающая его электростанция на природном газе ежедневно будут выбрасывать в окружающую среду энергию, эквивалентную энергии 23 атомных бомб (неуточнённой мощности). Согласно прогнозам профессора, это способно повысить в округе дневную температуру на 1–3 °C, а ночную — на 4–6 °C, с потенциально серьёзными экологическими последствиями в высокогорной пустынной долине, куда энергия и будет фактически «сбрасываться».

Выкладки многими ставятся под сомнение, особенно с учётом того, что тот предпочитает не делиться расчётами. Тем не менее даже скептики считают, что в целом расчёты могут быть верны, если за эталон принимать бомбу «Малыш» (15 кт ТНТ), сброшенную американцами на Хиросиму. При этом важно, что бомба высвобождает энергию мгновенно, а в случае в ЦОД процесс растянется на 24 часа. Так или иначе, большинство сходится во мнении, что цифры свидетельствуют о необходимости независимой экологической оценки.

Не так давно учёные Кембриджского университета пришли к выводу, что ЦОД могут создавать «тепловые острова», прогревая окружающую среду на несколько градусов на расстоянии до 10 км. Впрочем, в Omdia скептически относятся к таким выкладкам, утверждая, что даже очень крупные ЦОД обеспечивают лишь небольшой дополнительный приток тепла.

Источник изображения: Craig Manners/unsplash.com

Stratos рассматривается как долгосрочный проект с реализацией в течение многих лет. Это означает, что на полную мощность он может не выйти даже в течение десяти лет. Не исключено, что не выйдет никогда, поскольку финансистов всё больше беспокоят заимствования, необходимые для продолжения активного строительства ЦОД. Не так давно СМИ сообщали, что банки желают снизить риски, связанные со строительством ЦОД, а JPMorgan Chase и Morgan Stanley пытаются распределить связанные с ЦОД сделки на более широкий круг инвесторов.

CoStar Group предупреждает, что стоимость строительства таких объектов значительно выросла из-за роста первоначальных затрат на землю, электроснабжение и специальные строительные работы. По некоторым оценкам, строительство ИИ ЦОД на 1 ГВт мощности обойдётся приблизительно в $35 млрд, а NVIDIA утверждает, что речь идёт уже о $50–$60 млрд. Другими словами, строительство Stratos обойдётся в сотни миллиардов.

В Omdia называют более скромные, но тоже впечатляющие цифры. В компании предлагают исходить из стоимости в $8 млн/МВт, или $8 млрд/ГВт — только на строительство самих зданий, без учёта расходов на электроэнергию и вычислительное оборудование. Таким образом, проект Stratos будет дороже $100 млрд. Деньги на строительство, электростанцию, IT-оборудование и др. будут поступать из разных источников, но при оценке рисков долгового финансирования будет учитываться стоимость проекта целиком.

Застройщики ЦОД в США и других странах уже столкнулись с растущим противодействием развитию ЦОД, как в «условно-правовом» поле, так и со стрельбой. В результате реализация некоторых проектов задерживается, либо они полностью отменяются.

Согласно исследователям Кембриджского университета, в ходе эксплуатации дата-центров возникают «острова тепла», повышающие температуру на расстоянии до 10 км от ЦОД. Это может сказаться и на близлежащих населённых пунктах, сообщает The Register.

Данные получены после изучения теплоотвода крупных дата-центров на фоне бума ИИ во всём мире. В статье учёные утверждают, что вокруг ЦОД поверхность земли прогревалась на 0,3–9,1 °C после начала работы каждого из объектов, в среднем прирост составил 1,5–2,4 °C. Хотя эффект отмечается на расстоянии до 10 км, интенсивность прогрева на расстоянии около 7 км снижается на 30 %. Среднемесячный рост температуры на 1 °C отмечается на расстоянии до 4,5 км от типичного ЦОД. Это сопоставимо с эффектом от островов тепла крупных городских застроек.

В статье «Эффект теплового острова данных: количественная оценка влияния ИИ ЦОД в условиях мирового потепления» (The data heat island effect: quantifying the impact of AI datacenters in a warming world) отмечается, что глобальные мощности ЦОД продолжают увеличиваться, и в следующем десятилетии отрасль, вероятно, станет одним из наиболее энергоёмких секторов экономики. Более того, потребление энергии дата-центрами за три-пять лет превысит её потребление промышленностью.

В ответ на бум ИИ расходы гиперскейлеров на инфраструктуру в последние три года утроились, добавляемый ежеквартально объём дополнительных мощностей к концу 2025 года вырос на 170 %. В результате к 2030 году мировое потребление энергии крупными ЦОД должно вырасти более чем вдвое, основным фактором называется повсеместное внедрение ИИ. Учёные считают, что влияние ЦОД и связанных с ИИ бизнесов на окружающую среду может оказаться значительным.

Источник изображения: Buddy AN/unsplash.com

От новых «тепловых островов» могут пострадать до 343 млн человек по всему миру, это, подобно городским островам, может привести к негативным последствиям для систем социального обеспечения, здравоохранения и энергетики. Однако, по словам Omdia, работа представляет собой лишь предварительный анализ, ещё не проверенный другими экспертами, поэтому и к её положениям следует отнестись с осторожностью. Подчёркивается, что в статье учитывается только температура земли и строений, а не то, как прогревается воздух у поверхности.

Другими словами, явные свидетельства того, что тепло ЦОД значительно нагревает целые кварталы, отсутствуют — простые законы физики подсказывают, что даже очень крупные ЦОД на расстоянии нескольких километров друг от друга обеспечивают лишь незначительный приток тепла, поэтому отмеченный эффект, вероятно, большей частью вызван изменениями в землепользовании и растительном покрове (укладка асфальта, вырубки леса и др.), а не самими дата-центрами.

В подавляющем большинстве случае ИИ-фабрики зависят от ископаемого топлива, стремительный рост ИИ приведёт к значительному увеличению выбросов. Только в США в прошлом году количество проектов газовых электростанций в стадии строительства выросло почти втрое, а спрос на энергию для ИИ ЦОД дал «второе дыхание» электростанциям на угле. В последнее время в мире набирают популярность подводные и надводные дата-центры, поэтому губительное влияние ИИ гипотетически может оказать и на водные ресурсы.

Согласно исследованию Rest of World, почти 7 тыс. из 8808 дата-центров в мире построены в не самых комфортных, согласно стандартам ASHRAE, климатических условиях. Большинство находятся «за пределами оптимального температурного диапазона» для охлаждения, а 600 — в слишком жарких местах. Проблема в том, что развитие ИИ вынуждает размещать ЦОД и в неблагоприятных регионах. Анализ свидетельствует, что экономические, политические и даже сетевые реалии часто важнее для строителей и операторов, чем экологическая целесообразность.

При анализе эксперты Rest of World сопоставляли данные о местоположении дата-центров с информацией о температуре из базы Copernicus. Данные сравниваются с рекомендациями ASHRAE, согласно которым эффективнее всего ЦОД работают при температуре окружающего воздуха 18 °C до 27 °C. Другими словами, почти 7 тыс. ЦОД находятся за пределами рекомендованного температурного диапазона. Большинство находятся в регионах со среднегодовой температурой ниже 18 °C, где решающее значение имеет управление влажностью и циркуляцией. Около 600 объектов, находятся в местах со среднегодовой температурой выше 27 °C, там постоянной проблемой является жара.

Источник изображения: Lyle Hastie/unsplash.com

В 21 стране вообще все ЦОД расположены в зонах с температурой выше рекомендованной. К ним, например, относятся Сингапур, Таиланд, Нигерия и ОАЭ. В Саудовской Аравии и Малайзии почти все дата-центры находятся в таких же горячих зонах, в Индонезии — почти половина, а в Индии — чуть меньше трети. Сингапур является уникальным регионом — на очень небольшой площади размещены дата-центры мощностью более 1,4 ГВт (ещё 300 МВт на очереди), при этом средняя дневная температура составляет около 33 °C, а относительная влажность нередко переваливает за 80 %. Для дата-центров такие условия близки к экстремальным. Сингапур фактически вводил мораторий на развитие ЦОД из-за нехватки энергии, значительная часть которой в случае ЦОД уходила на охлаждение.

В общемировом масштабе дата-центры часто приходится строить в не слишком пригодных для их эксплуатации климатических условиях. Спрос на облака и генеративный ИИ быстро растёт, и особенно в регионах с самым жарким климатом. При этом правительства всё чаще требуют хранения данных в пределах национальных границ. В результате ЦОД строят совсем не там, где их использование дешевле всего. Впрочем, даже если операторы не гонятся за суверенитетом данных, в расчёт часто принимается доступность и стоимость электричества и воды. Также учитывается цена земли, частота в регионе стихийных бедствий, местные законы, налоговые льготы, простота получения разрешений на строительство.

Источник изображения: Rest of World

Рост нагрузки на системы охлаждения создаёт и дополнительную нагрузку на местные электросети. По информации Международного энергетического агентства (IEA), в 2024 году дата-центры потребили около 415 ТВт∙ч, это около 1,5 % от мирового спроса на электричество. По некоторым оценкам, к 2030 году цифра вырастет более чем вдвое по мере развития ИИ, места строительства новых ЦОД будут значить ещё больше.

В ответ операторы ЦОД по-новому подходят к охлаждению объектов. Хотя воздушное охлаждение по-прежнему доминирует (на него приходится 54 % рынка), всё популярнее становятся СЖО, особенно для ИИ-стоек высокой плотности. Впрочем, модернизация уже действующих объектов довольно затратна, а многие из наиболее перспективных рынков ЦОД в мире имеют ограниченные ресурсы. По словам экспертов, к 2040 году экстремальная жара может существенно сказаться на ⅔ крупнейших ЦОД по всему миру, в т.ч. на всех основных дата-центрах в Азиатско-Тихоокеанском регионе и на Ближнем Востоке.

Лаборатория машинного обучения в науках о Земле Московского физико-технического института (МФТИ) взяла на вооружение внешний массив PCIe-коммутации RSC ScaleStream-C, разработанный российской группой компаний РСК. Это решение предназначено для выполнения ресурсоёмких задач, связанных с ИИ.

RSC ScaleStream-C представляет собой JBOG-платформу в форм-факторе 3U, допускающую установку до десяти карт с интерфейсом PCIe 4.0 x16 (могут применяться карты разной ширины), которая может быть подключена к четырём серверам. Мощности ускорителей могут динамически перераспределяться между серверами. По заявлениям РСК, такой подход позволяет значительно увеличить утилизацию GPU (в некоторых случаях на десятки процентов) по сравнению со стандартными конфигурациями, когда карты устанавливаются непосредственно в серверы.

Лаборатория получила массив RSC ScaleStream-C с четырьмя GPU (модель не уточняется). В перспективе могут быть добавлены дополнительные карты. Предполагается, что система поможет ускорить выполнение задач, связанных с базовыми высокоразрешающими ИИ-моделями атмосферы, океана и климата. Ожидается, что применение RSC ScaleStream-C позволит Лаборатории машинного обучения в науках о Земле существенно расширить возможности уже имеющегося оборудования при работе с ИИ-моделями.

Источник изображения: РСК

Основным направлением деятельности Лаборатории является создание ИИ-методов для моделирования атмосферы, океана и климата, а также для обработки данных в фундаментальных и прикладных задачах морской геологии, морской биологии, экологии моря, метеорологии, в области взаимодействия океана и атмосферы, городской микрометеорологии и пр. Специалисты лаборатории занимаются обработкой данных натурных наблюдений и измерений в метеорологии и океанологии, экологическим мониторингом, моделированием природных процессов и другими задачами, для которых требуются значительные вычислительные ресурсы.

Премьер-министр Индии Нарендра Моди, по сообщению The Register, объявил о вводе в эксплуатацию трёх новых высокопроизводительных вычислительных комплексов PARAM Rudra. Запуск этих суперкомпьютеров, как отмечается, является «символом экономической, социальной и промышленной политики» страны.

Вдаваться в подробности о технических характеристиках машин Моди во время презентации не стал. Однако некоторую информацию раскрыли организации, которые займутся непосредственной эксплуатацией этих НРС-систем.

Один из суперкомпьютеров располагается в Национальном центре радиоастрофизики Индии (NCRA). Данная машина оснащена «несколькими тысячами процессоров Intel» и 90 ускорителями NVIDIA A100, 35 Тбайт памяти и хранилищем вместимостью 2 Пбайт. Ещё один НРС-комплекс смонтирован в Центре фундаментальных наук имени С. Н. Бозе (SNBNCBS): известно, что он обладает быстродействием 838 Тфлопс.

Оператором третьей системы является Межуниверситетский центр ускоренных вычислений (IUAC): этот суперкомпьютер с производительностью на уровне 3 Пфлопс использует 24-ядерные чипы Intel Xeon Cascade Lake-SP. Ёмкость хранилища составляет 4 Пбайт. Упомянут интерконнект с пропускной способностью 240 Гбит/с.

The Register отмечает, что указанные характеристики в целом соответствуют описанию суперкомпьютеров Rudra первого поколения. Согласно имеющейся документации, такие машины используют:

• Материнскую плату половинной ширины для серверов формата 1U или 2U — до 64 серверов в стойке суммарной мощностью 40 кВт;
• Два процессора Intel Xeon Cascade Lake-SP;
• Два неназванных GPU-ускорителя;
• Два NVMe SSD стандарта U.2;
• Два порта 10GbE и дополнительный сетевой адаптер;
• Интерконнект Trinetra — шесть полнодуплексных интерфейсов со скоростью 100 Гбит/с;
• Технологию прямого жидкостного охлаждения собственной разработки.

Ожидается, что машины Rudra второго поколения получат поддержку процессоров Xeon Sapphire Rapids и четырёх GPU-ускорителей. Суперкомпьютеры третьего поколения будут использовать 96-ядерные Arm-процессоры AUM, разработанные индийским Центром развития передовых вычислений: эти изделия будут изготавливаться по 5-нм технологии TSMC.

Источник изображения: pixabay.com

Между тем компания Eviden (дочерняя структура Atos) сообщила о поставках в Индию двух новых суперкомпьютеров. Один из них установлен в Индийском институте тропической метеорологии (IITM) в Пуне, второй — в Национальном центре среднесрочного прогнозирования погоды (NCMRWF) в Нойде. Эти системы, построенные на платформе BullSequana XH2000, предназначены для исследования погоды и климата. В создании комплексов приняли участие AMD, NVIDIA и DDN.

Система IITM, получившая название ARKA, обладает быстродействием 11,77 Пфлопс: 3021 узел с AMD EPYC 7643 (Milan), 26 узлов с NVIDIA A100, NVIDIA Quantum InfiniBand и хранилище на 33 Пбайт (ранее говорилось о 3 Пбайт SSD + 29 Пбайт HDD). В свою очередь, суперкомпьютер NCMRWF под названием Arunika обладает производительностью 8,24 Пфлопс: 2115 узлов с AMD EPYC 7643 (Milan), NVIDIA Quantum InfiniBand и хранилище DDN EXAScaler ES400NVX2 (2 Пбайт SSD + 22 Пбайт HDD). Кроме того, эта система включает выделенный блок для приложений ИИ и машинного обучения с быстродействием 1,9 Пфлопс (точность не указана), состоящий из 18 узлов с NVIDIA A100.

Институт океанологии имени П.П. Ширшова Российской академии наук (ИО РАН), единственный в России институт, занимающийся исследованиями во всех областях морских наук, включая физику, климатологию, химию, биологию и геологию океана, использует в своей работе суперкомпьютерный комплекс, разработанный и установленный специалистами группы компаний РСК.

Используя вычислительные мощности суперкомпьютера, специалисты института изучают роль Мирового океана и морей России в формировании и прогнозировании климата, балансе парниковых газов, а также всего комплекса физических, химических, биологических и геологических процессов в океане и обеспечения экологической безопасности в интересах устойчивого развития человечества.

По словам Сергея Гулева, заведующего Лабораторией взаимодействия океана и атмосферы и мониторинга климата ИО РАН, помимо всего прочего, суперкомпьютер РСК обеспечил для института необходимые вычислительные ресурсы для решения сложных задач в рамках двух важнейших инициатив — проекта государственного значения «Единая национальная система мониторинга климатически активных веществ» и Федеральной научно-технической программы в области экологического развития РФ и климатических изменений на 2021–2030 гг.

Гулев также отметил, что работа на суперкомпьютере позволит накопить опыт, который будет полезен при использовании значительно более мощного вычислительного комплекса, запланированного к запуску в ближайшие два-три года в рамках Единой национальной системы мониторинга климатически активных веществ.

Источник изображения: РСК

После запуска суперкомпьютера РСК несколько раз модернизировала его в 2017–2024 гг. В этом году запланировано ещё одно обновление машины. Сейчас HPC-комплекс ИО РАН включает 50 вычислительных узлов на базе платформы «РСК Торнадо» с процессорами Intel Xeon и прямым жидкостным охлаждением. Недавно к ним были добавлены два узла с ускорителями NVIDIA H100 (тоже с СЖО) общей производительностью 104 Тфлопс (FP64). Теперь суммарная производительность суперкомпьютера превышает 308 Тфлопс.

Хранилище машины включает All-Flash раздел ёмкостью 50 Тбайт, а также HDD-раздел объёмом более 1,5 Пбайт. Благодая программному комплексу «РСК БазИС» создана иерархическая среда хранения данных с возможностью создания конфигурации файловых систем по запросу.