В 2021 году на Съезде Ассоциации участников отрасли центров обработки данных было решено назначить 1 октября Днём работников отрасли ЦОД. Теперь профессиональный праздник отмечается тысячами причастных по всей стране.

Трудно переоценить значение дата-центров для современного мира — на их работу завязаны все ключевые отрасли, от медицины до развлечений, промышленности и госслужб. Опосредованно праздник касается и всех жителей страны — любой пользователь мессенджера или электронного почтового ящика пользуется достижениями индустрии ЦОД.

Источник изображения: База знаний отрасли ЦОД

Праздник, который участники съезда учредили 7 октября 2021 года, появился неспроста — за последние пару десятилетий отрасль ЦОД претерпела кардинальные изменения и теперь является зрелым участником национальной и мировой экономики. Хотя непосредственно дата-центры обслуживают тысячи человек, людей, задействованных в смежных отраслях тем или иным образом, в разы больше.

Дата выбрана большинством голосов участников съезда. Именно 1 октября 1959 года главой Госплана СССР Алексеем Косыгиным подписан указ о создании Вычислительного центра при Госплане СССР (№597), а здание вычислительного центра (ВЦ) Госплана в Москве фактически стало первым ЦОД в стране.

Хотя рынок ЦОД развивается в России стремительными темпами, праздник пока ожидает признания на государственном уровне. Когда отрасль получит отдельный код ОКВЭД, Ассоциация, вероятно, представит властям предложение установить праздник официально. А пока поздравляем всех причастных!

Microsoft приступила к тестовому использованию экобезопасного «зелёного» водорода, обеспечивающего нулевые выбросы при генерации электроэнергии. Испытания пройдут в дата-центре компании в Дублине (Ирландия) совместно с поставщиком водородных решений ESB. Топливные ячейки мощностью 250 кВт проработают в течение восьми недель.

Точно такие же ячейки проходят испытание и в дублинском ЦОД Equinix. Они рассматриваются в качестве экобезопасной замены дизель-генераторам. Проекты с Microsoft и Equinix являются частью целой серии испытаний в 2024–2025 гг. ESB рассчитывает продемонстрировать универсальность водородных технологий для различных сфер использования.

В Microsoft уверены, что первый эксперимент позволит продемонстрировать, как водородная энергетика сможет помочь декарбонизации IT-индустрии, в частности, ирландских ЦОД. Сейчас в стране фактически действует мораторий на строительство новых дата-центров в районе Дублина, поскольку ЦОД потребляют уже 21 % энергии в стране.

Источник изображения: Microsoft

В Microsoft давно экспериментируют с водородными топливными элементами для ЦОД. В начале 2024 года компания заявила, что совместный проект с Caterpillar в Вайоминге (США) позволил небольшому ЦОД успешно проработать 48 часов на одних только водородных элементах.

Руководство ESB тоже уверено, что «зелёный» водород будет играть важную роль в экобезопасной энергосистеме будущего, а совместный проект с Microsoft продемонстрирует потенциал технологии для дата-центров. Впрочем, в 2023 году Microsoft добилась разрешения на строительство газовой электростанции мощностью 170 МВт в дублинском кампусе. Тогда она заявила, что та будет применяться только для резервного электроснабжения объекта.

Компания Microsoft будет способствовать развитию облачной и ИИ-инфраструктуры Бразилии, расширяя свои собственные дата-центры в стране. По данным Datacenter Dynamics, компания объявила о намерении потратить $2,7 млрд на соответствующие проекты в течение трёх лет. В частности, в штате Сан-Паулу предполагается расширить облачную инфраструктуру в нескольких кампусах ЦОД. В Бразилии у компании есть облачный регион Brazil South в штате Сан-Паулу (введён в эксплуатацию в 2014 году), а в 2020 году IT-гигант запустил Brazil Southeast в Рио-де-Жанейро.

Глава Microsoft Сатья Наделла (Satia Nadella) уже заявил о поддержке ИИ-трансформации страны и сообщил, что новые инвестиции компании в облака и ИИ обеспечат доступ к современным технологиям, а программы обучения будут способствовать получению новых навыков, которые станут драйвером процветания людей и экономики Бразилии в эру ИИ.

По данным компании, речь идёт о крупнейшей в истории компании единовременной инвестиции в стране. В числе прочего предусмотрено обучение 5 млн человек навыкам работы с ИИ в последующие три года.

Ещё в 2014 году Microsoft запустила облачный регион São Paulo Azure в бразильском муниципалитете Кампинас, а в 2021 году его расширили до трёх зон доступности. В 2023 году появилась информация, что компания дополнительно работает над объектами в городах Ортоландия (Hortolândia) и Сумаре (Sumaré) в штате Сан-Паулу. Также в 2020 году было объявлено о намерении открыть второй облачный регион в Рио-де-Жанейро, но позже проект переквалифицировали в «регион с зарезервированным доступом».

Источник изображения: Pedro Menezes/unsplash.com

В 2023 году Microsoft подписала с AES Brasil контракт на поставки возобновляемой энергии сроком на 15 лет, забор энергии предусмотрен с ветроэлектростанции Cajuína Wind Complex, находящейся в штате Риу-Гранди-ду-Норти (Rio Grande do Norte). Коммерческая эксплуатация началась в июле 2024 года.

Инвестирует в бразильскую цифровую инфраструктуру не только Microsoft. Пару недель назад появилась информация о том, что $1,8 млрд на расширение ЦОД в стране готовится выделить и AWS, а Scala Data Centers построит в бразильском штате Риу-Гранди-ду-Сул (Rio Grande do Sul) мегакампус ЦОД на 4,75 ГВт.

Министр энергетики США Дженнифер Грэнхолм (Jennifer Granholm) дала понять, что не против того, чтобы технологические компании получали иностранные инвестиции на строительство ИИ ЦОД в США, что потенциально может стать ключевым голосом в поддержку инициатив гендиректора OpenAI Сэма Альтмана (Sam Altman) по привлечению зарубежных инвесторов для реализации дорогостоящих инфраструктурных проектов, пишет Bloomberg.

«Деньги — это экологично», — заявила Грэнхолм на конференции, проводившейся в четверг организацией Special Competitive Studies Project (SCSP, Специальный проект по конкурентным исследованиям), в ответ на вопрос о том, волнует ли правительство США, откуда поступает капитал. «Пока есть какие-то границы, я думаю, это нормально», — добавила она, подчеркнув, что любые соглашения о финансировании должны учитывать, какой доступ иностранные инвесторы будут иметь к интеллектуальной собственности, и гарантировать, что ЦОД будут построены в США.

В этом месяце Грэнхолм посетила круглый стол в Белом доме с участием Альтмана и других топ-менеджеров крупных игроков на рынке ИИ. Сэм Альтман прилагает значительные усилия, чтобы привлечь миллиардные суммы от инвесторов с Ближнего Востока и других регионов для расширения физической инфраструктуры, необходимой для поддержки будущего развития ИИ. Он также встречался с официальными лицами правительства США, чтобы заручиться их поддержкой.

Источник изображения: PiggyBank / Unsplash

Альтман и его команда намерены начать реализацию своего плана с привлечения инвестиций в США, который пойдут на строительство ЦОД, увеличение энергетических мощностей и расширение производства полупроводников.

После мероприятия в Белом доме компания OpenAI поделилась с правительством документом, в котором излагаются экономические и иные преимущества строительства крупных ЦОД в различных штатах США. По мнению Альтмана, это вопрос национальной безопасности. Руководители энергетических компаний заявили, что обеспечение электроэнергией таких ЦОД, каждый из которых будет потреблять такие же объёмы, как целый город, будет сложной задачей.

В ходе конференции Грэнхолм сказала, что Министерство энергетики США тесно сотрудничает с крупными ИИ-компаниями с тем, чтобы удовлетворить растущий спрос на электроэнергию со стороны ЦОД и создать «консьерж-сервис», который обеспечит им необходимую поддержку.

Компания Synergy Research Group обнародовала результаты анализа мировой облачной экосистемы в I половине 2024 года. Суммарные затраты в сегментах услуг и инфраструктуры достигли $427 млрд, увеличившись примерно на 23 % по сравнению с I полугодием 2023-го.

Отмечается, что в сегментах IaaS, PaaS и SaaS рост расходов в среднем составил 21 % в годовом исчислении. При этом по направлению корпоративных сервисов SaaS прибавка оказалась немногим менее 20 %.

Затраты на публичные и частные облачные дата-центры в течение января–июня 2024 года увеличились на 30 % по сравнению с тем же периодом 2023-го. Гиперскейлеры продолжают активно развивать свои инфраструктуры: их ёмкость выросла на 24 % год к году, а суммарный объём готовящихся к вводу мощностей подскочил на 47 %.

Источник изображения: Synergy Research Group

В сфере SaaS и облачных инфраструктурных услуг лидерами являются Microsoft, Amazon, Google и Salesforce. В сегменте оборудования и ПО для дата-центров значительную долю рынка занимают ODM-производители, услугами которых пользуются гиперскейлеры. Крупными игроками данного рынка также названы Dell, Microsoft, Supermicro и HPE. Отмечается, что позиции быстро укрепляет NVIDIA, поставляющая решения для платформ ИИ, в том числе напрямую гиперскейлерам.

С географической точки зрения безусловным лидером являются США, на которые в I полугодии 2024-го приходилось 44 % всей выручки от облачных услуг, 53 % ёмкости гиперскейлеров и 47 % рынка оборудования и ПО для облачных ЦОД. На долю китайских игроков приходится 8 % всей выручки от облачных услуг и 16 % мощностей гиперскейлеров.

Американская инвестиционная компания Blackstone намерена потратить £10 млрд ($13,4 млрд) на масштабный ИИ ЦОД в Великобритании. По данным The Register, объект, названный «крупнейшим в Европе ИИ ЦОД», появится на северо-востоке Англии на месте остановленного завода BritishVolt. Буквально на днях DC01UK тоже представила план строительства за £3,75 млрд ($4,9 млрд) в Хартфордшире одного из крупнейших ИИ ЦОД в регионе.

Проект Blackstone поможет создать 4 тыс. рабочих мест, 1,2 тыс. из которых связаны со строительством дата-центра. Помимо вложения £10 млрд в строительство объекта Blackstone обязалась потратить ещё £110 млн на переподготовку персонала для эксплуатации ЦОД и модернизацию транспортной инфраструктуры в регионе. Впрочем, львиная доля средств уйдёт на ИИ-ускорители, но какие именно, пока не уточняется.

По словам премьер-министра Великобритании Кира Стармера (Keir Starmer), инвестиции Blackstone такого уровня сами по себе являются своеобразным «вотумом доверия» Великобритании и служат доказательством того, что страна вновь стала крупным мировым игроком, открытым для бизнеса. Британские власти немало делают для того, чтобы привлечь инвестиции в местную инфраструктуру. Страна причислила ЦОД к критической национальной инфраструктуре (CNI) с государственной поддержкой.

Источник изображения: Heidi Fin/unsplash.com

Бизнес по сдаче в аренду ИИ-инфраструктуры стал весьма прибыльным во всём мире, поэтому ничего необычного в интересе к нему инвестиционной компании нет. Ранее в The Next Platform подсчитали, что вложение около $1,5 млрд в строительство, развёртывание и сетевое подключение ЦОД за четыре года способны принести $5,27 млрд выручки. Похожий уровень возврата инвестиций прогнозирует и сама NVIDIA. Но в этом деле нужен грамотный подход, чтобы не получилось как в Китае, где наспех построенные ИИ ЦОД оказались невостребованными.

Впрочем, Blackstone — не новичок в отрасли. Весной компания присоединилась к BlackRock и другим инвесторам, чтобы вложить $7,5 млрд в долговое финансирование CoreWeave, сдающей вычислительные мощности ускорителей в аренду. Пока нет данных, захочет ли Blackstone действовать без посредников и представить собственное облако или компания намерена привлечь бизнес вроде CoreWeave к реализации своего проекта. Стоит отметить, что последняя в начале 2024 года анонсировала проект строительства своей европейской штаб-квартиры в Лондоне и двух ИИ ЦОД за £1 млрд.

Глобальный рынок продуктов, связанных с ИИ, включая услуги и оборудование, будет расти на 40–55 % в год с $185 млрд в прошлом году и достигнет $780–990 млрд в 2027 году, сообщается в пятом ежегодном «Глобальном технологическом отчёте» (Global Technology Report) консалтинговой фирмы Bain & Co, передаёт Bloomberg.

Драйверами роста рынка в Bain назвали более крупные ИИ-системы и более крупные ЦОД для их обучения и эксплуатации. ИИ понадобится компаниям и правительствам для повышения эффективности работы. Спрос растёт столь быстро, что это ударит по цепочкам поставок компонентов, включая чипы, а на фоне геополитической напряжённости может спровоцировать дефицит полупроводников, персональных компьютеров и смартфонов, предупредили в Bain.

Источник изображений: bain.com

По оценкам консалтинговой фирмы, спрос на проектирование интегральных схем и связанную с этим интеллектуальную собственность может вырасти на 30 % и более к 2026 году, что окажет давление на производителей. Стоимость крупных ЦОД может подскочить через пять лет с $1–$4 млрд в настоящее время до $10–$25 млрд, поскольку их мощность увеличится до 1+ ГВт с 50–200 МВт в настоящее время.

«Ожидается, что эти изменения будут иметь огромные последствия для экосистем, которые поддерживают ЦОД, включая проектирование инфраструктуры, выработку электроэнергии и охлаждение», — говорится в заявлении консалтинговой компании.

Компании перешли от этапа экспериментов к масштабированию генеративного ИИ, указано в отчёте Bain. Малые языковые модели (SLM), более «лёгкие» и эффективные в сравнении с LLM, могут быть более предпочтительны для предприятий и стран, что связано с меньшим объёмом затрат и опасениями по поводу конфиденциальности.

Правительства ряда стран, включая Канаду, Францию, Индию, Японию и ОАЭ, тратят миллиарды долларов на субсидирование суверенного ИИ, инвестируя в национальную вычислительную инфраструктуру и ИИ-модели, созданные в пределах их границ и обученные на собственных данных. Но создание успешных суверенных экосистем ИИ будет трудоёмким и дорогим, считают в Bain.

Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Растущий спрос на электроэнергию для ИИ ЦОД вынуждает операторов расширять свои безуглеродные энергетические проекты и развивать системы СЖО. Однако не всегда и везде это удаётся. По данным DigiTimes, лидеры индустрии ЦОД подчёркивают важность бесперебойного электроснабжения для создания новых дата-центров на Тайване.

По данным доклада 2023 National Power Supply and Demand местного министерства экономики, спрос на электричество для ИИ-проектов на Тайване, вероятно, вырастет с 240 МВт в 2023 году до 2240 МВт к 2028 году. Основное энергопотребление ЦОД приходится на серверы и системы охлаждения. Отраслевые эксперты заявляют, что стабильность энергоснабжения стала главным приоритетом при выборе местоположения ЦОД. На ранних стадия планирования проекты обязательно необходимо представлять на согласование местному оператору Taipower.

Источник изображения: American Public Power Association/unsplash.com

Для охлаждения серверов пока применяются преимущественно воздушные системы. Чтобы повысить их эффективность, многие ведущие компании переходят на СЖО, в том числе иммерсионное охлаждение, значительно снижая PUE. По данным DigiTimes Research, около 80 % энергопотребления ЦОД приходится на обеспечение работы серверов и охлаждение. В последнее время власти многих стран предъявляют жёсткие требования к новым ЦОД, PUE которых не должен быть выше 1,4.

Помимо обеспечения стабильного электроснабжения, операторы ЦОД также уделяют особое внимание использованию возобновляемой энергии. Тайваньская энергетическая политика пока предусматривает «безъядерный» энергопереход с агрессивным внедрением «зелёной» энергетики. С учётом наплыва иностранных компаний, желающих построить ЦОД на острове, обеспечение доступа к «зелёному» электричеству стало приоритетом.

IT-гиганты вроде AWS, Microsoft и Google активно рассматривают на Тайване переход на углеродно-нейтральные источники питания, включая АЭС. Энергокомпании действительно отмечают рост спроса со стороны операторов ЦОД на «зелёную» энергию. Впрочем, пока в основном ведутся лишь предварительные обсуждения, а поставщики не уверены, стоит ли поставлять энергию такого типа исключительно дата-центрам.

В Сети появилась информация о том, что глава OpenAI Сэм Альтман (Sam Altman) пытается убедить президента США Джо Байдена (Joe Biden) в необходимости строительства большой сети ИИ ЦОД. Bloomberg сообщает, что каждый из этих дата-центров будет потреблять до 5 ГВт, как планируемый ЦОД Stargate. Предполагается, что такое строительство необходимо для обеспечения национальной безопасности США.

Предложение, изложенное в документе, попавшем в руки журналистам Bloomberg, подчёркивает достоинства строительства нескольких таких ЦОД на территории Соединённых Штатов. Информация появилась спустя всего несколько недель после того, как Альтман и другие лидеры технологической отрасли посетили Белый Дом для обсуждения вопросов развития ИИ-технологий и инфраструктуры.

Журналисты цитируют представителей Constellation Energy, сообщивших, что Альтман может планировать возведение 5–7 подобных мегацентров, но пока готов начать с одного. Впрочем, строительство даже единственного объекта будет весьма сложной задачей, поскольку каждый ЦОД на 5 ГВт потребует, по-видимому, подключения к АЭС или крупным ГЭС. В результате в США придётся реализовать гигантские энергопроекты.

Источник изображения: Glenov Brankovic/unsplash.com

Так, ГЭС Grand Coulee в штате Вашингтон имеет мощность 6,8 ГВт, а атомные электростанции в Джорджии (Alvin W. Vogtle) и Аризоне (Palo Verde) обеспечивают 4,6 и 3,9 ГВт соответственно. Согласно докладу CBRE, вышедшему в конце прошлого месяца, уже отмечается нехватка энергии, препятствующая своевременному вводу объектов в эксплуатацию. При этом Министерство энергетики США действительно рассматривает массовый ввод в строй новых реакторов на старых угольных и атомных электростанциях.

С учётом высокого спроса, облачные провайдеры уже принимают экстренные меры для обеспечения своих объектов энергией. Microsoft заключила PPA на 20 лет с Constellation Energy для возвращения в строй 837-МВт реактора АЭС Three Mile Island. Ранее в этом году AWS заключила соглашение с Talen Energy, владеющей и управляющей АЭС Susquehanna. Amazon приобрела у компании ЦОД Cumulus за $650 млн, получив доступ к 960 МВт, а Oracle планирует ЦОД на малых модульных реакторах (SMR). Сам Альтман поддерживает стартапы в области ядерной (Oklo), термоядерной (Helion) и солнечной (Exowatt) энергетики.

В любом случае останется проблема получения огромного количества ускорителей для дата-центров. Если средний показатель PUE будет на уровне 1.1, то объект на 5 ГВт будет поддерживать до 35 тыс. суперускорителей NVIDIA Blackwell NVL72 или приблизительно 2,5 млн чипов Blackwell. Для сравнения, в 2023 году, по данным Uptime Institute, NVIDIA поставил всего около 600 тыс. ускорителей H100, а в этом вероятны поставки 1,5–2 млн ускорителей. При этом далеко не факт, что TSMC сможет справиться с выполнением заказа NVIDIA, особенно с учётом ограничений технологий упаковки CoWoS.

Конечно, Альтман часто выдвигал полуфантастические идеи. Ранее в этом году сообщалось, что он предложил проект сети производств чипов на $7 трлн для удовлетворения аппетитов своего бизнеса. Впрочем, выступая на мероприятии Foundry компании Intel в феврале он напомнил, что не всё, что написано в интернет — правда. Другими словами, план Альтмана, который он пытается продвигать в администрации, возможно, лишь попытка заставить правительство задуматься о долгосрочных инвестициях в ИИ.