Компания Google пообещала инвестировать в три собственных кампуса ЦОД дополнительные $2,3 млрд. Datacenter Dynamics сообщает, что дата-центры расположены в Огайо — в Нью-Олабани и Ланкастере, а ещё один строится в Коламбусе. IT-гигант уже потратил с 2019 года на инфраструктуру в штате $4,4 млрд.

Пока не раскрывается, как средства будут распределяться между объектами и кампусами. Местные власти подчёркивают, что дополнительные денежные вливания превращают Центральный Огайо в важный технологический хаб на территории США.

Впервые Google начала осваивать площадки в Огайо в 2019 году, начав строить дата-центр в Нью-Олбани стоимостью $600 млн. В том же году компания выделила ещё $1 млрд на строительство ЦОД в Коламбусе и Ланкастере, а в 2021 году запланировано расширение площадки в Нью-Олбани. Наконец, в 2023 году Google инвестировала в штате дополнительные $1,7 млрд.

Источник изображения: Matthew Bornhorst/unsplash.com

В число клиентов ЦОД в Огайо входят Nationwide, Huntington Bancshares, Victoria's Secret, и Wendy's, а также власти штата. В прошлом году Google заключила соглашение с EDP Renewables North America о реализации проектов, связанных с солнечной энергетикой на 500 МВт, большая часть которых приходится как раз на Огайо.

В 2023 Amazon (AWS) анонсировала инвестиции $7,8 млрд в дата-центры в том же штате, а ранее в текущем году компания приобрела около 95 га в местном округе Пикавэй для дальнейшей экспансии на рынке ЦОД. Собственные планы по развитию в штате имеет и Microsoft — компания рассматривает строительство здесь ЦОД в Коламбусе, округе Ликинг и Нью-Олбани.

Осенью 2024 года облачный оператор Nubes (НУБЕС) намерен ввести в эксплуатацию новый дата-центр Nubes Strato. По данным пресс-службы компании, вычислительные ресурсы нового ЦОД предполагается использовать для развития облака NGcloud и собственных облачных сервисов. Часть стоек будет доступна клиентам, желающим применять гибридные решения.

Защищённое, уже функционирующее облако NGcloud построено на базе первого дата-центра Nubes Alto уровня Tier III. На базе того же ЦОД базируются сервисы оператора, связанные с обеспечением информационной безопасности, решения для удалённой работы и хранения информации. Nubes Alto активно используется и клиентами, желающими разметить на его площадке собственное серверное оборудование и телекоммуникационные модули по колокейшн-схеме.

Источник изображения: Nubes

Новый дата-центр на 198 стоек строится в Москве в районе м. Царицыно и поблизости от Nubes Alto, запущенного в 2022 году. Запуск Strato намечен на сентябрь 2024 года, пока же в помещениях объекта ведётся установка инженерной инфраструктуры. Ожидается, что скоро там же смонтируют источники бесперебойного и гарантированного электроснабжения. Пока ведётся строительство и монтаж, провайдер ЦОД занят закупками вычислительной техники и сетевого оборудования.

В компании добавляют, что ЦОД строится и для масштабирования возможностей по предоставлению гибридных решений клиентам. Кроме того, появление Nubes Strato будет способствовать расширению облака NGcloud. Гибридная природа проекта позволит клиентам не только размещать на площадке собственное оборудование, но и интегрировать его с облаком компании.

Amazon потратит €10 млрд ($10,7 млрд) на обновление дата-центров и модернизацию логистической сети в Германии, передаёт Silicon Angle. Всего несколько недель назад облако Amazon Web Services (AWS) объявила о намерении потратить €7,8 млрд ($8,36 млрд) в той же Германии на суверенную облачную платформу AWS European Sovereign Cloud.

Часть из €10 млрд Amazon потратит на найм ещё 4 тыс. сотрудников в центры обработки заказов в нескольких немецких городах, в результате чего общий штат сотрудников в Германии вырастет до более 40 тыс. человек. Amazon также управляет в Германии сетью из четырёх инжиниринговых центров — компания объявила о намерении расширить свой берлинский кампус. Целью является поддержка работ, связанных с робототехникой и ИИ.

Другая часть инвестиций будет использована для «постройки, поддержки и обслуживания» кластера облачных дата-центров в районе Франкфурта. Сейчас франкфуртский облачный регион AWS включает три зоны доступности, изолированные друг от друга на физическом уровне, и две т.н. «локальные зоны», расположенные ближе к потребителям.

Истчоник изображения: Igor Flek/unsplash.com

Для AWS European Sovereign Cloud будет построен дата-центр в земле Бранденбург, он заработает к концу следующего года. Предполагается, что эти облачные мощности будут обслуживаться только персоналом из Евросоюза. Ранее компания уже сообщала о том, что метаданные пользователей из ЕС будут храниться на территории блока. Год назад схожий проект реализовала в регионе компания Oracle.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Американская инвестиционная компания KKR совместно с сингапурской Singtel объединили усилия для вложения $3 млрд сингапурских долларов (чуть более $2,2 млрд) в ST Telemedia Global Data Centres (STT GDC). По данным Forbes, речь идёт о крупнейшей в этом году инвестиции в цифровую инфраструктуру Юго-Восточной Азии — в перспективном регионе активно развиваются технологии ИИ.

В рамках сделки партнёры намерены выкупить на $1,30 млрд погашаемых привилегированных акций STT GDC — правда, компании всё ещё ожидают разрешения местных регуляторов. После полного исполнения обязательств по покупке акций по заранее оговоренной цене компании вложат в сингапурского оператора ЦОД ещё $0,92 млрд, после чего KKR будет владеть 14,1 % компании, а Singtel — 4,2 %.

STT GDC — один из самых быстрорастущих операторов дата-центров. Компания управляет 95 ЦОД общей ёмкостью более 1,7 ГВт на более чем 20 рынках в 11 регионах, включая Азию, Великобританию и континентальную Европу. Предполагается, что беспрецедентный рост облачных и ИИ-бизнесов вместе с вливаниями KKR и Singtel дадут STT GDC толчок к росту на рынке цифровой инфраструктуры. Поступления от инвесторов пойдут на международную экспансию компании.

Источник изображения: Bryan Low/unsplash.com

В феврале 2024 года STT GDC сообщила о готовности многих инвесторов вложить в компанию $1 млрд перед потенциальным выходом на IPO в США или Сингапуре. В мае 2024 года сообщалось, что KKR и Singtel конкурируют за долю в 20 % в STT GDC. Но ST Telemedia, владеющая многими медиакомпаниями в регионе, в любом случае останется мажоритарным акционером. Компания уже анонсировала планы расширения во Вьетнаме и начала строительство третьего ЦОД в Ченнаи (Индия).

KKR активно наращивает инвестиции в дата-центры на фоне растущего спроса на цифровую инфраструктуру для облачных и ИИ-сервисов в Азии. В сентябре 2023 года нью-йоркская компания приобрела 20 % в региональном бизнесе Singtel, связанном с ЦОД — компании Nxera за $0,81 млрд. А сегодня Nxera объявила о заключении партнёрства с Telekom Malaysia с целью постройки нового ЦОД в Джохоре (Малайзия).

Основным акционером сингапурской Singtel является Temasek — крупнейшая телекоммуникационная компания Юго-Восточной Азии с более 780 млн мобильных клиентов в 21 стране Азии, Австралии и Африки. Кроме того, она предоставляет в регионе и другие услуги связи и инфраструктурные сервисы.

В последние месяцы в Юго-Восточной Азии наблюдается бум проектов, связанных с ЦОД. Планы строительства там облачной ИИ-инфраструктуры анонсировали многие IT-гиганты, включая AWS, Google и Microsoft.

Крупные технокомпании вроде Microsoft и Google горят желанием использовать всё больше энергии от атомных электростанций для питания своих ЦОД, но намного меньше у них желания вкладывать средства в строительство новых АЭС. По данным Bloomberg, об этом они официально заявили на конференции Nuclear Society. По информации издания, ИИ и ЦОД, вероятно, впервые обеспечат существенный рост энергопотребления в США.

Но участники конференции объявили, что находятся в «неподходящем положении» для того, чтобы помогать в разработке АЭС. Дело в том, что строительство реакторов, особенно на базе новых технологий, по мнению Google, весьма рискованно. Техногиганты готовы платить «разумную надбавку» за уже доступную им чистую энергию, но не хотят инвестировать в компании, непосредственное занятые строительством АЭС. В Google подчеркнули, что всецело поддерживают атомную энергетику, но считают, что брать риски на себя должны не конечные потребители.

Дискуссия развернулась после того, как Билл Гейтс (Bill Gates) заявил, что намерен вложить миллиарды долларов в создание АЭС на базе малого модульного реактора (SMR) в Вайоминге, строительство которой уже начато компанией TerraPower. Поддержка Гейтса станет ключевой на фоне рисков, связанных с атомной энергетикой. Строительство планируется завершить в 2030 году, с отставанием на два года от озвученного в 2021 году срока. В Вайоминге же планируется установка SMR от компании Oklo, поддерживаемой главой OpenAI.

Источник изображения: Dan Meyers/unsplash.com

В апреле в Джорджии компания Southern Co. впервые за десятилетия завершила строительство новой АЭС в США, на семь лет позже запланированного и с увеличением бюджета приблизительно на 150 %. Возможно, именно поэтому IT-компании заявляют, что должны сконцентрироваться на своих сильных сторонах, строя дата-центры, тогда как поставками энергии должны заниматься коммунальные службы. Об этом, в частности, объявил главный менеджер по энергетике и устойчивости Microsoft Адриан Андерсон (Adrian Anderson).

По его словам, если дата-центр нуждается в чистой энергии, оператор должен связаться с поставщиком электричества, а вовсе не с производителем ветряных турбин, а сами высказывания о том, что отдельные покупатели должны самостоятельно оценивать риски инвестиций в атомные технологии он назвал «смехотворной концепцией». При этом сама Microsoft набирает команду и топ-менеджеров для развития направления SMR.

Сегодня новые реакторы разрабатываются многими компаниями, но им понадобится значительная финансовая помощь для того, чтобы перейти к строительству и коммерциализации новых объектов. Несмотря на то, что в появлении большего числа АЭС заинтересованы как энергокомпании, так и операторы ЦОД, техногиганты не спешат в массовом порядке заниматься финансированием таких проектов. По словам недавно покинувшего пост директора по энергетической стратегии Meta✴ Питера Фрида (Peter Freed), сама идея того, что IT-компании спасут положение и просто «выпишут чек» ошибочна.

Оператор связи Freedom Telecom (входит в группу Freedom Holding), по сообщению «Интерфакса», намерен реализовать в Казахстане два IT-проекта общей стоимостью ₸107 млрд (приблизительно $233 млн). Об этом рассказал министр цифрового развития, инноваций и аэрокосмической промышленности республики Жаслан Мадиев.

Одна из инициатив предусматривает создание национальной гипермагистрали Запад — Восток, которая позволит увеличить транзитный трафик по территории Казахстана. Компания Freedom Telecom готова вложить в прокладку данной линии ₸17 млрд (около $37 млн) до конца 2025 года.

Источник изображения: pixabay.com

Второй проект предполагает строительство крупного дата-центра не ниже уровня Tier-III для транзита и хранения международного трафика. Предполагаемые инвестиции заявлены в размере ₸90 млрд (примерно $196 млн). Срок реализации — конец 2027 года.

Анонсирована и еще одна инициатива, в которой примут участие другие операторы связи из Казахстана и Азербайджана. Речь идёт о прокладке волоконно-оптической линии протяженностью 370 км по дну Каспийского моря. Инвестиции составят более ₸23 млрд ($50 млн). В рамках данного проекта АО «Казахтелеком» и ООО «Азертелеком» создали новое совместное предприятие. Проводится тендер по выбору подрядчика на проектирование и прокладку подводной магистрали.

Ожидается, что появление новых ВОЛС и крупного дата-центра обеспечит альтернативный маршрут международного транзита данных, что, в свою очередь, позволит привлечь на рынок Казахстана такие компании, как Google, Amazon и Microsoft.

Бывший генеральный директор Google Эрик Шмидт (Eric Schmidt) прогнозирует, что в обозримом будущем в США и Китае большие суперкомпьютеры будут заниматься ИИ-вычислениями под защитой военных баз. В интервью Noema он подробно рассказал о том, каким видит новые ИИ-проекты, и это будущее вышло довольно мрачным.

Шмидт поведал о том, как правительства будут регулировать ИИ и искать возможности контроля ЦОД, работающих над ИИ. Покинув Google, бизнесмен начал очень тесно сотрудничать с военно-промышленным комплексом США. По его словам, рано или поздно в США и Китае появится небольшое число чрезвычайно производительных суперкомпьютеров с возможностью «автономных изобретений» — их производительность будет гораздо выше, чем государства готовы свободно предоставить как своим гражданам, так и соперникам.

Каждый такой суперкомпьютер будет соседствовать с военной базой, питаться от атомного источника энергии, а вокруг будет колючая проволока и пулемёты. Разумеется, таких машин будет немного — гораздо больше суперкомпьютеров будут менее производительны и доступ к ним останется более широким. Строго говоря, самые производительные суперкомпьютеры США принадлежат Национальным лабораториям Министерства энергетики США, которые усиленно охраняются и сейчас.

Как заявил Шмидт, необходимы и договорённости об уровнях безопасности вычислительных систем по примеру биологических лабораторий. В биологии широко распространена оценка по уровням биологической угрозы для сдерживания её распространения и оценки уровня риска заражения. С суперкомпьютерами имеет смысл применить похожую классификацию.

Источник изображения: Joel Rivera-Camacho/unsplash.com

Шмидт был председателем Комиссии национальной безопасности США по ИИ и работал в Совете по оборонным инновациям. Также он активно инвестировал в оборонные стартапы. В то же время Шмидт сохранил влияние и в Alphabet и до сих пор владеет акциями компании стоимостью в миллиарды долларов.

Военные и разведывательные службы США пока с осторожностью относятся к большим языковым моделям (LLM) и генеративному ИИ вообще из-за распространённости «галлюцинаций» в таких системах, ведущих к весьма правдоподобным на первый взгляд неверным выводам. Кроме того, остро стоит вопрос сохранения секретной информации в таких системах.

Ранее в этом году Microsoft подтвердила внедрение изолированной от интернета генеративной ИИ-модели для спецслужб США после модернизации одного из своих ИИ-ЦОД в Айове. При этом представитель Microsoft два года назад предрекал, что нынешнее поколение экзафлопсных суперкомпьютеров будет последним и со временем все переберутся в облака.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна новая система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Отмечается, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Equinix заключила предварительное соглашение с создателем малых модульных реакторов (SMR) Oklo, поддерживаемым главой OpenAI Сэмом Альтманом (Sam Altman). По данным Datacenter Dynamics, это первый договор, подписанный оператором, предусматривающий использование SMR. В заявлении по форме S4, поданном AltC Acquisition Corp в Комиссию по ценным бумагам и биржам США (SEC), раскрываются некоторые детали сделки.

В частности, Equinix внесла в качестве предоплаты $25 млн. Считается, что в данном случае речь идёт о финансировании акционерного капитала — Equinix получает возможность купить долю в 1,5-1,9 % в бизнесе Oklo. Сейчас разработчик реакторов находится в стадии обратного слияния со SPAC-компанией AltC Acquisition, намеренной вывести специалистов по атомной энергетике на IPO в июле 2024 года. Вместо акций Equinix также может получить дисконт на приобретение энергии.

Источник изображения: Oklo

Модульные реакторы Oklo на быстрых нейтронах способны генерировать до 15 МВт каждый и работать до 10 лет без перезарядки. Equinix будет получать энергию от SMR Oklo в США в течение 20 лет. Конкретные объёмы будут оговариваться в будущих соглашениях о покупке энергии (PPA), а в будущем Equinix сможет обновить и расширить PPA ещё на 20 лет. Оператор ЦОД также получил право преимущественной покупки энергии, вырабатываемой определёнными реакторами, сроком на 36 месяцев — выкупаемая мощность составит 100–500 МВт.

SMR, разрабатываемые также NuScale, Rolls-Royce и другими компаниями, предлагаются в качестве источника «низкоуглеродного» экобезопасного питания для ЦОД — это позволит дата-центрам работать без подключения к магистральным электросетям. В прошлом году Standard Power анонсировала планы приобрести 24 SMR у NuScale, хотя позже его назвали фейковым.