Американский стартап Cerebras Systems, занимающийся разработкой ИИ-ускорителей, по сообщению Datacenter Dynamics, арендует площади в дата-центре на барже Nautilus Data Technologies в Калифорнии. В этом плавучем ЦОД применяется запатентованная технология жидкостного охлаждения Nautilus, основанная на использовании забортной воды.

Ранее Nautilus объявила, что неназванная компания в области ИИ подписала договор аренды на площадке в Стоктоне в конце 2023 года. Теперь выясняется, что этим клиентом является стартап Cerebras, который проектирует интегрированные чипы WSE (Wafer Scale Engine) размером с кремниевую пластину с сотнями тысяч ядер для работы с крупными ИИ-моделями.

Источник изображения: Nautilus

Дата-центр Nautilus в Стоктоне обладает мощностью 6,5 МВт и предлагает до 55 кВт на стойку. Заявленный уровень PUE — 1,15 вне зависимости от времени года или погодных условий. На объекте установлены резервные генераторы с запасом топлива, которого хватит на 26 часов работы при максимальной нагрузке. Забор воды для охлаждения осуществляется из реки Сан-Хоакин. Обеспечивается круглосуточный мониторинг территории усилиями местной службы безопасности, а также патрулирование наземных и водных путей Министерством внутренней безопасности, Береговой охраной США и Департаментом шерифа округа Сан-Хоакин.

В рамках подписанного договора Cerebras арендует 2,5 МВт. В ЦОД будут размещены системы Cerebras CS-3 на основе ускорителей WSE-3. Эти изделия насчитывают 4 трлн транзисторов, содержат 900 тыс. ядер и 44 Гбайт памяти SRAM. Заявленная производительность достигает 125 Пфлопс в FP16-вычислениях.

Компания Tesla, по сообщению ресурса The Information, не укладывается в намеченный график строительства ЦОД в Остине (Техас, США), в котором планируется разместить узлы ИИ-суперкомпьютера Dojo стоимостью $1 млрд. Эта площадка будет использоваться для решения сложных задач в области ИИ и машинного обучения, в частности, связанных с системами автопилотирования.

К строительству дата-центра, о котором идёт речь, компания Илона Маска приступила в октябре 2023 года. Известно, что по своей конструкции этот ЦОД будет напоминать бункер. Однако, как стало известно, при возведении комплекса Tesla столкнулась с рядом трудностей.

В середине апреля Маск посетил строительную площадку и «пришёл в ярость» из-за увиденного. Вопреки ожиданиям, у объекта отсутствуют большая часть первого этажа и крыша. Наблюдаются сложности с доставкой необходимых материалов, из-за чего возникают задержки при строительстве. Кроме того, ситуация усугубляется из-за того, что основанная Маском компания Boring Company должна проложить под площадкой ЦОД туннель для передвижения электрических пикапов Cybertruck, но эти работы не выполнены. Поэтому невозможно полноценное завершение возведения даже первого этажа.

Источник изображения: Tesla

После своего визита Маск уволил директора по строительной инфраструктуре проекта. После этого Tesla сократила более 14 тыс. сотрудников — свыше 10 % от своего штата, насчитывавшего около 140 тыс. человек. Кроме того, компанию покинули несколько топ-менеджеров. О сроках завершения строительства ЦОД в Остине ничего не сообщается. Возникшие задержки, как считается, отражают более широкие проблемы в автомобильной отрасли.

Энергетическая компания Georgia Power (GP) получила добро от властей штата Джорджии на увеличение генерирующих мощностей. По данным Datacenter Dynamics, расширение ожидается как за счёт электростанций на возобновляемой энергии, так и на ископаемом топливе. На такие компромиссы пришлось пойти с учётом растущего спроса на электричество со стороны дата-центров.

Местный регулятор Georgia Public Service Commission (PSC) подавляющим большинством голосов одобрил планы Georgia Power, предусматривающие генерацию ещё 1,4 ГВт. В процессе задействуют три новых генератора на природном газе или нефти, а также солнечные электростанции — несмотря на то, что против выступили местные сторонники «чистой» энергии. Дополнительно получено разрешение на закупку энергии с газовой электростанции во Флориде и 750 МВт у родственной Mississippi Power Co.

Источник изображения: Ivo Lukacovic/unsplash.com

По данным Georgia Power, в последние несколько лет законтрактованный спрос вырос на 6,2 ГВт, из которых 80 % приходится на дата-центры. В прошлом году в Джорджии выросли цены на электричество для бытовых потребителей, поскольку цены на ископаемое топливо были выше, чем ожидалось. По мнению сторонников «зелёной» энергии, хотя пока ископаемое топливо позволяет получать более дешёвую энергию, цены на газ волатильны и со временем снова значительно вырастут.

Помимо генераторов на ископаемом топливе, Georgia Power намерена ввести в эксплуатацию солнечные элементы питания на 500 МВт с энергохранилищами уже к концу 2026 года, а к 2027-му добавить ещё одно хранилище энергии. Стоимость всех энергопроектов составит $3 млрд. Некоторые противники проекта жалуются, что генераторы имеют ресурс для работы в течение почти 50 лет, другими словами — Джорджию надолго привязывают к ископаемому топливу.

В Джорджии насчитывается 74 дата-центра, большинство из которых расположены в районе Атланты. В числе провайдеров — Digital Realty, Centersquare (ранее Cyxtera/Evoque), Flexential, T5 data Centers, CoreSite, Equinix, DataBank, DC Blox, 365 Data Centers, QTS и EdgeConneX. Только в 2024 году Microsoft приобрела в штате 55 га для своих дата-центров, ещё 174 га купила Amazon. Cвой кампус планирует построить и Meta✴. Другие проекты реализуют Strategic Real Estate Partners и DC Blox.

Компания IonQ, специализирующаяся на разработках в области квантовых вычислений, объявила о заключении соглашения о сотрудничестве с Окриджской национальной лабораторией (ORNL) Министерства энергетики США. Речь идёт об исследованиях, нацеленных на модернизацию американской энергосистемы.

Отмечается, что нагрузка на энергетическую инфраструктуру США постоянно растёт, что порождает необходимость её совершенствования. При этом требуются инновационные решения, которые помогут не только в оптимизации энергосети, но и в повышении безопасности и стабильности. Предполагается, что квантовые вычисления будут способствовать устранению существующих проблем.

В рамках сотрудничества ORNL инвестирует в квантовые системы IonQ. Квантовые системы быть значительно производительнее традиционных суперкомпьютеров при решении определённых задач. К ним, в частности, относятся исследования в сфере энергетики. «Модернизация энергосистемы США является приоритетом. Мы уверены, что квантовые технологии в конечном итоге повысят устойчивость, надёжность и безопасность соответствующей инфраструктуры», — говорит IonQ.

Источник изображения: IonQ

Работа IonQ поддерживается проектом GRID-Q, который является частью Инициативы по модернизации энергосистем США (Grid Modernization Initiative), а также проектом ORNL Quantum Computing User Program, предусматривающим предоставление доступа к самым современным квантовым компьютерам для тестирования реальных приложений, таких как управление энергосистемами. Исследования IonQ и ORNL финансируются Министерством энергетики США.

Лос-Аламосская национальная лаборатория (LANL) Министерства энергетики США объявила о завершении сборки НРС-комплекса Venado, предназначенного для решения сложных ресурсоёмких задач в области ИИ. В создании системы приняли участие компании HPE и NVIDIA.

Проект Venado был анонсирован в мае 2022 года. Система смонтирована в Центре моделирования и симуляции Николаса К. Метрополиса (Nicholas C. Metropolis) в составе LANL. В церемонии открытия комплекса приняли участие представители Министерства энергетики США, Администрации по национальной ядерной безопасности США и других организаций.

Venado — первый в США суперкомпьютер, построенный на суперчипах NVIDIA Grace и Grace Hopper с ядрами Arm. Суперкомпьютер построен на платформе HPE Cray EX. В общей сложности задействованы 2560 гибридных суперчипов Grace Hopper с прямым жидкостным охлаждением: эти изделия объединяют ядра Arm v9 и ускорители на архитектуре Hopper. Кроме того, в состав НРС-системы входят 920 суперчипов Grace. Узлы объединены интерконнектом HPE Slingshot 11.

Источник изображений: LANL

На суперкомпьютере используется специализированное ПО HPE Cray, которое, как утверждается, позволяет оптимизировать рабочие нагрузки по моделированию и симуляции. Систему планируется использовать в таких областях, как материаловедение, возобновляемые источники энергии, астрофизика и пр. ИИ-производительность системы (FP8) составит около 10 Эфлопс. Машина также получит Lustre-хранилище.

«Являясь первым в США суперкомпьютером на базе NVIDIA Grace Hopper, система Venado обеспечивает революционную производительность и энергоэффективность для ускорения научных открытий», — говорит Ян Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA. При этом Venado относится к классу экспериментальных суперкомпьютеров и будет использоваться для переноса и оптимизации имеющихся кодов, а также для создания нового ПО и проверки различных концепций.

Компания Schneider Electric намерена вложить $140 млн в создание производственных мощностей в США в течение 2024 года. По данным Datacenter Dynamics, новые и модернизированные мощности будут выпускать управляющие и распределительные устройства для дата-центров, критической инфраструктуры и промышленности Соединённых Штатов.

Вендор потратит $85 млн на преобразование и оснащение завода в Маунт Джулиет (Mount Juliet) в Теннесси и модернизацию завода в Смирне (Smyrna) того же штата. Ожидается, что объект в Маунт Джулиет начнёт выпускать и поставлять продукцию к середине 2024 года, а к концу года заработает на полную мощность. Дополнительно компания наймёт 455 рабочих, распределив их по обеим локациям. Куда потратят остальные средства, пока не сообщается.

По словам Schneider Electric, потребность в электрической инфраструктуре для поддержки передовых вычислений и технологического прогресса ещё никогда не была так велика. Дополнительно вложения поддержат исполнение Закона об инвестициях в инфраструктуру и рабочие места (Infrastructure Investment and Jobs Act) и Закона о снижении инфляции (Inflation Reduction Act). Это позволит поднять поставки оборудования местного производства. Также это укрепит позиции Schneider Electric в качестве одного из лидеров в области «зелёной» энергетики.

Фото: Schneider Electric

С 2020 года Schneider Electric уже вложила $440 млн в производство в Соединённых Штатах, в том числе в завод в Пало Альто (Техас), запущенный в 2023 году. Также у компании есть производственные объекты в Лексингтоне (Кентукки), Линкольне (Небраска), а также Механиксбурге и Миддлтауне в Пенсильвании. Это уже не первый европейски бизнес, готовый вкладывать большие средства в развитие производства электрооборудования для ЦОД в Соединённых Штатах. Ещё в конце прошлого года появилась информация о намерении Siemens AG потратить более $500 млн на аналогичные цели.

Энергокомпании США прогнозируют рост спроса на электричество, вызванный взрывным развитием рынков ЦОД и генеративного ИИ. По данным Datacenter Dynamics, многие из поставщиков энергии в стране сегодня пересматривают капитальные затраты с учётом растущего спроса со стороны дата-центров.

Как сообщили аналитики Reuters, девять из десяти энергоснабжающих компаний США связывают рост клиентской базы и спрос на электричество с индустрией дата-центров, тогда как в прошлом году среди них лишь две учитывали вероятный рост ЦОД в своих прогнозах. По словам Newton Investment Management, рост индустрии ожидается более быстрый, чем в предыдущие десятилетия. А рост востребованности энергии вызывает опасение, что генерирующих мощностей попросту не хватит. Более того, по мнению некоторых экспертов, рост производства энергии не успевает за ростом ЦОД вообще.

Источник изображения: Casey Horner/unsplash.com

Так, Southern Co рассчитывает, что ЦОД будут способствовать ежегодному росту продаж энергии на 6 % в 2025–2028 гг., хотя ранее ожидалось, что прирост составит лишь 1–2 %. Филиал Power Business в Джорджии, вероятно, будет расти на беспрецедентные 9 % ежегодно. А в Morgan Stanley предполагают, что использование электроэнергии дата-центрами в глобальном масштабе вырастет втрое, с менее 15 ТВт∙ч в 2023 году до 46 ТВт∙ч в 2024 году.

Наконец, McKinsey предрекает спрос на электроэнергию для IT-оборудования в ЦОД США на уровне 50+ ГВт к 2030 году. В прошлом году она предполагала, что он достигнет только 35 ГВт к концу десятилетия. Общее потребление электричества в США должно значительно вырасти. Во многом не только из-за ЦОД, но и из-за развития электротранспорта. Всего, по оценкам BofA Global Research, к 2030 году спрос вырастет на 15 % до 70 ГВт.

Источник изображения: Lawrence Berkeley National Laboratory

Как считают в Национальной лаборатории Лоуренса Беркли (Lawrence Berkeley National Laboratory), ёмкость новых проектов, желающих подключиться к сетям, выросла с 2000 ГВт в 2022 году до 2600 ГВт в 2023-м. При этом потенциальная мощность новых энергопроектов за последние три года взлетела на 90 %. Из них 80 % приходится на новые типы энергии. Правда, как признают в лаборатории, большинство заявленных проектов так и не были реализованы в 2023 году, успешных инициатив — не более 20 %.

Тем временем регуляторы обеспокоены возможным ростом нагрузки на электросети, увеличением углеродных выбросов и другими вероятными проблемами, связанными с развитием ЦОД. Например, законотворцы в Джорджии проголосовали за отмену налоговых льгот для дата-центров, заявив, что те не создают достаточно рабочих мест для существенного развития экономики, зато возлагают непосильную нагрузку на местные энергокомпании.

Инженерный колледж Технологического института Джорджии (Georgia Tech) объявил о заключении соглашения о сотрудничестве с NVIDIA с целью создания первого в мире суперкомпьютерного центра ИИ, предназначенного для обучения студентов. Проект получил название AI Makerspace.

Отмечается, что AI Makerspace позволит демократизировать доступ к вычислительным ресурсам, которые традиционно были доступны только исследователям и технологическим компаниям. В рамках проекта студенты смогут использовать возможности НРС-комплекса для углубления своих навыков работы с ИИ. Это поможет в выполнении курсовых работ и позволит учащимся получить ценный практический опыт.

Фактически AI Makerspace — это выделенный вычислительный кластер. В создании системы приняли участие специалисты Penguin Solutions. Применяется платформа для работы с ИИ-приложениями NVIDIA AI Enterprise. На начальном этапе в составе ИИ-суперкомпьютера задействованы 20 систем NVIDIA HGX H100, насчитывающие в общей сложности 160 ускорителей NVIDIA H100. В качестве интерконнекта применяется NVIDIA Quantum-2 InfiniBand.

Источник изображения: Georgia Tech

В рамках сотрудничества с Georgia Tech компания NVIDIA окажет поддержку студентам и преподавателям Инженерного колледжа по программе NVIDIA Deep Learning Institute (Институт глубокого обучения NVIDIA). Данная инициатива предусматривает все виды практикумов по ИИ, ускоренным вычислениям, графике, моделированию и другим современным технологиям. AI Makerspace расширяет базовую теоретическую учебную программу Georgia Tech по ИИ, предлагая студентам практическую платформу для решения реальных задач, разработки передовых приложений и реализации своих идей.

IT-гиганты из США призвали Foxconn и других тайваньских партнёров организовать производство ИИ-серверов в Мексике. The Wall Street Journal сообщает, что, даже без учёта геополитических причин, мешающих сотрудничеству с материковым Китаем, вендоры только выиграют — благодаря соглашению о свободной торговле между США, Мексикой и Канадой от 2020 года выпускать продукцию на границе с Соединёнными Штатами просто выгоднее.

С момента подписания соглашения Мексика стала его ключевым бенефициаром наряду с США. Например, на объектах Foxconn в стране, по некоторым данным, уже выпускаются ИИ-серверы для Amazon, Google и NVIDIA.

По данным отраслевых источников, наладить производство в Мексике намерен и другой тайваньский производитель серверов — Inventec, якобы уже имеющий в партнёрах некий «топовый американский бренд». Снизить зависимость от Китая пытаются и Dell с HPE, развивая проекты в Юго-Восточной Азии и Мексике. Пытаются пустить корни в стране Pegatron, Wistron, Quanta и Compal. По последним данным, в Мексике уже действуют 300 тайваньских компаний, на которые работают 70 тыс. человек. Вместе они формируют рынок объёмом $15 млрд.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Впрочем, у Мексики есть собственные недостатки — ей трудно конкурировать с Китаем по уровню заработной платы и здесь отсутствует надёжная инфраструктура. Но благодаря трансграничным соглашениям о свободной торговле и географической близости к США эти недостатки нивелируются, а в политическом аспекте проблем у США с Мексикой фактически нет. Это делает её во многих отношениях привлекательнее, чем Китай, где сегодня отмечаются большие проблемы с выпуском ИИ-серверов. В частности, с некоторых пор КНР не может получать передовые чипы для выпуска аналогичного оборудования, предназначенного для поставок американским компаниям, из-за введённых США антикитайских санкций. Запрещены даже поставки некоторых игровых видеокарт.

Охлаждение отношений между США и Китаем привело и к сокращению торговли между странами в целом. Например, в 2023 году доля китайских товаров в американском импорте составляла 13,9 %. Для сравнения — в 2015 году она была на уровне 21,5 %. На прошлой неделе появилась статистика Министерства экономики Тайваня (Ministry of Economic Affairs, MOEA), согласно которой местный бизнес производит 90 % всех ИИ-серверов в мире и 100 % серверов под американскими брендами. Такое положение дел не может не беспокоить США, поскольку многие допускают превращения региона в «горячую точку» уже в ближайшие годы.

Занимающийся проектами в области атомной энергетики стартап Oklo подыскивает директора, готового заняться решениями для ЦОД. Компактные реакторы, разрабатываемы Oklo, способны генерировать до 15 МВт и автономно работать более 10 лет до того, как их понадобится «перезарядить». По данным Datacenter Dynamics, потенциальный директор должен привлечь к продуктам компании корпоративных клиентов и гиперскейлеров.

В описании вакансии сообщается, что передовые АЭС Oklo обеспечат дата-центрам энергетическую независимость, которая важна для развёртывания облачных и ИИ-инфраструктур. От кандидата ожидают глубокие знания в области планирования энергоснабжения ЦОД, достаточную квалификацию для выбора площадок, организации строительства, закупок и эксплуатации ЦОД, а также опыт ведения переговоров о покупке энергии (PPA) с крупными потребителями.

Изюминка в том, что стартап поддерживает глава OpenAI Сэм Альтман (Sam Altman). Весьма вероятно, что компания, лидирующая в сфере ИИ, очень рассчитывает на подобные технологии, поскольку нынешние ЦОД для ИИ потребляют огромное количество энергии и воды.

Источник изображения: Oklo

Oklo находится в процессе обратного слияния со SPAC AltC Acquisition, что позволит выйти ей на публичные торги в июле 2024 года. При нынешней оценке бизнеса в $850 млн компания рассчитывает привлечь $500 млн. Правда, в прошлом году ВВС США отменили выделение $100 млн на один из микрореакторов Oklo. Кроме того, компания ещё не получили одобрения со стороны Комиссии по ядерному регулированию США, хотя и успешно завершила вторую фазу тестов совместно с Аргоннской национальной лабораторией.

С некоторых пор дата-центры рассматриваются компанией в качестве потенциального рынка для своих решений, а появление новой вакансии косвенно свидетельствует о том, что теперь она хотела бы привлечь клиентов в этой сфере. Индустрия ЦОД, испытывавшая недостаток электроэнергии ещё до ИИ-бума, рассматривает микрореакторы или малые модульные реакторы (SMR) в качестве потенциального решения проблемы питания.

Ранее в этом году Microsoft, также рассматривающая использование SMR для питания своих ЦОД, наняла ветеранов атомной отрасли. Amazon же пошла более традиционным путём, потратив $650 млн на покупку ЦОД, запитанного от полноценной АЭС. А в России уже более пяти лет работает дата-центр «Калининский», расположенный у одноимённой АЭС.