Занимающаяся управлением инвестициями компания Blackstone намерена вложить в развитие сети дата-центров $70 млрд. По данным Datacenter Dynamics, согласно последнему финансовому отчёту компании, объём её портфолио ЦОД, включая строящиеся объекты, уже достиг $55 млрд.

Глава Blackstone Стивен Шварцман (Stephen Schwarzman) сравнил последствия появления ИИ с эффектом от внедрения электрических лампочек. По его словам, хотя на разработку «коммерчески жизнеспособных» лампочек в своё время ушли годы, развитие электросетей в последующие десятилетия сопоставимо со строительством сети дата-центров для ИИ в наше время.

По прогнозам Шварцмана, в следующие пять лет в США инвестируют порядка $1 трлн в возведение и обслуживание новых ЦОД, ещё столько же будет потрачено за пределами страны. При этом потребность этих ЦОД в электричестве станет основным фактором 40-% роста спроса на электроэнергию в США в следующие десять лет. По этим причинам у компании откроются беспрецедентные возможности для инвестиций, так что Blackstone позиционирует себя как крупнейшего инвестора в ИИ-инфраструктуру.

Источник изображения: Josue Isai Ramos Figueroa/unsplash.com

QTS — крупнейший бизнес в области ЦОД в портфеле Blackstone — нарастил мощности в семь раз после того, как Blackstone купила его в 2021 году за $10 млрд. Также в прошлом году Blackstone объявила, что совместно с QTS потратит ещё $8 млрд на ИИ ЦОД. Компания также инвестировала в ЦОД Vnet, Lumina CloudInfra, Copeland, Park Place Technologies и Winthrop Technologies, а также совместные бизнесы аналогичного профиля с COPT, Digital Realty и другими игроками.

Как заявил Шварцман, компания предоставит акционерный и заёмный капитал и другим бизнесам, связанным с ИИ-проектами. В частности, во II квартале Blackstone обязалась предоставить CoreWeave $4,5 млрд заёмных средств из необходимых $7,5 млрд, а теперь основное внимание уделяется удовлетворению потребностей сектора ЦОД в энергоснабжении.

В Blackstone подчёркивают, что благодаря масштабным возможностям в сфере инфраструктуры, недвижимости, частного кредитования и источников возобновляемой энергии компания находится в чрезвычайно выгодном положении для того, чтобы стать для других бизнесов предпочтительным партнёром в области ЦОД.

Компания Microsoft совместно с магистральным провайдером Lumen Technologies (прежде CenturyLink) объявили о намерении масштабировать пропускную способность каналов связи между дата-центрами техногиганта. По данным The Register, на такие меры Microsoft намерена пойти из-за расширения бизнеса, связанного с ИИ-технологиями.

В рамках нового проекта Microsoft будет применять технологию частных сетей Private Connectivity Fabric компании Lumen, а общая пропускная способность между работающими с ИИ-нагрузками дата-центрами будет увеличена благодаря комбинации существующих и новых оптоволоконных линий.

Стремление Microsoft нарастить технологические возможности вполне объяснимо — компания рассчитывает получить максимальную отдачу от инвестиций в OpenAI и другие ИИ-стартапы. Поэтому IT-гигант пытается интегрировать ИИ почти во все свои продукты. При этом необходимо обрабатывать и передавать огромные объёмы данных, для чего существующей сетевой инфраструктуры ЦОД уже не хватает. Впрочем, пока неизвестно, какую дополнительную ширину каналов обеспечит Lumen для Microsoft. Сами партнёры сотрудничество пока не комментируют.

Источник изображения: Lumen Technoligies

При этом Lumen в рамках сделки обязалась перенести часть рабочих нагрузок в облако Microsoft Azure. Вероятно, ИИ-инструменты Microsoft будут интегрированы и в продукты Lumen. Кроме того, вероятно использование Lumen платформы Microsoft Entra, обеспечивающей управление идентификацией и контролем доступа. В Lumen рассчитывают, что подобная миграция позволит компании экономить более $20 млн уже в следующем году и повысить уровень обслуживания клиентов — не исключено, что часть функций компания передаст чат-ботам Microsoft на основе технологий OpenAI.

Глава Tesla Илон Маск (Elon Musk), по сообщению ресурса Tom's Hardware, обнародовал фотографии вычислительного комплекса Dojo, который будет использоваться для разработки инновационных автомобильных технологий, а также для обучения автопилота.

Tesla, напомним, начала создание ИИ-суперкомпьютера Dojo в июле 2023 года. Основой системы послужат специализированные чипы собственной разработки Tesla D1. Дата-центр Dojo, расположенный в штаб-квартире Tesla в Остине (Техас, США), по своей конструкции напоминает бункер. В апреле нынешнего года сообщалось, что при строительстве ЦОД компания Маска столкнулась с трудностями, связанными в том числе с доставкой необходимых материалов.

Как теперь сообщается, Tesla намерена ввести Dojo в эксплуатацию до конца 2024 года. По производительности этот суперкомпьютер будет сопоставим с кластером из 8 тыс. ускорителей NVIDIA H100. По словам Маска, это «не слишком много, но и не тривиально». Для сравнения: мощнейший ИИ-суперкомпьютер компании xAI, также курируемой Илоном Маском, объединит 100 тыс. карт H100.

Источник изображений: Илон Маск

Отмечается, что чипы Tesla D1 специально ориентированы на машинное обучение и анализ видеоданных. Поэтому систему Dojo планируется использовать прежде всего для совершенствования технологии автономного вождения Tesla путём обработки видеоданных, полученных от автомобилей компании. В свою очередь, «ИИ-гигафабрика» xAI поможет в развитии чат-ботов Grok следующего поколения.

Маск также сообщил, что компания Tesla намерена «удвоить усилия» по разработке и развертыванию Dojo из-за высоких цен на оборудование NVIDIA. Вместе с тем финансовый директор Tesla Вайбхав Танеджа (Vaibhav Taneja) заявил, что, несмотря на снижение капвложений во II квартале 2024 года, компания по-прежнему ожидает, что соответствующие затраты превысят $10 млрд.

Amazon Web Services (AWS) планирует подписать PPA-соглашение о покупке 20 МВт «зелёной» энергии с производителем топливных элементов Bloom Energy. По информации Datacenter Dynamics, сделка заключена с прицелом на открытие нового дата-центра в Кремниевой долине, где ожидается бум строительства ЦОД.

Местная энергетическая компания Silicon Valley Power (SVP) разрешила строительство собственных генерирующих мощностей в Санта-Кларе для удовлетворения растущего спроса со стороны ЦОД. AWS рассчитывает использовать для генерации газ, так что для дата-центра 2315 MCB уже готовится подстанция — объект на четыре трансформатора с номинальной мощностью 99 МВА. Два трансформатора строятся уже сейчас. В документах городских властей сообщается, что ЦОД обычно используют 55 % номинальной мощности. Предполагается, что электричество будет на 50 % дороже в сравнении с текущими тарифами SVP для промышленных предприятий.

Изначально в своём ЦОД AWS намерена освоить 9 МВА, но в течение 10 лет (к 2034 году) мощность должна вырасти до 32 МВА. PPA, заключённые с Bloom Energy, обеспечат дополнительную энергию. Ожидается, что Amazon покроет все расходы, включая оплату работы сотрудников SVP, обслуживание оборудования, закупки газа и прочие издержки. В первый год проект обойдётся в $35 млн, включая взнос в 5 % в городской фонд. Кроме того, включена стоимость REC-кредитов на возобновляемую энергию для «компенсации» использования природного газа.

Источник изображения: Paul Hanaoka/unsplash.com

В ходе собрания, посвящённого проекту, представитель городских властей сообщил, что как минимум четыре дополнительных клиента намерены заключить аналогичные сделки. Ранее AWS заявляла, что будет использовать топливные элементы Bloom Energy в Орегоне на 72 МВт с питанием от природного газа, но в июне от планов пришлось отказаться, из-за местной критики относительно высоких углеродных выбросов.

По данным Управления энергетической информации США (US Energy Information Administration, EIA), при генерации электричества с использованием угля выделяется 1 кг CO₂ на кВт∙ч, нефти — 1,1 кг, а природного газа — 430 г. А вот при использовании солнечных элементов выделяется 48 г/кВт∙ч, энергии ветра — 12 г/кВт∙ч, атомной энергии — 12 г/кВт∙ч.

Ранее в этом месяце инициативная группа сотрудников AWS (AECJ) заявила, что компания искажает сведения о степени экобезопасности её ЦОД, раскритиковав использование REC-сертификатов на возобновляемую энергию. Исследование AECJ показало, что это «низкокачественные» сертификаты, которые никак не способствуют развитию зелёной энергетики — фактически речь идёт о торговле бумажными заявками на электричество, «которое другие люди уже сгенерировали и использовали».

Илон Маск объявил в соцсети X (ранее Twitter) о запуске стартапом xAI в дата-центре в Мемфисе «самого мощного в мире кластера для обучения ИИ», который будет использоваться для создания «самого мощного в мире по всем показателям искусственного интеллекта к декабрю этого года», пишет Tom's Hardware. Однако, судя по всему, на практике сейчас работает лишь очень небольшая часть кластера.

«Отличная работа команды @xAI, команды @X, @Nvidia и компаний поддержки, которые начали обучение с кластером Memphis Supercluster примерно в 4:20 утра по местному времени. 100 тыс. H100 с жидкостным охлаждением в единой RDMA-фабрике — это самый мощный кластер обучения ИИ в мире!», — сообщил миллиардер в своём аккаунте.

Как указали в xAI, новая вычислительная система будет использоваться для обучения новой версии @grok, которая будет доступна премиум-подписчикам @x. Ранее появились сообщения о том, что оборудование для ИИ-кластера будут поставлять Dell и Supermicro. Комментируя нынешнее заявление Маска, гендиректор Supermicro Чарльз Лян (Charles Liang) подтвердил, что большая часть оборудования для ИИ-кластера была поставлена его компанией.

Источник изображений: xAI

В мае этого года Маск поделился планами построить гигантский суперкомпьютер для xAI для работы над следующей версией чат-бота Grok, который будет включать 100 тыс. ускорителей Nvidia H100. А в следующем году Илон Маск планирует запустить ещё один кластер, который будет содержать 300 тыс. ускорителей NVIDIA B200. Для его создания Маск намеревался привлечь Oracle, планируя выделить $10 млрд на аренду ИИ-серверов компании, но затем отказался от этой идеи, так как его не устроили предложенные Oracle сроки реализации проекта.

Как отметил ресурс Tom's Hardware, новый ИИ-кластер стартапа xAI превосходит все суперкомпьютеры из TOP500 с точки зрения количества ускорителей. Самые мощные в мире суперкомпьютеры, такие как Frontier (37 888 ускорителей AMD), Aurora (60 000 ускорителей Intel) и Microsoft Eagle (14 400 ускорителей NVIDIA), похоже, значительно уступают кластеру xAI. Впрочем, технические детали о сетевой фабрике нового кластера пока не предоставлены.

Но, как выясняется, не всё в заявлении Маска соответствует действительности. Аналитик Dylan Patel (Дилан Пател) из SemiAnalysis обвинил Маска во лжи, поскольку в настоящее время кластеру доступно 7 МВт мощности, чего хватит для работы примерно 4 тыс. ускорителей. С 1 августа будет доступно 50 МВт, если xAI наконец подпишет соглашение с властями Теннесси. А подстанция мощностью 150 МВт все ещё находится в стадии строительства, которое завершится в IV квартале 2024 года.

Как отмечает местное издание commercial appeal, поскольку речь идёт об объекте мощностью более 100 МВт, для его подключения требуется разрешение коммунальных компаний Memphis Light, Gas and Water (MLGW) и Tennessee Valley Authority (TVA). Контракт на подключение ЦОД к энергосети с TVA не был подписан. Более того, для охлаждения ЦОД, по оценкам MLGW, потребуется порядка 4,9 тыс. м³ воды ежедневно.

UPD: Дилан Пател удалил исходный твит, но уточнил текущее положение дел. От энергосети кластер сейчас потребляет 8 МВт, однако рядом с площадкой установлены мобильные генераторы (14 × 2,5 МВт), так что сейчас в кластере активны около 32 тыс. ускорителей, а в полную силу он зарабатает в IV квартале. Если контракт с TVA будет подписан, то к 1 августу кампус получит ещё 50 МВт от сети, а к концу году будет подведено 200 МВт. Для работы 100 тыс. H100 требуется порядка 155 МВт.

NVIDIA работает над новым вариантом представленного весной флагманского ИИ-ускорителя серии Blackwell — теперь для китайского рынка, находящегося под давлением американских санкций. По данным Reuters, вендор работает над тем, чтобы привести оборудование в соответствие с техническими требованиями властей США к поставляемым в Китай полупроводникам.

Серию Blackwell компания представила в марте 2024 года. Массовое производство планируется позже в текущем году. Выпускаемый в рамках нового семейства ускоритель B200 до 30 раз производительнее своего предшественника при выполнении некоторых задач.

Над выпуском и поставками упрощённого для Китая чипа B20 вендор будет работать совместно с одним из своих крупнейших дистрибьюторов в Китае — компанией Inspur. Источники Reuters пожелали остаться неизвестными, в самой NVIDIA новость пока не комментируют, предпочитают молчать и в Inspur.

Источник изображения: NVIDIA

Вашингтон в очередной раз ужесточил контроль над поставками передовых чипов в Китай в 2023 году, пытаясь предотвратить развитие в Поднебесной собственных суперкомпьютеров. С тех пор NVIDIA разработала три чипа, специально оптимизированных для китайского рынка. Примечательно, что американские санкции помогли компаниям вроде китайского техногиганта Huawei и стартапам вроде Enflame добиться некоторых успехов на китайском рынке ИИ-ускорителей. Появление версии чипа серии Blackwell для Китая, вероятно, поможет NVIDIA избавиться от конкуренции на одном из ключевых рынков.

Из-за санкций США за год, закончившийся в январе, выручка NVIDIA в Китае составила 17 % от общемировой, для сравнения, двумя годами ранее на страну приходилось 26 % всех продаж компании. Изначально предназначенный для Китая чип H20, продажи которого начались в этом году, раскупался довольно слабо, поэтому вендору пришлось снизить цену, чтобы сделать его дешевле конкурирующего решения Huawei. Теперь, по данным источников, продажи растут быстрыми темпами. По оценкам экспертов SemiAnalysis, в этом году NVIDIA намерена продать в Китае более 1 млн чипов H20 на сумму свыше $12 млрд.

При этом высока вероятность, что американские власти и дальше продолжат ужесточать экспортный контроль, ограничивая поставки передовых ускорителей в КНР. Более того, США хотят, чтобы Нидерланды и Япония всё активнее включались в санкционный процесс, ограничивая с Китаем сотрудничество в области оборудования для производства полупроводников. Также, как сообщают источники, имеются предварительные планы ограничить доступ к наиболее передовым ИИ-моделям. Акции полупроводниковых компаний упали на прошлой неделе на фоне новостей о том, что США оценивают целесообразность введения правила, позволяющего просто запрещать продажи продуктов, выпущенных с помощью американских технологий.

UPD: Inspur отрицает совместную работу с NVIDIA над ускорителями B20.

Облачный провайдер CoreWeave намерен внедрять топливные ячейки Bloom Energy в одном из своих дата-центров. Datacenter Dynamics сообщает, что речь идёт о твёрдооксидных топливных элементах (SOFC), которые будут генерировать энергию непосредственно на территории ЦОД Chirisa Technology Parks (CTP) в Иллинойсе.

Топливные элементы должны ввести в эксплуатацию в III квартале 2025 года, но масштаб внедрения технологии пока не разглашается. По словам представителя Bloom Energy, выбор решений компании одним из лидеров ИИ-рынка свидетельствует о зрелости топливных элементов и их важности для ИИ. В самой CoreWeave добавляют, что гордятся новым сотрудничеством, которое поспособствует достижению целей экоустойчивости.

SOFC работают при высоких температурах, из-за чего требуют больше времени на запуск в сравнении с низкотемпературными PEMFC-элементами. Однако запуск SOFC всё равно быстрее, чем газовых турбин или дизельных генераторов, говорит разработчик, а при частичных нагрузках ещё и эффективнее турбин.

Топливные ячейки Bloom могут применяться как параллельно с магистральной энергосетью, дополняя её, так и самостоятельно питать дата-центр, когда это необходимо. В числе клиентов Blool уже есть Intel, Equinix, JPMorgan Chase, Nxtra и AWS. К началу 2024 года компания поставила элементов на 5 ГВт по всему миру. Одним из крупных проектов должно стать оснащение ирландского ЦОД.

Кампус CTP, расположенный на участке площадью 20 га, включает объект YLO-01 (14 МВт, 14,8 тыс. м²), который будет дополнен точно таким же объектом YLO-02. Ещё 13,9 тыс. м², судя по данным на сайте компании, будет построено в будущем.

Источник изображения: Bloom Energy

CoreWeave в настоящее время управляет несколькими регионами: US East (LGA1) в Нью-Джерси, US West (LAS1) в Неваде и US Central (ORD1) в Иллинойсе. Также сообщается о регионах в Рино (RNO2) и US East-02. Ожидается, что концу 2024 года она будет распоряжаться 28 ЦОД, для сравнения — в конце 2023 года речь шла о 14 объектах. Соглашения об аренде заключены с Lincoln Rackhouse, Chirisa, Flexential, TierPoint, Digital Realty, и Core Scientific в США. Также компания расширяет бизнес в материковой Европе, а также Великобритании. Пока имеется подтверждённая информация о сотрудничестве с провайдером EdgeConneX в Испании.

Oracle намерена взять в аренду ЦОД Crusoe Energy, более всего известной проектами в сфере криптомайнинга. По данным Datacenter Dynamics, речь идёт о крупной сделке в интересах облака Oracle Cloud Infrastructure, которое в свою очередь будет обслуживать OpenAI.

ИИ-стартап xAI Илона Маска (Elon Musk), отказавшись от сделки с Oracle по созданию крупного ИИ-кластера, походя сообщил о другом партнёре Oracle, готовом разместить в своих ЦОД ускорители NVIDIA GB200. Теперь же выяснилось, что этим партнёром и является Crusoe Energy, а компании уже близки к заключению сделки. Crusoe сдаст ЦОД в аренду Oracle, а та разместит как минимум часть из 100 тыс. ускорителей, предназначенных для нужд Microsoft. Microsoft же предоставит их в пользование OpenAI.

Ранее с Crusoe Energy сотрудничала Lancium, строившая ЦОД для криптомайнинга в техасском Абилине (Abilene). Получивший добро в 2021 году Project Artemis описывался как кампус ЦОД с питанием от возобновляемой энергии, площадью более 320 га и ёмкостью до 200 МВт с возможностью расширения до 1 ГВт. Строительство должно было начаться в I квартале 2022 года.

Источник изображения: Pete Alexopoulos/unsplash.com

Основанная в 2018 году Crusoe Energy начала с поставок контейнерных ЦОД на нефтяные поля, где те могли использовать попутный природный газ из скважин для генерации электричества. Сейчас компания постепенно переходит от размещения модульных ЦОД рядом с нефтяными скважинами к строительству стационарных кампусов ЦОД и предлагает типовой проект ёмкостью до 100 МВт с возможностью размещения до 100 тыс. ускорителей. Также компания предлагает HPC/ИИ-ресурсы, в том числе посредством Crusoe Cloud.

В последнем ESG-докладе Crusoe заявляла, что располагает ЦОД ёмкостью порядка, а около трети облака Crusoe Cloud снабжалось энергией за счёт газа с нефтяных скважин, оставшаяся ёмкость приходилась на сторонние ЦОД. Она, в частности, арендует мощности у atNorth и Digital Realty. Также компания намерена получить ещё 100 МВт от ветряной электростанции.

Многие криптовалютные компании перепрофилируют деятельность под связанные с ИИ проекты, создавая облака на основе собственных ускорителей и/или размещая чужое оборудование на своих объектах. В числе подобных компаний — CoreWeave, Core Scientific, Northern Data, Hut 8 и Applied Digital.

Принадлежащий компании KKR оператор ЦОД CyrusOne получил в этом году кредитов на сумму порядка $8 млрд. Datacenter Dynamics сообщает, что новая кредитная линия Warehouse Credit Facility на $7,9 млрд дополнит уже имеющуюся линию Revolving Credit Facility на $1,8 млрд, открытую в мае 2024 года.

Warehouse Credit Facility в первую очередь предназначена для финансирования существующих и будущих проектов строительства ЦОД в США, а Revolving Credit Facility — на обеспечение оборотного капитала и общекорпоративные цели.

Источник изображения: CyrusOne

По словам главы по инвестициям CyrusOne Фрэн Федерман (Fran Federman), интерес со стороны заёмщиков — подтверждение прочности бизнеса компании и уверенности в её возможности продолжать развитие. По её словам, обе программы финансирования рассчитаны на устойчивое развитие. Условия кредитования будут меняться в зависимости от достижения компанией целевых показателей по выбросам парниковых газов.

Morgan Stanley, TD Securities и KKR Capital Markets выступили ведущими организаторами, стоящими за кредитной линией Warehouse Credit Facility, а Wells Fargo — за линией Revolving Credit Facility. В рамках сделок с компанией тесно сотрудничала и Global Infrastructure Partners (GIP), которая частично владеет CyrusOne и которая вскоре будет выкуплена BlackRock.

CyrusOne владеет десятками ЦОД на 13 региональных рынках США. Только в 2024 году она подала заявки на строительство кампусов в Чикаго (Иллинойс), Нью-Олбани (Огайо), а также начала строительство новых объектов в Сан-Антонио (Техас). В Аризоне власти города Меса рассмотрят предложение о строительстве компанией нового кампуса на 5 дата-центров в окрестностях Финикса. В 2018 году CyrusOne приобрела участок земли у Sunbelt Investment Holdings Inc. за $19,3 млн, а в прошлом году подала заявку на возведение кампуса.

Corning повысила прогноз продаж во II квартале 2024 года на $200 млн. Datacenter Knowledge сообщает, что во многом это обусловлено недооценённым ранее спросом на оптоволоконные соединения в дата-центрах для ИИ-задача. Теперь квартальные продажи должны достичь $3,6 млрд, тогда как ранее ожидалось, что они не превысят $3,4 млрд. Также компания прогнозирует возвращение роста выручки год к году.

Как заявили в компании, рост во многом связан с большой востребованностью новых оптоволоконных решений для генеративного ИИ. В следующие три года ожидается увеличение годовых продаж более чем на $3 млрд под влиянием «циклических факторов и долговременных трендов». Итоговые финансовые результаты II квартала будут объявлены 30 июля. На фоне этих заявлений акции Corning выросли в цене.

В компании связывают более оптимистичные прогнозы с рядом факторов, в первую очередь — успешными продажами оптоволокна для интерконнекта. Так, по данным Corning, параллельные ИИ-вычисления с помощью современных ускорителей требуют в 10 раз больше оптоволокна, чем традиционные облачные сети. Согласен расчётам компании, NVIDIA GB200 NVL72 требуется 576 волокон, то есть в 18 раз больше, чем в стойке с классическими серверными CPU.

Источник изображения: John Adams/unsplash.com

Corning является стратегическим активом для США, поскольку выпускает значительную часть оптоволокна для американских ВОЛС. Оптоволокно также является и важнейшим компонентом в самих ЦОД. А гиперскейлеры сейчас активно вкладываются в развитие инфраструктуры. Одна только Microsoft ежемесячно развёртывает по пять ИИ-суперкомпьютеров и рассчитывает до конца года иметь до 1,8 млн ускорителей на базе GPU, практически каждому из которых требуется собственное сетевое подключение.

По данным Synergy Research Group, количество крупных ЦОД, управляемых гиперскейлерами, достигло 992 шт. ещё в конце 2023 года. Ожидается, что ежегодно они будут вводить в строй ещё 120–130 дата-центров, а генеративный ИИ называют первоочередной причиной такого взрывного роста. Рост инвестиций в ЦОД совпадает со значительным падением трат телеком-операторов по всему миру — это отчасти сказалась на показателях вендоров от Ericsson до Crown Castle и Corning.

В результате многие вендоры стали искать новые возможности для роста. Так, Nokia назвала желание укрепиться на рынке ЦОД первоочередной причиной покупки Infinera за $2,3 млрд — это увеличит влияние компании на рынке ЦОД. Большие планы, связанные с развитием ИИ, вынашивают и в Cisco.

Тем не менее, поставщики уверены, что телеком-операторы со временем возобновят закупки оптоволокна. Пока они используют избыточные запасы, накопленные во время пандемии COVID-19, но скоро эти резервы истощатся. Кроме того, в последние месяцы ведутся переговоры о развёртывании новых широкополосных телеком-магистралей. Corning подтвердила эти ожидания, во многом связанные с масштабной государственной программой США Broadband Equity Access and Deployment (BEAD).