Инвестиционная компания Snowhawk LP вложила средства в застройщика ЦОД CleanArc Data Centers, но подробности сделки пока не разглашаются. По данным Datacenter Dynamics, инвестиции направят на возведение ЦОД гиперскейл-класса ёмкостью от 300 МВт в кампусах площадью 80–280 га.

CleanArc основана в 2023 году инвестиционной компанией 547 Energy, занимающейся развитием «чистой» энергетики и смежными проектами. Возглавил новую структуры ветеран индустрии — основатель Vantage Data Centers Джим Траут (Jim Trout). Траут был основателем Proferian, занимающейся консалтингом в сфере ЦОД, занимал высокие посты в Digital Realty и ProLogis, а также был президентом CoreSite (CRG West). Vantage Data Centers бизнесмен оставил в 2013 году.

Недавно CleanArc приобрела землю в штате Вирджиния. Компания планирует получить 600 МВт для кампуса площадью 260 га на территории, уже зонированной для использования под ЦОД. CleanArc и Rappahannock Electric Cooperative заключили соглашение о начале строительства на территории первой подстанции. В CleanArc ожидают, что инфраструктура на 300 МВт будет готова к эксплуатации уже в 2027 году. Если, конечно, местные жители и власти не передумают.

Источник изображения: CleanArc

В Snowhawk заявили, что «в восторге» от партнёрства с командой CleanArc. В компании видят огромные возможности для инвестиций в облачные и ИИ-проекты. Сама CleanArc также сотрудничает с партнёрами, которые обеспечат ветряную, солнечную и другие типы возобновляемой энергии для компенсации энергопотребления своих кампусов. Компания намерена обеспечить будущих клиентов-гиперскейлеров «безуглеродным» электричеством.

Основанная в 2022 году Snowhawk представляет собой частную инвестиционную компанию, ориентирующуюся на вложения в облачные проекты, телекоммуникации и технологические сервисы. 547 Energy представляет собой платформу для инвестиций в «чистую» энергетику и принадлежит Quantum Energy Partners. Последняя основана в 1998 году и занимается инвестициями в энергетический сектор.

Microsoft и BlackRock совместно инвестируют в строительство дата-центров и энергетику для поддержки быстроразвивающейся ИИ-отрасли. По данным Silicon Angle, для этого сформирована новая группа Global AI Infrastructure Investment Partnership (GAIIP). Помимо Microsoft и BlackRock, в неё входят купленная последней в январе за $12,5 млрд инвестиционная компания Global Infrastructure Partners (GIP), а также дубайский инвестор MGX.

Предполагается, что партнёры будут вкладывать средства в новые ЦОД и расширение уже действующих для удовлетворения растущего спроса на вычислительные мощности. Также средства будут тратиться на энергетическую инфраструктуру для создания новых источников энергии для этих ЦОД. Целевым рынком для вложения средств считается США, а остатки потратят на территории «американских стран-партнёров».

Согласно пресс-релизу GIP, планируется поддерживать открытую архитектуру и обширную экосистему, обеспечивая полный доступ к наработкам самому широкому кругу компаний. NVIDIA будет поддерживать GAIIP, предлагая экспертные консультации, связанные с технической частью ИИ-проектов. GAIIP рассчитывает получить в распоряжение $30 млрд инвестиционных капиталов для начальных вложений в проекты, что, в свою очередь, позволит увеличить общий инвестиционный потенциал до $100 млрд с учётом долгового финансирования.

Источник изображения: Sebastian Herrmann/unsplash.com

Помимо участия в новой структуре, Microsoft уже инвестировала в связанные с ИИ многочисленные проекты немало средств. Так, в мае Microsoft обязалась выделить $2,2 млрд на облачную и ИИ-инфраструктуру в Малайзии, чуть позже в том же месяце — $3,3 млрд на строительство ИИ ЦОД в Висконсине (США). В июне компания объявила о планах потратить $3,2 млрд для расширения ЦОД в Швеции. Крупнейшие «внешние» инвестиции Microsoft в ИИ связаны с небезызвестной компанией OpenAI, в которую IT-гигант вложил уже около $13 млрд с 2019 года, вполне вероятны и дальнейшие инвестиции.

Global Infrastructure Partners, основанная в 2006 год, управляет активами на сумму более $100 млрд. Среди активов есть крупные транспортные узлы, поставщики энергии из возобновляемых источников, а также оператор ЦОД CyrusOne и ряд других инфраструктурных компаний. Кроме того, фонд неоднократно инвестировал в других операторов дата-центров.

Intel и Amazon Web Services (AWS) объявили о намерении совместно инвестировать в разработку и выпуск кастомных чипов в рамках многомиллиардного многолетнего проекта, в котором будет задействовано производство Intel. Пресс-служба компании сообщает, что расширение сотрудничества поможет клиентам AWS справиться почти с любыми рабочими нагрузками и повысить производительность ИИ-приложений.

Intel будет выпускать ИИ-ускорители для AWS по техпроцессу Intel 18A в рамках инициативы AI Fabric, а также кастомные процессоры серии Xeon 6 по техпроцессу Intel 3. По словам руководства Intel и AWS, взаимодействие на новом уровне для работ в сфере ИИ и машинного обучения не только будут способствовать росту обеих компаний, но и обеспечат устойчивую цепочку поставок ИИ-решений непосредственно на территории США. При этом производственное подразделение Intel Foundry фактически превратится в независимую дочернюю компанию Intel.

Заявление о расширенном сотрудничестве подкрепляет обязательства компаний по ускоренной организации производства полупроводников на территории США и созданию динамичной ИИ-экосистемы в Огайо. Intel по-прежнему планирует создание передовых производств полупроводников в этом штате (в районе Нью-Олбани), а AWS намерена вложить $7,8 млрд в расширение ЦОД в Центральном Огайо — помимо тех $10,3 млрд, которые уже инвестированы в штат с 2015 года.

Власти Огайо приветствуют инициативу и предполагают, что это поможет укрепить позиции штата в качестве лидера ИИ-сферы и демонстрирует приверженность Intel развитию национальных производственных площадок, а AWS — инвестициям в штат в качестве оператора ЦОД.

Источник изображения: Intel

В AWS подчёркивают, что сотрудничество с Intel началось ещё в 2006 году с создания EC2-инстансов на чипах последней. История отношений Intel и AWS насчитывает более 18 лет. В дальнейшем компании намерены изучить потенциал новых разработок на основе техпроцесса Intel 18A, а также перспективных Intel 18AP и Intel 14A. Соответствующие технологии будут, как ожидается, внедряться на фабрике в Огайо, которую ещё предстоит построить.

Правда, в своём пресс релизе Intel не преминула добавить стандартную приписку, что заявления относительно выгод и влияния сотрудничества на бизнес основаны на ожиданиях руководства компаний и влекут за собой «риски неопределённости», поскольку многие факторы находятся вне контроля партнёров.

В Сент-Луисе (штат Миссури, США) появилось предложение о сдаче подземного дата-центра, расположенного в бывшем правительственном бункере. По данным Datacenter Dynamics, бункер по адресу 3280 McKibbon Road сдаётся на условиях договора типа Triple Net (NNN), при котором арендатор несёт полную ответственность за расходы на объект, включая не только собственно арендные платежи, но и все эксплуатационные и коммунальные расходы, налоги на имущество и страхование.

Бункер площадью 351 м² имеет фальшпол для собственно ЦОД и офисных помещений. Есть два резервных генератора, а питание обеспечивается от трёхфазной сети. В объявлении об аренде указывается, что объект был построен в качестве правительственного бункера на случай чрезвычайных ситуаций на данной территории.

Источник изображения: LoopNet

Помещения расположены под землёй, возведены из усиленного бетона. Объект защищён от ядерных ударов, неблагоприятных природных условий и ЭМИ-импульсов. В здании расположены системы обеспечения дополнительной надёжности. Другими словами, подобный «осколок» Холодной войны может быть вполне востребован и сегодня. Объект построен в 1976 году, находится в «хорошем состоянии» и готов к размещению клиентов. Утверждается, что он идеально подходит на случай создания центра хранения и восстановления данных и защиты от катастроф различного характера.

Это уже не первый случай, когда ЦОД создают в бывших военных и правительственных бункерах. Такими пользуются даже преступники — несколько лет назад в Германии местные силовые ведомства взяли под контроль крупный узел «даркнета», который тоже размещался в бывшем подземном убежище НАТО. В итоге восемь местных операторов получили тюремные сроки.

Белый дом, по сообщению Datacenter Dynamics, намерен создать рабочую группу по инфраструктуре ИИ ЦОД (Task Force on AI Datacenter Infrastructure). Такое решение принято по итогам встречи с участием ряда гиперскейлеров, разработчиков ИИ-платформ, чипмейкеров и компаний, занимающихся строительством ЦОД: AES, Alphabet, Anthropic, AWS, CoreWeave, Electric Power Research Institute, Exelon, Meta✴, Microsoft, NVIDIA, OpenAI и QTS.

Говорится, что власти США намерены упростить получение доступа к энергоресурсам и выдачу необходимых разрешений при создании новых дата-центров по всей стране суммарной мощностью в несколько ГВт. Создаваемая рабочая группа под руководством Национального экономического совета, Совета национальной безопасности и Офиса заместителя начальника штаба Белого дома обеспечит координацию политик в области развития дата-центров. Участники рынка и сторонние эксперты неоднократно подчёркивали, что именно проблемы с доступом к энергии ограничивает рост ИИ ЦОД.

Источник изображения: pixabay.com

Группе предстоит работать с участниками рынка, занимающимися ЦОД-инфраструктурой. Целями инициативы названы обеспечение необходимого финансирования, определение единых точек взаимодействия и расстановка приоритетов в области создания дата-центров, ориентированных на задачи ИИ. Предполагается, что это поможет в укреплении национальной безопасности и экономических интересов США. Кроме того, будут определены те сферы, в которых требуются законодательные изменения, направленные на поддержку развития отрасли ЦОД.

Вместе с тем Совет по выдаче разрешений будет сотрудничать с участниками рынка ИИ ЦОД для определения сроков и выделения средств агентствам, чтобы ускорить оценку проектов в области «чистой» энергии, подпадающих под акт FAST-41 (Fixing America’s Surface Transportation Act). Этот документ устанавливает новые процедуры координации и надзора над инфраструктурными проектами. Одновременно Корпус инженеров Армии США (USACE) определит общенациональные разрешения, которые могут помочь ускорить строительство дата-центров для ИИ.

Сообщается также, что Министерство энергетики США также создаст специальную группу по взаимодействию с участниками отрасли ЦОД для дальнейшей поддержки сектора. Ведомство намерено регулярно организовывать встречи с игроками соответствующего рынка, поставщиками решений в области «чистой» энергии, операторами энергосетей и другими заинтересованными сторонами «для стимулирования разработки инновационных решений».

Высокопроизводительный вычислительный комплекс Summit, установленный в Окриджской национальной лаборатории (ORNL) Министерства энергетики США, будет выведен из эксплуатации в ноябре 2024 года. Обслуживать машину становится всё дороже, а по эффективности она уступает современным суперкомпьютерам.

Summit был запущен в 2018 году и сразу же возглавил рейтинг мощнейших вычислительных систем мира TOP500. Комплекс насчитывает 4608 узлов, каждый из которых оборудован двумя 22-ядерными процессорами IBM POWER9 с частотой 3,07 ГГц и шестью ускорителями NVIDIA Tesla GV100. Узлы соединены через двухканальную сеть Mellanox EDR InfiniBand, что обеспечивает пропускную способность в 200 Гбит/с для каждого сервера. Энергопотребление машины составляет чуть больше 10 МВт.

Источник изображения: ORNL

FP64-быстродействие Summit достигает 148,6 Пфлопс (Linpack), а пиковая производительность составляет 200,79 Пфлопс. За шесть лет своей работы суперкомпьютер ни разу не выбывал из первой десятки TOP500: так, в нынешнем рейтинге он занимает девятую позицию.

Источник изображения: ORNL

Отправить Summit на покой планировалось в начале 2024-го. Однако затем была запущена инициатива SummitPLUS, и срок службы вычислительного комплекса увеличился практически на год. Отмечается, что этот суперкомпьютер оказался необычайно продуктивным. Он обеспечил исследователям по всему миру более 200 млн часов работы вычислительных узлов.

В настоящее время ORNL эксплуатирует ряд других суперкомпьютеров, в число которых входит Frontier — самый мощный НРС-комплекс в мире. Его пиковое быстродействие достигает 1714,81 Пфлопс, или более 1,7 Эфлопс. При этом энергопотребление составляет 22 786 кВт: таким образом, система Frontier не только быстрее, но и значительно энергоэффективнее Summit. А весной этого года из-за растущего количества сбоев и протечек СЖО на аукционе был продан 5,34-ПФлопс суперкомпьютер Cheyenne.

Стартап NetworkOcean из Сан-Франциско намерен строить дата-центры под водой. Впрочем, как сообщает Datacenter Dynamics, планы компании могут столкнуться с американской бюрократией, поскольку местные регуляторы обеспокоены потенциальным воздействием ЦОД на окружающую среду.

NetworkOcean намерена разместить 500-кВт ЦОД в Заливе Сан-Франциско. По словам компании, её решение позволит исключить потребление дата-центром воды и сократить энергопотребление на 30 % в сравнении с наземным аналогом. Утверждается, что в распоряжении стартапа имеются 2048 ускорителей NVIDIA H100, аренда которых у него дешевле, чем у других операторов. Компания поддерживается фондом Y Combinator.

Однако планы компании вызвали удивление местных властей, поскольку она не запрашивала разрешение на погружение объекта. Комиссия по сохранению и развитию залива (Bay Conservation and Development Commission) и Региональный совет по контролю качества воды Сан-Франциско (San Francisco Regional Water Quality Control Board) уже уведомили бизнес о том, что самовольное размещение ЦОД может повлечь за собой штрафы в размере до нескольких сотен тысяч долларов.

Источник изображения: Y Combinator

NetworkOcean намерена погрузить ЦОД всего на час — утверждается, что тесты будут проходить на частной территории залива, на которую власть регуляторов якобы не распространяется, а никакого влияния на природу не будет. В компании объявили, что уже испытали капсулу ЦОД на некоем полигоне и она признана вполне безопасной. Ранее один из основателей стартапа также проводил эксперименты с размещением оборудования на морском буе, но на вопросы о получении разрешений на них отвечать отказался.

По мнению ряда учёных, любое «возмущение» экосистемы в заливе или локальный рост температуры воды в нём, вызванный работой ЦОД, может иметь значимые последствия для морской флоры и фауны, поскольку способен спровоцировать рост токсичных для экосистемы водорослей. В 2016 году регуляторы чуть было не оштрафовали Microsoft за размещение в рамках Project Natick подводного ЦОД в заливе Сан-Луис-Обиспо (San Luis Obispo).

В 2018 году у берегов Шотландии Microsoft развернула подводный ЦОД на 855 серверов, проработавших без присмотра 25 месяцев и 8 дней. Эксперимент показал, что серверы под водой ломаются реже, чем на суше, одним из факторов успеха называлась постоянная внешняя температура. Проект был свёрнут и сейчас подводных ЦОД у компании нет, но Project Natick используется в качестве исследовательской платформы для изучения и тестирования новых концепций повышения надёжности ЦОД.

В условиях дефицита электричества на суше перспектива использования океанских течений для естественного охлаждения довольно заманчива, потенциально это поможет снизить расходы энергии и нагрузки на электростети. Например, китайская HiCloud сообщает о модулях подводных ЦОД, используемых на глубине 35 м у побережья в провинции Хайнань. Стартап Subsea Cloud также заявлял, что развернул 13,5 тыс «подводных» GPU-серверов в Азии. Заработать они должны в следующем году после получения всех разрешений и одобрений от регуляторов.

Владельцы оператора дата-центров Switch рассматривают IPO компании в 2025 году, которое, вероятно, поднимет оценку компании до $40 млрд. По данным Reuters, пока обсуждение вопроса находится на ранней стадии и решение ещё не принято. Switch управляет крупными кампусами в Остине (Техас), Рино (Лас-Вегас), Гранд-Рапидс (Мичиган) и Атланте (Джорджия). В прошлом году поданы заявления о расширении бизнеса в Остине и Атланте.

Основанная в 2000 году компания вышла на IPO в 2017 году, сумев привлечь $513 млн при рыночной капитализации $4,2 млрд. В 2022 году Switch была выкуплена DigitalBridge и IFM Investors за $11 млрд и стала частной. В 2023 году миноритарную долю приобрёл австралийский пенсионный фонд Aware Super. По имеющимся данным, в последние недели Switch провела предварительные переговоры с инвестиционными банкирами. На такой шаг компании намерены пойти на фоне стремительного роста интереса инвесторов к генеративному ИИ, который вызвал взлёт спроса на инфраструктуру, в том числе на дата-центры и высокопроизводительные серверы.

Источник изображения: Jason Briscoe/unsplash.com

В последнее время отмечается и значительное увеличение числа сделок на рынке серверов и ЦОД. Например, в сентябре текущего года Blackstone заключила сделку, купив австралийского оператора ЦОД AirTrunk за сумму, превышающую AU$24 млрд ($16 млрд), в августе AMD согласилась купить производителя серверов ZT Systems за $4,9 млрд — компания намерена расширить свои продуктовые линейки в попытке угнаться за чрезвычайно успешной NVIDIA.

С последней сотрудничает и Switch. Также компания работает с Dell и FedEx. С января 2016 года дата-центры компании питаются за счёт возобновляемой энергии — это привлекает технологические компании, имеющие природоохранные обязательства и соответствующие заявленные цели. Согласно докладу Morgan Stanley, до конца десятилетия мировой бум индустрии ЦОД, вероятно, обеспечит выбросы, эквивалентные 2,5 млрд тонн углекислого газа.

Техасский центр передовых вычислений (TACC) при Техасском университете в Остине (США) объявил о том, что мощности нового НРС-комплекса Vista полностью доступны открытому научному сообществу. Суперкомпьютер предназначен для решения ресурсоёмких задач, связанных с ИИ.

Формальный анонс машины Vista состоялся в ноябре 2023 года. Тогда говорилось, что Vista станет связующим звеном между существующим суперкомпьютером TACC Frontera и будущей системой TACC Horizon, проект которой финансируется Национальным научным фондом (NSF).

Vista состоит из двух ключевых частей. Одна из них — кластер из 600 узлов на гибридных суперчипах NVIDIA GH200 Grace Hopper, которые содержат 72-ядерный Arm-процессор NVIDIA Grace и ускоритель H100/H200. Обеспечивается производительность на уровне 20,4 Пфлопс (FP64) и 40,8 Пфлопс на тензорных ядрах. Каждый узел содержит локальный накопитель вместимостью 512 Гбайт, 96 Гбайт памяти HBM3 и 120 Гбайт памяти LPDDR5. Интероконнект — Quantum 2 InfiniBand (400G).

Второй раздел суперкомпьютера объединяет 256 узлов с процессорами NVIDIA Grace CPU Superchip, содержащими два кристалла Grace в одном модуле (144 ядра). Узлы укомплектованы 240 Гбайт памяти LPDDR5 и накопителем на 512 Гбайт. Интерконнект — Quantum 2 InfiniBand (200G). Узлы произведены Gigabyte, а за интеграцию всей системы отвечала Dell.

Источник изображения: TACC

Общее CPU-быстродействие Vista находится на отметке 4,1 Пфлопс. В состав комплекса входит NFS-хранилише VAST Data вместимостью 30 Пбайт. Суперкомпьютер будет использоваться для разработки и применения решений на основе генеративного ИИ в различных секторах, включая биологические науки и здравоохранение.

Юридическая фирма Robbins Geller Rudman & Dowd LLP, по сообщению ресурса Storage Newsletter, раскрыла информацию о том, что в коллективном иске под названием «Averza против Super Micro Computer» (№24-cv-06147; Северный Округ Калифорнии) указанный производитель серверного оборудования, а также некоторые его руководители обвиняются в нарушении Закона о ценных бумагах 1934 года.

Напомним, ранее инвестиционная компания Hindenburg Research опубликовала разгромный доклад об операциях Supermicro. В частности, выявлены соглашения между связанными сторонами — такие договоры обычно заключаются между компанией и её дочерними структурами на нерыночных условиях. Hindenburg Research также обвинила Supermicro в нарушении санкционного режима. После этого акции компании упали в цене более чем на 20 %.

Источник изображения: Supermicro

В иске №24-cv-06147, а также в позднее поданной жалобе «Menditto против Super Micro Computer» (№24-cv-06149; Северный Округ Калифорнии) компания Supermicro обвиняется в ложных и (или) вводящих в заблуждение заявлениях и в сокрытии определённой информации. Компании в числе прочего вменяется:

• Регулярное завышение объёмов продаж и занижение расходов;
• Повторный приём на работу нескольких руководителей, которые были уволены из-за предыдущего скандала с бухгалтерской отчетностью;
• Тесные отношения со своими связанными сторонами;
• Продажи продукции заказчикам, подпавшим под американские санкции в связи со сформировавшейся геополитической обстановкой.

Отмечается, что 28 августа 2024 года Supermicro объявила о задержке подачи формы 10-K за 2024 финансовый год, заявив, что «руководству необходимо дополнительное время для завершения оценки состояния и эффективности своих внутренних средств контроля над финансовой отчётностью».