Компания Crusoe Energy, больше всего известная благодаря майнингу криптовалют с помощью попутного газа, начнёт строить стационарные ЦОД. Datacenter Dynamics сообщает, что она намерена воспользоваться ажиотажем вокруг ИИ, построив «гигаватты новых ёмкостей».

Основанная в 2018 году Crusoe запустила сервис с использованием контейнерных ЦОД у нефтяных скважин в США — там факельный газ, обычно сжигаемый при добыче, используется для получения электричества и питания микро-ЦОД. Изначально энергию использовали для майнинга биткоинов, но позже компания стала предлагать облачные HPC- и ИИ-сервисы Crusoe Cloud. Кроме того, с рядом партнёров были заключены сделки на колокейшн-основе, в частности, с atNorth и Digital Realty.

Источник изображения: Danist Soh/unsplash.com

На фоне ИИ-бума Crusoe намерена заняться строительством крупных стационарных дата-центров, в том числе для колокации ИИ-инфраструктуры сторонних клиентов. Компания разработала новую архитектуру ЦОД высокой плотности для размещения максимального количества ускорителей. Дизайн дата-центра ёмкостью 103 МВт включает четыре «крыла» по 25 МВт каждое и позволяет объединить до 100 тыс. ускорителей в рамках одной сетевой фабрики. Дизайн будет оптимизирован для прямого жидкостного охлаждения в сочетении с теплообменниками на дверях стоек. Впрочем, возможно применение и традиционных систем воздушного охлаждения.

В одном из последних отчётов компании говорится, что только треть облака Crusoe Cloud полагается на факельный газ, а остальные мощности расположены в сторонних ЦОД. Суммарная ёмкость площадок Crusoe составляет 200 МВт, но компания намерена освоить приблизительно ещё 4 ГВт. В США у Crusoe есть десятки уже работающих проектов. Компания намерена освоить площадки в Северной Америке и Европе, в дальнейшем рассматриваются Латинская Америка и Ближний Восток, ещё позже — Азия. Сейчас на Crusoe Cloud приходится около половины всей выручки, к концу года этот показатель может вырасти до 70–80 %.

Фото: Crusoe Energy Systems

Crusoe привлекла сотни миллионов долларов, в число инвесторов входят Mubadala and the Oman Investment Authority, Valor Equity Partners, Founders Fund, Bain Capital Ventures, Coinbase Ventures, G2 и др. Готовится очередной раунд финансирования. Компания намерена сделать основной акцент на ИИ-бизнес, поскольку такая возможность «бывает раз в жизни». Но отказываться от криптопроектов она не намерена. В прошлом году Crusoe выделила $200 млн на покупку 20 тыс. ускорителей NVIDIA и объявила о намерении внедрить ИИ-суперкомпьютеры HPE Cray XD. Сегодня Crusoe предлагает ускорители NVIDIA H100, A100, L40S и A40.

Компания также не намерена полностью отказываться от факельного газа в своих проектах. В своих докладах она упоминает, что сейчас ищет новые источники метана вроде свалок. В то же время Crusoe вкладывается в технологии связывания и нейтрализации продуктов горения после сжигания топлива, а также уделяет особое внимание проектам малых модульных реакторов (SMR) с целью ускорить внедрение источников энергии нового поколения.

Google приобрела долю в тайваньской компании New Green Power (NGP), занятой добычей «зелёной» энергии. По данным Datacenter Dynamics, IT-гигант не только купил часть бизнеса, но и получил права на получение до 300 МВт в рамках соглашениям о покупке энергии (PPA). По словам Google, работа компании на острове зависит от ископаемого топлива приблизительно на 85 %, так что целью новых инвестиций является поставки энергии от солнечных электростанций в больших объёмах.

NGP принадлежит фонду, управляемому подразделением Climate Infrastructure инвестиционной компании BlackRock. Ни она, ни Google не сообщают об объёме инвестиций Google, но представители компании заявили, что средств, вероятно, хватит на строительство 1 ГВт новых мощностей NGP.

Google будет использовать солнечную энергию для обеспечения собственных потребностей, а также предлагать её своим поставщикам и производителям в регионе. В целом, по данным BlackRock, к 2025 году Тайвань намерен довести мощность солнечных проектов до примерно 20 ГВт и до 80 ГВт — к 2050 году.

Источник изображения: Mariana Proença/unsplash.com

Google приобрела на Тайване 15 га земли ещё в 2011 году, её первый дата-центр на острове заработал в конце 2013 года, а облачный GCP-регион появился там годом позже. Пять лет назад компания заявила о планах постройки второй площадки. При этом Google намерена добиться нулевых выбросов в каждом регионе присутствия уже к 2030 году. В компании отмечают, что в Юго-Восточной Азии проблемы с безуглеродной энергетикой — из-за недостатка свободной земли, малой доступности коммерчески масштабируемых ветряных и солнечных станций, а также из-за высокой стоимости строительства.

В 2023 году Google заключила контракты на поставку 1,5 ГВт «чистой» энергии и намерена и далее заключать PPA в достаточных объёмах для того, чтобы обеспечить «чистую» работу всех своих объектов и офисов круглосуточно на ежедневной основе. IT-гигант использует платформу компании Flexiado для того, чтобы сопоставлять реальное потребление энергии Google с оплаченной и генерируемой «чистой» энергией в те же временные промежутки.

У BlackRock зарегистрировано немало инфраструктурных инвестиций. В июне 2024 года компания приобрела контрольный пакет акций у германского оператора ЦОД Mainova WebHouse. После покупки Global Infrastructure Partners в этом году, инвестор также приобрёл контрольные пакеты CyrusOne и Vantage Towers (заодно предоставив займы Vantage Data Centers). Дополнительно компания инвестировала в CoreWeave и Phoenix Tower.

По оценкам Dell'Oro Group, выручка от реализации кампусных Ethernet-коммутаторов в I квартале 2024 года в глобальном масштабе сократилась практически на четверть — на 23 % — по сравнению с аналогичным периодом предыдущего года. В результате объём рынка достиг двухлетнего минимума.

Говорится, что снижение спроса зафиксировано во всех регионах, за исключением Центральной и Латинской Америки (CALA). Отмечается сокращение отгрузок портов практически всех типов. Кроме того, в годовом исчислении снизилась средняя стоимость коммутаторов.

Источник изображения: Dell'Oro Group

Среди ведущих игроков названы Arista Networks, Cisco и Ubiquiti. У первой из названных компаний выручка от поставок кампусных Ethernet-коммутаторов в I четверти 2024-го поднялась более чем на 80 % год к году. Третий квартал подряд Arista наращивает рыночную долю. Ubiquiti также смогла незначительно увеличить объём реализации. У Cisco продажи, напротив, резко сократились: падение в годовом исчислении превысило 25 %. Годом ранее Cisco продемонстрировала существенный рост, связанный с удовлетворением отложенного спроса.

В исследовании отмечается, что некоторые поставщики кампусных Ethernet-коммутаторов в I квартале 2024 года смогли увеличить среднюю стоимость портов благодаря расширению ассортимента продукции. Прогнозируется, что спрос на устройства с поддержкой 5GbE-портов увеличится на фоне роста востребованности точек доступа стандарта Wi-Fi 7.

Американские энергокомпании American Electric Power (AEP) и Exelon подали жалобу в Федеральную комиссию по регулированию энергетики США (FERC). Datacenter Dynamics сообщает, что их возмутил запрос на бесплатную транспортировку энергии с АЭС Susquehanna Steam Electric Station (SSES) в дата-центры, принадлежащие AWS (Amazon). AEP и Exelon утверждают, что AWS всё равно будет пользоваться общей энергосетью в Пенсильвании, но платить обычные сборы за это не намерена. В Talen уверены, что пожаловавшихся компаний этот вопрос не касается вовсе.

В марте AWS приобрела кампус ЦОД в Пенсильвании, расположенный в непосредственной близости от местной АЭС. В будущем компания намерена построить на площадке около 650 га 15 ЦОД. Компания заключила соглашение с Talen о минимальной потребляемой мощности на объекте, она будет расти с шагом в 120 МВт. Единовременно AWS сможет ограничить потребление 480 МВт. Кроме того, имеются два вариант продления договора на 10 лет, зависящие от продления лицензии самой АЭС. Кроме того, 10-летнее соглашение предусматривает покупку «зелёной» электроэнергии по PPA у той же электростанции.

Источник изображения: Talen Energy

Ранее местный оператор энергосетей PJM обратился в FERC с просьбой одобрить т.н. «Соглашение об услугах межсетевого соединения» (ISA) между Talen и AWS — передача электроэнергии не будет классифицироваться как сетевая нагрузка, поэтому должна осуществляться бесплатно.

AEP и Exelon считают иначе. Компании уверены, что подобных ISA-соглашений не существует в принципе, как и юридических определений для них. Более того, они ущербны как с инженерной, так и с экономической точки зрения и приведут к тому, что AWS будет бесплатно пользоваться сетью за счёт других — в общей сложности участники сговора будут экономить $140 млн ежегодно. Заявители подчёркивают, что энергосеть PJM связана с другими сетями и экономически и технически влияет на них. Кроме того, от общей энергосети всего региона будет осуществляться и резервное питание ЦОД.

Компании просят FERC разобраться в ситуации. Они подчёркивают, что ситуация создаёт опасный прецедент и для других операторов ЦОД и электростанций, а это существенно повлияет на распределение затрат между потребителями и финансовое состояние компаний. Фактически компании назвали AWS «безбилетником».

Мощности российских дата-центров, задействованных в майнинге криптовалют, сегодня составляют 2,7 ГВт. Как сообщает ТАСС со ссылкой на директора по энергетическим рынкам и внешним связям компании «Системный оператор», запрос на подключение новых ЦОД такого типа к энергосетям в 2,5 раза выше — 6,9 ГВт, причём для 2,5 ГВт из них уже сформированы технические условия на присоединение к электросетям.

Соответствующие данные обнародованы на заседании комиссии РСПП, посвящённой электроэнергетике. Согласно статистике Министерства энергетики России, программа развития энергосистем до 2029 года предусматривает средний рост энергомощностей на 2 % или 3,4 ГВт ежегодно. Другими словами, потребности новых ЦОД для отрасли окажутся весьма значимыми, что в перспективе может привести к дефициту. Например, уже сейчас на юго-востоке Сибири нет возможности подключать новых потребителей большого масштаба, говорит представитель «Системного оператора».

Источник изображения: Jay Heike/unsplash.com

Впрочем, по его словам, майнинговые структуры весьма мобильны и могут переезжать из региона в регион в случае появления энергетического дефицита. Есть и более радикальные альтернативы российской энергии. В конце 2023 года появилась новость об освоении российскими майнерами Африканских энергетических мощностей.

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

Финский телеком-гигант Nokia, только что избавившийся от непрофильной с его точки зрения дочерней компании Alcatel Submarine Networks (ASN), анонсировал планы приобрести Infinera за $2,3 млрд. По данным Silicon Angle, сделка должна помочь масштабировать оптический сетевой бизнес компании.

Nokia заявила, что покупка Infinera поможет ускорить развитие в сфере оптических сетевых решений. Информация о сделке появилась после решения Nokia продать бизнес ASN, связанный с выпуском, прокладкой и обслуживанием подводных интернет-кабелей. Это позволит компании переформатировать свой инфраструктурный бизнес, сконцентрировав внимание на фиксированных сетях, IP-решениях и оптических технологиях.

Nokia согласилась выкупить акции Infinera по $6,65/шт., т.е. на 28 % выше их стоимости на момент закрытия торгов в минувшую среду. Как минимум 70 % этой суммы придётся на денежные средства, до 30 % акционеры Infinera смогут получить в виде американских депозитарных акций, принадлежащих Nokia. Nokia также возьмёт на себя долг Infinera на сумму $760 млн в виде конвертируемых облигаций (при некоторых условиях можно конвертировать в акции компании). Oaktree Optical Holdings, L.P., владеющая 11 % акций, проголосовала за проведение сделки.

Nokia приняла решение переформатировать свой оптический сетевой бизнес ещё в 2021 году. Утверждается, что решение было верным и компания получила более широкое признание клиентов, нарастила продажи и увеличила прибыльность. В Nokia считают, что покупка Infinera увеличит масштаб бизнеса в области оптических сетей на 75 %, позволит ускорить выпуск продуктов и повысит конкурентоспособность. Так, Nokia получит разработчиков DSP и фотонных чипов, экспертов в области кремниевой фотоники и полупроводниковых материалов на основе фосфида индия.

Среди преимуществ сделки также отмечается то, что заказчики обеих компаний практически не пересекаются друг с другом. Это позволит Nokia расширить клиентскую базу и привлечь корпоративных заказчиков. Порядка 30 % продаж Infinera приходится на гиперскейлеров. Кроме того, Infinera в последнее время занималась разработкой высокоскоростных энергоэффективных оптических решений для построения сетей внутри ЦОД, которые ориентированы на обслуживание ИИ-кластеров.

Nokia заявила, что сделка позитивно скажется на прибыли на акцию в первый же год после закрытия. К 2027 году прибыль на акцию (EPS) вырастет на 10 %, а операционная прибыль поднимется на €200 млн. Чтобы компенсировать «размывание» акций, совет директоров компании проголосовал за увеличение и ускорение обратного выкупа ценных бумаг, благодаря чему количество акций в обращении уменьшится. Nokia ожидает, что единовременные затраты на интеграцию Infinera составят €200 млн.

Поставщик никель-цинковых аккумуляторов ZincFive сообщил, что суммарная мощность отгруженных и заказанных АКБ превысила 1 ГВт (ёмкость батарей не указывается). Компания также объявила, что увеличила инвестиции в США и планирует расширить там как разработку, так и производство новых продуктов. Масштабирование бизнеса подогревается ростом спроса на ИИ-инфраструктуру.

В компании в очередной раз подчеркнули, что её решения безопаснее, надёжнее и экологичнее других распространённых типов аккумуляторов. По словам ZincFive, обеспечению экоустойчивости теперь уделяется повышенное внимание — как сама компания, так и её клиенты намерены снижать углеродные выбросы.

Источник изображения: ZincFive

Вендор продвигает никель-цинковые аккумуляторы более 10 лет. Литий-ионные варианты критикуют за неконтролируемый нагрев, часто приводящий к серьёзным пожарам, включая самый масштабный в мире сбой ЦОД Kakao. Утверждается, что никель-цинковые батареи требуют минимального обслуживания, не перегреваются, при этом чрезвычайно надёжны в качестве резервных источников питания для ЦОД.

Оператор дата-центров Corscale использует аккумуляторы ZincFive в кампусе Gainesville Crossing в Северной Вирджинии с 2022 года, применение АКБ компании в своих ИБП одобрила ABB. У компании есть и конкуренты. В конце прошлого года сообщалось, что Ni-Zn аккумуляторы японской компании FDK готовы к использованию в дата-центрах.

Российская технологическая компания «Е-Флопс» объявила о разработке системной платы под названием «Ключевская», которая позиционируется в качестве основы модульной серверной платформы для хранения и обработки данных. Выпуск новинки, на которую получен патент, планируется организовать в сентябре нынешнего года.

Изделие имеет 20-слойную конструкцию, а его габариты составляют 446 × 203 мм. Поддерживаются два процессора с архитектурой Arm64 (48 ядер, частота до 2,2 ГГц). Доступны 12 слотов для модулей оперативной памяти DDR4-3200 (L)RDIMM. Имеется 80 линий PCIe 4.0, из которых 48 совместимы с CCIX. Название процессора не указывается, но по описанию подходит, например, Baikal-S (BE-S1000).

Источник изображений: «Е-Флопс»

Системная плата получила два разъёма M.2 2242 для NVMe SSD и два слота PCIe 4.0 x16 для карт расширения с возможностью горячей замены. Есть слот PCIe 4.0 x16 OCP 3.0, четыре разъёма PCIe 4.0 x16/CCIX для установки райзеров, а также 260-контактный коннектор SO-DIMM DDR4 для модуля удалённого мониторинга и управления стандарта RunBMC. Упомянуты интерфейсы USB 2.0 и 1GbE.

Модульная концепция предусматривает, что часть функциональности перенесена на так называемые «сателлитные платы». В частности, интерфейсы Ethernet, USB, DP, индикация и управление реализованы на IO-карте. Предусмотрена возможность дополнительного межпроцессорного соединения, увеличивающего скорость обмена данными в два раза, и возможность четырехпроцессорной SMP-сборки из двух типовых системных плат.

Изготовление плат осуществляется по контрактному производству в два основных этапа (без учета подготовительных работ, закупки сырья и материалов, функций технического контроля и пр.). Текстолит производится на заводах КНР из-за недоступности необходимых технологий в России. Вместе с тем поверхностный монтаж полностью выполняется на территории РФ.

Intel ведет исследования в области интегрированной фотоники уже много лет, поскольку успех в этой сфере критически важен для HPC-систем нового поколения. Два года назад компания сообщила о создании технологии, использующей существующие техпроцессы обработки 300-мм кремниевых пластин для формирования массива лазеров вкупе с модуляторами. А сейчас можно говорить о достижении новой важной вехи в этой области.

На OFC 2024 Intel продемонстрировала опытный образец CPU, оснащённый 64-канальным фотонным интерконнектом OCI (Optical Compute Interconnect). Каждый канал позволяет передавать данные на скорости 32 Гбит/с на расстоянии до 100 м, что позволит решить проблему масштабирования HPC-систем и ИИ-комплексов: пропускной способности 2 Тбит/с (256 Гбайт/с) в каждом направлении хватит на многое. А в перспективе скорость будет доведена до 32 Тбит/с.

Источник изображений: Intel

В настоящее время в системах подобного класса для высокоскоростного соединения узлов используются либо решения с внешними оптическими трансиверами, что серьёзно увеличивает стоимость и энергопотреблению в целом, либо классическую «медь», серьёзно ограниченную по максимальной длине кабеля. OCI позволяет избежать обеих проблем.

Чиплет использует DWDM (восемь длин волн на волокно) и при этом экономичен: энергозатраты на передачу информации составляют всего 5 пДж/бит против 15 пДж/бит у решений с внешними оптическими трансиверами. Ранее заявленную цифру 3 пДж/бит пришлось немного увеличить, что связано с интеграцией интерфейса PCIe.

Внешне продемонстрированный образец чипа напоминает выпускавшиеся когда процессоры Xeon с поддержкой Omni-Path, но вместо электрического разъёма у него теперь оптический соединитель на восемь пар волокон. С помощью простого пассивного переходника к нему в демонстрационной системе Inel был подключен типовой оптоволоконный кабель.

Поскольку речь идёт о чиплете, теоретически ничто не мешает разместить модуль OCI в составе GPU/NPU, FPGA, DPU/IPU и вообще любой модульной SoC. При этом чиплет совместим с PCIe 5.0, так что проблем с интеграцией быть не должно, хотя это и не самый оптимальный вариант. А на уровне упаковки поддерживается и UCIe.

Вкупе с предельной дистанцией до 100 м новый чиплет существенно упростит системы интерконнекта: за редкими исключениями, вроде NVIDIA NVLink или Intel Gaudi 3 с его массивом Ethernet-контроллеров, связь организуется посредством PCIe-адаптера InfiniBand, либо Ethernet, в которые устанавливаются оптические трансиверы. Впрочем, и у PCI Express вскоре появится поддержка оптических подключений, что будет на руку Ultra Accelerator Link (UALink).

В следующем поколении пропускная способность каждой линии OCI возрастёт с 32 до 64 Гбит/с, после чего Intel планирует довести число одновременно используемых длин волн до 16. Затем, в промежутке между 2030 и 2035 годами планируется достигнуть 128 Гбит/с на линию, уже с 16 длинами волн и 16 парами волокон. Но без конкуренции здесь не обойдётся. NVLink, который уже сейчас существенно быстрее (1,8 Тбайт/с в нынешнем поколении), вскоре тоже обзаведётся оптической версией. Похожие решения развивают Celestial AI, MediaTek и Ranovus, Lightmatter и Ayar Labs.