Поставщик инженерной инфраструктуры Schneider Electric приобрёл контрольный пакет акций компании Motivair Corporation. Последняя специализируется на системах жидкостного охлаждения для HPC- и ИИ-платформ и других критических систем. По данным The Register, позже будет выкуплена и оставшаяся доля компании.

На первом этапе Schneider Electric выплатит из своих средств $850 млн за 75 % акций Motivair Corporation. Сделка должна быть закрыта в ближайшие кварталы. Компания намерена к 2028 году выкупить оставшиеся 25 % акций. Бизнес вольётся в подразделение Schneider Electric Energy Management, которое тоже специализируется на технологиях прямого жидкостного охлаждения и теплообмена в целом.

У Motivair довольно большой опыт оснащения системами жидкостного охлаждения суперкомпьютеров. Руководство компании считает, что поглощение более крупным игроком поможет ей масштабировать бизнес и получить инвестиции на развитие новых технологий. В Schneider Electric уверены, что, хотя СЖО сами по себе не являются принципиально новым решением, у технологии большое будущее в секторе ЦОД. Во многом успеху СЖО будет способствовать распространение генеративного ИИ и повсеместное внедрение больших языковых моделей (LLM), ставших катализаторами роста энергопотребления.

Источник изображения: Motivair

О росте энергопотребления ЦОД и возможных проблем с охлаждением говорится и в недавнем отчёте Международного энергетического агентство (IEA). В целом отраслевые эксперты уверены, что жидкостное охлаждение более эффективно для новых высокоплотных ЦОД в сравнении с воздушным, хотя расход воды может оказаться значительно больше, установка оборудования — дороже, а ущерб для экологии — выше.

Ранее Schneider Electric фактически установила лимит в 20 кВт/стойку, выше которого без СЖО обойтись никак не удастся. Компания склоняется к системам прямого охлаждения (DLC) с водоблоками для горячих компонентов, а к погружным СЖО относится прохладно, особенно к двухфазным.

В Министерстве экономики Тайваня поднят вопрос о создании объектов возобновляемой энергетики. При этом, как сообщает DigiTimes, они будут расположены не на территории острова, а на соседних Филиппинах — энергии не хватает, в том числе для производства чипов, и не исключается передача электричества подводными кабелями или буквально транспортировка морем. Поставщики энергии отчасти приветствуют подобные инициативы, но предупреждают, что строительство потребует тщательного учёта будущих затрат и рисков.

Во-первых, прокладка кабелей и сопутствующей инфраструктуры для передачи энергии обойдётся дороже NT$100 млрд ($3,1 млрд). Более того, не вся «зелёная» энергия одинакова. По информации издания, цены из-за инфляции растут, а крупные покупатели, включая производителей полупроводников, не готовы покупать электричество дороже $0,19 за кВт∙ч. Тем временем ветроэнергия с Филиппин может стоить и $0,25 за кВт∙ч из-за потерь при передаче. Если покупатели откажутся от подобных поставок, под угрозой окажется как энергобезопасность острова, так и доходы инвесторов.

Немалую роль играют и риски последнего времени. Не так давно Филиппины поменяли политику субсидирования бизнеса, из-за чего некоторые зарубежные инвесторы буквально терпят убытки. Компании, рассматривающие возможности инвестиций в Филиппины, могут столкнуться с серьёзными рисками, если филиппинские власти не предоставят надёжных гарантий. Кроме того, филиппинские субсидии на возобновляемую энергетику зависят от компонентов из материкового Китая, поэтому не исключено, что тайваньским генерирующим компаниям доступ к солнечной и ветряной энергии будет ограничен.

Источник изображения: Lin Jhih-Han / Unsplash

Важна и сложность технического обслуживание возможной инфраструктуры — ремонт подводных кабелей из-за инцидентов разной природы может увеличить расходы, а также привести к перебоям с поставками энергии. Например, подводные кабели станут приоритетными целями в условиях вероятного геополитического кризиса. Подводные ВОЛС острова уже пострадали в прошлом году.

Офшорная энергетика острова сегодня в тупике из-за цен, а развитие солнечной ограничено из-за недостатка земли и строгих требований властей к сосуществованию солнечных электростанций и сельскохозяйственных угодий. Лидеры энергоотрасли Тайваня уверены, что заброшенные и недоиспользованные земли острова можно было бы применять для развития солнечной энергетики. Эффективная координация действий между правительственными ведомствами могла бы снизить затраты и риски — тогда не пришлось бы прибегать к инвестициям в зарубежные «зелёные» проекты с высокими рисками.

Источник изображения: Jesse De Meulenaere/unsplash.com

От некоторых масштабных проектов передачи энергии по морскому дну уже пришлось отказаться. Например, в прошлом году Atlassian закрыла проект поставки «зелёного» электричества из Австралии в Сингапур — он тоже столкнулся с проблемами экономической целесообразности, хотя Сингапуру новые мощности не помешали бы. На самом Тайване дефицит электроэнергии мешает, в частности, развитию ИИ ЦОД.

В скором будущем в Итальянских Альпах появится уникальный подземный дата-центр, который разместят в действующей шахте, где до сих пор ведётся добыча доломита, а в выработанных штольнях по соседству хранятся яблоки, вино и сыр. По данным Университета Тренто, ЦОД начнёт предоставлять колокейшн-сервисы уже в 2026 году.

Проект будет реализован университетом совместно с компанией Trentino DataMine. Также в нём примут участие Covi Costruzioni, Dedagroup (Deda), GPI Group и ISA-Istituto Atesino di Sviluppo. Ёмкость Intacture составит 5 МВт, объект будет вмещать около 1220 стоек. Реализация обойдётся в €50,2 млн. Из них €18,4 млн будет получено от государства в рамках плана Recovery and Resilience Plan (NRRP), а остальное предоставят частные инвесторы.

Источник изображений: Trentino DataMine

ЦОД построят в горе Валь-ди-Нон в 40 км от Тренто. Строительство идёт в шахте компании Tassullo, ведущей доломитовые разработки. Подобные проекты в мире реализуют довольно редко, поскольку дата-центры нуждаются в инфраструктуре: хороших дорогах, доступном электричестве, чистой воде и др. При этом подземный ЦОД имеет ряд преимуществ в сравнении с надземным — это устойчивая температура круглый год, возможность фрикулинга, защита от неблагоприятных погодных условий и даже электромагнитных импульсов и т.д. У таких ЦОД высокий потенциал энергоэффективности и экономичности в целом.

По словам представителя Trentino DataMine, шахта Сан-Ромедио, где разместят ЦОД, обеспечивает максимальную физическую защиту, в том числе от сейсмических и гидрогеологических рисков. Кроме того, можно экономить более 25 % электроэнергии в сравнении со средними показателями по Европе, и до 40 % в сравнении со средиземноморскими странами. Кроме того, не потребуется занимать земельный участок, поскольку более 80 % конструкций ЦОД разместятся в недрах горы. PUE будет не выше 1,25.

Пока строительство ЦОД Intacture находится на первом этапе. Авторы проекта в Trentino DataMine уже видят превращение дата-центра в «зелёный» инновационный хаб, не только для региона, но для всей страны. Не исключается предоставление и других услуг помимо колокации, в том числе для исследований в сфере естественных наук, ИИ, «энергетического перехода» и обеспечения кибербезопасности.

О намерении построить ЦОД близ Тренто сообщалось ещё в 2023 году, но официально объявили о его реализации только в начале октября уже после начала работ. Хотя для гиперскейлеров ёмкости этого ЦОД слишком мало, для местных проектов он способен обеспечить вполне подходящую площадку — в регионе имеется ВОЛС подключения объекта к дата-центрам Милана.

Компания MSI анонсировала одноплатный компьютер MS-CF17, предназначенный для широкого спектра промышленных приложений. На его основе могут создаваться системы автоматизации, edge-решения, платформы для транспортной отрасли, устройства визуализации и пр.

Новинка выполнена в 3,5″ форм-факторе с габаритами 146 × 102 мм. Доступны встраиваемая и индустриальная модификации. В первом случае диапазон рабочих температур простирается от 0 до +60 °C, во втором — от -40 до +70 °C.

Аппаратной основой служит платформа Intel Raptor Lake-P. Предлагаются варианты с различными процессорами, включая Core i7-1365UE (2P + 8E; 12 потоков; до 4,9 ГГц). Применена система пассивного охлаждения. В зависимости от модификации задействован графический ускоритель Intel Iris Xe или Intel UHD Graphics. Имеется один слот SO-DIMM для модуля LPDDR5-5200 ёмкостью до 32 Гбайт. Накопители могут быть подключены к порту SATA-3 и коннектору M.2 M-Key 2280 (для NVMe SSD с интерфейсом PCIe 4.0 x4).

Источник изображения: MSI

В оснащение входят четырёхпортовый 2.5GbE-контроллер Intel I226-LM, звуковой кодек Realtek ALC897 HD, IO-чип Fintek F81966AB-I и ТРМ-контроллер Infineon SLB9672VU2.0. Упомянуты также коннектор M.2 B-key 2242/3042 (PCIe x1, USB 2.0, слот для карты nanoSIM) для сотового модема и разъём M.2 E-key 2230 (PCIe x1, USB 2.0) для адаптера Wi-Fi/Bluetooth.

Компьютер располагает четырьмя портами USB 3.2 Gen2, четырьмя коннекторами HDMI 2.0 (до 4Kp60), интерфейсом eDP/LVDS. Через разъёмы на плате можно задействовать четыре последовательных порта и четыре порта USB 2.0. Питание в диапазоне 12–24 В подаётся через DC-разъём. Заявлена совместимость с Windows 10 IoT Enterprise 2021 LTSC, Windows 11 IoT Enterprise и Linux.

В рамках масштабной программы импортозамещения Сбербанк успешно осуществил перенос хранилищ данных на собственное решение SberData Platform. При этом программно-аппаратные комплексы Teradata выведены из эксплуатации.

Платформа по работе с данными SberData Platform объединяет ряд ключевых сервисов. Это SDP DataFlow (загрузка и преобразование данных), SDP Hadoop (хранение и обработка больших данных), SDP Analytics (анализ и визуализация информации), SDP DataLab (разработка моделей машинного обучения) и пр. Дополнительные сервисы — SDP Data Quality (контроль качества данных), Platform V Pangolin (реляционная СУБД на базе PostgreSQL) и SDP AnalyticDB (аналитическое хранилище данных).

Как отмечается, Сбербанк начал переводить хранилища данных на SberData Platform в 2022 году. В 2023-м на использование собственного решения мигрировала основная часть служб кредитной организации, а в 2024 году процесс полностью завершился. В проекте были задействованы 205 команд, представляющих все подразделения банка. При этом количество активных участников проекта превысило 2 тыс. человек.

Источник изображения: Сбербанк

Компания подчёркивает, что перевод хранилищ на SberData Platform снял для исследователей данных существенные ограничения, обусловленные архитектурными особенностями зарубежного решения. Кроме того, значительно снизилась стоимость хранения информации. В целом, реализация проекта повысила доступность технологий работы с данными для широкого круга пользователей. Платформа SberData Platform включена в Реестр программного обеспечения Минцифры РФ.

Сбербанк осуществляет активное импортозамещение в различных сферах. В частности, кредитная организация намерена полностью отказаться от зарубежных СУБД в значимых объектах критической инфраструктуры. Кроме того, ведётся переход с Citrix на отечественную VDI-платформу Termidesk, а на замену SAP ERP создаётся несколько прикладных платформ по управлению финансами, закупками, недвижимостью и кадрами.

Компания «Рикор» анонсировала серверы 7-й серии, которые, как утверждается, отличаются глубоким уровнем локализации: в России произведены печатные платы, некоторые внутренние компоненты и корпус. Устройства включены в Единый реестр российской промышленной продукции Минпромторга РФ.

В основу положена аппаратная платформа Intel Xeon Ice Lake-SP. На сегодняшний день в новом семействе представлены модели Rikor 7104 gen.3 PROP и Rikor 7212 gen.3 PROP типоразмера 1U и 2U соответственно. Они оснащены материнской платой на чипсете Intel C621A с возможностью установки двух процессоров с TDP до 175 и 270 Вт. Доступны 32 слота для модулей DDR4-3200 суммарным объёмом до 4 Тбайт.

Сервер 1U получил четыре фронтальных отсека для накопителей LFF/SFF с горячей заменой, вариант 2U — 12 отсеков. Кроме того, у старшей версии есть два посадочных места для SFF-устройств в тыльной части. Обе новинки располагают двумя коннекторами для SSD формата М.2. В оснащение входят контроллеры Aspeed AST2500/Rikor BMC, три слота PCIe 4.0, разъём OCP 3.0. Есть два сетевых порта 1GbE RJ45, выделенный сетевой порт управления, четыре порта USB 3.2 Gen1 и два порта USB 2.0, коннектор D-Sub. Питание обеспечивают два блока мощностью 1200 Вт.

Источник изображения: «Рикор»

Отмечается, что новая серверная платформа представляет собой результат трёхлетней работы команды инженеров и разработчиков «Рикор». Среди её ключевых преимуществ названы: полная локализация производства, модульная конструкция, возможность горячей замены компонентов (включая блоки питания) и удалённое управление.

Серверы, по заявлениям разработчика, подходят для широкого круга организаций — от корпораций федерального масштаба до небольших компаний, использующих оборудование вне дата-центров. Новинки ориентированы на облачные платформы, виртуализацию, терминальные сервисы и высокопроизводительные вычисления. Сейчас компания работает над серверами с Intel Xeon Sapphire Rapids и Emerald Rapids на базе тех же шасси, но с новыми материнскими платами.

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Как заявило Международное энергетическое агентство (IEA) в ежегодном отчёте «Перспективы мировой энергетики» (World Energy Outlook), глобальный спрос на электроэнергию стремительно растёт. По данным агентства, в следующие 10 лет ежегодный прирост будет сравним с энергопотреблением целой Японии. Это повлияет на показатели сокращения выбросов, а спрос в 2035 году будет на 6 % выше, чем прогнозировалось ранее.

Что касается ЦОД, потребление будет стремительно расти из-за роста рынка ИИ и цифровизации в целом, однако на этот сектор по-прежнему будет приходиться лишь небольшая часть от общемировых энергетических затрат. Впрочем, пока прогнозы носят очень приблизительный характер, с учётом непредсказуемости проблем в цепочках поставок, увеличения энергоэффективности, политических факторов и т.п.

Долгое время рост энергопотребления сдерживался переносом нагрузок со старых корпоративных площадок в гораздо более эффективные облака. Однако этот козырь уже использован, а рост ИИ-нагрузок приведёт к взлёту энергопотребления на невиданный ранее уровень. Так, по оценкам IEA, энергопотребление дата-центров в 2022 году составило 230–340 ТВт∙ч, т.е. около 1 %–1,3 % от общемирового без учёта расходов на сети передачи данных и майнинг.

Источник изображений: IEA

Впрочем, в любом случае на долю ЦОД не будет приходиться основная доля потребления. Например, базовый сценарий предполагает, что на ЦОД будет приходиться менее 10 %% от общего роста спроса. Примерно такой же рост покажет индустрия опреснения воды, а у электромобилей запросы будут минимум втрое выше. Агентство упомянуло об агрессивных инвестициях операторов ЦОД в возобновляемые источники энергии. Другими словами, устойчивое развитие сектора вполне осуществимо.

Однако ограниченные возможности генерации и лимиты энергосетей могут оказать более серьёзное влияние «на местах», поскольку подходящих площадок для ЦОД всё меньше. Как правило, дата-центры концентрируются в одном регионе. В результате в Вирджинии (США) или Ирландии энергии недостаточно, а в Сингапуре и Амстердаме даже введены временные моратории. Дальше будет сложнее, поскольку ЦОД ёмкостью от 1 ГВт скоро станут вполне распространённым явлением.

В случае с США, по оценкам IEA, ситуация с размещением ЦОД хуже, чем с заводами, электростанциями и складами. Чтобы корректно оценить перспективы роста спроса на ЦОД, политикам, бизнесу и другим структурам следует теснее сотрудничать. В частности, в IEA отмечают участившиеся случаи аномальной жары, которые негативно влияют на энергопотребление систем охлаждения и энергоэффективность объектов в целом. Всего, по оценкам IEA, в мире насчитывается около 11 тыс. дата-центров.

Кластер дата-центров «Остаповский» пополнился новыми действующими мощностями. По данным пресс-службы «РТК-ЦОД» («Ростелеком — Центры обработки данных»), ввели в эксплуатацию четвёртую и пятую очереди проекта ЦОД «Москва V» общим объёмом 1024 стойки. Теперь дата-центр вмещает 2048 стоек.

Первый этап реализации проекта начался со строительства в 2020 году объекта с нуля. Позже к нему подключили основные инженерные коммуникации — это было необходимо для получения разрешения на эксплуатацию в марте 2022 года. В последующем объект получил дополнительную инженерную инфраструктуру, обеспечивающую работу жизненного цикла полноценного ЦОД.

Источник изображения: Nikolay Vorobyev/unsplash.com

Если на втором и третьем этапах центр эксплуатировал лишь 1024 стойки, то теперь мощности выросли вдвое. Особое внимание уделили и надёжности проекта — ЦОД соответствует уровню защищённости Tier III. Общая площадь составляет 12 150 м2, подведённая мощность — 17 МВт.

По словам директора по развитию компании, завершение строительства в кластере «Остаповский» стало важнейшим шагом для реализации стратегии развития сети ЦОД компании — «Москва V» достроен «несмотря на все технические сложности». Это лишь один из актуальных проектов «РТК-ЦОД». Например, в сентябре появилась информация о намерении компании построить дата-центр в Хабаровском крае. Предполагается, что он будет включать четыре машинных зала на 440 стоек.

По данным пресс-службы Amazon (AWS), компания готовится к инвестициям в атомную энергетику. Она анонсировала три новых энергетических проекта, предполагающих постройку нескольких малых модульных реакторов (SMR). Компания уже заявила о переходе на 100 % возобновляемую электроэнергию — на семь лет раньше, чем планировалось. Атомные проекты — часть плана по переходу на полностью безуглеродную энергетику.

AWS объявила о подписании как минимум трёх соглашений для поддержки развития атомных проектов, включая помощь в строительстве новых SMR. Гиперскейлер утверждает, что такие решения помогут удовлетворить спрос клиентов и добиться нулевого выброса CO₂ в ходе всех операций к 2040 году. Кроме того, инвестиции помогут и в разработке новых атомных технологий, которые обеспечат генерацию энергии в ближайшие десятилетия.

AWS делает ставку на решения компании X-energy. IT-гигант является одним из ключевых инвесторов раунда финансирования серии C, в ходе которого планируется привлечь $500 млн. Благодаря поддержке AWS консорциумом Energy Northwest (шт. Вашингтон) получит четыре малых модульных реактора X-energy Xe-100 мощностью 80 МВт каждый, которые используют топливо TRISO-X, разработанное совместно с Министерством энергетики США (DoE). В дальнейшем мощность планируется довести до 960 МВт, но не факт, что вся она достанется AWS. Всего к 2039 году X-energy рассчитывает построить 5 ГВт мощностей.

Источник изображения: Amazon

В Вирджинии AWS подписала соглашение с Dominion Energy. Вместе компании изучат возможность строительства SMR рядом с принадлежащей Dominion атомной станцией North Anna, которые добавят не менее 300 МВт мощностей. Ранее AWS купила за $650 млн кампус Cumulus Data, запитанный напрямую от действующей АЭС Susquehanna. В рамках сделки будет обеспечен доступ к 480–960 МВт для питания 15 дата-центров. Инвестиции в атомные проекты, помимо сохранения прежних реакторов и создания новых, будут способствовать экономическому развитию местных сообществ, говорит AWS.

Источник изображения: Amazon

AWS не единственный гиперскейлер, желающий использовать атомную энергию. Microsoft наняла специалиста для контроля разработки SMR для своих ЦОД, до этого было подписано PPA с поддерживаемым Сэмом Альтманом (Sam Altman) энергетическим стартапом Helion. Дополнительно компания заключила PPA на 20 лет с Constellation Energy, которое позволит «оживить» реактор АЭС Three Mile Island, заглушенный в 2019 году из-за нехватки финансирования.

В сентябре Oracle анонсировала получение разрешений на строительство трёх SMR для питания ЦОД ёмкостью более 1 ГВт. Собственные амбиции в этой сфере имеются и у Google, которая объявила о намерении покупать энергию от SMR Kairos Power. Впрочем, рабочих реакторов у Kairos пока нет, а коммерческие модели, вероятно, не появятся до 2035 года.