Несмотря на то, что в мае этого года глава Минцифры Максут Шадаев сообщил о планах ведомства по введению льготного кредитования строительства ЦОД с целью ускорения развития отрасли, эта мера не вошла в готовящийся нацпроект «Экономика данных». Поэтому в Минцифры считают, что необходимо привлечь дополнительные источники финансирования.

В своём выступлении на CNews Forum глава министерства Максут Шадаев заявил: «…мы будем сейчас обсуждать, какие дополнительные источники мы можем задействовать для того, чтобы ее профинансировать. Пока нет, но это у нас в периметре активных задач». По данным «Интерфакса» на льготное кредитование строительства ЦОД в 2025–2030 гг. министерством предлагалось выделить из бюджета 32,1 млрд руб.

Источник изображения: Adrien / Unsplash

Министр отметил, что высокая ставка является сдерживающим фактором для ускорения строительства инфраструктуры: «Ключевая ставка, конечно, серьёзное для нас сейчас такое ограничение. Потому что понятно, что все крупные инфраструктурные объекты в основном строятся за счет заёмных средств. Конечно, при такой ставке, в общем, это, наверное, можно продолжить строить, но, конечно, это поднимет в целом тарифы на этом рынке. Как бы нам этого не хотелось».

Оператор экологичных HPC ЦОД atNorth анонсировал существенное расширение двух дата-центров в Исландии. В рамках курса на обеспечение экоустойчивости компания заключила соглашение со стартапом Hringvarmi, специализирующемся в том числе на утилизации ненужного тепла.

Кампус ICE02 возле исландского Кеблавика (Keflavík) получит дополнительно 35 МВт, ICE03 в Акюрейри (Akureyri) — 16 МВт. Обе площадки располагают дополнительным пространством для дальнейшего расширения мощностей с учётом роста спроса. Обе обеспечивают PUE на уровне 1,2 и готовы к применению технологий фрикулинга и СЖО. ЦОД готовые к размещению высокоплотной HPC-инфраструктуры. Все работы по обновлению обеих площадок должны завершиться в I половине 2025 года.

atNorth также заключила договор о сотрудничестве со агротехническим стартапом Hringvarmi для утилизации тепла ЦОД, которое поможет в выращивании продуктов. Стартап совместно с агрохолдингом Rækta Microfarm разместит на территории ICE03 прототип оборудования для выращивания микрозелени. В Hringvarmi заявляют, что партнёрство нацелено на развитие исландского сельского хозяйства, на снижение импорта продуктов и увеличения вклада в местную циркулярную экономику.

Источник изображения: atNorth

В atNorth заявляют, что отмечает интерес к своим экобезопасным и энергоэффективным дата-центрам. Сегодня её клиентами являются Crusoe, Advania, RVX, DNV, Opera, BNP Paribas, Tomorrow.io и др. Гиперскейлеров и других клиенов с ресурсоёмкими задачами привлекает качество инфраструктуры и выгодное географическое положение Исландии. Климат здесь прохладный, есть много возобновляемой энергии, каналов связи и квалифицированных кадров. atNorth управляет семью ЦОД в четырёх странах Северной Европы. Ещё четыре кампуса находятся в стадии строительства: финские FIN02 (Хельсинки) и FIN04 (Коувола) и датские DEN01 (Баллеруп) и DEN02 (Варде).

Финансовый гигант Morgan Stanley прогнозирует капитальные затраты гиперскейлеров в 2025 году на уровне $300 млрд. По данным Seeking Alpha, основные затраты придутся на Amazon, Google, Microsoft и Meta✴, рост расходов связан с повышенными инвестициями в ИИ.

В Morgan Stanley рассчитывают, что Amazon и Microsoft станут лидерами «гонки капиталовложений» и потратят $96,4 млрд и $89,9 млрд соответственно. За ними последуют Google и Meta✴ с $62,6 млрд и $52,3 млрд. Ранее в этом месяце появилась информация о том, что капитальные затраты этих четырёх компаний превысят в 2024 году $200 млрд, рост год к году составит 50 %.

Согласно докладу экспертов Morgan Stanley для инвесторов, Google и Microsoft смогут добиться значительного роста в долгосрочной перспективе благодаря активному использованию ИИ в своих продуктах и услугах, в частности, в поиске и YouTube. Это должно привести к увеличению в ближайшие годы доходов и повышению рыночной стоимости этих компаний.

Источник изображения: Alvin Mahmudov/unsplash.com

По словам представителя Morgan Stanley Брайана Новака (Brian Nowak), Amazon, которая, как ожидается, потратит больше всех в 2025 году, за счёт высокой маржинальности бизнеса сможет обеспечивать хороший уровень прибыли, продолжая при этом инвестировать в развитие бизнеса. Облачные технологии, как утверждается, находятся в многолетнем цикле постепенного и устойчивого внедрения.

Хотя гиперскейлеры всё больше делают ставку на ИИ, далеко не все уверены, что такие вложения окупятся. Ранее в этом году исследователи Goldman Sachs предупредили, что крупные технологические компании увеличили капитальные затраты для поддержки развития ИИ-технологий, но до сих пор не продемонстрировали устойчивых бизнес-моделей для возврата инвестиций. По оценкам, в следующие несколько лет на дата-центры, полупроводники, сети и прочую ИИ-инфраструктуру будет потрачено около $1 трлн, но пока непонятно, обеспечит ли это такую финансовую отдачу, на которую надеются инвесторы. Похожего мнения придерживается и Sequoia Capital.

Компания Axiomtek анонсировала материнскую плату MMB541 на платформе Intel, предназначенную, по словам создателей, для создания ИИ-систем, платформ промышленной автоматизации и других индустриальных решений. Новинка выполнена в форм-факторе Micro ATX с размерами 244 × 244 мм.

В основу положен набор логики Intel H610; допускается установка процессоров Core 14-го поколения (Raptor Lake) в исполнении LGA 1700 с показателем TDP до 125 Вт. Предусмотрены два слота для модулей DDR4-3200 non-ECC; максимально поддерживаемый объём ОЗУ составляет 64 Гбайт.

Плата получила один коннектор M.2 Key M 2280/2242 для SSD с интерфейсом SATA-3, а также три стандартных порта SATA-3 без поддержки RAID. Для карт расширения доступны один разъём PCIe 4.0 x16, два слота PCIe 3.0 x2, а также один 32-битный слот PCI. В оснащение входят сетевые адаптеры Intel I226-V (один порт 2.5GbE) и Intel I210-AT (два порта 1GbE).

Источник изображения: Axiomtek

Изображение может выводиться на три монитора через интерфейсы DisplayPort (до 4096 × 2160 пикселей; 30 Гц), DVI-D (1920 × 1200 точек; 60 Гц) и D-Dub (до 1920 × 1200 пикселей; 60 Гц). В набор разъёмов входят по четыре порта USB 3.2 Gen1x1 (USB 3.0) Type-A и USB 2.0 Type-A, три гнезда RJ45 для сетевых кабелей и набор аудиогнёзд на 3,5 мм. Через коннекторы на плате можно задействовать ряд последовательных портов (4 × RS-232, 1 × RS-232/RS-485/RS-422 и 1 × RS-232/RS-485), а также пять портов USB 2.0. Опционально может быть добавлен модуль TPM 2.0. Диапазон рабочих температур простирается от 0 до +60 °C.

Компания DapuStor анонсировала SSD корпоративного класса серий J5000 и J5060, предназначенные для дата-центров и приложений с интенсивным чтением информации. Устройства выполнены в формате U.2 с толщиной корпуса 15 мм на основе чипов флеш-памяти 3D QLC NAND.

Накопители используют интерфейс PCIe 4.0 х4 (NVMe 1.4a) с поддержкой двух портов, что упрощает обслуживание и модернизацию системы. Все изделия способны выдерживать до 0,5 полных перезаписи в сутки (показатель DWPD), а гарантия производителя достигает пяти лет. Заявленный показатель MTBF (средняя наработка на отказ) — 2 млн часов.

В семейство J5000 вошли модели вместимостью до 30,72 Тбайт. Скорость чтения информации составляет до 7400 Мбайт/с, скорость записи — до 3000 Мбайт/с. Значение IOPS (операций ввода/вывода в секунду) при работе с блоками данных по 4 Кбайт достигает 1,5 млн при произвольном чтении и 120 тыс. при произвольной записи. В серию J5060 входят SSD ёмкостью до 61,44 Тбайт: они обладают схожими показателями быстродействия за исключением того, что величина IOPS при произвольной записи ограничена 30 тыс.

Источник изображения: DapuStor

У всех накопителей типовое энергопотребление при чтении/записи составляет 12/23 Вт, в режиме простоя — 5 Вт. Реализована улучшенная защита от сбоев питания, что гарантирует сохранность информации в аварийных ситуациях. Поставки изделий J5000 и J5060 уже начались: помимо версий на 30,72 и 61,44 Тбайт, доступны модели вместимостью 15,36 Тбайт.

В сентябре 2024 года глава OpenAI Сэм Альтман (Sam Altman) обратился к американским властям с инициативой, предполагавшей строительство в стране целой сети 5-ГВт ЦОД. Альтман утверждал, что это поможет США сохранить первенство в сфере ИИ в мировом масштабе и является вопросом национальной безопасности. Datacenter Dynamics удалось получить доклад OpenAI, адресованный Национальному управлению по телекоммуникациям и информации (NTIA), где раскрыты некоторые детали амбициозного плана компании.

Согласно расчётам OpenAI, ЦОД ёмкостью 5 ГВт будут занимать площадь около 2,78 км² (278 га) и использовать до 2 млн ускорителей. Проект мог бы обеспечить США абсолютное мировое превосходство в сфере ИИ. Для сравнения, в 2023 году у AWS управляла ЦОД общей площадью 3,55 км² (355 га, с учётом офисных помещений), а ёмкость ЦОД Microsoft в начале 2024 года составляла «всего» 5 ГВт, хотя компания до конца года рассчитывает освоить ещё 2,5 ГВт. Ряд компаний работают над гигаваттными ЦОД, но намерены построить их поэтапно в течение нескольких лет.

Источник изображений: Microsoft

В OpenAI утверждают, что 5-ГВт ЦОД обойдётся в $100 млрд (в ожидаемых ценах 2028 года), но при этом будет приносить по $40 млрд каждый год. На каждый 100 МВт ёмкости понадобится по 80 сотрудников, т.е. суммарно появится 4 тыс. постоянных рабочих мест. Для строительства дата-центров потребуется около 14 тыс. человек. Компания также привела расчёты прироста ВВП в отдельных штатах и локациях, где предполагается возведение новых ЦОД — от $16 до $20 млрд. В расчёт не принимались рабочие места и затраты на создание новой энергетической инфраструктуры и производство полупроводников.

По оценкам OpenAI, глобальные фонды готовы инвестировать в инфраструктуру около $175 млрд. Компания грозит тем, что эти деньги могут быть потрачены не в США, а в недружественных странах. При этом в OpenAI подчёркивают, что развитие новых ИИ ЦОД будет иметь стратегическое значение с учётом того, что параллельно развиваются ИИ-платформы, например, в Китае. В компании отметили, что промедление грозит отставанием от КНР и других стран, не разделяющих ценности США и их союзников.

Изначально компания планировала реализовать 5-ГВт проект Stargate совместно с Microsoft, крупнейшим спонсором и поставщиком ИИ-инфраструктуры для OpenAI. Однако в последнее время отношения между компаниями несколько охладели из-за конкуренции ИИ-подразделений и разногласиями, связанными со скоростью строительства ЦОД Microsoft. Попутно OpenAI добивается финансирования и правовой поддержки от властей США и проводит встречи с потенциальными инвесторами.

Однако построить ЦОД мало, их ещё надо запитать. В некоторых штатах с большой концентрацией дата-центров ёмкость энергосетей придётся удвоить в ближайшие 10 лет. По оценкам, до 2030 года потребуется $50 млрд инвестиций в энергосистему. Предполагается, что к этом моменту энергосети Северной Америки вырастут приблизительно на 200 ГВт, а новые ИИ-проекты потребуется 100 ГВт. Однако из-за смены главы США даже текущие проекты по увеличению выработки и доставки энергии могут быть отменены, а Илон Маск (Elon Musk) и вовсе заявил, что намерен сократить расходы государства на $2 трлн.

Корейский институт океанографии и технологии (Korea Institute of Ocean Science and Technology, KIOST) на днях объявил о подписании соглашения о сотрудничестве с GS Engineering & Construction и POSCO. Совместно они планируют исследование технологий строительства экобезопасных подводных дата-центров, сообщает пресс-служба института.

POSCO — южнокорейский производитель стали, а GS E&C — подрядчик, занимающийся гражданским строительством. Соглашение ориентировано на разработку технологии строительства комплекса подводных дата-центров для размещения 100 тыс. серверов (Возможно, ошибка автоперевода — Прим. ред.). Система охлаждения морской водой позволит снизить энергопотребление на эти цели на 70 % в сравнении с наземными ЦОД.

Участники проекта намерены выделить средства для национальных исследований, связанных с возведением и обслуживанием подводных ЦОД. KIOST рассчитывает стать лидером в разработке технологий строительства подводных экобезопасных ЦОД, а также в сферах обеспечения углеродной нейтральности и энергосбережения. Кроме того, проект призван способствовать оживлению местной экономики, а сам подводные площадки можно будет использовать для тестирования другого морского оборудования.

Источник изображения: KIOST

Впервые планы строительства подводного ЦОД обсуждались в 2022 году в рамках более широкого проекта подводного поселения. В проекте участвуют 23 компании, включая гигантов вроде SK Telecom и Lotte Engineering. Совместная команда учёных планирует до конца года завершить работу над прототипом подводного комплекса с исследовательским модулем, модулем ЦОД и жилым модулем. Объект должны разместить на глубине 30 м близ порта Синри (Sinri Port). В подводном комплексе будут проживать три человека. Испытания продлятся до 2026 г. Общая стоимость проекта оценивается в ₩37,3 млрд вон ($26,8 млн), часть средств получена из бюджета страны.

Хотя подводные ЦОД по-прежнему остаются нишевым решением, по всему миру уже строится или построено немало соответствующих объектов, отмечает DataCenter Dynamics. Китайская HiCloud в прошлом году заявляла о начале коммерческой эксплуатации своих подводных ЦОД, расположенных на глубине 35 м у побережья острова Хайнань. Всего планируется ввести в эксплуатацию 100 модулей. В мае стартап Subsea Cloud предложил потенциальным клиентам протестировать свой подводный ЦОД у берегов Норвегии. Изюминка ЦОД компании в том, что речь идёт именно о глубоководных вариантах.

Калифорнийский стартап NetworkOcean планирует разместить на дне капсульный ЦОД на 500 кВт в заливе Сан-Франциско. Наконец, Microsoft в 2018 году развернула подводный дата-центр в рамках инициативы Project Natick, но с тех пор свернула проект, а часть патентов, связанных с погружными ЦОД, отданы в свободное пользование ещё в 2021 году. Проект KIOST отличается от прочих тем, что под водой помимо оборудования намерены разместить и людей, а не просто эксплуатировать герметичный необслуживаемый модуль.

Немецкий телеком-оператор Deutsche Telekom запустил пилотный проект управления инфраструктурой для майнинга биткоинов. По данным Datacenter Dynamics, оборудование питается за счёт излишков возобновляемой энергии, которые не получилось использоваться из-за недостатков сетей электропередач. Дочерняя структура компании, подразделение MMS, работает над проектом совместно с немецкой банковской группой Bankhaus Metzler. Непосредственно управлением пилотным проектом займётся Metis Solutions GmbH.

Контейнеры с майнинговым оборудованием расположены на площадке Riva GmbH — производителя металлических и стеклянных фасадов. На территории расположены солнечные панели, которые и будут снабжать инфраструктуру для майнинга биткоинов. MMS (ранее T-Systems Multimedia Solutions) будет контролировать работу оборудования, а Bankhaus Metzler — изучать возможности финансовых сервисов будущего, использующих цифровые активы. А весь процесс уже назвали «цифровым финансовым фотосинтезом».

С 2022 года в Европе наблюдается проблема с утилизацией избытков возобновляемой энергии. Например, в Германии речь идёт о 19 ТВт∙ч, что составляет 4 % от всей ежегодной генерации страны. Федеральное сетевое агентство (Federal Network Agency) Германии предупреждало, что ветряные турбины строятся довольно далеко от потребителей, поэтому необходимость в перераспределении и доставке энергии только возрастает. В том числе необходима постройка протяжённых линий электропередач.

Источник изображения: American Public Power Association/unsplash.com

Ситуацию спасли криптомайнеры, предложившие свои площадки для гибкой утилизации избыточной энергии от возобновляемых источников. В MMS считают, что майнинговые мощности могут сыграть важную роль в обеспечении баланса спроса и предложения в энергосетях будущего. Производителям ветряной и солнечной энергии это тоже выгодно, поскольку они часто сталкиваются с непредсказуемостью рынков энергии. При этом биткоин в ближайшей перспективе добывать будет весьма выгодно, его цена достигла на этой неделе исторического максимума в $75 тыс.

В 2024 году Deutsche Telekom сделала несколько важных объявлений, касающихся сектора возобновляемой энергетики. В июне компания подписала PPA в области ветроэнергетики в Румынии — три дочерних структуры компании будут приобретать 100 ГВт∙ч «чистого» электричества каждый год в течение 12 лет. Ранее Deutsche Telekom подписала в Германии PPA на 150 МВт с компанией Starkraft и на 100 МВт — с EnBW. В прошолом году компания начала постройку энергохранилищ общей ёмкостью 300 МВт·ч и заказала у Intilion хранилища ёмкостью 60 МВт·ч для питания своих ЦОД.

Управляющая альтернативными активами компания KKR прогнозирует, что мировые расходы на дата-центры вырастут до $250 млрд в год. По данным Datacenter Dynamics, компания сама анонсировала сделку на $50 млрд с Energy Capital Partners (ECP) для финансирования ИИ-инфраструктуры, включая ЦОД, генерацию энергии и линии электропередач. По словам топ-менеджеров KKR, сегодня США располагают около 16–18 ГВт ёмкости дата-центров, а в следующие три-четыре года этот показатель, вполне вероятно, удвоится, если не утроится.

Источник изображения: Christine Roy / Unsplash

В 2022 году KKR и Global Infrastructure Partners (GIP, теперь BlackRock) приобрели оператора ЦОД CyrusOne за $15 млрд. На тот момент это была крупнейшая сделка в индустрии ЦОД за всю историю, сейчас она уступила первенство соглашению о покупке AirTrunk. В KKR отмечают рост спроса на дополнительные ёмкости дата-центров по всему миру, в компании утверждают, что её бизнес в этом секторе активно развивается. В прошлом году KKR приобрела в сингапурской Singtel, поддерживает GTR и STT и инвестировала в CoolIT.

Команда Microsoft Research поделилась информацией о прототипах робототехники, предназначенной для обслуживания дата-центров. Соответствующую команду компания сформировала год назад. Как передаёт Datacenter Dynamics, её представители заявили о самом начале «фундаментального сдвига» в принципах разработки оборудования и ПО для ЦОД.

Ключевым, по мнению исследователей Microsoft, является отход от попыток создания гуманоидных роботов. Вместо них предлагается использование самодостаточных модульных роботов для узкопрофильных задач, способных заниматься как ремонтом оборудования, так и его текущим обслуживанием. А мониторинг и автоматизация позволят проактивно выявлять возможное поломки до наступления инцидентов. Увы, развитие технологий не привело к существенному снижению отказов в сложных системах, констатируют исследователи. А человеческий фактор становится всё более значимым.

Источник изображений: Microsoft

В Microsoft Research рассказали о прототипах двух роботов, предназначенных для обслуживания ЦОД. Первый оснащён рукой-манипулятором и захватом для обслуживания отдельных трансиверов. Захват позволяет аккуратно поправлять, вставлять и вынимать трансиверы из корзин, не задевая кабели и соседние трансиверы, что нередко случается, когда обслуживанием занимается живой техник. Система машинного зрения позволяет роботу оценивать сложную окружающую среду и автономно ориентироваться в скоплениях кабелей.

Второй робот предназначен для очистки волокон и трансиверов. Трансивер с подключённым кабелем достаточно поместить внутрь робота, что может сделать человек или роборука. Робот способен самостоятельно вынимать кабель из трансивера и осматривать торец кабеля и гнездо в трансивере, при необходимости очищая их. Для человека это довольно трудоёмкий процесс, особенно в случае MPO-кабелей. Робот использует камеры и специальные модули распознавания для определения типа кабеля. Дисплей на роботе позволяет получать вспомогательную информацию оператору и крупным планом осматривать проверяемые подключения.

Теперь компания концентрирует усилия на создании малых модулей для минимизации количества форм-факторов машин, необходимых для поддержки широкого спектра операций. Многие из участников нового проекта работали над роботами для хранилищ Project Silica. Такие роботы способны автономно передвигаться между стойками, а также вверх и вниз по самим стойкам.

Команда разделила процесс эволюции робототехники для ЦОД на четыре этапа. Level 1 предусматривает использование машин для помощи людям, Level 2 допускает частичную автоматизацию, где роботы могут выполнять специальные задачи под наблюдением людей, Level 3 предусматривает высокий уровень автоматизации с ограниченным контролем со стороны людей. Наконец, на уровне Level 4 обеспечена полная автоматизация, все операции по ремонту и обслуживанию ЦОД не нуждаются в человеческом участии.

На уровне Level 4 речь идёт о полностью «самодостаточных» дата-центрах, физически не рассчитанных на участие в процессах людей и оптимизированных для работы в условиях высокой плотности стоек и высокой энергетической эффективности. Люди смогут наблюдать за ЦОД без личного присутствия в помещениях. Учёные подчёркивают, что даже создание роботов первого и второго уровней — непростая задача, и сейчас их усилия направлены именно на такие системы. Тем не менее считается, что после достижения второго уровня переход к Level 3–4 будет легче.

Конечно, над проектами роботизации ЦОД работают не только в Microsoft. Google тоже создаёт технологии, способные заменить людей при обслуживании дата-центров, а роботов-сопровождающих и робособак-патрульных уже используют довольно широко по всему миру разные вендоры. Интересно, что Meta✴ тоже начала создание роботов с систем TopoOpt для обслуживания сетей.