В Норвегии введён в эксплуатацию самый мощный в стране суперкомпьютер — система Olivia, созданная корпорацией HPE. Комплекс расположен в дата-центре Лефдаль (Lefdal Mine Datacenter, LMD) на базе бывшего рудника, а для его охлаждения используется холодная вода из близлежащего фьорда.

Машина построена на платформе HPE Cray Supercomputing EX (EX254n). В её состав входят 252 узла, каждый из которых содержит два 128-ядерных процессора AMD EPYC 9745 (Turin). В сумме это даёт 64 512 CPU-ядер. Кроме того, задействован GPU-кластер с 76 узлами, оснащёнными четырьмя гибридными суперчипами NVIDIA GH200: таким образом, в общей сложности применены 304 ускорителя. Используется интерконнект HPE Slingshot 11. За хранение данных отвечает система HPE Cray ClusterStor E1000 вместимостью 5,3 Пбайт.

В текущей конфигурации GPU-кластер Olivia обладает производительностью 13,2 Пфлопс (FP64) и пиковым быстродействием 16,8 Пфлопс. При этом энергопотребление составляет 219 кВт. Таким образом, машина демонстрирует производительность в 60,274 Гфлопс/Вт.

В июньском рейтинге мощнейших суперкомпьютеров мира TOP500 GPU-комплекс Olivia располагается на 117-й позиции, тогда как в списке самых энергоэффективных суперкомпьютеров GREEN500 он занимает 22-ю строку. CPU-блок Olivia занимает 271-е место в рейтинге с фактической и пиковой FP64-производительностью 4,25 и 4,95 Пфлопс соответственно.

Источник изображения: Sigma2

Olivia эксплуатируется государственной компанией Sigma2. Применять суперкомпьютер планируется для проведения исследований в различных областях, включая изменения климата, здравоохранение, ИИ и пр. Суперкомпьютер обладает возможностями для дальнейшего расширения. В частности, количество ядер CPU может быть увеличено до 119 808. Кроме того, могут быть добавлены ещё 224 ускорителя.

Инвестиционная группа Bain Capital запустила нового оператора дата-центров гиперскейл-уровня для работы в регионе EMEA. Компанию возглавит бывший генеральный директор немецкого оператора ЦОД Mainova Webhouse Оливер Шибель (Oliver Schiebel), сообщает Datacenter Dynamics.

Bain Capital уже владеет несколькими операторами ЦОД. Так, в Китае работает ChinData (готовится к продаже). Её дочерняя структура Bridge DC ориентирована на Азиатско-Тихоокеанский регион (АТР), а DC Blox специализируется на американских ЦОД. Новая инициатива завершает выход Bain на европейский рынок путём покупки в прошлом году 80-% доли в операторе AQ Compute, принадлежавшем Aquila Group. У Aquila будет доля 20 % от Hscale. Hscale пока располагает одним работающим объектом на 6 МВт — OLS1 неподалёку от Осло (Норвегия), ранее принадлежавшим AQ Compute.

Источник изображения: Hscale

В настоящее время Hscale занимается строительством проектов на 100 МВт, включая дополнительные 12 МВт в OSL1 и 10 МВт в BCN1 близ Барселоны в технопарке Parc de l’Alba. К OSL1 со временем присоединятся OSL2 и OSL3 (200 МВт общей мощности); запланированная мощность BCN1 составляет 50 МВт; MAD1 недалеко от Мадрида освоит 192 МВт, а MXP1 и MXP2 к востоку от Милана получат 165 МВт. Все эти объекты планируется завершить к IV кварталу 2028 года, а общая мощность портфолио Hscale со временем должна приблизиться к 1 ГВт.

Bain сообщила, что у нее есть дополнительные проекты в Лондоне, Франкфурте и Сарагосе, но подробности не разглашаются. По данным руководства Bain, в ближайшие годы проекты будут подкреплены «многомиллиардными» инвестициями. Компания намерена сотрудничать с дочерней компанией Aquila Group — Aquila Clean Energy, которая обеспечит поставки «чистой» энергии.

Bain Capital — частная инвестиционная компания, ранее возглавлявшаяся кандидатом в президенты США и бывшим сенатором Миттом Ромни (Mitt Romney). Под её управлением находятся активы приблизительно на $185 млрд.

Серверы TikTok заработали во всех трёх дата-центрах кампуса Green Mountain OSL2-Hamar в Норвегии. Речь идёт о части т. н. Project Clover — инициативы стоимостью €12 млрд ($13,2 млрд), призванной обеспечить хранение данных европейских пользователей в границах Европы. Кроме того, проект должен отвечать европейским стандартам безопасности, сообщает Datacenter Dynamics. В рамках Project Clover компания также использует ЦОД в Ирландии, который заработал в 2023 году.

Планы Green Mountain по обеспечению социальной сети новыми дата-центрами были оглашены в марте 2023 года. Первый из них собирались ввести в эксплуатацию во II квартале 2024-го, однако в итоге партнёрам пришлось несколько отклониться от планов — европейские данные начали перемещать в новый кампус только в октябре-ноябре 2024 года. Летом того же года представитель Green Mountain заявлял, что реализация проекта замедлилась из-за проблем с получением разрешений для новой электроподстанции.

После того, как в Норвегии заработали все три дата-центра, TikTok наняла европейскую компанию NCC Group для независимой проверки и верификации безопасности хранения, обработки и передачи данных, заявив, что такой уровень прозрачности недостижим для других онлайн-платформ. Также социальная сеть работает с Green Mountain над возможностью передачи тепла ЦОД на нужды отопления местных объектов. Для обслуживания трёх ЦОД пришлось нанять около 200 человек, включая IT-специалистов, электриков и экспертов в области систем охлаждения.

Источник изображения: Green Mountain

Тем временем в минувшую пятницу президент США издал указ, продляющий работу социальной сети на территории США ещё на 75 дней — для того, чтобы ту можно было «честно» продать американскому бизнесу — речь идёт о продаже американской части сети под предлогом защиты конфиденциальности данных американцев. С 2022 года в рамках Project Texas данные американских пользователей хранятся только на серверах Oracle.

Компания CoreWeave выбрала дата-центр Bulk Infrastructure в Норвегии для размещения кластера суперускорителей NVIDIA GB200 NVL72, объединённых интерконнектом Quantum-2 InfiniBand. Кластер, который, по словам компании, станет одной из крупнейших в Европе ИИ-системой на базе чипов NVIDIA, должен заработать уже к лету 2025 года, сообщает Datacenter Dynamics. Ранее CoreWeave пообещала развернуть крупнейший в Европе ИИ-кластер на базе NVIDIA Blackwell в Швеции.

В CoreWeave подчеркнули, что компания рада сотрудничать с Bulk в деле расширения своего присутствия в регионе и в Европе вообще для обеспечения растущих потребностей в ИИ и HPC. Отдельно подчёркивается приверженность Bulk к созданию масштабируемой экобезопасной инфраструктуры. По словам самой Bulk Infrastructure, соглашение с CoreWeave — важнейшая веха в развитии норвежского бизнеса. С 2020 года Bulk Infrastructure привлекла в общей сложности $700 млн инвестиций, в том числе $380 млн от BOG.

ЦОД N01, по словам компании, по-своему уникален и подходит для размещения ИИ-инфраструктуры. Кампус расположен на участке площадью 3 км² рядом с электроподстанцией близ города и коммуны Кристиансанна (Kristiansand) фюльке Агдер (Agder). Кампус на 100 % запитан от многочисленных ГЭС. Всего площадка может получить до 400 МВт, но возможно расширение до 1 ГВт. В январе 2024 года Bulk начала строительство на территории кампуса нового объекта мощностью 42 МВт.

Источник изображения: Bulk Infrastructure

CoreWeave анонсировала планы инвестировать $3,5 млрд в европейские ЦОД, в том числе $1,3 млрд в Великобритании, где уже заработали два первых объекта. К концу 2024 года она намеревалась открыть по всему миру 28 дата-центров, ещё 10 новых планировали ввести в эксплуатацию в 2025 году. Сейчас компания готовится к IPO.

Компании Space Norway и SubCom объединились для создания подводной кабельной системы Arctic Way к 2028 году. ВОЛС протяжённостью 2350 км намерены проложить за Полярным кругом. Он свяжет норвежские Будё (Bodø) и Ян-Майен (Jan Mayen) с Лонгйиром (Longyearbyen) на Шпицбергене, сообщает пресс-служба Space Norway. По словам партнёров, кабель необходимо проложить для обеспечения «арктического сообщества» и поддержки стратегических интересов Норвегии.

Пока до Шпицбергена протянуты два подводных кабеля, но их жизненный цикл подходит к концу. Впрочем, пока их не собираются выводить из эксплуатации — старая инфраструктура послужит резервной линией связи. Прокладкой Arctic Way фактически будет заниматься SubCom, которая уже участвовала в создании кабельной системы на Шпицбергене и имеет опыт работы в уникальном регионе с суровыми природными условиями.

Space Norway принадлежит Министерству торговли и промышленности Норвегии (NFD), она управляет космической инфраструктурой страны, заключая сделки с «оптовыми» клиентами. Ей же принадлежит и подводная инфраструктура, она же обеспечивает широкополосный доступ в Сеть станции Troll в Антарктиде с помощью спутника Thor 7 компании Telenor.

Источник изображения: Space Norway

В регионе также есть проект Polar Connect по прокладке подводного кабеля, соединяющего Северный полюс с Европой и Азией. В южных полярных широтах тоже изучают возможность создания ВОЛС. Так, чилийские власти намерены проложить кабель до Антарктиды, а в декабре 2024 года США предложили проложить до Антарктики первый подводный SMART-кабель.

Телеком-компания Telia отправила в переработку 70 т списанного оборудования после модернизации мобильных сетей Норвегии до уровня 5G, причём часть компонентов после проверки и оценки снова заработало в сетях Telia. За собственно переработку отвечала компания TXO, которая занимается новым и б/у телеком-оборудованием.

На утилизацию были отправлены всевозможные сетевые модули, в том числе серверные шкафы, печатные платы, антенны, приёмопередающее оборудование и кабели, а также другие компоненты базовых станций — всего 12 805 компонентов. Из них 622 компонента вернулись в сети Telia, 1723 были перепроданы в 35 стран, а более 8000 — переработаны. TXO использует для оценки компонентов фирменную систему i-JUDGE, которая и даёт возможность определить, что можно перепродать, что использовать повторно, а что годится только на переработку.

По словам представителя Telia Norway, в связи с модернизацией мобильной связи скопилось большое количество телеком-оборудования, которое компания желает переработать максимально «экологично». Целью является достижение нулевого уровня отходов к 2030 году. Поэтому переработке и повторному использованию и переработке оборудования отдаётся приоритет со всех действиях компании, в том числе при модернизации мобильных сетей.

Источник изображения: TXO

Подробности о финансовых аспектах сделки не раскрываются, но в январском отчёте TXO, говорится, что только в 2025 году мировые телеком-компании получат до $720 млн от продажи устаревших медных кабелей, а в следующие 15 лет они смогут заработать на них более $10 млрд. Так, BT уже выручила £105 млн (около $140 млн) от продажи таких кабелей в рамках замены старых сетей на ВОЛС, а Sparkle и OEC заявили, что переработают 22 тыс. км подводных кабелей.

С 1 января 2025 года в Норвегии вступил в силу новый закон об электронных коммуникациях, направленный на создание реестра дата-центров и противодействие нежелательному майнингу. Как сообщает Datacenter Dynamics, местным ЦОД-операторам дан срок до 1 июля, чтобы выполнить утверждённые требования: в противном случае им грозят крупные штрафы.

В сентябре 2024-го стало известно, что власти Норвегии намерены подготовить специальную правовую базу, обязывающую подробно описывать рабочие нагрузки действующих в стране ЦОД. Благодаря прохладному климату и обилию «чистой» энергии Норвегия считается перспективным регионом для развития ЦОД. В то же время правительство не хочет, чтобы страна стала пристанищем майнеров.

В соответствии с принятым законом, существующие дата-центры должны зарегистрироваться в формируемом реестре до 1 июля 2025 года. Новые ЦОД обязаны сделать это до начала строительных работ. Соблюдение требований будет контролироваться норвежским телекоммуникационным регулятором Nkom.

Источник изображения: Green Mountain

Правила требуют от операторов дата-центров регистрировать название своей компании, адрес и правовой статус, а также указывать специального представителя, который будет отвечать за взаимодействие с властями. Кроме того, участники ЦОД-рынка обязаны предоставлять информацию об оказываемых услугах и о том, есть ли в списке их клиентов государственные учреждения и предприятия. Операторы также должны отдельно направлять сведения об общем энергопотреблении и об энергозатратах оборудования, которое применяется для майнинга криптовалюты.

В случае несоблюдения указанных требований операторам дата-центров грозят штрафы на сумму до 5 % от годового оборота. Норвегия утверждает, что стала первой европейской страной, создавшей национальный реестр ЦОД. Ожидается, что это будет способствовать улучшению безопасности в соответствующей сфере и снижению негативного влияния на экологию. Ранее министр энергетики страны Терье Осланд (Terje Aasland) заявлял, что майнинг связан с большими выбросами парниковых газов и является примером тех видов деятельности, которые не приветствуются в Норвегии.

Медиагигант ByteDance начал перенос данных европейских пользователей TikTok в новый дата-центр в Норвегии. По данным Datacenter Dynamics, инициатива стоимостью €12 млрд реализуется в рамках т.н. Project Clover — проекта, призванного обеспечить размещение европейских данных на территории Евросоюза. TikTok сообщает, что первое здание норвежского кампуса ЦОД уже функционирует. А самый первый ЦОД для Project Clover заработал в Ирландии в 2023 году.

Норвежский кампус OSL2-Hamar предоставлен компанией Green Mountain — соответствующее партнёрство анонсировали в марте 2023 года. Изначально заключался контракт на 90 МВт, распределённые на три здания, с возможностью масштабирования до 150 МВт к 2025 году. Первые 30-МВт объект передали TikTok в декабре 2023 года. Планировалось, что ЦОД заработает уже во II квартале 2024 года, но реализация проекта замедлилась из-за задержек в получении разрешений на новую подстанцию. Впрочем, само подключение к энергосети было получено не без проблем.

Поскольку TikTok принадлежит китайской ByteDance, несколько стран выразили озабоченность возможной утечкой данных своих граждан, наиболее сильное давление на социальную сеть оказывается в США, там же чаще всего выступают и с разоблачениями вероятных угроз национальной безопасности — не исключена продажа местного подразделения Oracle или Microsoft.

Источник изображения: TikTok

Пытаясь сохранить бизнес в Европе, ByteDance анонсировала инициативу Project Clover. Помимо передачи данных в Норвегию, компания сообщила, что независимый провайдер решений в сфере кибербезопасности NCC Group занялся мониторингом движения данных социальной сети и обеспечил дополнительную защиту сведениям о европейцах.

Ранее в этом месяце появилась информация о том, что TikTok якобы намеревается открыть ЦОД в Таиланде. В июне компания сообщила, что создаст ИИ-хаб в Малайзии за RM10 млрд ($2,13 млрд). Также, по слухам, компания рассматривала открытие ЦОД в Австралии для поддержки выполнения задач по всему Азиатско-Тихоокеанскому региону. Также у компании имеется ЦОД в Техасе, управляемый Oracle.

Экономика Норвегии опирается в основном на ископаемое топливо и экспорт рыбы. По данным Datacenter Dynamics, в стране растёт и рынок дата-центров, хотя на фоне природных и биологических ресурсов его доля невелика. Тем не менее, власти намерены первыми в Европе подготовить специальную правовую базу, обязывающую подробно описывать рабочие нагрузки действующих в стране ЦОД. Страна по-прежнему намерена стать «фантастической площадкой» для дата-центров.

Предполагается, что новая инициатива оградит Норвегию от превращения в убежище для майнеров криптовалют. Впрочем, законы намерены принимать осторожно, чтобы не создавать дополнительную административную нагрузку на добросовестных операторов и не отпугнуть инвесторов как раз в тот момент, когда отрасль ЦОД находится на подъёме. Соседняя Швеция тоже начала борьбу с майнингом в ЦОД.

Источник изображения: Vidar Nordli-Mathisen/unsplash.com

Сейчас в Норвегии действуют 45 дата-центров, 23 из них расположены в Осло и окрестностях. О желании стать «государством дата-центров» страна заявляла ещё в 2018 году. И хотя власти предлагают льготы строителям и операторам, американские гиперскейлеры пока не построили здесь ни одного дата-центра. Впрочем, Google уже начала возводить свой кампус, а вот Microsoft обходилась двумя облачными регионами на базе чужих ЦОД (теперь одним). Также Edge-локация есть в Осло у AWS. Зато интерес есть у других игроков — в ноябре TikTok получит в своё распоряжение дата-центр Green Mountain, хотя сам процесс строительства идёт не без проблем.

Благодаря прохладному климату Норвегия считается перспективным регионом для операторов ЦОД, а обилие «чистой» энергии будет только способствовать развитию бизнеса. При этом власти страны намерены привлекать только ЦОД, которые они считают полезными для общества и экономики, «закрыв дверь проектам, которые не нужны». Для этого потребуется знать, какие именно ЦОД есть и чем они занимаются.

Предлагается создать реестр, в котором будет подробное описание владельцев и управляющих ЦОД, а также тип предлагаемых ими услуг. На основе реестра местные власти смогут принимать более обоснованные решения о целесообразности того или иного проекта. В частности, перекрыть дорогу намерены криптомайнерам, которые требуют немало энергии и ответственны за выбросы парниковых газов в больших объёмах. Их официально признали «нежелательными».

Источник изображения: Green Mountain

Власти проводят консультации с представителями отрасли ЦОД. В том числе с ассоциацией Norwegian Datacenter Industry, включающей 60 операторов и связанных организаций. В самой ассоциации говорят, что «довольно спокойно» относятся к возможности дальнейшего регулирования, поскольку ВОЛС, мобильная инфраструктура и поставщики цифровых услуг регулируются уже десятки лет, тогда как деятельность ЦОД фактически никто не контролирует.

Законопроект, вероятно, рассмотрят в конце текущего года, но власти признают, что малые операторы ЦОД вряд ли будут в восторге. Точное количество майнинговых дата-центров в стране неизвестно, но считается, что их довольно много. При этом такие дата-центры не приносят обществу никакой выгоды, считают власти — часто это просто контейнер, стоящий на отшибе, «конвертирующий киловатты в биткоины». А некоторые операторы прямо запрещают майнинг на своих мощностях на уровне контрактов с клиентами.

В любом случае некоторые операторы выступают за минимизацию бремени на бизнес и снижение уровня бюрократии, чтобы не отпугнуть инвесторов — и без того многими ЦОД и соответствующими бизнесами фактически владеют зарубежные бенефициары. Если законопроект примут, операторов ЦОД ждут регулярные проверки, хотя власти намерены сделать этот процесс «настолько гладким, насколько это возможно». Правда, как отмечают отраслевые эксперты, инстинктивная реакция любых операторов ЦОД на усиление регулирования всегда негативная.

Окончание периода налоговых льгот для норвежских операторов ЦОД, похоже, приведёт к важным изменениям соответствующей индустрии в стране. Computer Weekly сообщает, что местные игроки всё чаще меняют стратегию развития и инвестиций и делают ставку на более энергоэффективные объекты. Говорится, что геополитическая ситуация и революция в сфере ИИ усиливают необходимость создания безопасных хранилищ данных на территории самой Норвегии. При этом страна должна получить экобезопасные и устойчивые ЦОД.

Во многом это связано с ожиданием ввода новых налогов на энергоёмкие отрасли в 2025 году, поскольку политики уже выразили озабоченность энергоэффективностью ЦОД и их энергопотреблением вообще. Инвестиции в отрасль приветствуются, но предпочтение всё чаще отдаётся наиболее экономичным и экобезопасным вариантам. Более того, норвежский консорциум, возглавляемый энергокомпанией Hafslund, телеком-провайдером Telenor с госучастием и инвестором HitecVision создал ГК Skygard — совместное предприятие займётся возведением энергоэффективных ЦОД по всей Норвегии. Участники консорциума будут владеть долями по 31,7 %. Оставшиеся 4,9 % получила консалтинговая Analysys Mason Nordic.

Источник изображения: Simon Williams/unsplash.com

Ключевым игроком является Hafslund, второй по величине производитель электроэнергии в Норвегии — комапнии принадлежит 81 ГЭС, в 2023 году на которые приходилось 5200 МВт. Telenor совместно с NVIDIA создаст суверенные облачные платформы для Норвегии. На первом этапе консорциум инвестирует €210 млн, в числе прочего предусмотрено строительство ЦОД в одном из районов Осло. Работы на площадке начались уже в марте 2024 года. Кампус Skygard должен начать работу в I половине 2025 года, колокейшн-ёмкости поступят в распоряжение нескольких арендаторов. Позже в районе «Большого Осло» будут построены ещё два дополнительных ЦОД. Совокупная ёмкость трёх объектов составит 40 МВт.

Компания Eidsiva — один из крупнейших энерго- и телеком-провайдеров в Норвегии, принадлежащий местным муниципалитетам, тоже решил заняться дата-центрами. В конце мая компания завершила покупку ЦОД ёмкостью 6 МВт. В компании предполагают, что цифровая инфраструктура Норвегии нуждается в собственных «строительных блоках» для оказания социально важных услуг — ими станут ЦОД в национальной и государственной собственности.

Переход от крупных ресурсоёмких ЦОД к более экономичным приобрёл особое значение в 2023 году, когда власти отказались от налоговых льгот для энергоёмких отраслей. При этом Норвежская ассоциация ЦОД (Norwegian Datacentre Industry, NDCI) свидетельствует, что на конец 2023 года в отрасли работало 2300 штатных сотрудников, а установленная мощность на конец года составляла 501 МВт, и которых сейчас используется 150 МВт или 1 % от общего объёма генерируемой в Норвегии энергии. 98 % этого электричества приходится на ГЭС. Ожидается, что к 2028 году потребление ЦОД составит 1,9 % от общенорвежского.

Источник изображения: Michael Fousert/unsplash.com

В целом рост сектора ЦОД в стране по-прежнему обусловлен ключевыми мировыми игроками вроде Microsoft и Google. Первая построила первый дата-центр в стране в 2019 году, вторая начала возводить ЦОД в рамках проекта стоимостью €600 млн в феврале 2024 года. Объект ёмкостью 240 МВт будет предлагать «мусорную» тепловую энергию местным муниципалитетам. В Google заявляют, что запуск планируется на 2026 год.

Политики хотят, чтобы муниципалитеты обязали операторов размещать вырабатывающие много тепла ЦОД рядом с промышленными центрами, способными его использовать. А обновлённый план National Energy Efficiency Action Plan норвежских властей связан с энергоёмкими отраслями. Так, правительство предложило поправки в Закон об энергетике (Energy Act), согласно которым от строителей ЦОД потребуется проведение анализа эффективности и целесообразности использования тепловых выбросов ЦОД. Инициатива касается дата-центров ёмкостью от 20 МВт. При этом Норвегия по-прежнему намерена стать «фантастической площадкой» для ЦОД.