Первый коммерческий подводный дата-центр в Китае, который создаётся компанией HiCloud Data Center Technology (подразделение Highlander), подтвердил свою работоспособность. Система, как сообщает Datacenter Dynamics со ссылкой на китайские СМИ, стабильно функционирует с момента ввода в эксплуатацию в конце прошлого года. Более того, HiCloud сообщила, что получила заказы от China Telecom и SenseTime на создание таких же ЦОД в других регионах страны.

ЦОД, о котором идёт речь, расположен у побережья города Санья (о. Хайнань). Проектом предусмотрено использование специальных модулей массой около 1300 т с оборудованием, которые монтируются на глубине примерно 35 м. Первый такой блок был установлен в апреле 2023-го, второй — в ноябре прошлого года.

Источник изображения: HiCloud

Модули используют морскую воду для охлаждения. По сравнению с наземными объектами они имеют более высокую вычислительную плотность. Благодаря герметичной конструкции блоков внутренняя электроника меньше подвержена сбоям. Ожидается, что срок службы модулей составит 25 лет.

Технические характеристики применяемого оборудования не раскрываются. Кроме того, не уточняется, сколько именно модулей уже эксплуатируются на сегодняшний день. Но известно, что после полного развёртывания подводный ЦОД объединит 100 модулей. По сравнению с наземными дата-центрами сопоставимого масштаба площадка позволит экономить 122 млн кВт·ч и 105 тыс. тонн пресной воды ежегодно, а также 68 тыс. м² земли.

Подводные ЦОД Microsoft Natick, по образу и подобию которых были сконструированы модули Highlander, по итогам нескольких лет работы тоже доказали свою работоспособность и надёжность ещё три года назад, однако до коммерческого развёртывания дело не дошло. Впрочем, некоторые эксперты сомневаются в экономической целесообразности массового развёртывания подобных подводных модулей.

Британская группа компаний Octopus Energy, занимающаяся инвестициями в проекты, связанные с возобновляемыми источниками энергии, вложила £200 млн ($255 млн) в компанию Deep Green, сообщила ресурс Datacenter Dynamics (DCD). Deep Green специализируется на строительстве небольших ЦОД рядом с объектами, для обогрева которых можно использовать «мусорное» тепло.

В прошлом году Deep Green запустила ЦОД с системой погружного охлаждения для обогрева бассейна в британском Эксмуте (Девон) на юго-западе Англии. «Чтобы противостоять энергетическому кризису, нам нужны инновационные решения необычных проблем», — заявила гендиректор Octopus Energy Generation Зойса Норт-Бонд (Zoisa North-Bond).

Источник изображения: Deep Green

Инвестиции были сделаны через специальный фонд Octopus Energy Transition Fund (OETF) и фонд Sky (ORI SCSp). Представитель группы сообщил ресурсу DCD, что Octopus на начальном этапе не будет участвовать в размещении «цифровых бойлеров» Deep Green. Основатель Deep Green заявил, что сделка позволит компании построить «сотни периферийных ЦОД для бассейнов и систем централизованного теплоснабжения».

Аналогичные решения создаёт французская компания Qarnot. В Великобритании производитель «цифровых бойлеров» Heata и облачный оператор Civo уже предлагают устанавливать серверы для отопления домов. А Aventuur планирует обогревать аквапарк в Новой Зеландии теплом ЦОД, питающегося от солнечных элементов.

Как заявили представители подающего надежды австралийского облачного провайдера ResetData, владельцам зданий стоит рассмотреть не только постепенно распространяющиеся технологии вроде обогрева помещений за счёт тепла ЦОД, но и более необычные варианты. Как сообщает The Register, собственный дата-центр в здании может стать очередным предложением для арендаторов. ResetData как раз и намеревается предлагать такие микро-ЦОД.

Компания разработала модули Hiperdrive с погружной СЖО для снижения энергопотребления и повышения теплоотдачи. Стартап дорабатывает Intel-серверы Dell таким образом, чтобы те могли работать с иммерсионным охлаждением Submer с сохранением гарантии производителя, причём у него, как сообщается, соответствующая сертификация. Как и прочие стартапы такого профиля, ResetData обеспечивает отдачу тепла на нагрев воды, в том числе для систем отопления.

Фото: Submer

Погружные системы охлаждения обычно тяжелее традиционных, иногда они чересчур тяжелы даже традиционных ЦОД. Поэтому ResetData оптимизировала конструкцию модулей и предложила размещать их в подвалах — там обычно прохладно, а рядом находятся все коммуникации, от канализации и водопровода до электричества. В компании считают, что владельцы бизнес-центров и офисных кампусов могут рассмотреть установку таких микро-ЦОД и сдавать вычислительные мощности и/или хранилища данных арендаторам.

Преимуществом размещения ЦОД в подвале будет минимальная задержка доступа к данным. Кроме того, СЖО обеспечивают высокую плотность размещения аппаратных мощностей, что позволяет даже небольшому модулю обслуживать нескольких клиентов. ResetData предлагает законченное решение на базе OpenStack или AzureStack HCI. В скором будущем ожидается поддержка решений Red Hat, Citrix и VMware. Если арендаторам понадобятся ИИ-вычисления или 3D-графика, Hyperdrive может предоставить серверы с ускорителями NVIDIA A40.

Занятая созданием решений в сфере периферийных вычислений компания Armada объявила о привлечении $55 млн на свои разработки в соответствующей нише. По данным Datacenter Dynamics, также речь идёт об инвестициях в платформу управления такими вычислениями. Для ЦОД компании предусмотрено использование спутниковой связи.

Раунд финансирования возглавили Founders Fund, Lux Capital, Shield Capital и 8090 Industries, также участие приняли Contrary, Felicis, Koch Real Estate Investments, Marlinspike, Valor Equity Partners, 8VC и другие инвестиционные компании. В январе венчурные инвесторы Founders Fund, Lux Capital, и Shield Capital уже возглавили посевной раунд инвестиций в Armada объёмом $15 млн. Представители некоторых инвесторов уже вошли в состав совета директоров Armada.

Armada предлагает защищённые автономные дата-центры Galleon в модульным исполнении со спутниковым подключением к Starlink, размещаемых в стандартных 20- и 40-футовых грузовых контейнерах (на 3 и 6 стоек соответственно). Как заявляют в Armada, ИИ-системы различного характера и назначения совершили революцию в повседневной жизни и в бизнесе, но далеко не у всех имеются равный доступ к ним. Во многих регионах отсутствует даже базовый доступ в Сеть, из-за чего многие структуры не могут по-настоящему эффективно применять свои данные.

Источник изображения: Armada

Как заявляют в самой Armada, в сфере периферийных решений генерируются огромные объёмы данных, но им не находится практически никакого применения. В компании утверждают, что набрали лучшую команду для того, чтобы исправить положение, а инвесторы и советники поддержат начинания бизнеса. Пока, по информации Forbes, у Armada фактически нет клиентов, кроме горнодобывающей Nexa Resources, совместно с которой проводятся испытания для «проверки концепции». В целом стартап настроен на работы в сфере обороны и добычи полезных ископаемых.

Своей основной миссией Armada назвала устранение цифрового неравенства. В кругах инвесторов уверены, что Armada сыграет ключевую роль в удовлетворении растущих потребностей в индустриальном Интернете вещей для производственных компаний и промышленных приложений. Вероятное сотрудничество со SpaceX пока не комментируется. Ранее в Armada заявляли, что уже наладили взаимодействие с компанией Илона Маска (Elon Musk).

Тем временем Microsoft предложила собственный модульный контейнерный ЦОД Azure MDC с опциональным подключением к сети Starlink. В сентябре «ЦОД на колёсах» со спутниковым подключением для формирования сети 5G и периферийных вычислений предложил американский телеком-оператор Verizon. А у AWS есть «тактический» микро-ЦОД.

Компания Vertiv представила образец деревянного дата-центра. Как сообщает Datacenter Konwledge, такое решение призвано помочь операторам ЦОД снизить углеродные выбросы и достичь поставленных целей устойчивого развития. С учётом того, что на производство цемента в мире приходится около 8 % мировых углеродных выбросов, деревянные ЦОД могут стать экологичной альтернативой традиционным кампусам.

Вопросы экобезопасности в индустрии ЦОД приобретают всё большее значение, поскольку только в США спрос на дата-центры, как ожидается, будет расти на 10 % ежегодно до 2030 года. Это заставит бизнес строить всё новые объекты, причём сегодня они в основном возводятся из стали и бетона. Для того, чтобы решить экологические проблемы клиентов, Vertiv построила образец TimberMod, а на основе предложенной концепции, вероятно, будут создаваться и другие ЦОД.

Источник изображения: Vertiv

Решение TimberMod доступно в качестве экобезопасной опции при создания готовых модульных ЦОД серий Power Module и SmartMod. Для строительства применяется древесина, заготовленная с учётом требований к устойчивым методам ведения хозяйства. При этом конструкция модулей устойчива к землетрясениям и ветрам и пожаробезопасна.

Хотя деревянные ЦОД кажутся довольно необычной концепцией, Vertiv — не первая компания, которая использует древесину для возведения таких объектов. Например, шведский оператор EcoDataCenter ещё в 2019 году открыл один из первых в мире экоустойчивых ЦОД. Центр не только на 100 % снабжается электричеством за счёт энергии ветра и воды, но и выполнен из «самозатухающей» кросс-ламинированной древесины, способной противостоять огню десятки минут.

Источник изображения: Vertiv

В самой EcoDataCenter заявили, что на севере дерево веками используется в качестве строительного материала, а в Швеции применяется для возведения объектов самого разного назначения и сегодня. Так, на новый ЦОД EcoDataCenter 2 потрачено 3200 м³ леса — такой объём в Швеции вырастает всего за 14 минут.

Аналитики Omdia подчеркивают, что деревянные дата-центры не являются такой уж новинкой, но благодаря модульным решениям Vertiv они стали доступнее. Модульные ЦОД позволяют сократить время строительства на 40–80 %, причём деревянные модули создаются даже быстрее аналогов из бетона, стали и композитных материалов, а углеродный выброс при строительстве можно снизить на ⅔.

Группа компаний РСК, ведущий российский разработчик суперкомпьютеров и систем для высокопроизводительных вычислений (HPC), дата-центров, облачных платформ и систем хранения данных (СХД) показала на выставке Иннопром-2022 обновлённую версию своей платформы для автономных периферийных вычислений, которая позволяет оперативно, в течение часа силами двух человек, развернуть HPC-кластер практически в любом месте.

«РСК Мобильный ЦОД»

Решение упаковано в несколько контейнеров (0,7 × 0,7 × 1,1 м), которые можно транспортировать независимо друг от друга и собирать уже на месте. Один контейнер вмещает собственно вычислительную часть, второй — полностью интегрированный модуль распределения теплоносителя с узлом управления, а третий, опциональный — ИБП с инвертором. Дополняет их компактный внешний модуль охлаждения. Вся система имеет весьма солидный запас по возможности отвода тепла — до 60 кВт.

Правда, сейчас столько и не требуется. Вычислительный блок фактически является уменьшенной копией платформы «РСК Торнадо»: 2 колонны по 10 слотов. Поэтому мобильная платформа позволяет совмещать в одной системе серверы «Торнадо» с процессорами x86-64 (AMD EPYC и Intel Xeon) и «Эльбрус» (сейчас 8С/8СВ, в перспективе 16С) с любым уровнем TDP, GPGPU-серверы (по два PCIe-ускорителя на сервер, без ограничений по TDP) и серверы хранения (до 12 × M.2 All-Flash).

В текущем варианте платформы каждый слот рассчитан на 2 кВт тепловой нагрузки (и столько же по питанию), хотя нынешние серверы укладываются в среднем в 700–800 Вт, а серверы следующего поколения потребуют чуть больше 1 кВт. Подсистема питания имеет два домена, по одному на колонну, и требует однофазный ввод AC 230 В/50 Гц, хотя фактически может работать в диапазоне 105–280 В. Запитать систему можно от генератора, а подстраховать — ИБП. Но возможно и специсполнение с поддержкой 48 В DC.

Сервер «РСК Торнадо» с «Эльбрус-8СВ»

Сетевая подсистема может быть представлена ToR-коммутаторами как двойной (на обе колонны) ширины, так и одиночной. В том числе есть варианты с жидкостным охлаждением. Доступен даже InfiniBand — у Mellanox есть коммутаторы в подходящем форм-факторе, рассчитанные на промышленное применение. Также предоставляется 1 GbE-коммутатор для развёртывания служебной сети.

Самая интересная часть — это охлаждение. Как и в «большой» версии платформы здесь используется фирменная СЖО, которая покрывает все компоненты серверов, так что вычислительная часть не требует активного воздушного охлаждения и способна работать даже с закрытыми крышками контейнера. Защиты по какому-либо классу IP в стандартном варианте не предусмотрено, но опять-таки по заказу возможно специсполнение.

СЖО всё так же поддерживает охлаждение горячей водой, причём на всех компонентах температура не превышает +45 °C. Для запуска вычислительного модуля необходимо, чтобы он находился в помещении с плюсовой температурой и чтобы не было образования конденсата. А вот внешний контур охлаждения менее прихотлив и способен работать при температурах от -65 °C. Верхний же предел — не менее +40 °C. Требования по питанию у него те же, что и у серверов.

«РСК Мобильный ЦОД»

Узел управления автоматически отслеживает и регулирует параметры всех компонентов системы во время запуска и работы. По умолчанию используется сценарий защиты оборудования, так что при неблагоприятных условиях серверы могут выключаться. Но возможны и другие сценарии, например, «работа до последнего», когда потеря данных оказывается дороже потери оборудования.

Управляется мобильная платформа фирменной системой оркестрации «РСК БазИС», которая позволяет задействовать все возможности компонуемой, программно определяемой инфраструктуры, в том числе для реализации HCI-платформы. «РСК БазИС» предлагает GUI, CLI, открытые API и SDK для интеграции с другими приложениями. Таким образом, заказчик получает полностью интегрированное программно-аппаратное решение, готовое к быстрому развёртыванию и использованию.

Изначально платформа создавалась для нужд добывающего сектора, но этой сферой её возможности не ограничиваются. Она также подходит для научных экспедиций и промышленных предприятий (срочная обработка больших массивов данных), медиасферы и обслуживания массовых мероприятий (рендеринг, стриминг с множества камер) и т.д. В общем, везде, где на время требуется действительно мощная, но компактная и удобная в доставке, развёртывании и эксплуатации вычислительная платформа.

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

Изображение: Qarnot (via DataCenterDynamics)

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

Полку подводных дата-центров прибыло — стартап Subsea Cloud, в отличие от проектов Highlander и Microsoft Natick, предлагает размещать центры обработки данных (ЦОД) не на мелководье в прибрежных водах, а на морском или океанском дне на глубине до 3000 м. Делается это не только для снижения вредных выбросов, поскольку на охлаждение энергию тратить не придётся, но и для безопасности.

Именно физическая безопасность является одним из ключевых достоинств проекта Subsea Cloud, так как на такой глубине дата-центрам не страшны не то что дайверы, но и подводные лодки — абсолютный рекорд до сих принадлежит лодке К-278 «Комсомолец», погрузившейся в 1985 году на глубину чуть больше километра. А специализированных аппаратов, способных работать в таких условиях, единицы и незаметно провести с их помощью атаку вряд ли получится. Поэтому компания ориентирована на предоставление услуг для заказчиков в сфере здравоохранения и финансов, а также для вооружённых сил.

Источник изображения: Subsea Cloud

Всех технических деталей Subsea Cloud пока не раскрывает. Например, не сообщается, как будут обслуживаться глубоководные ЦОД и будут ли вообще, хотя компания говорит, что уже испытала прототип новых ЦОД на надёжность и возможность работы на глубине 3 км, а часть оборудования внутри таких дата-центров будет иметь резервирование. Также упомянуто, что дата-центры будут вмещать до 800 серверов, а сами они сделаны из экологичных материалов, так что даже при разгерметизации они не навредят морской природе.

Основателем Subsea Cloud является Макси Рейнольдс (Maxie Reynolds), которая возглавляет техотдел компании Social Engineer LLC, работающей в сфере информационной безопасности. Ранее она занималась подводной робототехникой в Subsea 7 и даже успела побывать каскадёром. Как сообщает Data Centre Dynamics, в команду Subsea Cloud входят четыре специалиста по подводным технологиям, в том числе основатель Energy Subsea. Среди партнёров компании значатся Chevron, Laborde Marine и Oracle.

В минувшее воскресенье в китайском порту Гаолань в особой экономической зоне Чжухай провинции Гуандун состоялась официальная церемония запуска первого в стране подводного дата-центра (UDC). UDC был разработан компанией Beijing Highlander Digital Technology Co, которая специализируется на разработке и производстве судовой электронной аппаратуры и систем, и крупнейшей судостроительной компанией Китая Guangzhou Shipyard International Co.

По словам вице-президента Highlander Сюй Тань (Xu Tan), строительство подводного дата-центра было завершено в конце прошлого года.

В настоящее время крупные центры обработки данных в основном строятся для использования на суше. Как правило они занимают большую территорию, а их высокие требования к охлаждению означают, что они потребляют много энергии и водных ресурсов. В свою очередь, UDC использует большое количество проточной морской воды для охлаждения электроники через теплообменник, что позволяет сократить расход энергии по сравнению с традиционными методами охлаждения.

К тому же размещение UDC у прибрежных городов позволяет сократить расстояние между потребителями и вычислительными мощностями. Эта концепция была впервые предложена компанией Microsoft в проекте Project Natick, которая в течение двух лет эксплуатировала ЦОД с 12 стойками в прибрежных водах Шотландии.

«UDC занимает очень мало места на берегу, не имеет градирен и не потребляет пресную воду. Он не только поддерживает экологическую деятельность, такую как выращивание и разведение водных организмов, но также поддерживает другую промышленную деятельность, такую как морская ветроэнергетика и эксплуатация нефтяных платформ», — отметила Сюй.

Highlander сообщила о планах построить в течение следующих пяти лет серию подводных центров обработки данных в прибрежных водах, включая порт Хайнань (Hainan Free Trade Port, FTP), регион Большого залива Гуандун-Гонконг-Макао (GBA), дельту реки Янцзы и экономическую зону Bohai Rim Economic Circle (BREC).

В настоящее время она участвует в выборе места установки кабельных коммуникаций и подготовке к вводу в эксплуатацию дата-центра для тестирования, которое продлится с июня 2021 года по май 2022 года. На этом этапе проект будет представлен правительственным организациям, научно-исследовательским и финансовым учреждениям и полностью коммерциализирован во второй половине 2023 года.

В рамках реализации проекта в порту Хайнань Highlander подписала контракт с компаниями China Mobile, Lenovo, China Communications Service Construction и Qi'anxin Technology Group.

Любой современный ЦОД — это не только помещение, занимающее определённую площадь, но ещё и серьёзные системы питания и, особенно, охлаждения. Ряд компаний считает, что с точки зрения последнего фактора имеет смысл рассмотреть возможность размещения ЦОД под водой, на дне моря, где температура постоянна и достаточно низка. В их числе Microsoft со своей разработкой Project Natick.

Первый прототип Natick, доказавший работоспособность концепции, успешно проработал 105 дней в водах Калифорнийского залива, однако действительно серьёзная мощность была достигнута лишь во второй фазе, о которой и идёт речь в данной заметке. Второй прототип Natick являет собой 12,2-метровый цилиндрический контейнер стандарта ISO 40, внутри размещено 12 стоек с 864 серверами Microsoft (в составе присутствуют ПЛИС-ускорители) и СХД общим объёмом 27,6 Пбайт. Система охлаждения во втором варианте была разработана французской группой Naval Group на основе теплообменников, использующихся в современных подводных лодках.

На этот раз местом размещения подводного ЦОД был выбран район Оркнейских островов в 193 километрах (120 миль) от берега, глубина погружения составляла примерно 35 метров. Для питания и данных использовался общий кабель, содержащий как силовые линии, способные передать около четверти мегаватта, так и оптические волокна. Проект создавался с прицелом на пятилетний срок работы без обслуживания, с прицелом на 20 лет в будущем. Для обеспечения повышенной надёжности внутреннее пространство контейнера заполнено азотом, который практически инертен и способствует уменьшению износа оборудования.

14 сентября Microsoft сообщила об окончании второй фазы Project Natick, которая продлилась два года. Сам контейнер был извлечён из моря ещё летом, и специалисты и эксперты занялись изучением состояния аппаратного обеспечения, входившего в состав второго прототипа автономного ЦОД. Результат проекта признан очень успешным, возглавляющий Project Natick Бен Катлер (Ben Cutler) заявил, что «дело сделано, и второй вариант Natick можно с полным правом назвать подходящим строительным блоком».

Согласно статистике, около 50% населения планеты проживает недалеко от берега моря, поэтому размещение подводных ЦОД в прибрежных областях вполне оправдано, а Европейский центр морской энергетики (Europetn Marine Energy Centre) вообще говорит о возможности использования для питания таких ЦОД приливных турбин и волновых конвертеров, что сделает их практически автономными, не считая оптоволоконного подключения.

Часть системы охлаждения Natick

Тонкости функционирования Natick ещё предстоит изучить, но предварительные результаты оказались несколько обескураживающими: ЦОД в герметичном контейнере, покоившийся на дне моря, и, естественно, лишённый обслуживания, оказался в восемь раз надёжнее, нежели его копия, расположенная на суше. Причины примерно ясны: стабильные температуры, отсутствие окисляющей атмосферной среды, а также каких-либо серьёзных вибраций. Компания считает, что эти данные могут помочь и в проектировании более надёжных наземных ЦОД.

Microsoft признала, что проект всё ещё далёк от завершения, но считает, что стандартный ЦОД Azure в подводном варианте уже может быть создан. Вице-президент отдела Azure по системам класса mission critical Вильям Чэппел (William Chappell) отметил, что его команда особенно заинтересована в пост-квантовых методах шифрования, критичных для такого рода периферийных центров обработки данных.

Также заявлено, что Natick успешно может служить в качестве периферийного ЦОД или ЦОД с повышенной безопасностью; последнее достаточно очевидно — получить доступ к оборудованию, находящемуся под водой, намного сложнее, нежели в обычном ЦОД. Надёжнее в этом плане может быть только сервер на орбите, но по понятным причинам такое решение намного дороже и сложнее, нежели Natick, оно менее мощное, а также не гарантирует постоянной низкой латентности, которая может быть критичной в edge-сценариях использования.