Компания Nautilus Data Technologies, специализирующаяся на плавучих центрах обработки данных, объявила о том, что построит новый ЦОД на территории бывшей бумажной фабрики в Миллинокете (США, штат Мэн). Его энергетические потребности в 60 МВт полностью будут обеспечены местной гидроэлектростанцией. А система водяного охлаждения, питаемая из резервуара ГЭС, позволит сократить до 70% потребление энергии на охлаждение и до 30% выбросы CO₂ в атмосферу.

Запатентованная компанией двухконтурная система охлаждения позволит рециркулировать воду без загрязнения водоёма. А для достижения ещё более низкого показателя PUE, ЦОД разместится ниже водохранилища ГЭС, чтобы поток воды для охлаждения поступал под действием силы тяжести, а не требовал дополнительных насосов.

Wikimedia: The Great Northern Paper Mill in the early 20th century

Предприятие получит федеральные налоговые льготы, так как Миллинокет — один из экономически неблагополучных населённых пунктов. Для их преобразования в зоны «благоприятных возможностей» власти применяют финансовые стимулы, вплоть до освобождения от уплаты налогов компаний, инвестирующих в развитие общества. ЦОД Nautilus — первый, который будет построен в подобной зоне. Его клиентами станут местные предприятия: лаборатория Джексона и Торговая палата штата Мэн.

Возможность создания большого кампуса ЦОД вкупе с недорогой электроэнергией, вероятно, привлечет также гиперскейлеров и облачных провайдеров. Местная оптоволоконная сеть Three-Ring Binder, построенная в 2012 году, сможет обеспечить с транзитом через Бостон подключение с низкой задержкой к другим крупным узлам, включая Нью-Йорк, Чикаго и Лондон.

Компания Nautilus приобрела комплекс площадью 13 акров, расположенный на месте бывшей фабрики, в 99-летнюю аренду у местной некоммерческой организации Our Katahdin. Первый этап проекта стоимостью $300 млн, как ожидается, будет завершён к концу 2022 года.

Строительство нового дата-центра Microsoft в Холландс-Крон (Hollands Kroon), общине в нидерландской провинции Северная Голландия, вызвало противодействие местных жителей, узнавших о том, что такие объекты могут вызвать нехватку питьевой воды. В связи с этим Организация сельского хозяйства и садоводства (LTO), представляющая интересы более 35 000 сельскохозяйственных предпринимателей, обжаловала выдачу разрешение Microsoft.

По данным газеты De Telegraaf, принадлежащие Microsoft и Google дата-центы на территории бизнес-парка Agriport A7 используют 525 м³ питьевой воды в час, что составляет 4,6 млн м³ в год, а для реализации планов по строительству пяти новых объектов потребуется ещё 10 млн м3 воды в год. Как сообщает De Telegraaf, внутренние документы муниципалитета предупреждают, что при экстремальных погодных условиях может возникнуть нехватка пресной воды.

Согласно ресурсу Hortidaily, в ответ на критику Microsoft сообщила телеканалу EenVandaag, что она будет охлаждать свои ЦОД дождевой водой, а излишки отдавать местным теплицам. Microsoft обратилась за помощью к компании ECW Energy, которая уже пятнадцать лет занимается вопросами использования дождевой воды. По словам Роберта Кильстра (Robert Kielstra) из ECW Energy, Microsoft требуется лишь около 30 % всего объёма воды, который она могла бы собрать на своих объектах в Agriport для охлаждения, а оставшуюся часть можно было бы поставлять в теплицы.

Фото: Microsoft

Вода в Нидерландах очень дешёвая, и сбор и поставки дождевой воды обойдётся Microsoft гораздо дороже её потребления, но компания предпочла выбрать этот путь, чтобы избавиться от давления со стороны властей и жителей региона — в связи с жалобой фермеров Microsoft потенциально может столкнуться с судебным разбирательством. В настоящее время компания строит свой второй центр обработки данных в Холландс-Крон.

Когда речь заходит об экологичности дата-центров, то чаще всего говорят об их энергопотреблении и о переходе на «зелёные» источники энергии. Однако потребление чистой и отвод или очистка отработанной воды ЦОД — не менее острый вопрос. В США Microsoft профинансировала создание установки для очистки и повторного использования воды в её дата-центрах в Массачусетсе, а в Аризоне корпорация строит новый, дружественный к экологии облачный регион. Здесь, согласно планам, к 2030 году Microsoft будет отдавать большей чистой воды, чем потребляет сама.

В соответствии с принятой Google стратегией по углеродно-нейтральному статусу своих дата-центров, компания планирует к 2030 году полностью перейти на возобновляемые источники электроэнергии. Сложность перехода заключается в том, что многие такие источники работают не постоянно и зависят от погодных условий и времени суток. Google решает эту проблему, перемещая «подвижные» задачи между ЦОД в разных регионах в зависимости от текущего уровня доступности в них «зелёной» энергии.

К «подвижным» Google относит такие задачи, которые не критичны к задержкам или к требованиям национальных законодательств о суверенитете данных. Это, в первую очередь, кодирование, анализ и обработка мультимедийных файлов, загружаемых в YouTube, Google Photos и Gоogle Drive. А вот нагрузки клиентов Google Cloud остаются в том ЦОД, в котором они были запущены.

Фото: Google

Перемещение данных между дата-центрами в режиме реального времени требует сложного ПО и большого запаса пропускной способности. Распределение нагрузки между регионами происходит с помощью интеллектуальной платформы Google, которая составляет прогнозы на день вперёд: насколько сильно тот или иной ЦОД будет нуждаться в электроэнергии из традиционных источников, каковы средняя почасовая «углеродоемкость» местной электросети и ее изменения в течение дня.

На основе этих данных система перераспределяет нагрузку на ЦОД, расположенных в регионах с временным избытком «зелёной» энергии. При этом такие перемещения остаются прозрачными и незаметными для конечных пользователей — они могут продолжать выполнять необходимые им задачи (смотреть потоковое видео, загружать фотографии, пользоваться картами и т.д.) в обычном режиме.

Фото: Google

Google заявила, что поделится своей методологией и результатами работы с отраслью в ближайших научных публикациях. «Мы надеемся, что наши результаты вдохновят другие организации на развертывание собственных версий платформы, учитывающей углеродные выбросы, и вместе мы сможем стимулировать переход к экологически чистой энергетике во всем мире», — заявили в компании.

В прошлом году компания Microsoft также объявила о планах по снижению выбросов углекислого газа к 2030 году и начала отслеживать влияние на климат своих поставщиков, а Amazon и Apple закупили значительное количество возобновляемой энергии для своих центров обработки данных. Сама же Google пытается освоить новые источники «зелёные» энергии — геотермальные.

Корпорация Microsoft начала поставки любопытного серверного решения — центра обработки данных Azure Modular Data Center (MDC), все составляющие которого заключены в стандартный 40-футовый контейнер. Такое исполнение позволяет перевозить систему на различных видах транспорта и быстро вводить в эксплуатацию.

ЦОД может быть развёрнут в любом месте, где есть подходящая площадка для установки контейнера и электрическая сеть необходимой мощности. Более того, питание может подаваться от дизельных генераторов. ЦОД и всё его оборудование сконструированы так, чтобы пережить и транспортировку, и эксплуатацию в не самых благоприятных условиях.

Система позволяет получить доступ к вычислительным мощностям облака Azure. Контейнерный ЦОД может функционировать в суровом климате, обеспечивая бесперебойную работу критически важной инфраструктуры. Платформа MDC может использоваться, к примеру, в центрах гуманитарной помощи, передвижных пунктах управления, а также на территориях предприятий добывающей промышленности.

MDC может работать как полностью автономно, так и в связке с «большим» облаком Azure. Причём предусмотрена возможность использования спутниковых средств связи — на случай перебоев в основном интернет-канале. Собственно говоря, именно в рамках совместного со SpaceX проекта Azure Space и были анонсированы эти ЦОД.

Внутри контейнера размещены три серверных блока, каждый из которых содержит две стойки 42U с коммутаторами и контроллерами. На каждый блок приходится 8 серверов и 48 узлов хранения. Все они работают под управлением Azure Stack Hub. Доступ к такому ЦОД предоставляется на условиях аренды, как и в случае более простых и компактных устройств серии Azure Stack Edge.

Стало известно, что Oracle разворачивает новый облачный регион в Израиле. Он находится в высокозащищённом четырёхуровневом подземном объекте в Иерусалиме, где также размещена одна из наиболее засекреченных ИТ-инфраструктур страны.

Облачный регион Oracle в Иерусалиме находится в разработке с прошлого года. Многопользовательский ЦОД общей площадью 460 тыс. кв. футов (42,8 тыс. м²) был построен израильским провайдером ИТ-услуг Bynet Data Communications. Израиль стал вторым облачным регионом Oracle на Ближнем Востоке. Свои первые облачные площадки в этом регионе компания запустила в прошлом году в Дубае.

Другие облачные провайдеры тоже создают ЦОД в Израиле, что стимулирует строительство большого количества новых объектов в стране. Согласно публикации израильской деловой газеты Globes, здесь планируют запустить дата-центры Amazon Web Services и Microsoft Azure. Возможным подрядчиками в реализации проекта AWS названы риэлтерская компания Azrieli Group и американский разработчик ЦОД Compass Datacenters, в котором Azrieli недавно приобрела значительную долю.

Хотя подземные центры обработки данных имеются и в других регионах мира, Иерусалим, находящийся под постоянной угрозой нападения со стороны соседей Израиля, сделал выбор в пользу хранения критически важных инфраструктур под землёй по вполне очевидным причинам.

Фото: EZRA LEVY, The Jerusalem Post

Согласно данным израильского сайта CTech, верхний этаж объекта Bynet находится под пятиуровневым гаражом, который, в свою очередь, размещён под 17-этажным зданием. Потолок самого верхнего уровня ЦОД сделан из «бетона с покрытием из стальных пластин, способного противостоять взрыву автомобильной бомбы». Как сообщает CTech, «каждый этап строительства и монтажа» контролировали государственные регулирующие органы во главе с национальным киберуправлением и спецслужба Шин Бет.

Причина такого строгого надзора заключается в том, что Oracle — не единственный арендатор объекта. Он предназначен для размещения ИТ-инфраструктуры крупных банков, страховых и технологических компаний, а также государственных учреждений, включая оборонные. Отметим, что высокозащищённые подземные дата-центры также предлагают Cavern Technologies, Iron Mountain, Pionen, DEAC, Lefdal и др.

В минувшее воскресенье в китайском порту Гаолань в особой экономической зоне Чжухай провинции Гуандун состоялась официальная церемония запуска первого в стране подводного дата-центра (UDC). UDC был разработан компанией Beijing Highlander Digital Technology Co, которая специализируется на разработке и производстве судовой электронной аппаратуры и систем, и крупнейшей судостроительной компанией Китая Guangzhou Shipyard International Co.

По словам вице-президента Highlander Сюй Тань (Xu Tan), строительство подводного дата-центра было завершено в конце прошлого года.

В настоящее время крупные центры обработки данных в основном строятся для использования на суше. Как правило они занимают большую территорию, а их высокие требования к охлаждению означают, что они потребляют много энергии и водных ресурсов. В свою очередь, UDC использует большое количество проточной морской воды для охлаждения электроники через теплообменник, что позволяет сократить расход энергии по сравнению с традиционными методами охлаждения.

К тому же размещение UDC у прибрежных городов позволяет сократить расстояние между потребителями и вычислительными мощностями. Эта концепция была впервые предложена компанией Microsoft в проекте Project Natick, которая в течение двух лет эксплуатировала ЦОД с 12 стойками в прибрежных водах Шотландии.

«UDC занимает очень мало места на берегу, не имеет градирен и не потребляет пресную воду. Он не только поддерживает экологическую деятельность, такую как выращивание и разведение водных организмов, но также поддерживает другую промышленную деятельность, такую как морская ветроэнергетика и эксплуатация нефтяных платформ», — отметила Сюй.

Highlander сообщила о планах построить в течение следующих пяти лет серию подводных центров обработки данных в прибрежных водах, включая порт Хайнань (Hainan Free Trade Port, FTP), регион Большого залива Гуандун-Гонконг-Макао (GBA), дельту реки Янцзы и экономическую зону Bohai Rim Economic Circle (BREC).

В настоящее время она участвует в выборе места установки кабельных коммуникаций и подготовке к вводу в эксплуатацию дата-центра для тестирования, которое продлится с июня 2021 года по май 2022 года. На этом этапе проект будет представлен правительственным организациям, научно-исследовательским и финансовым учреждениям и полностью коммерциализирован во второй половине 2023 года.

В рамках реализации проекта в порту Хайнань Highlander подписала контракт с компаниями China Mobile, Lenovo, China Communications Service Construction и Qi'anxin Technology Group.

Производитель OCP-систем ITRenew объединил усилия с голландским облачным хостинг-провайдером Blockheating, чтобы предложить контейнеризированные дата-центры «всё-в-одном», которые поставляют ненужное тепло в теплицы.

Blockheating производит микро-ЦОД с жидкостным охлаждением, благодаря чему «мусорное» тепло может передаваться с водой (t°=65 °C) в близлежащие теплицы. В рамках партнёрства контейнеры будут укомплектованы стоечными серверами и системами хранения Sesame от ITRenew. Согласно совместному заявлению компаний, в Нидерландах имеется более 3700 га коммерческих теплиц.

Один микро-ЦОД может обогревать два гектара теплиц летом и полгектара зимой. Этого, по словам Blockheating, достаточно для выращивания тонны помидоров в год. Что более важно, тепло, выделяемое в виде отходов ЦОД, обходится намного дешевле природного газа, сжигаемого фермерами для обогрева теплиц.

Blockheating заявила о разработке «нового способа водяного охлаждения серверов», который делает его рентабельным. В 2019 году компания провела испытания тестового ЦОД мощностью 60 кВт в Венло, недалеко от границы с Германией (на фото выше). Сейчас решения Blockheating имеют мощность 200 уже кВт. Поскольку они охлаждаются жидкостью, это устраняет потребность в установке оборудования для кондиционирования воздуха и повышает энергоэффективность.

Blockheating

В свою очередь системы ITRenew Sesame, устанавливаемые в микро-ЦОД, используют б/у-оборудование гиперскейлеров вроде Facebook✴ и Microsoft. Таким образом, снижается стоимость покупки и владения, почти на четверть сокращаются выбросы CO₂ и объёмы электронного мусора, связанные с ИТ-индустрией.

Администрация Куинси (Массачусетс) планирует запустить летом следующего года установку по очистке сточных вод ЦОД при финансовой поддержке Microsoft. Основным пользователем установки будет корпорация, так как департамент экологии города сообщил, что именно её ЦОД способствуют слишком высокой концентрации минералов на существующих станциях очистки сточных вод.

Очищенная вода будет возвращаться в ЦОД для повторного использования. Microsoft управляет ЦОД мощностью в сотни мегаватт в своем кампусе площадью 270 акров (109 га) в западном Куинси.

Глава администрации города Пэт Хейли (Pat Haley) отметил, что финансирование строительства установки возложено полностью на Microsoft, так как уровень примесей в сточных водах её ЦОД превышает установленные нормы. По его словам, стоимость проекта исчисляется миллионами долларов.

В результате будет построено совершенно новое «Центральное сооружение для повторного использования сточных вод», «предназначенное специально для очистки воды, поступающей в результате обратной промывки системы охлаждения ЦОД, которую вы не можете отправить в другую систему очистки, потому что это нарушит процесс очистки», — сообщил Хейли.

Хотя Microsoft будет основным арендатором установки, мэрия будет поощрять подключение к системе очистки ЦОД других провайдеров, которым придётся оплачивать прокладку трубопроводов и нести другие стандартные операционные расходы. В числе владельцев дата-центров в этом районе Хейли назвал Intuit, Vantage и Yahoo, отметив при этом, что не все компании используют для систем охлаждения воду. Другие же используют воду для охлаждения четыре или пять раз, прежде чем слить её обратно в городские магистрали для очистки.

Любой современный ЦОД — это не только помещение, занимающее определённую площадь, но ещё и серьёзные системы питания и, особенно, охлаждения. Ряд компаний считает, что с точки зрения последнего фактора имеет смысл рассмотреть возможность размещения ЦОД под водой, на дне моря, где температура постоянна и достаточно низка. В их числе Microsoft со своей разработкой Project Natick.

Первый прототип Natick, доказавший работоспособность концепции, успешно проработал 105 дней в водах Калифорнийского залива, однако действительно серьёзная мощность была достигнута лишь во второй фазе, о которой и идёт речь в данной заметке. Второй прототип Natick являет собой 12,2-метровый цилиндрический контейнер стандарта ISO 40, внутри размещено 12 стоек с 864 серверами Microsoft (в составе присутствуют ПЛИС-ускорители) и СХД общим объёмом 27,6 Пбайт. Система охлаждения во втором варианте была разработана французской группой Naval Group на основе теплообменников, использующихся в современных подводных лодках.

На этот раз местом размещения подводного ЦОД был выбран район Оркнейских островов в 193 километрах (120 миль) от берега, глубина погружения составляла примерно 35 метров. Для питания и данных использовался общий кабель, содержащий как силовые линии, способные передать около четверти мегаватта, так и оптические волокна. Проект создавался с прицелом на пятилетний срок работы без обслуживания, с прицелом на 20 лет в будущем. Для обеспечения повышенной надёжности внутреннее пространство контейнера заполнено азотом, который практически инертен и способствует уменьшению износа оборудования.

14 сентября Microsoft сообщила об окончании второй фазы Project Natick, которая продлилась два года. Сам контейнер был извлечён из моря ещё летом, и специалисты и эксперты занялись изучением состояния аппаратного обеспечения, входившего в состав второго прототипа автономного ЦОД. Результат проекта признан очень успешным, возглавляющий Project Natick Бен Катлер (Ben Cutler) заявил, что «дело сделано, и второй вариант Natick можно с полным правом назвать подходящим строительным блоком».

Согласно статистике, около 50% населения планеты проживает недалеко от берега моря, поэтому размещение подводных ЦОД в прибрежных областях вполне оправдано, а Европейский центр морской энергетики (Europetn Marine Energy Centre) вообще говорит о возможности использования для питания таких ЦОД приливных турбин и волновых конвертеров, что сделает их практически автономными, не считая оптоволоконного подключения.

Часть системы охлаждения Natick

Тонкости функционирования Natick ещё предстоит изучить, но предварительные результаты оказались несколько обескураживающими: ЦОД в герметичном контейнере, покоившийся на дне моря, и, естественно, лишённый обслуживания, оказался в восемь раз надёжнее, нежели его копия, расположенная на суше. Причины примерно ясны: стабильные температуры, отсутствие окисляющей атмосферной среды, а также каких-либо серьёзных вибраций. Компания считает, что эти данные могут помочь и в проектировании более надёжных наземных ЦОД.

Microsoft признала, что проект всё ещё далёк от завершения, но считает, что стандартный ЦОД Azure в подводном варианте уже может быть создан. Вице-президент отдела Azure по системам класса mission critical Вильям Чэппел (William Chappell) отметил, что его команда особенно заинтересована в пост-квантовых методах шифрования, критичных для такого рода периферийных центров обработки данных.

Также заявлено, что Natick успешно может служить в качестве периферийного ЦОД или ЦОД с повышенной безопасностью; последнее достаточно очевидно — получить доступ к оборудованию, находящемуся под водой, намного сложнее, нежели в обычном ЦОД. Надёжнее в этом плане может быть только сервер на орбите, но по понятным причинам такое решение намного дороже и сложнее, нежели Natick, оно менее мощное, а также не гарантирует постоянной низкой латентности, которая может быть критичной в edge-сценариях использования.

Microsoft сообщила, что успешно протестировала использование водородных топливных элементов для резервного питания своих серверов в центрах обработки данных. Это первый шаг к внедрению новых технологий, исключающих использование дизельного топлива в системах аварийного питания.

Водород хранился в резервуарах на трейлерах, припаркованных возле лаборатории в Солт-Лейк-Сити, штат Юта. Такой вариант хранения водорода был продемонстрирован в ходе эксперимента, но в дальнейшем планируется использовать стационарные резервуары. Microsoft намерена прекратить использование дизельного топлива к 2030 году в рамках своих инициатив по снижению вредных выбросов.

В эксперименте использовалась нагрузка в виде 10 стоек облачных серверов Microsoft Azure: в течение 48 часов использовалась 250-КВт система на топливных элементах. Такое время работы от топливных элементов выбрано не случайно, поскольку большинство перебоев в подаче электроэнергии длятся менее 48 часов.

Ранее для подобной задачи использовались шесть дизель-генераторов. Следующим шагом Microsoft планирует испытать систему резервного питания на топливных элементах мощностью 3 МВт, чтобы продемонстрировать как масштабируется система для больших дата-центров.

Дизельные генераторы на данный момент являются оптимальным выбором для большинства ЦОД, однако Microsoft стремится к сокращению выбросов углекислого газа и хочет полностью отказаться от дизельного топлива к 2030 году. Цель амбициозная, но достижимая. Пока основным препятствием к ее осуществлению является цена. Водород сам по себе до сих пор остается дорогим топливом, а его транспортировка и хранения обходятся еще дороже.

Следует также учесть, что водород более взрывоопасен, чем дизельное топливо, поэтому его хранение может стать большой проблемой для дата-центров, расположенных в крупных городах. Кроме радикальных мер по переводу аварийного питания дата-центров на водород, Microsoft рассматривает и более реальные альтернативы в виде питания генераторов от природного газа, который дает намного меньше выбросов, по сравнению с дизельным топливом, также рассматривается синтетическое дизельное топливо, которое при сгорании выделяет меньше углерода.

Проектами по созданию более экологичных источников питания занимаются и другие компании: Rolls-Royce и Daimler Truck AG разработают топливные элементы для ЦОД, а Keppel и Mitsubishi намереваются создать водородную электростанцию. Ещё одной альтернативой могут стать ёмкие аккумуляторы — оператор Switch для своего дата-центра в Неваде построит комплекс из солнечной электростанции мощностью 127 МВт и модулей Tesla MegaPack суммарной ёмкостью 240 МВт∙ч