Компания Amazon Web Services (AWS) предложила современные модульные ЦОД для нужд американской армии. В условиях современного театра боевых действий необходима мобильность, которую способны обеспечить дата-центры контейнерного типа — строить стационарные варианты не представляется возможным. Как сообщает DataCenter Knowledge, ЦОД AWS MDC легко масштабируются и для начала работы требуют только подключения электричества и доступа в Сеть, не обязательно высокого качества.

Источник изображения: AWS

Это первые контейнерные ЦОД в исполнении AWS. Аналогичные решения уже давно предлагает Microsoft Azure. Оба облачных провайдера наряду с Google Cloud Platform (GCP) и Oracle Cloud Infrastructure (OCI) являются участниками программы Joint Warfighting Cloud Capability (JWCC), в рамках которой как раз и создаются новые решения для Минобороны США. Впрочем, AWS и до этого тесно сотрудничала с Пентагоном.

AWS MDC представляют собой микро-ЦОД в стандартных транспортировочных контейнерах, неотличимых от грузовых, но дополнительно усиленных. ЦОД масштабируются путём объединения нескольких модулей. Контейнеры можно перевозить военно-транспортной авиацией, кораблями, по железной дороге и грузовиками. Использование мобильных ЦОД позволяет существенно сократить время некоторых ресурсоёмких задач и снизить время задержки при передаче данных. В результате возможна незамедлительная координация военных операций, организация логистики или перемещения войск.

Источник изображения: AWS

Основой ЦОД являются платформы AWS Outposts и AWS Snow, что позволяет работать как в условиях с устойчивым доступом с Сеть, так и в более автономном режиме (DDIL). Впрочем, возможно подключение собственных средств связи вроде спутниковых терминалов. Хотя модульные и контейнерные ЦОД предлагаются уже несколько лет, решение AWS имеет расширенные возможности, поскольку оно изначально адаптировано для выполнения специфических задач и коммерческим компаниям пока недоступно — на AWS MDC могут претендовать даже не все государственные ведомства.

Стартап EdgeCloudLink (ECL), предлагающий услуги ЦОД-как-сервис, намерен освоить рынок модульных экобезопасных дата-центров. С этой целью компания анонсировала начало строительства 1-МВт микро-ЦОД, питаемых водородным топливом, причём сами модули будут печататься на строительных 3D-принтерах. Как сообщает DataCenter Dynamics, на первом этапе проекту выделят $7 млн компании Molex и Hyperwise. Первый ЦОД стартап намерен разместить у собственной штаб-квартиры в Калифорнии.

ЗD-печатью здания займётся партнёр из числа местных строительных компаний, водород будет поставляться тоже из местных источников. Пилотный проект компания реализует уже во II квартале 2023 года, в будущем каждый модуль будет включать набор серверных стоек на 5‒75 кВт каждая. Будут применяться теплообменники на дверях стоек, воздушное охлаждение и СЖО для чипов. Чёткое разделение на холодные и горячие зоны не предусмотрено, как и модное погружное охлаждение, признанное разработчиками чересчур сложным в обслуживании. Ожидаемый уровень PUE — 1,05.

Изображение: ECL

По словам представителей компании, речь идёт о дата-центре, не только не использующем водных ресурсов окрестностей и обеспечивающем нулевые выбросы, но и, возможно, способном вносить свой вклад в жизнеобеспечение местных сообществ. Предлагаемая модель позволяет быстро возводить малые ЦОД. Каждый 1-МВт модуль будет печататься по запросу на строительном 3D-принтере с использованием экобезопасных материалов. Энергоснабжение будет обеспечиваться с помощью водородных топливных ячеек, а каждый модуль получит собственные резервуар для топлива и ячейки. Резервные дизельные генераторы не предусмотрены вовсе, вместо них будут использоваться аккумуляторы.

Изображение: ECL

Сообщается, что если сегодня строительство каждого дата-центра обходится примерно в $12‒15 млн/МВт, то новое решение будет вдвое дешевле. Там, где это приемлемо, будет осуществляться дополнительное подключение к местным сетям питания. В случае необходимости создания большого ЦОД будет использоваться центральный блок, вокруг которого будут возводиться отдельные модули. Их автономность позволит повысить работоспособность даже в случае отказа систем в одном из модулей. Оператором может выступать как заказчик, так и сама ECL, но возможно создание совместных предприятий.

Местные партнёры помогут компании пройти процедуры зонирования и проверки на сейсмоустойчивость. После постройки первого здания EdgeCloudLink намерена приобрести собственные 3D-принтеры и обучить сотрудников работе с ними. Это будет довольно просто, поскольку один такой принтер управляется всего тремя людьми. Простаивающие принтеры будут отдаваться на местные нужды для строительства обычных домов и зданий.

Компания CryptoBlox Technologies, которая является одним из участников «зелёных» инициатив в области майнинга,приобретает CryptoTherm, специализирующуюся на жидкостных системах охлаждения. Как сообщает DataCenter Dynamics, это должно укрепить позиции компании на рынке добычи криптовалют — CryptoTherm разрабатывает контейнерные ЦОД с погружным охлаждением. Ранее аналогичный шаг сделала Crusoe, поглотившая собственного подрядчика по производству модульных ЦОД Easter-Owens.

Сделка предусматривает выпуск 400 млн акций CryptoTherm общей стоимостью $20 млн, которые полностью перейдут покупателю. Технологии CryptoTherm придутся весьма кстати для CryptoBlox, поскольку компания расширяет подразделение, занимающееся блокчейн-проектами. Дополнительно она намерена развивать и купленный бизнес. Для этого будут выделены ресурсы для расширения парка решений CryptoTherm, связанных с погружным охлаждением, ASIC-майнерами, теплоносителями и т.д.

Источник: CryptoTherm

По данным DataCenter Dynamics, компания занимается реализацией проекта на одном из нефтеносных полей в Альберте (Канада). Проект будет получать энергию за счёт использования попутного природного газа, обычно попросту сжигаемого в факелах при добыче нефти. Планируемая мощность ЦОД составит 3,5–5 МВт, со временем планируется увеличить её до 10 МВт. Подобные проекты получают всё большее распространение. Например, летом появилась информация о том, что ОАЭ и Оман намерены закупить малые ЦОД, работающие на попутном природном газе.

Группа компаний РСК, ведущий российский разработчик суперкомпьютеров и систем для высокопроизводительных вычислений (HPC), дата-центров, облачных платформ и систем хранения данных (СХД) показала на выставке Иннопром-2022 обновлённую версию своей платформы для автономных периферийных вычислений, которая позволяет оперативно, в течение часа силами двух человек, развернуть HPC-кластер практически в любом месте.

«РСК Мобильный ЦОД»

Решение упаковано в несколько контейнеров (0,7 × 0,7 × 1,1 м), которые можно транспортировать независимо друг от друга и собирать уже на месте. Один контейнер вмещает собственно вычислительную часть, второй — полностью интегрированный модуль распределения теплоносителя с узлом управления, а третий, опциональный — ИБП с инвертором. Дополняет их компактный внешний модуль охлаждения. Вся система имеет весьма солидный запас по возможности отвода тепла — до 60 кВт.

Правда, сейчас столько и не требуется. Вычислительный блок фактически является уменьшенной копией платформы «РСК Торнадо»: 2 колонны по 10 слотов. Поэтому мобильная платформа позволяет совмещать в одной системе серверы «Торнадо» с процессорами x86-64 (AMD EPYC и Intel Xeon) и «Эльбрус» (сейчас 8С/8СВ, в перспективе 16С) с любым уровнем TDP, GPGPU-серверы (по два PCIe-ускорителя на сервер, без ограничений по TDP) и серверы хранения (до 12 × M.2 All-Flash).

В текущем варианте платформы каждый слот рассчитан на 2 кВт тепловой нагрузки (и столько же по питанию), хотя нынешние серверы укладываются в среднем в 700–800 Вт, а серверы следующего поколения потребуют чуть больше 1 кВт. Подсистема питания имеет два домена, по одному на колонну, и требует однофазный ввод AC 230 В/50 Гц, хотя фактически может работать в диапазоне 105–280 В. Запитать систему можно от генератора, а подстраховать — ИБП. Но возможно и специсполнение с поддержкой 48 В DC.

Сервер «РСК Торнадо» с «Эльбрус-8СВ»

Сетевая подсистема может быть представлена ToR-коммутаторами как двойной (на обе колонны) ширины, так и одиночной. В том числе есть варианты с жидкостным охлаждением. Доступен даже InfiniBand — у Mellanox есть коммутаторы в подходящем форм-факторе, рассчитанные на промышленное применение. Также предоставляется 1 GbE-коммутатор для развёртывания служебной сети.

Самая интересная часть — это охлаждение. Как и в «большой» версии платформы здесь используется фирменная СЖО, которая покрывает все компоненты серверов, так что вычислительная часть не требует активного воздушного охлаждения и способна работать даже с закрытыми крышками контейнера. Защиты по какому-либо классу IP в стандартном варианте не предусмотрено, но опять-таки по заказу возможно специсполнение.

СЖО всё так же поддерживает охлаждение горячей водой, причём на всех компонентах температура не превышает +45 °C. Для запуска вычислительного модуля необходимо, чтобы он находился в помещении с плюсовой температурой и чтобы не было образования конденсата. А вот внешний контур охлаждения менее прихотлив и способен работать при температурах от -65 °C. Верхний же предел — не менее +40 °C. Требования по питанию у него те же, что и у серверов.

«РСК Мобильный ЦОД»

Узел управления автоматически отслеживает и регулирует параметры всех компонентов системы во время запуска и работы. По умолчанию используется сценарий защиты оборудования, так что при неблагоприятных условиях серверы могут выключаться. Но возможны и другие сценарии, например, «работа до последнего», когда потеря данных оказывается дороже потери оборудования.

Управляется мобильная платформа фирменной системой оркестрации «РСК БазИС», которая позволяет задействовать все возможности компонуемой, программно определяемой инфраструктуры, в том числе для реализации HCI-платформы. «РСК БазИС» предлагает GUI, CLI, открытые API и SDK для интеграции с другими приложениями. Таким образом, заказчик получает полностью интегрированное программно-аппаратное решение, готовое к быстрому развёртыванию и использованию.

Изначально платформа создавалась для нужд добывающего сектора, но этой сферой её возможности не ограничиваются. Она также подходит для научных экспедиций и промышленных предприятий (срочная обработка больших массивов данных), медиасферы и обслуживания массовых мероприятий (рендеринг, стриминг с множества камер) и т.д. В общем, везде, где на время требуется действительно мощная, но компактная и удобная в доставке, развёртывании и эксплуатации вычислительная платформа.

Полку подводных дата-центров прибыло — стартап Subsea Cloud, в отличие от проектов Highlander и Microsoft Natick, предлагает размещать центры обработки данных (ЦОД) не на мелководье в прибрежных водах, а на морском или океанском дне на глубине до 3000 м. Делается это не только для снижения вредных выбросов, поскольку на охлаждение энергию тратить не придётся, но и для безопасности.

Именно физическая безопасность является одним из ключевых достоинств проекта Subsea Cloud, так как на такой глубине дата-центрам не страшны не то что дайверы, но и подводные лодки — абсолютный рекорд до сих принадлежит лодке К-278 «Комсомолец», погрузившейся в 1985 году на глубину чуть больше километра. А специализированных аппаратов, способных работать в таких условиях, единицы и незаметно провести с их помощью атаку вряд ли получится. Поэтому компания ориентирована на предоставление услуг для заказчиков в сфере здравоохранения и финансов, а также для вооружённых сил.

Источник изображения: Subsea Cloud

Всех технических деталей Subsea Cloud пока не раскрывает. Например, не сообщается, как будут обслуживаться глубоководные ЦОД и будут ли вообще, хотя компания говорит, что уже испытала прототип новых ЦОД на надёжность и возможность работы на глубине 3 км, а часть оборудования внутри таких дата-центров будет иметь резервирование. Также упомянуто, что дата-центры будут вмещать до 800 серверов, а сами они сделаны из экологичных материалов, так что даже при разгерметизации они не навредят морской природе.

Основателем Subsea Cloud является Макси Рейнольдс (Maxie Reynolds), которая возглавляет техотдел компании Social Engineer LLC, работающей в сфере информационной безопасности. Ранее она занималась подводной робототехникой в Subsea 7 и даже успела побывать каскадёром. Как сообщает Data Centre Dynamics, в команду Subsea Cloud входят четыре специалиста по подводным технологиям, в том числе основатель Energy Subsea. Среди партнёров компании значатся Chevron, Laborde Marine и Oracle.

В минувшее воскресенье в китайском порту Гаолань в особой экономической зоне Чжухай провинции Гуандун состоялась официальная церемония запуска первого в стране подводного дата-центра (UDC). UDC был разработан компанией Beijing Highlander Digital Technology Co, которая специализируется на разработке и производстве судовой электронной аппаратуры и систем, и крупнейшей судостроительной компанией Китая Guangzhou Shipyard International Co.

По словам вице-президента Highlander Сюй Тань (Xu Tan), строительство подводного дата-центра было завершено в конце прошлого года.

В настоящее время крупные центры обработки данных в основном строятся для использования на суше. Как правило они занимают большую территорию, а их высокие требования к охлаждению означают, что они потребляют много энергии и водных ресурсов. В свою очередь, UDC использует большое количество проточной морской воды для охлаждения электроники через теплообменник, что позволяет сократить расход энергии по сравнению с традиционными методами охлаждения.

К тому же размещение UDC у прибрежных городов позволяет сократить расстояние между потребителями и вычислительными мощностями. Эта концепция была впервые предложена компанией Microsoft в проекте Project Natick, которая в течение двух лет эксплуатировала ЦОД с 12 стойками в прибрежных водах Шотландии.

«UDC занимает очень мало места на берегу, не имеет градирен и не потребляет пресную воду. Он не только поддерживает экологическую деятельность, такую как выращивание и разведение водных организмов, но также поддерживает другую промышленную деятельность, такую как морская ветроэнергетика и эксплуатация нефтяных платформ», — отметила Сюй.

Highlander сообщила о планах построить в течение следующих пяти лет серию подводных центров обработки данных в прибрежных водах, включая порт Хайнань (Hainan Free Trade Port, FTP), регион Большого залива Гуандун-Гонконг-Макао (GBA), дельту реки Янцзы и экономическую зону Bohai Rim Economic Circle (BREC).

В настоящее время она участвует в выборе места установки кабельных коммуникаций и подготовке к вводу в эксплуатацию дата-центра для тестирования, которое продлится с июня 2021 года по май 2022 года. На этом этапе проект будет представлен правительственным организациям, научно-исследовательским и финансовым учреждениям и полностью коммерциализирован во второй половине 2023 года.

В рамках реализации проекта в порту Хайнань Highlander подписала контракт с компаниями China Mobile, Lenovo, China Communications Service Construction и Qi'anxin Technology Group.

Любой современный ЦОД — это не только помещение, занимающее определённую площадь, но ещё и серьёзные системы питания и, особенно, охлаждения. Ряд компаний считает, что с точки зрения последнего фактора имеет смысл рассмотреть возможность размещения ЦОД под водой, на дне моря, где температура постоянна и достаточно низка. В их числе Microsoft со своей разработкой Project Natick.

Первый прототип Natick, доказавший работоспособность концепции, успешно проработал 105 дней в водах Калифорнийского залива, однако действительно серьёзная мощность была достигнута лишь во второй фазе, о которой и идёт речь в данной заметке. Второй прототип Natick являет собой 12,2-метровый цилиндрический контейнер стандарта ISO 40, внутри размещено 12 стоек с 864 серверами Microsoft (в составе присутствуют ПЛИС-ускорители) и СХД общим объёмом 27,6 Пбайт. Система охлаждения во втором варианте была разработана французской группой Naval Group на основе теплообменников, использующихся в современных подводных лодках.

На этот раз местом размещения подводного ЦОД был выбран район Оркнейских островов в 193 километрах (120 миль) от берега, глубина погружения составляла примерно 35 метров. Для питания и данных использовался общий кабель, содержащий как силовые линии, способные передать около четверти мегаватта, так и оптические волокна. Проект создавался с прицелом на пятилетний срок работы без обслуживания, с прицелом на 20 лет в будущем. Для обеспечения повышенной надёжности внутреннее пространство контейнера заполнено азотом, который практически инертен и способствует уменьшению износа оборудования.

14 сентября Microsoft сообщила об окончании второй фазы Project Natick, которая продлилась два года. Сам контейнер был извлечён из моря ещё летом, и специалисты и эксперты занялись изучением состояния аппаратного обеспечения, входившего в состав второго прототипа автономного ЦОД. Результат проекта признан очень успешным, возглавляющий Project Natick Бен Катлер (Ben Cutler) заявил, что «дело сделано, и второй вариант Natick можно с полным правом назвать подходящим строительным блоком».

Согласно статистике, около 50% населения планеты проживает недалеко от берега моря, поэтому размещение подводных ЦОД в прибрежных областях вполне оправдано, а Европейский центр морской энергетики (Europetn Marine Energy Centre) вообще говорит о возможности использования для питания таких ЦОД приливных турбин и волновых конвертеров, что сделает их практически автономными, не считая оптоволоконного подключения.

Часть системы охлаждения Natick

Тонкости функционирования Natick ещё предстоит изучить, но предварительные результаты оказались несколько обескураживающими: ЦОД в герметичном контейнере, покоившийся на дне моря, и, естественно, лишённый обслуживания, оказался в восемь раз надёжнее, нежели его копия, расположенная на суше. Причины примерно ясны: стабильные температуры, отсутствие окисляющей атмосферной среды, а также каких-либо серьёзных вибраций. Компания считает, что эти данные могут помочь и в проектировании более надёжных наземных ЦОД.

Microsoft признала, что проект всё ещё далёк от завершения, но считает, что стандартный ЦОД Azure в подводном варианте уже может быть создан. Вице-президент отдела Azure по системам класса mission critical Вильям Чэппел (William Chappell) отметил, что его команда особенно заинтересована в пост-квантовых методах шифрования, критичных для такого рода периферийных центров обработки данных.

Также заявлено, что Natick успешно может служить в качестве периферийного ЦОД или ЦОД с повышенной безопасностью; последнее достаточно очевидно — получить доступ к оборудованию, находящемуся под водой, намного сложнее, нежели в обычном ЦОД. Надёжнее в этом плане может быть только сервер на орбите, но по понятным причинам такое решение намного дороже и сложнее, нежели Natick, оно менее мощное, а также не гарантирует постоянной низкой латентности, которая может быть критичной в edge-сценариях использования.