Компания «Кей Поинт» объявила о вводе в промышленную эксплуатацию первого и единственного на Дальнем Востоке и в Восточной Сибири коммерческого Tier III ЦОД международного уровня. Проект реализован в Приморском крае по соглашению с Корпорацией развития Дальнего Востока и Арктики (КРДВ) при финансовой поддержке ВЭБ.РФ. Во II квартале 2023 года также планируется организовать работы по проекту ЦОД в Южно-Сахалинске.

10-МВт площадка Key Point во Владивостоке рассчитана на 880 IT-стоек. Дата-центр прошёл сертификацию Uptime Institute по уровню надёжности Tier III. Стоимость проекта превышает 1,5 млрд руб., он реализуется с использованием инструмента льготного финансирования.

Создание ЦОД разбито на два этапа. Первый предусматривает строительство двух технологических модулей общей ёмкостью 440 стоек со средним энергопотреблением 5 кВт. Ожидается, что уже до конца I квартала 2023 года по контрактам будет распределено до 90 % доступных мощностей. Ввод в эксплуатацию второй очереди намечен на первую четверть 2024-го: станут доступны ещё два технологических модуля общей ёмкостью 440 стоек со средней мощностью 5 кВт. Строительство второй очереди ЦОД начнётся в текущем месяце.

Источник изображений: «Кей Поинт»

Ожидается, что клиентами ЦОД станут телеком-операторы, интернет-провайдеры, IT- и сервисные компании, государственные, медицинские и образовательные учреждения, предприятия ТЭК, а также промышленные, туристические, транспортные и логистические компании. Так, первым крупным клиентом стал «ВымпелКом» (бренд «билайн»). Узел обмена трафиком между операторами связи, организованный в ЦОД Key Point, позволит решить вопросы, которые возникают сейчас у клиентов корпоративных операторских ЦОД. Кроме того, будет обеспечена возможность оперативной коммутации каналов локальных и международных операторов между собой.

«Развитие информационной инфраструктуры создаёт задел на скорейшее внедрение на Дальнем Востоке принципиально новых и перспективных технологий и сервисов, таких как сети связи 5G, искусственный интеллект, беспилотный транспорт. Запуск дата-центра в Приморском крае повысит уровень доступности и устойчивости работы цифровых сервисов, а также будет способствовать улучшению инвестиционной привлекательности макрорегиона», — отметил заместитель председателя ВЭБ.РФ.

Облачная платформа Amazon Web Services (AWS), по сообщению Bloomberg, намерена значительно расширить инфраструктуру дата-центров в Вирджинии (США). Сообщается, что на строительство новых ЦОД в этом регионе до 2040 года будет выделено приблизительно $35 млрд.

Amazon уже имеет значительное присутствие в Северной Вирджинии. Облачный провайдер открыл свой первый кластер ЦОД и офисов в этом регионе в 2006 году, а с 2011-го инвестировал в развитие соответствующей инфраструктуры примерно $35 млрд. Компания не раскрывает количество и точное местоположение своих дата-центров, ссылаясь на коммерческую тайну и соображения безопасности.

Источник изображения: Amazon

О новых планах AWS, как отмечает Datacenter Dynamics, объявили Партнёрство экономического развития Вирджинии и губернатор штата Гленн Янгкин (Glenn Youngkin). Регион привлекателен для операторов ЦОД с точки зрения налоговых льгот и относительно недорогой электроэнергии. Проект предполагает, что AWS построит нескольких новых кампусов дата-центров по всей Вирджинии. Это создаст приблизительно 1000 дополнительных рабочих мест.

«Вирджиния является мировым лидером в области инноваций и облачных вычислений. С 2006 года компания AWS инвестировала более $35 млрд в регион, увеличив общий валовой внутренний продукт Содружества Вирджинии почти на $7 млрд, и ежегодно поддерживает тысячи рабочих мест. Опираясь на эти успешные начинания, мы планируем к 2040 году дополнительно инвестировать $35 млрд», — заявил Роджер Венер (Roger Wehner), директор по экономическому развитию AWS.

Источник изображения: Amazon

Amazon активно развивается в Северной Вирджинии, крупнейшем в мире рынке ЦОД. Помимо приобретения земли в округах Лаудон и Принс-Уильям, компания намерена развернуть площадки в округах Фокир, Калпепер и Фэрфакс. Однако некоторые проекты AWS столкнулись с сильным сопротивлением местных жителей, в результате чего часть инициатив была приостановлена. Домовладельцы и гражданские активисты жалуются на высокий уровень шума от дата-центров, который производится круглосуточно и без выходных. Причём никаких мер для решения проблемы не предпринимается.

Претензии также связаны с тем, что строительство новых ЦОД предполагается в особых зонах — сельской местности, исторических местах вроде Национального поля битвы в Манассасе, а также в местах захоронений предков многих жителей. Это породило массовые протесты. Наконец, в регионе из-за огромного количества дата-центров возникла нехватка электроэнергии: для питания ЦОД попросту недостаёт линий электропередач.

В ходе подготовки земли в округе Мекленберг штата Вирджиния к строительству дата-центра Microsoft, было обнаружено старое кладбище. Как сообщает DataCenter Dynamics со ссылкой на ProPublica, строители при содействии властей округа и самой Microsoft, попытались принизить его значение, предприняв ряд мер по сокрытию исторической важности объекта.

После того как кладбище было обнаружено, округ обратился к археологам, как того требует федеральный закон. Вопреки надеждам заинтересованных сторон, археологи решили, что место захоронения должно быть внесено в Национальный реестр исторических мест — это означало бы, что строительство на площадке будет запрещено. Эксперт рекомендовал избегать строительства на данной территории. Консультант компании Enviro-Utilities, выполнявшей работы, заявил, что рекомендация будет оспорена. Все работы оплачивала Microsoft.

Фото: jessica rigollot / Unsplash

Enviro-Utilities и власти округа попытались надавить на археологов, чтобы те отменили свои рекомендации о включении в Национальный реестр. Тем не менее, ещё один археолог, нанятый заказчиками, тоже порекомендовал провести дополнительные исследования. Вместо этого округ в соответствии с законами опубликовал в местной газете небольшую заметку о находке останков среди рекламных объявлений и намерении перенести их, после чего вскоре приступил к работам. При этом, как утверждает источник, минимум один ныне живущий потомок лиц, захороненных на найденном кладбище, широко известен в данной местности, но никаких попыток найти ни его, ни других членов семей похороненных не предпринималось.

Всего у Microsoft есть более 4 млн серверов в дата-центрах по всему миру (Изображение: Microsoft)

Всего было обнаружено 37 могил, которые Департамент исторических ресурсов штата разрешил перенести в другое место. Останки переносили очень быстро, под проливным дождём, а за сотрудниками, по слухам, следил беспилотник Microsoft. В результате буквально все кости перемешались и были захоронены всего в четырёх могилах, причём без необходимых отметок — о числе покоящихся, об изначальном местоположении могил, о датах и именах. В Microsoft сообщили, что округ придерживался всех федеральных и местных законов.

Вирджиния, особенно её северная часть, является местом концентрации операторов дата-центров, построивших здесь многочисленные кампусы ЦОД благодаря привлекательным условиям, созданным местными властями для инвесторов. Впрочем, местные жители рады притоку средств далеко не так сильно, как местные власти. Они постоянно жалуются на захват земель с изменением зонирования и ущерб экологии, включая сильное шумовое загрязнение.

Google раскрыла объёмы потребления воды своих ЦОД. На этот шаг компания пошла после судебного процесса между местной газетой The Oregonian и властями Даллеса (штат Орегон), которые пытались сохранить данную информацию в секрете. В прошлом году The Oregonian затребовала данные о водопотреблении у Google, но не получила их и обратилась к городским властям. Муниципалитет отказался предоставлять эту информацию, объявив её коммерческой тайной, после чего газета подала к нему иск. В итоге городским властям пришлось пойти на попятную.

Выяснилось, что в течение 2021 года на объектах поисковой компании в Даллесе было израсходовано около 1,2 млрд л воды, что гораздо меньше по сравнению с 3,8 млрд л, израсходованными инфраструктурой ЦОД Google в Каунсил-Блаффсе (штат Айова). В целом в 2021 году потребление воды на объектах Google в США составило 12,4 млрд л, а за пределами США — 4,4 млрд л. Сама компания считает, что это не так уж и много, утверждая, что общее годовое потребление воды её дата-центрами сопоставимо с расходом воды на обслуживание 29 полей для гольфа на юго-западе США.

Google уточнила, что речь идёт о питьевой воде и указанные объёмы не включают воду из других источников, например, морскую воду. По данным The Oregonian, потребление воды ЦОД Google в Даллесе почти утроилось за последние пять лет и теперь составляет более четверти всего объёма воды, используемой в городе. Эти цифры будут расти, поскольку компания планирует построить в городе ещё два ЦОД. Следует также отметить, что Даллес находится в засушливом регионе и здесь наблюдается пик многолетней засухи.

Изображение: Google

Исполнительный директор некоммерческой правозащитной группы WaterWatch Джон ДеВоу (John DeVoe) заявил, что увеличение потребления ЦОД воды в два или три раза в течение следующего десятилетия может иметь серьёзные последствия для обитателей водоёмов и других водопользователей в районе Даллеса. Он отметил, что потребление воды в городе удвоилось с 2002 по 2021 год, что поставило под угрозу протекающую здесь реку и отдельные виды обитающих в ней рыб. ДеВоу уточнил, что на долю Google приходится до 29 % всего городского потребления воды.

В свою очередь, Google и городские власти заявили, что заключённый контракт учитывает потребности города в воде и что компания обязуется выделить $28,5 млн на модернизацию систем поставки воды. Кроме того, она передала городу права на использование воды на своих промышленных землях в обмен на большее количество воды из городских резервуаров. Город обязался предоставить Google больше воды для новых ЦОД, начав перекачку не использовавшихся ранее подземных вод.

Понимая, что у общественности растёт обеспокоенность по поводу значительных объёмов расхода воды ЦОД, технологические компании весьма неохотно делятся такой информацией. Согласно исследованию Uptime Institute, лишь около половины компаний сообщает об использовании воды или выбросах углекислого газа в ЦОД.

DigitalBridge Group и IFM Investors сообщили о завершении сделки по поглощению одного из крупнейших операторов дата-центров — компании Switch. Соответствующее соглашение было заключено в мае 2022 года. Продажа осуществлена из расчёта $34,25 за одну ценную бумагу Switch. Общая сумма сделки с учётом долговых обязательств составила $11 млрд денежными средствами — это одна из крупнейших сделок на рынке ЦОД в этом году.

После завершения слияния Switch превратится в частную компанию, а продажи её акций на Нью-Йоркской фондовой бирже прекратятся. Ранее этот оператор ЦОД торговался под тикером SWCH. Switch управляет крупными американскими площадками Prime в Рино, Лас-Вегасе, Гранд-Рапидсе и Атланте. В 2021 году компания открыла пятый кампус ЦОД в Техасе и сообщила, что планирует до 2030 года построить более 1,02 млн м² дополнительных площадей.

Источник изображения: Switch

«Мы рады приступить к следующему этапу развития Switch в партнёрстве с DigitalBridge и IFM Investors, двумя ведущими инвестиционными компаниями в области цифровой инфраструктуры. Благодаря своему стратегическому опыту и ресурсам Switch имеет отличные возможности для удовлетворения растущего спроса клиентов на наиболее передовую и экологически устойчивую инфраструктуру дата-центров в мире», — отмечает Switch.

В настоящее время активы DigitialBridge на рынке ЦОД, помимо компании Switch, включают DataBank, Scala Data Centers, Landmark Dividend LLC, Vantage Data Centers и AtlasEdge. При этом Switch также сотрудничает с FedEx в рамках проекта по созданию периферийных ЦОД в США. Ожидалось, что в этом году состоится ещё одна крупная сделка по продаже другого оператора ЦОД со схожим названием, Global Switch, который оценён в $10 млрд.

Компании Iceotope и Meta✴ продемонстрировали возможность иммерсионного (погружного) охлаждения систем хранения данных (СХД) на основе HDD. В ходе эксперимента было показано, что такой подход обеспечивает ряд преимуществ перед традиционным воздушным охлаждением.

В тесте использовалась стандартная коммерческая СХД высокой плотности формата 4OU, содержащая 72 жёстких диска, два односокетных серверных узла, две платы расширения SAS, сетевую карту, модуль распределения питания и другие компоненты. При этом система охлаждения была модифицирована путём добавления специального диэлектрического контура, теплообменника и насоса. Накопители были погружены в непроводящую жидкость.

✴/Iceotope/ASME " height="441" width="709" />

Источник изображения: Meta✴/Iceotope/ASME

Говорится, что применение иммерсионного охлаждения для HDD возможно благодаря тому, что современные диски с заполнением гелием имеют герметичную конструкцию. Результаты эксперимента показали, что в случае погружного охлаждения разница температур между всеми 72 накопителями составила всего 3 °C — независимо от расположения HDD в шасси. Накопители способны надёжно функционировать при температуре жидкости на входе в стойку до +40 °C.

Нажмите для увеличения / Источник изображения: Iceotope

Другим преимуществом иммерсионного подхода является то, что он позволяет сократить уровень вибрации, которая может приводить к некорректной работе накопителей или даже провоцировать их выход из строя. В целом, для работы системы погружного охлаждения требуется менее 5 % мощности, потребляемой самой СХД.

На мероприятии 7×24 Exchange Fall Conference Meta✴ поделилась секретами сбережения воды при эксплуатации дата-центров. Компания повысила температуру в серверных до +32,2 °C, а влажность, наоборот, снизила — до 13 %. Ожидается, что это позволит сэкономить миллиарды литров воды ежегодно. Попутно компания также внедряет передовую систему обработки и фильтрации воды, а в перспективе Meta✴ намерена «восстанавливать» больше воды для окружающей среды, чем потребляет.

Для оптимизации работы собственных площадок Meta✴ прибегла к эксперименту — на половине территории некоторых ЦОД задавались различные значения температуры и влажности, после чего оценивались и сравнивались различные показатели, включая, например, процент отказов оборудования. Делается это всё ради уменьшение затрат энергии и воды на охлаждение. Поскольку у Meta✴ площадь ЦОД составляет более 3,7 млн м², даже небольшие улучшения ведут к большой экономии.

Источник изображения: Erda Estremera/unsplash.com

Это не первое повышение температуры и понижение влажности в дата-центрах компании. Ранее Meta✴ увеличила температуру до +29,4 °C, а влажность вообще планировалось поддерживать на уровне 20–30 %. Однако практические испытания показали, что оборудованию достаточно комфортно в новых условиях, и нет проблем, например, со статическими разрядами. Изначально все эти меры были предприняты для снижения энергопотребления, но они заодно помогают экономить и воду.

Также в компании обновили процессы промышленной обработки воды, используемой в ЦОД — от фильтрации до «смягчения». Одним из важных изменений стал процесс оптимизации т.н. «обратной промывки» загрязнённых фильтров — в Meta✴ смогли организовать его таким образом, что фильтрационные системы стали использовать намного меньше воды. Помогла и оптимизация процесса смягчения воды в некоторых ЦОД.

Источник изображения: Stephen Dawson/unsplash.com

Всего компания использовала 2,57 млрд литров воды в 2021 году, но водные затраты на электроэнергию составили ещё 3,31 млрд литров. Проекты по восстановлению воды позволили «компенсировать» 2,33 млрд литров, а новые технологии, как ожидается, в перспективе обеспечат «возврат» более 3,2 млрд литров воды ежегодно, так что в Meta✴ рассчитывают стать «водно-положительной» к 2030 году — заявление сделали после критики нового ЦОД в одном из засушливых штатов США.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) рассказала о планах по внедрению жидкостного охлаждения в своих ЦОД. Речь идёт об использовании гибридной системы AALC (Air-Assisted Liquid Cooling), предусматривающей совмещение компонентов воздушного охлаждения и жидкостного контура.

Отмечается, что по мере развития машинного обучения и метавселенных всё острее встаёт проблема эффективного отвода тепла от оборудования. Дело в том, что внедряемые алгоритмы требуют больших вычислительных мощностей, что приводит к увеличению энергозатрат. Система AALC предназначена для охлаждения серверов в ЦОД, которые изначально могли быть и не спроектированы под использование СЖО. Отметим, что QCT уже представила аналогичное, полностью интегрированное решение.

Источник изображений: Meta✴

AALC совместима со стойкой Open Rack v3 (ORV3), которая, впрочем, может интегрироваться и с другими вариантами СЖО. Система AALC в исполнении Meta✴ использует водоблоки для самых горячих компонентов, которые подключаются к отдельной стойке с помпами и прочим оборудованием. На задней панели или двери стойки располагается теплообменник, позволяющий охлаждать жидкость за счёт воздуха, циркулирующего в ЦОД. Прототипы решения справляются с охлаждением оборудования мощностью до 40 кВт на стойку.

ORV3 также предлагает общую архитектуру стойки и подсистемы питания для устранения разрыва между нынешними и будущими ЦОД. Обеспечивается широкий спектр вариантов использования, включая поддержку Grand Teton. Модуль питания для общей на всю стойку шины 48 В DC не имеет жёстко определённого расположения и может устанавливается в любом месте стойки, что обеспечивает гибкость конфигурации. При этом он может быть не один, так что пиковая мощность может достигать 30 кВт на стойку.

Усовершенствованный ИБП обеспечивает работу в течение 4 мин. при мощности 15 кВт (против 1,5 мин. у решения предыдущего поколения). Этот блок также может монтироваться в любом месте стойки, а дополнительно возможно применение второго резервного блока. Всё это позволит Meta✴ уже сейчас развёртывать в ЦОД высокоплотную инфраструктуру для ИИ и иных требовательных к питанию и охлаждению решений.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.

По оценкам аналитиков Synergy Research Group, к концу II квартала 2022 года число дата-центров гиперскейлеров превысило 800 шт., а к концу 2026 года их станет в полтора раза больше. Причём расти будет не только количество таких ЦОД, но и их мощность. При этом 53 % ёмкости ЦОД гиперскейлеров приходится на США, а оставшаяся доля практически поровну поделена между Европой, Китаем и остальным миром.

Наиболее крупные игроки на этом рынке — «большая тройка» облачных провайдеров (Amazon, Google, Microsoft). У каждой из этих компаний имеется более 130 дата-центров, причем не менее 25 в каждом из трёх основных регионов, Североамериканском, Азиатско-Тихоокеанском и Европейском. По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. Всего же в исследовании Synergy Research Group учитывались дата-центры 19 крупнейших компаний, оказывающих облачные и иные интернет-услуги.

Источник: Synergy Research Group

По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. При этом, как и прежде, более трети мощностей в США приходится на один-единственный штат — Вирджинию, которая обгоняет по этому показателю Европу и Китай. Здесь находится так называемая Аллея дата-центров, охватывающая округи Лаудон (Loudoun), Принс-Уильям (Prince William) и Фэрфакс (Fairfax). ЦОД в основном концентрируются вокруг городов Эшберн (Ashburn), Стерлинг (Sterling), Манассас (Manassas) и Шантийи (Chantilly).

Источник: Cushman & Wakefield Research

Суммарная ёмкость ЦОД в штате достигла 1,7 ГВт. В частности, Amazon именно здесь размещает значительную часть своих ЦОД. Другими крупными игроками на локальном рынке являются Microsoft, Meta✴, Google, ByteDance. Столь привлекательной для операторов ЦОД Вирджиния стала в силу доступности площадей и энергии, развитой инфраструктуры, а также особенностей местного законодательства, в том числе налоговых послаблений. Правда, теперь местные жители жалуются на «катастрофический шум» от дата-центров, а возможностей энергосети стало не хватать.

Что касается других регионов, то в Европе ведущими рынками для гиперскейлеров остаются Ирландия и Нидерланды, где в последнее время также наметился кризис — обе страны больше не рады крупным игрокам, которые один за другим отменяют или приостанавливают проекты по созданию и развитию ЦОД. Китайский рынок остаётся относительно изолированным, поскольку он включает по большей части дата-центры местных IT-гигантов: Alibaba, Tencent и Baidu. В целом же аналитики прогнозируют, что в течение следующих пяти лет важность ключевых на текущий момент рынков ЦОД несколько снизится.