Американская энергетическая компания Talen Energy планирует создать кампус дата-центров, часть которого будет отведена под майнинг криптовалют, общей мощностью до 300 МВт. Новый кампус будет примыкать к атомной электростанции в Пенсильвании. В прошлом году компания зарегистрировала отдельный бренд Cumulus, чтобы «инвестировать в возможности, создаваемые конвергенцией цифровой инфраструктуры и энергетики».

Кампус Susquehanna Hyperscale Campus (SHC) гиперскейл-класса будет возведён рядом с АЭС Susquehanna Steam Electric Station (SSES) в Салем Тауншип (штат Пенсильвания, США). По словам Talen Energy, на первом этапе мощность дата-центров будет составлять 164 МВт, но после завершения строительства их суммарная мощность достигнет 300 МВт. Работу ЦОД будут обеспечивать два энергоблока мощностью более 1 ГВт и две независимые подстанции.

Talen Energy

Проект, как ожидается, стартует во втором квартале 2022 года. Как сообщает Talen Energy в пресс-релизе, использование АЭС позволит клиентам получать круглосуточно безуглеродную электроэнергию, подаваемую прямо в кампус. Всё это без перебоев, присущих возобновляемым источникам энергии, и без использования ископаемого углеродного топлива. Отметим, что это не единственный проект по размещению сверхкрупных дата-центров в непосредственной близости от АЭС — около Запорожской станции планируется построить ЦОД мощностью 1 ГВт.

Сингапурская компания Princeton Digital Group (PDG) сообщила о будущем строительстве ЦОД-кампуса гиперскейл-класса в Японии с общей инвестиционной стоимостью $1 млрд. Кампус будет построен на участке площадью 33 000 м² в Сайтаме, что в 30 км к северу от центра Токио. Сообщается, что кампус возведут в два этапа с равномерным распределением мощности ЦОД — по 48,5 МВт каждая очередь. Стройка начнётся в конце этого года.

Для PDG Япония является новым рынком, пятым по величине в Азии. Строительство нового кампуса позволит компании приблизиться к поставленной цели — иметь в регионе ЦОД общей мощностью 600 МВт. Princeton Digital Group в настоящее время строит или управляет 18-ю ЦОД в 12-ти городах Китая, Сингапура, Индии и Индонезии. Рангу Салгаме (Rangu Salgame), председатель и главный исполнительный директор Princeton Digital Group заявил, что Азиатско-Тихоокеанский регион должен стать крупнейшим рынком ЦОД в мире.

Princeton Digital Group

Хотя Токио является крупнейшим рынком ЦОД в Азии за пределами Китая, PDG утверждает, что регион все еще находится на ранней стадии роста, особенно с точки зрения появления глобальных гиперскейлеров. Согласно прогнозу Structure Research, к 2025 году гиперскейл-рынок колокации Большого Токио достигнет объёма $1,6 млрд в год, при этом среднегодовой темп роста в период с 2021 по 2025 год составит 25,1 %.

PDG была основана в 2017 году при поддержке Warburg Pincus. Компания регулярно заявляла о своих планах роста во всем регионе, включая план по росту мощностей стоимостью $1 млрд в Китае. В марте PDG анонсировала строительство многоэтажного ЦОД-кампуса мощностью 48 МВт в Нави Мумбаи (Новый Бомбей, Индия). А на днях стало известно, что PDG планирует проведение первичного размещения акций (IPO).

Правительство Саудовской Аравии инициировало проект цифровой трансформации, призванный ускорить развитие дата-центров в Королевстве, чтобы занять лидирующие позиции по вычислениям и обработке данных в регионе. Проект, разработанный Министерством связи и информационных технологий (MCIT), предусматривает привлечение инвестиций в размере более $18 млрд. для ускорения создания новых сверхкрупных ЦОД и возобновляемых источников энергии. По ожиданиям MCIT, проект к 2030 г. сможет преодолеть отметку в 1,3 ГВт.

Новые ЦОД будут предназначены преимущественно для колокации. Согласно планам, проект поможет в привлечении инвестиций в таких областях, как поставка облачных услуг, игровая индустрия, потоковое видео, доставка контента (CDN) и т. д. «Мы дадим возможность местным лидерам играть более важную роль в предстоящей фазе программы Saudi Vision 2030, чтобы локализовать свои услуги внутри Королевства», — сказал Бассам Аль Бассам (Bassam Al Bassam), заместитель министра связи и цифровой инфраструктуры MCIT.

mcit.gov.sa

Как сообщает государственное агенство Saudi Press, MCIT уже работает с Gulf Data Hub, AI Moammar Information Systems (MIS) и Saudi FAS Holding Company. Первые инвесторы взяли на себя обязательство построить серию ЦОД по всему Королевству. «В регионе наблюдается стремительный рост спроса на потоковое видео и облачные услуги. Вполне естественно, что поставщики и издатели локализуют и размещают свои продукты в регионе, и мы хотим использовать наши обширные знания, чтобы помочь построить центры обработки данных завтрашнего дня», — пояснил Тарек Аль Ашрам (Tarek Al Ashram), генеральный директор Gulf Data Hub.

mcit.gov.sa

В Европе подобным по масштабу проектом намерены заняться компании «Энергоатом», которая является оператором всех действующих атомных электростанций Украины, и ООО «H2». Партнёры намерены вложить $700 млн. в строительство вблизи Запорожской АЭС ЦОД-кампуса мощностью 1 ГВт и водородный завод.

Американская компания Equinix объявила о значительном расширении своего партнёрства с сингапурским фондом национального благосостояния GIC с целью расширения своего портфеля дата-центров xScale. На этой неделе партнёры объявили о планах по созданию дополнительных совместных предприятий в форме товариществ с ограниченной ответственностью, при этом GIC добавит ещё $3,9 млрд к предыдущим инвестициям.

В настоящее время в активе Equinix есть 10 гиперскейл-объектов (работающих или находящихся в разработке): три в Японии, по два во Франции, Великобритании и Германии и один в Бразилии. Ранее в этом году Equinix объявила об открытии ЦОД xScale в Токио и Париже и детализировала планы о ещё пяти по всему миру. GIC профинансировала большую часть предыдущего расширения сети xScale, ранее инвестировав $3 млрд в совместные предприятия в Японии, Европе и Латинской Америке.

После нового раунда общий объём инвестиций GIC вырастет до $6,9 млрд, которые будут направлены на 32 объекта Equinix по всему миру с суммарной мощностью более чем 600 МВт. Ожидается, что недавно анонсированные совместные проекты будут завершены несколькими этапами в течение 2021 года, при этом GIC будет владеть 80-% долей в совместных предприятиях. Equinix заявила, что все объекты xScale будут иметь сертификат LEED (или эквивалентный региональный сертификат).

В Европе партнёры планируют запустить целый ряд сверхкрупных объектов, включая три в Дублине (Ирландия), ещё три во Франкфурте (Германия), а также отдельные объекты в Хельсинки (Финляндия), Милане (Италия) и Варшаве (Польша). В Азиатско-Тихоокеанском регионе компании добавят ещё два гиперскейл-объекта в Токио и один в Осаке. В Латинской Америке компании строят два новых ЦОД в Сан-Паулу (Бразилия) и один в Мехико (Мексика). О трёх дополнительных объектах будет объявлено в будущем.

В первом квартале 2021 года капитальные вложения гиперскейлеров составили $38 млрд, что на 31 % больше, чем за аналогичный период прошлого года. А за последние четыре квартала капвложения мировых облачных гигантов составили $149 млрд, половина из которых пошла на строительство новых центров обработки данных.

Согласно данным Synergy Research Group, больше всего потратили средств по этой статье Amazon, Microsoft, Google и Facebook. Исследователи подсчитали, что в мире сейчас насчитывается 625 дата-центров гиперскейлеров. Для сравнения, в июле 2020 года их было 541.

«Для гиперскейлеров пандемия оказалась скорее стимулом для роста, чем препятствием. В течение последних четырёх кварталов мы продолжали наблюдать чрезвычайно большой рост выручки, капитальных вложений и расходов на центры обработки данных», — отметил Джон Динсдейл (John Dinsdale), главный аналитик Synergy Research Group.

Synergy Research Group

Четвёрка лидеров потратила намного больше средств по этой статье, чем их конкуренты, при этом особенно сильно увеличили затраты Amazon и Microsoft, а Google немного снизила темпы. За ними следуют Apple, Alibaba и Tencent, причём Apple вернулась к прежним объёмам затрат, а Facebook, Alibaba и Tencent увеличили свои расходы. IBM, NTT, Oracle, JD.com, Twitter и Baidu также сделали крупные капвложения.

Потраченные деньги вернулись сторицей — 20 ведущих гиперскейлеров получили огромные доходы, которые росли быстрее, чем их капитальные затраты: за последние четыре квартала суммарные доходы компаний составили более $1,7 трлн, что на 24 % больше, чем доходы за предыдущие четыре квартала.

«Учитывая постоянный рост доходов от услуг гиперскейлеров и постоянно растущую потребность в увеличении площади глобального центра обработки данных, мы прогнозируем дальнейший рост капиталовложений гиперскейлеров, исчисляемый двухзначными числами, в ближайшие несколько лет», — сообщил Динсдейл.

Сетевые коммутаторы реже выходят из строя при работе под управлением операционной системы SONiC с открытым исходным кодом в отличие от использования проприетарного программного обеспечения, утверждается в исследовании Microsoft.

Согласно исследованию, в рамках которого в течение трёх месяцев отслеживалась работа 180 тыс. коммутаторов в дата-центрах Microsoft Azure, лишь 2 % сетевых коммутаторов выходит из строя за это время, но их число сократится вдвое, если операционное программное обеспечение вендора заменить на ОС SONiC, разрабатываемую в рамках Open Compute Project.

В ходе исследования выяснилось, что больше сбоев связано с неполадками оборудования (32 % всех сбоев), а не с софтом (17 %). Незапланированное отключение электроэнергии вызвало 28 % всех сбоев. Сбои были обнаружены путём проверки каждого коммутатора в сети каждые шесть часов и запроса о его последней перезагрузке. Как оказалось, определить причину сбоя не так просто — то ли это связано с оборудованием, то ли с ПО. Поэтому если вендор устранял сбой с помощью исправления ПО, исследователи указывали в качестве причины проблемы с софтом.

Около трёх четвертей коммутаторов работают под управлением SONiC, и исследование показало, что у них больше шансов сохранить работоспособность в течение трёх месяцев, что почти вдвое снижает число отказов. «Со временем разрыв в надёжности увеличивается, и по прошествии трёх месяцев вероятность сохранения работоспособности коммутаторов на SONiC на 1 % выше, чем у коммутаторов на другом софте», — отмечено в исследовании.

Преимущество SONiC заключается в использовании гибкой модели программного обеспечения с открытым исходным кодом. «Мы приписываем устойчивость SONiC быстрому циклу разработки-тестирования-развёртывания, который стал возможен благодаря собственной разработке программного обеспечения, — говорится в отчёте. — Действительно, обновления и исправления программного обеспечения поставщиков выпускаются в течение более длительного периода времени (например, несколько месяцев). Это приводит к повторному возникновению известных проблем на устройствах, которые ещё не были устранены с помощью исправлений, предоставленных поставщиком. Напротив, отказы SONiC являются первопричиной и устраняются в короткие сроки благодаря внутреннему опыту и разработчикам».

Исследователи также указали, что из используемых Microsoft Azure коммутаторов трёх основных поставщиков, вероятность выхода из строя устройств одного из них значительно выше, чем у двух других вендоров. Вместе с тем, у всех коммутаторов показатели отказа были достаточно низкими, и Microsoft анонимизировала данные, поэтому неизвестно, у какого поставщика менее надёжное оборудование.

Ведущими производителями коммутаторов являются Cisco, Arista, Huawei, HPE и Juniper. Гиперскейлеры, такие как Microsoft, используют коммутаторы «white label», но Mellanox и Arista Networks в прошлом указывали Microsoft в качестве своего клиента. Операционная система SONiC работает на нескольких аппаратных платформах, включая Arista, Cisco, NVIDIA/Mellanox, Dell, Juniper и Nokia. У Microsoft давнее партнерство с Arista, которое включало разработку некоторых компонентов SONiC, поэтому Arista вполне может быть одним из вендоров, чьё оборудование попало в поле зрения исследователей.

Как отмечается, в последние несколько недель наблюдается прогресс во внедрении CentOS Hyperscaler в инфраструктуре Facebook. Ведь более 75% серверов социальной сети работают на CentOS Stream 8, куда бэкпортируются пакеты из Fedora.

Некоторое время назад инженеры из Facebook и Twitter создали группу CentOS Hyperscale SIG. Её задачей является поддержка развёртывания CentOS Stream в крупномасштабных проектах. Эта инициатива позволит также получать более свежие пакеты для Stream.

wikipedia.org

Инициатива CentOS Hyperscale позволит ускорить процесс обновления пакетов, а также обеспечить поддержку устаревших iptables, альтернативных файловых систем вроде Btrfs, cgroups v2 и тому подобных вещей. Об этом идёт речь в презентации ниже:

Наконец, планируется отслеживание выпусков ядра Linux LTS и поддержка альтернативных сборок ядра. Также говорится о двух репозиториях — стабильном и экспериментальном. Как понятно их названия, во втором будут тестироваться функции, которым ещё рано быть в релизе, но которые могут расширить возможности системы. Отметим, что группа также хочет быстрее обновлять systemd в CentOS Stream.

Гиперскейлеры неуклонно увеличивают долю рынка облачных услуг последние годы. По данным аналитической компании Omdia, в 2019 году на гипермасштабируемые облачные платформы приходилось 35 % всех доходов от облачных сервисов с удалённым доступом (off-premises), что на 11 процентных пунктов больше, чем в 2016 году.

Между тем, поставщики облачных услуг второго уровня, на долю которых в 2016 году приходилось почти 60 % рынка, в 2019 году занимали уже 50 % рынка. А телекоммуникационные компании, третья по значимости категория поставщиков облачных услуг, сократили долю рынка до 15 % с 18 % в 2016 году.

Omdia предполагает, что выручка всего рынка облачных услуг выросла в 2020 году на 29 % в годовом исчислении и будет иметь среднегодовой темп роста (CAGR) в размере 16 % в течение пяти лет в период с 2019 по 2024 год. Гиперскейлеры, несомненно, будут лидировать с точки зрения роста доходов в этот период, указал главный аналитик Omdia Деван Адамс (Devan Adams).

Продолжая конкурировать друг с другом за долю на рынке облачных вычислений, гиперскейлеры и телекоммуникационные компании налаживают партнёрские отношения в сфере 5G и развития периферии. AWS, Microsoft Azure, Google Cloud, IBM, AT&T, Telefónica, Orange и Verizon установили стратегические партнёрские отношения для удовлетворения растущих потребностей клиентов на периферии:

• AWS и Verizon объединились для предоставления мобильных периферийных вычислений (MEC) 5G в США.
• Google Cloud в партнёрстве с Telefónica предлагает MEC в Испании.
• Google Cloud и Orange сотрудничали в сфере облачных услуг, периферийных вычислений и кибербезопасности в Европе.
• IBM Cloud работала с AT&T, чтобы обеспечить управление приложениями в гибридных облачных средах.
• Microsoft запустила сервис Azure Space, который позволит различным компаниям использовать космическую связь.

Omdia ожидает, что с 2023 года начнётся этап развития периферийных вычислений, в течение которого все гиперскейлеры, большинство телекоммуникационных компаний и облачные провайдеры второго уровня 2 будут ускорять запуск пограничных сервисов по мере роста расходов клиентов на облако. Исследовательская организация определяет «периферию» как локации с максимальным временем прохождения сигнала от сети до устройства конечного пользователя за 20 мс.

На этом этапе разработчики также создадут больше приложений с открытым исходным кодом, предназначенных для использования в периферийных ЦОД.

Копилка рекордов 2020 года на рынке дата-центров пополнилась ещё одним. Согласно свежему отчёту Synergy Research Group, в прошлом году было построено более 100 новых гигантских ЦОД, в результате чего их общее число достигло почти 600. Капитальные вложения гиперскейлеров достигли пика в III квартале, а всего за 9 месяцев на строительство, расширение и оснащение сверхкрупных ЦОД ими было потрачено $99 млрд.

Если быть точным, к концу третьего квартала число ЦОД, управляемых гиперскейлерами, достигло 573 штук. А по итогам года этот показатель составил уже 597 штук — вдвое больше, чем 2015 году. В 2018 году, по данным Synergy, таких дата-центров было 430, а в 2019 году — 500. «Помимо почти 600 действующих ЦОД, есть ещё 219, которые находятся на различных стадиях планирования или строительства, что действительно является хорошей новостью для поставщиков оборудования для ЦОД и операторов центров обработки данных», — отметили аналитики.

На Amazon, Microsoft и Google в совокупности приходится более половины всех крупных центров обработки данных, и они по-прежнему являются значительными драйверами роста. Amazon и Google открыли больше всех новых ЦОД за последние двенадцать месяцев, что составляет половину от прироста в 2020 году. Synergy отметила, что Oracle, Microsoft, Alibaba и Facebook тоже активно строили ЦОД в прошлом году.

«За последние восемь кварталов было открыто 111 новых гипермасштабируемых ЦОД данных, 52 из которых будут введены в эксплуатацию в 2020 году, несмотря на то, что [пандеммя] Covid-19 создала ряд логистических проблем, — сообщил Джон Динсдейл (John Dinsdale), главный аналитик Synergy Research Group. — Это свидетельствует о продолжающемся устойчивом росте цифровых услуг, которые стимулируют эти инвестиции, особенно облачных вычислений, SaaS, электронной коммерции, игр и видеоуслуг».

Лидером по числу гиперскейлеров являются США, на которых приходится 39 % всего количества объектов, что соответствует показателям следующих восьми стран вместе взятых. На Китай приходится 10 % объектов в мире, за ним следуют Япония, Германия, Великобритания, Австралия, Канада, Индия и Сингапур. По данным Synergy, Amazon, Microsoft, Google и IBM имеют 60 или более дата-центров в Северной Америке, Азиатско-Тихоокеанском регионе, EMEA и Латинской Америке, а Oracle и Alibaba также имеют глобальныое присутствие. Большинство компаний сосредоточены в США (Apple, Facebook, Twitter, eBay) или Китае (Tencent, Baidu, JD.com).

Synergy сообщает, что более 70 % всех дата-центров гиперскейлеров расположены на объектах, которые арендуются у операторов ЦОД или принадлежат партнёрам гиперскейлеров. Недавний отчёт аналитиков North American Data Center сообщает, что в 2020 году в США было арендовано чуть менее 700 МВт мощностей дата-центров. Это тоже рекордный показатель. Крупнейшими арендаторами стали Microsoft, ByteDance (управляет TikTok за пределами Китая), Facebook, Google и Oracle.

После нескольких лет слияний и поглощений на 15 крупнейших в мире провайдеров сервисов колокации приходится примерно половина $54-млрд рынка. Оставшаяся половина рынка чрезвычайно фрагментирована, а значит, последует дальнейшая консолидация. Такие данные приводит DCK со ссылкой на последний отчёт Structure Research.

На сегодняшний день крупнейшим в мире провайдером услуг ЦОД-колокации является Equinix (США), на долю которого приходится 11,1 % рынка. В прошлом году Equinix приобрёл 13 дата-центров Bell в Канаде за $750 млн, а также создал совместное предприятие с сингапурским инвестиционным фондом GIC с целью строительства и эксплуатации сверхкрупных дата-центров в Японии, в который они инвестируют $1 млрд.

За Equinix следует американский оператор дата-центров Digital Realty (США) с 7,6-процентной долей рынка. Осенью 2019 года Digital Realty объявил о приобретении своего европейского конкурента Interxion за рекордную сумму $8,4 млрд. Третье место у China Telecom (Китай) с 6,1-процентной долей рынка. Четвёртое место у NTT GDC (Япония) с 4,3 % рынка, но компания намерена нарастить долю и готова потратить $7 млрд на строительство новых ЦОД.

Пятое место рейтинга занимает China Unicom (Пекин, Китай) с 4,2 % рынка. На шестом месте находится China Mobile с 2,1 %. Её дочка, China Mobile International (CMI), в конце 2019 года открыла первый дата-центр мощностью 10 МВт в Слау (Англия), планируя развернуть в Европе собственную сеть дата-центров для более стабильных коммуникаций Старого Света с Китаем. Седьмое место у компании CyrusOne из США (1,9 %), которая в 2020 году была в числе лидеров по покупке дата-центров конкурентов. С такой же долей рынка в размере 1,9 % на восьмом месте находится оператор KDDI Telehouse (Япония).

Девятое место занимает GDS (1,6 %) из Китая. Важно отметить, что в списке лидеров есть сразу пять китайских компаний. Однако все они ведут бизнес в основном в Китае — рынок настолько обширен, что эти поставщики могут оставаться в основном внутренними (с некоторым присутствием на международном уровне) и по-прежнему занимать огромную долю на мировом рынке.

На десятом месте находится провайдер Global Switch (Лондон, Великобритания) с 1,4 % рынка, который, как сообщается, был приобретён китайскими инвесторами. Далее следуют 21Vianet (Китай) с 1,4 %, CoreSite (США) с 1,3 %, Cyxtera (США) с 1,2 %, а также CenturyLink (США) и Flexential (США), имеющие по 1,1 % рынка колокации.

Ещё в первом квартале 2020 года общий объём сделок на рынке ЦОД превысил результаты 2019 года. По итогам года рынок дата-центров поставил новый рекорд и не думает сбавлять обороты — инвесторы прогнозируют долгосрочный бум, а пользователи заранее арендуют площади в ещё недостроенных ЦОД.