В марте облако Microsoft Azure в Южной Африке пострадало от масштабного сбоя. Datacenter Dynamics сообщает, что его причиной стали повреждения кабелей, проложенных по морскому дну. Как информируют в Microsoft, нарушения в работе 14 и 15 марта произошли в северном и восточном облачных регионах Azure в стране.
Позже выяснилось, что причиной стали повреждения кабелей как у восточного, так и у западного побережий Африки. В Microsoft заявляют, что в ЮАР у компании работала схема резервирования 4x — весь трафик в регион и из него шёл четырьмя отдельными путями на случай, если одна из магистралей пострадает. Даже если будут повреждены три из четырёх маршрутов, облако всё равно должно нормально функционировать.
Однако в этм случае ущерб был нанесён «трём с половиной из четырёх» маршрутов, так что у Microsoft не осталось возможностей организовать стабильную работу. Первая проблема возникла в Красном море. Сегодня предполагается, что причиной повреждения кабелей стал корабль, своим якорем буквально вспахавший участок морского дна. Microsoft регулярно проводит моделирование возможных инцидентов и отрабатывает меры борьбы с ними. После сбоя на восточном побережье компания занялась наладкой обходных маршрутов, так что работы уже велись к моменту второго сбоя.
Источник изображения: Ibrahim Rifath/unsplash.com
Следующий обрыв произошёл из-за сейсмической активности у западного побережья Африки недалеко от Ганы. Он оставил Microsoft без достаточной пропускной способности. К месту обрыва были отправлены ремонтные корабли из Кейптауна. Хотя обрывы кабелей происходят довольно часто, именно подводные линии чинить намного сложнее — иногда они находятся в тысячах километрах от любого порта, а специальных ремонтных судов во всём мире очень мало. Если на ремонт наземного кабеля обычно уходит от четырёх до шести часов, то морского — недели, если не больше.
После второго инцидента Microsoft ускорила прокладку пятого маршрута, от Йоханнесбурга к облачному региону в ОАЭ. Кроме того, инвестировано более $100 млн в расширение пропускной способности с помощью собственного оборудования Microsoft. Ещё одной мерой стал перенос edge-площадки из Нигерии в ЮАР — местным клиентам Microsoft придётся перенаправлять трафик в другие облачные регионы. После того, как кабели починят, площадка в Нигерии вернётся к нормальной работе. Наконец, Microsoft пользуется услугами брокера для аренды необходимой пропускной способности, который и решает, какие сервисы будут получать ресурсы в приоритетном порядке.
В феврале 2024 года Microsoft анонсировала планы строительства нового кампуса ЦОД в Центурионе (Южная Африка). Компания стала первым облачным провайдером, зашедшим в страну, ещё в 2019 году она открыла два региона Azure в Йоханнесбурге и Кейптауне. Впрочем, в 2021 году облако в последнем исключили из перечня активных, переклассифицировав в «регион резервного доступа».
