В марте облако Microsoft Azure в Южной Африке пострадало от масштабного сбоя. Datacenter Dynamics сообщает, что его причиной стали повреждения кабелей, проложенных по морскому дну. Как информируют в Microsoft, нарушения в работе 14 и 15 марта произошли в северном и восточном облачных регионах Azure в стране.

Позже выяснилось, что причиной стали повреждения кабелей как у восточного, так и у западного побережий Африки. В Microsoft заявляют, что в ЮАР у компании работала схема резервирования 4x — весь трафик в регион и из него шёл четырьмя отдельными путями на случай, если одна из магистралей пострадает. Даже если будут повреждены три из четырёх маршрутов, облако всё равно должно нормально функционировать.

Однако в этм случае ущерб был нанесён «трём с половиной из четырёх» маршрутов, так что у Microsoft не осталось возможностей организовать стабильную работу. Первая проблема возникла в Красном море. Сегодня предполагается, что причиной повреждения кабелей стал корабль, своим якорем буквально вспахавший участок морского дна. Microsoft регулярно проводит моделирование возможных инцидентов и отрабатывает меры борьбы с ними. После сбоя на восточном побережье компания занялась наладкой обходных маршрутов, так что работы уже велись к моменту второго сбоя.

Источник изображения: Ibrahim Rifath/unsplash.com

Следующий обрыв произошёл из-за сейсмической активности у западного побережья Африки недалеко от Ганы. Он оставил Microsoft без достаточной пропускной способности. К месту обрыва были отправлены ремонтные корабли из Кейптауна. Хотя обрывы кабелей происходят довольно часто, именно подводные линии чинить намного сложнее — иногда они находятся в тысячах километрах от любого порта, а специальных ремонтных судов во всём мире очень мало. Если на ремонт наземного кабеля обычно уходит от четырёх до шести часов, то морского — недели, если не больше.

После второго инцидента Microsoft ускорила прокладку пятого маршрута, от Йоханнесбурга к облачному региону в ОАЭ. Кроме того, инвестировано более $100 млн в расширение пропускной способности с помощью собственного оборудования Microsoft. Ещё одной мерой стал перенос edge-площадки из Нигерии в ЮАР — местным клиентам Microsoft придётся перенаправлять трафик в другие облачные регионы. После того, как кабели починят, площадка в Нигерии вернётся к нормальной работе. Наконец, Microsoft пользуется услугами брокера для аренды необходимой пропускной способности, который и решает, какие сервисы будут получать ресурсы в приоритетном порядке.

В феврале 2024 года Microsoft анонсировала планы строительства нового кампуса ЦОД в Центурионе (Южная Африка). Компания стала первым облачным провайдером, зашедшим в страну, ещё в 2019 году она открыла два региона Azure в Йоханнесбурге и Кейптауне. Впрочем, в 2021 году облако в последнем исключили из перечня активных, переклассифицировав в «регион резервного доступа».

Частота и серьёзность сбоев в ЦОД постепенно снижается относительно общей ёмкости объектов. Тем не менее, сообщает The Register, нарушения работы могут очень дорого обойтись операторам и их клиентам, а проблемы с электропитанием ведут к особенно серьёзным последствиям.

Ёмкость дата-центров постоянно увеличивается, так что общее количество инцидентов тоже растёт, но по данным Uptime Institute, частота и тяжесть происшествий увеличивается относительно медленными темпами. И хотя их стало больше в абсолютном значении, темпы прироста заметно упали в последние годы. На то имеется ряд причин, включая тот факт, что многие организации стали интенсивно вкладываться в обеспечение надёжности работы оборудования. Среди других причин называются переход клиентов в облака и внедрение новых технологий для соответствия требованиям регуляторов.

Источник изображения: Uptime Institute

Однако Uptime Institute предупреждает, что данные о перебоях могут оказаться не вполне точными, потому что операторы зачастую не желают раскрывать информацию об инцидентах из-за возможного репутационного ущерба, так что сведения приходится собирать из открытых источников. В докладе Annual Outage Analysis 2024 констатируется, что 55 % опрошенных представителей операторов подтвердили, что в последние три года в их ЦОД были перебои. С другой стороны, годом ранее речь шла о 60 %, а в 2021 году — о 69 %. В то же время только 10 % сбоев за последний год оценили как «серьёзные» или «тяжёлые», тогда как двумя годами ранее таковых было на 14 п.п. больше.

54 % респондентов отметили, что самые значимые происшествия в их компаниях обошлись более чем $100 тыс., а 16 % — более $1 млн. Главной причиной называлась проблема с системой распределения энергии на местах, в докладе эта тема отмечается в 52 % инцидентов. Исследователи говорят, что переход на более «динамичные» электросети с возобновляемыми источниками энергии сделал сети питания менее надёжными. При этом в ряде случаев ИБП/генераторы не смогли корректно отреагировать на отказ сети. Например, ровно это вызвало перебои с сервисами Microsoft Azure в Европе в 2023 году.

Источник изображения: Uptime Institute

Вторая из ключевых причин сбоев — поломка или недостаточная производительность охлаждающего оборудования. Эксперты отметили, что количество проблем со сторонними сервисами выросло с 2020 года вдвое — на них приходится порядка 10 % сбоев в 2023 году. Это связано с ростром популярности облачных сервисов, в том числе SaaS, услуг хостинга и колокации.

Во многих случаях играют роль человеческие ошибки — на них приходится от ⅔ до ⅘ всех инцидентов. Виной некорректное соблюдение процедур по обслуживанию оборудования или некорректность самих процедур. Например, в прошлом году на Нью-йоркской фондовой бирже (NYSE) сотрудник не смог корректно восстановить работу систем после сбоя во вспомогательном ЦОД, что привело к неверному ценообразованию на следующий день. Предполагается, что количество сбоев можно будет уменьшить благодаря более интенсивным тренировкам персонала и аудиту вероятных слабых мест.

Источник изображения: Uptime Institute

По данным Uptime Institute, каждый год случается 10–20 крупных отказов оборудования ЦОД в мире, что ведёт к серьёзным финансовым потерям и перебоям в обслуживании клиентов, а во многих случаях и к репутационным издержкам. В любом случае недавно в Uptime Institute сообщали, что в ближайшие годы затраты на строительство и обслуживание дата-центров будут только расти.

Нарушение работы четырёх подводных кабелей к западу от побережья Африки привело к перебоям с интернетом на всём континенте. По данным Bloomberg, кабели West Africa Cable System, MainOne, South Atlantic 3 и ACE пострадали в четверг или пятницу, что сказалось на работе местных мобильных операторов и интернет-провайдеров. Причина до сих пор не установлена.

В первую очередь пострадал запад Африки, больше всего — Кот-д'Ивуар, Либерия и Бенин. Критические проблемы возникли и в Гане, Нигерии и Камеруне. Появились сообщения и о перебоях со связью в Южной Африке. По другим данным, связь обрывалась также в Сенегале и Португалии, из-за чего телеком-операторам пришлось потрудиться над восстановлением работоспособности сетей. В прошлом году West African Cable System наряду с South Atlantic 3 пострадали после подводного оползня. На ремонт повреждённой инфраструктуры ушло около месяца.

Источник изображения: Ryan O'Shea/unsplash.com

Примечательно, что не прошло и месяца с тех пор, как три оптоволоконных кабеля оборвали в Красном море, предположительно якорем повреждённого грузового судна. Акватория Красного моря является критически важным маршрутом для телекоммуникационных магистралей, связывающих Европу с Азией и Африкой. Из-за обрыва трафик пришлось направить по другим маршрутам, в том числе вдоль западного африканского побережья. Проблемы со связью в любой части континента означают рост нагрузки на оставшуюся инфраструктуру.

Крупнейшие в Африке операторы беспроводной связи MTN Group Ltd. и Vodacom Group Ltd. заявили, что сбои в работе подводных кабелей негативно сказались на качестве услуг. Vodacom сообщала, что проблемы связи Африки с Европой сохраняются, в том числе и у других бизнесов. Например, Microsoft объявила о перебоях в работе облачных сервисов, включая Microsoft 365, причём речь идёт не только о западном, но и о восточном побережье Африки. Пострадал и островной Маврикий, местной Mauritius Telecom Ltd. тоже пришлось перенаправлять трафик.

В понедельник появились подтверждения сообщений о повреждении телекоммуникационных кабелей, пролегающих по дну Красного моря, сообщило агентство AP News со ссылкой на официальные источники. Некоторые эксперты возлагают вину за это на йеменских хуситов, периодически подвергающих обстрелам проходящие мимо побережья Йемена суда, но те отрицают эти обвинения.

По данным гонконгской компании HGC Global Communications, были повреждены кабели Asia-Africa-Europe 1 (AAE-1), Europe India Gateway (EIG), а также Seacom и TGN-Gulf, являющиеся в данном случае единой кабельной системой. В HGC Global Communications сообщили, что повреждения затронули 25 % трафика, проходящего через Красное море. HGC перенаправила часть трафика до Европы через материковый Китай и США.

Источник изображения: Seacom

Seacom сообщила Associated Press, что «первоначальное тестирование показывает, что повреждённый сегмент находится в пределах йеменской морской юрисдикции в южной части Красного моря», и что трафик перенаправлен на другие маршруты, хотя некоторые сервисы всё же были отключены. В свою очередь Tata Communications, входящая в индийский конгломерат и обслуживающая кабель Seacom-TGN-Gulf, сообщила AP, что она «предприняла немедленные и соответствующие меры по исправлению положения» сразу после его повреждения.

Источник изображения: HGC Global Communications

Не исключено, что кабели могли быть непреднамеренно повреждены якорями, в том числе спущенными с кораблей, выведенных из строя в результате атак. Тем более, что глубина Красного моря на отдельных участках не превышает 100 м. В частности, этой версии придерживаются в Seacom, хотя с точностью говорить об этом можно будет после того, как на место прибудет ремонтное судно. Хуситы предупредили, что кораблям-кабелеукладчикам, заходящим в территориальные воды Йемена, необходимо разрешение «в связи с беспокойством о безопасности».

Сейчас через Красное море проложено 14 подводных кабелей и планируется проложить ещё шесть, сообщил Тим Строндж (Tim Stronge), эксперт по подводным кабелям. «По нашим оценкам, более 90 % коммуникаций между Европой и Азией проходят по подводным кабелям в Красном море, — сказал он. — К счастью, операторы связи встроили в систему высокую степень резервирования — через Красное море проходит множество кабелей».

По данным многочисленных источников, несколько подводных кабелей, вероятно, повреждены в Красном море у побережья Йемена. Datacenter Dynamics сообщает, что ряд СМИ уже возложил вину на йеменские хуситские силы. На ремонт, как считается, может уйти до восьми недель. О возможности проблем такого рода эксперты начали говорить ещё в конце прошлого года.

Один из операторов кабелей подтвердил нарушение инфраструктуры в регионе, но отказался называть точную причину произошедшего. По данным СМИ, повреждения получили сразу четыре кабеля: AAE-1, Seacom, Europe India Gateway (EIG) и TGN. Правда, Seacom и TGN фактически представляют собой единую кабельную систему, операторами которой выступают Seacom и Tata Communications.

Источник изображения: Ian Simmonds/unsplash.com

NetBlocks подтвердила перебои с интернетом в Джибути (на противоположном от Йемена берегу), где сходятся множество подводных кабелей. Seacom также подтвердила проблемы в системе Seacom/TGN, но воздержалась от обвинений какой-либо из сторон. Предполагается, что пострадал сегмент, ведущий из Момбасы (Кения) в Зафарану (Египет). Сейчас компания пытается оценить возможность ремонта в регионе. В компании подтвердили, что место обрыва имеет важное значение из-за обстановки в регионе — операции по обслуживанию и ремонту здесь сейчас затруднены.

В Seacom утверждают, что трафик, предназначавшийся для Европы и других регионов, был автоматически перенаправлен другими маршрутами — по кабельным системам Equiano (фактически в обход Африки), PEACE и WACS. Большую роль играет наличие и наземной инфраструктур. Сервисы клиентам будут предоставляться, но возможно увеличение задержек.

Источник изображения: TeleGeography

По словам некоторых экспертов, судовладельцы, располагающие оборудованием для укладки кабелей, не горят желанием заниматься ремонтом в зоне конфликта. Страховые компании тоже вряд ли согласятся обслуживать корабли, которые попытаются работать в йеменских водах. Кроме того, специализированных судов мало и все они забронированы на месяцы вперёд.

На сегодня Азию с Европой через Красное море связывают 17 кабельных систем разной степени готовности. Как и Суэцкий канал в Египте, Баб-эль-Мандебский пролив является «бутылочным горлышком» между Ближним Востоком и Африкой. В районе Красного моря средняя глубина составляет около 490 м, а на некоторых участках — и вовсе 100 м. Другими словами, повредить кабели могут даже слабо оснащённые участники регионального конфликта.

Банковская группа DBS из Сингапура урезала премию генеральному директору на 30 %. По данным The Register, руководитель, а также его соратники понесли ответственность за сбои цифровых систем организации в 2023 году. Совет директоров принял решение, что компенсация главе и прочим членам управляющего комитета группы должна быть снижена в качестве наказания за допущение «серии цифровых сбоев в течение года».

Генеральный директор группы Пиюш Гупта (Piyush Gupta) признал, что топ-менеджеры, включая его самого, несут ответственность за сбои и подчеркнул, что подобные меры являются хорошим элементом управления бизнесом. Впрочем, несмотря на уменьшение собственных доходов, Гупта по-прежнему остался в большом плюсе — годовая премия составила $4,14 млн, а всего, согласно отчёту компании, он заработал за 2023 год приблизительно $11,5 млн.

Источник изображения: Meriç Dağlı/unsplash.com

Сокращение премий для топ-менеджеров стало ответом на перебои октября 2023 года, когда в течение приблизительно двух дней пользователи полностью или частично потеряли доступ к банковским приложениям. Клиенты и вендоры не могли осуществлять платежи в городе-государстве, почти всецело полагающемся на цифровые финансовые системы — были сорваны миллионы транзакций. Позже выяснилось, что сбои были вызваны техническими проблемами в системе охлаждения ЦОД, причём DBS не смогла нормально переключиться на резервный ЦОД из-за неправильной конфигурации сети.

Гневом обычных пользователей и бизнес-клиентов дело не ограничилось — Валютное управление Сингапура (MAS) выписало банку огромные штрафы и на шесть месяцев запретила DBS сокращать филиалы и сеть банкоматов, усилило контроль над IT-системами компании, а также введи другие санкции. Кроме того, власти Сингапура теперь намерены жёстко отрегулировать деятельность ЦОД и облаков, приравняв их к объектам критической инфраструктуры.

В DBS сообщили, что уже потратили около $60 млн на улучшение технологий и повышение надёжности своей банковской системы. Например, $18,6 млн ушло на консультантов и найм новых топ-менеджеров, включая специалистов по аудиту и управлению рисками. Ожидается, что это позволит избежать перебоев банковских систем, сформировать альтернативные каналы для обработки платежей и поддержания других финансовых инструментов в случае возможных накладок. И, конечно, это позволит сократить время восстановления работоспособности после инцидентов.

После масштабного сбоя, происшедшего 30 января у мобильных операторов и провайдеров, из-за которого не открывались сайты и приложения в доменной зоне .RU, Роскомнадзор (РКН) рекомендовал российским провайдерам и владельцам автономных систем подключиться к Национальной системе доменных имен (НСДИ), сообщил «Интерфакс».

«Что делать российским провайдерам и владельцам автономных систем, чтобы пользователи всегда имели возможность доступа к вашим ресурсам? Используйте функционал Национальной системы доменных имён», — указано в сообщении РКН. Как пояснили в РКН, для настройки подключения к публичным серверам (резолверам) НСДИ оператору связи необходимо изменить и/или добавить в список DNS-серверов для конечного клиента адреса НСДИ. Любой из них можно будет использовать в качестве основного или дополнительного DNS-сервера.

Источник изображения: Pixabay

В настоящее время Минцифры проводит расследование инцидента. По данным ведомства, он был вызван «технической проблемой, связанной с глобальной инфраструктурой DNSSEC» — набором расширений протокола DNS, благодаря которому гарантируется целостность и достоверность данных. Сбой в работе DNS-серверов был отмечен 30 января 2024 года в 18:40, а в 22:13 специалисты Технического центра Интернет и МСК-IX сообщили об устранении проблемы.

Компания Rackspace Technology, провайдер облачных услуг, продолжает нести финансовые потери в связи с атакой программы-вымогателя, происшедшей в конце 2022 года. Как сообщает ресурс Dark Reading, потери Rackspace из-за этого инцидента приблизились к $12 млн.

Киберинцидент, напомним, случился в начале декабря 2022-го. Масштабный сбой произошёл из-за задержек с установкой патчей для уязвимостей в ПО. В течение нескольких недель Rackspace не могла справиться с последствиями вторжения и, в конечном итоге, приняла решение навсегда отключить свою службу Microsoft Exchange. В связи с кибератакой против компании подан коллективный иск. Ранее говорилось, что расходы Rackspace на устранение последствий кибератаки составят приблизительно $10,8 млн.

Источник изображения: Rackspace

Однако теперь стало известно, что сумма окажется больше. Причем есть вероятность, что в дальнейшем компания продолжит нести расходы в связи с инцидентом, поскольку судебные разбирательства продолжаются. Согласно документам, направленным Rackspace в Комиссию по ценным бумагам и биржам (SEC), расходы, касающиеся атаки программы-вымогателя, в I квартале 2023 года составили $1,7 млн, во II квартале — $4,9 млн.

Таким образом, общая сумма потерь только в первом полугодии оценивается в $6,6 млн. Впоследствии к этой цифре были добавлены ещё $5,0 млн, что поднимает общие затраты до $11,6 млн. Rackspace отмечает, что ожидает выплаты в размере $5,4 млн по страхованию в области кибербезопасности. Вместе с тем компания до сих пор не погасила счета на сумму как минимум $6,0 млн, связанные с инцидентом.

Повреждение в Финском заливе подводного телеком-кабеля «Балтика», соединяющего Петербург и Калининград, никак не отразилось на работе инфраструктуры связи и качестве услуг пользователям, пишет РБК со ссылкой на оператора кабеля «Ростелеком». Повреждение кабеля было зафиксировано 7 октября в 23:30 мск на расстоянии 28 км от повреждённого участка газопровода Balticconnector.

«Связь Калининградской области с остальной территорией России функционирует в штатном режиме. Авария на подводной волоконно-оптической линии связи от Кингисеппа до Калининграда не отразилась на работе инфраструктуры связи и оказании услуг пользователям в области — передача данных организована по наземным маршрутам, также есть резервные спутниковые каналы связи», — сообщили РБК в пресс-службе «Ростелекома».

В пресс-службе сообщили, что с 5 ноября специализированное судно «Спасатель Карев» в сопровождении корабля береговой охраны Финляндии проводит восстановительные работы, на которые уйдёт около десяти дней, но всё зависит от погодных условий. Кабель «Балтика» протяжённостью около 1 тыс. км проходит через экономические зоны Финляндии (377 км) и Швеции (395 км). В «Ростелекоме» сообщили, что по тому же маршруту проложена волоконно-оптическая линия связи общей протяжённостью 1115 км с пропускной способностью 100 Гбит/с с возможностью расширения до 8 Тбит/с. Её построили в 2021 году.

Источник: Infrapedia

Защищённость подводных коммуникаций уже давно стала серьёзной проблемой. Недавно был зафиксирован обрыв подводных интернет-кабелей, связывающих тайваньские острова, причём по вине китайского рыболовного судна. А у Вьетнама в ремонте и модернизации нуждаются четыре из пяти подводных ВОЛС, обеспечивающих доступ страны к интернету. Попутно Китай ужесточил контроль работ по прокладке и обслуживанию подводных интернет-кабелей по дну Южно-Китайского моря, в связи с чем компании вынуждены прокладывать маршруты в обход этой зоны, несмотря на дополнительные расходы.

С целью защиты от повреждений подводных оптоволоконных и силовых кабелей, проложенных в прибрежных водах, Великобритания приобрела судно MV Topaz Tangaroa, которое переоборудуют для ведения наблюдения и обеспечения безопасности национальной инфраструктуры. А Норвегия намерена потратить порядка $4,3 млн на закупку новых технологий охраны для защиты своей информационной инфраструктуры.

Технические проблемы, возникшие в сингапурском дата-центре Equinix в середине минувшего октября из-за перегрева, привели к серьёзным проблемам в банковской сфере. Как сообщает The Register со ссылкой на Валютное управление Сингапура (MAS), проблемы с системой охлаждения ЦОД привели к остановке 2,5 млн банковских операций. Проблема затронула DBS и Citibank, неприятности у которых начались днём 14 октября 2023 года — в результате клиенты частично утратили доступ к банковским услугам приблизительно на два дня, лишившись возможности осуществлять платежи.

По данным властей в результате роста температуры в ЦОД выше допустимого уровня из-за нарушения работы системы охлаждения зарегистрировано 810 тыс. неудачных попыток доступа к двум банковским платформам, понадеявшихся на Equinix, а 2,5 млн онлайн-платежей и операций в банкоматах так и не были завершены. Сам оператор ЦОД винит подрядчика, поскольку его сотрудник якобы «неправильно» отправил сигнал на закрытие клапанов буферных резервуаров с холодной водой в ходе обновления инфраструктуры.

Хотя банки немедленно приняли меры для возвращения работоспособности после инцидента, полностью восстановить системы с использованием резервных ЦОД сразу не удалось. DBS — из-за неправильной конфигурации сети, а Citibank из-за проблем с сетевым подключением. В результате оба банка не сумели уложиться в нормативы MAS, требующие, чтобы отключение критически важных систем, влияющих на банковские операции, не превышало 4 часов в год. Управление ввело ряд довольно жёстких наказаний для провинившихся банков сроком на полгода.

По мнению экспертов, удивительно не только то, что система охлаждения не сработала, но и то, что банки не смогли своевременно отреагировать на сбой, введя в действие резервные мощности. Считается, что, как часто бывает, инцидент произошёл благодаря стечению неблагоприятных обстоятельств, поскольку на активацию резервной системы в норме уходят секунды или минуты. При этом MAS не контролирует деятельность провайдеров вроде Equinix.