В конце минувшей среды Microsoft объявила об успешном решении проблем с конфигурацией DNS, вызвавших сбои на платформе Azure. Инцидент повлиял на работу сервисов компании и затронул множество отраслей по всему миру, сообщает Reuters. Как сообщили представители Azure, хотя уровень ошибок и задержек вернулись к уровню, предшествовавшему инциденту, небольшое число клиентов всё ещё могут сталкиваться с проблемами, и компания всё ещё работает над устранением последствий.

В Microsoft заявляют, что инцидент продолжался в течение восьми часов. Ранее в среду авиакомпания Alaska Airlines заявила, что столкнулась с проблемами в работе ключевых систем, включая сайт, из-за проблем с Azure и восстанавливает работу систем после того, как Microsoft решила проблему. Сайт лондонского аэропорта Хитроу тоже вернулся к работе после перерыва в среду, от сбоя пострадал и телеком-оператор Vodafone.

Источник изображения: SCARECROW artworks/unsplash.com

Приблизительно в 12:00 по восточному времени США (19:00 по Москве) в среду 29 октября в Azure сообщили, что у их клиентов и сервисов Microsoft, использующих Azure Front Door (глобальную облачную сеть доставки контента и приложений), возникли проблемы, которые привели к таймаутам и ошибкам. По данным Downdetector на 19:49 ET (02:49 по Москве, 30 октября), число пользователей, сообщавших о проблемах с Azure, упало до 230. Для сравнения, на пике ранее в тот же день речь шла о более 18 тыс. жалоб. К 22:44 ET статистика Downdetector свидетельствовала о 77 сбоях Microsoft 365, на пике речь шла об около 20 тыс. жалобах. Поскольку речь идёт только о случаях обращений на сайт сервиса, настоящее число пострадавших может быть намного больше.

Недавний масштабный сбой AWS, который, как в итоге выяснилось, тоже был вызван проблемами с DNS, стал крупнейшим с прошлогоднего инцидента с ПО CrowdStrike, нарушившего работу оборудования в больницах, банках и аэропортах — это продемонстрировало чрезвычайную уязвимость связанных глобальных технологий, находящихся под контролем всего нескольких компаний.

Компания Amazon опубликовала развёрнутый отчёт о причинах масштабного сбоя в работе облака Amazon Web Services (AWS). Проблемы, затронувшие многочисленные сервисы, возникли из-за ошибки в программном обеспечении для автоматизации.

Сбой произошел в регионе us-east-1 в Северной Вирджинии. Утверждалось, что первопричиной проблем стала ошибка DNS. В общей сложности были затронуты более 110 собственных служб AWS. По данным сайта Downdetector, который отслеживает сбои в работе интернета, от пользователей по всему миру поступили более 8,1 млн сообщений о проблемах. Пострадали такие платформы, как Signal, Snapchat, Roblox, Duolingo, Apple Music, Apple TV, Lyft, Fortnite, Disney+, Venmo, Doordash, Hulu и многие другие.

Как сообщает Amazon, сбой возник из-за неполадок в работе DynamoDB, с которой связаны сотни тысяч записей DNS, необходимых для работы огромного гетерогенного парка балансировщиков нагрузки в каждом регионе. При этом применяются средства автоматизации для обновления записей DNS и устранения любых проблем.

Источник изображения: Amazon

Однако 20 октября система управления DNS для DynamoDB в ЦОД Amazon в Северной Вирджинии оказалась в состоянии гонки (race condition), в результате чего DNS-запись для региональной точки подключения к DynamoDB (dynamodb.us-east-1.amazonaws.com) оказалась пустой, хотя резервирование систем DNS как раз должно было предотвратить подобную ситуацию. Устранить неполадку самостоятельно система автоматизации не смогла, поэтому пришлось привлечь к решению проблемы специалистов. При этом DynamoDB оказалась недоступна для десятков собственных сервисов AWS и бесчисленного множества клиентских служб и приложений, которые используют её в своей работе, что привело к каскадным сбоям онлайн-сервисов.

Amazon временно отключила систему автоматизации DNS для DynamoDB по всему миру, пообещав исправить в ней баги и добавив новые проверки. Также дополнительные механизмы контроля и новые системы проверки получат балансировщики NLB и службы EC2. Впрочем, эксперты отмечают, что данный инцидент наглядно показал, насколько мир может быть зависимым от единых точек отказа. Это касается не только AWS, но и других крупных облачных провайдеров, на инфраструктуру которых полагается огромное количество интернет-сервисов.

Технический центр Интернета (ТЦИ), оператор национальных доменных зон .RU, .РФ и .SU, сообщил о проведении плановой замены ключевых элементов инфраструктуры на оборудование отечественного производства. Инициатива является частью системной работы по повышению технологической независимости и устойчивости российского сегмента интернета.

Отмечается, что приоритетами ТЦИ остаются обеспечение бесперебойной работы доменной системы, её защищённость от внешних факторов и полный контроль над технологической цепочкой. Для достижения этих целей оператор использует серверные решения российского разработчика телекоммуникационного и IT-оборудования «Булат» (входит в группу компаний «Ростелеком»).

Серверы «Булат» включены в единый реестр российской радиоэлектронной продукции, соответствуют требованиям ТЦИ и, по заверениям оператора доменных имён, прошли процедуру детального длительного тестирования перед вводом в эксплуатацию.

«Переход технологической инфраструктуры IT- и телеком-отрасли на отечественное оборудование свидетельствуют о зрелости российского рынка IT-решений. Таким образом формируется замкнутая экосистема для критической инфраструктуры, что знаменует собой новый этап в развитии Рунета», — говорится в заявлении «Ростелекома».

Серверное оборудование «Булат» (источник изображения: opk-bulat.ru)

Облако Amazon Web Services (AWS) столкнулось со серьёзным сбоем, из-за которого сейчас могут быть недоступны такие онлайн-сервисы, как Perplexity, Snapchat, Fortnite, Airtable, Canva, Amazon, Slack, Signal, PlayStation, Clash Royale, Brawl Stars, Epic Games Store и Ring Cameras, пишет Data Center Dynamics.

Согласно отчёту Amazon, наблюдается «значительный уровень ошибок в запросах к DynamoDB в регионе US-EAST-1», который находится в Северной Вирджинии. Компания отметила, что эта проблема также затрагивает другие сервисы AWS в регионе US-EAST-1, а у клиентов может не быть возможности создавать или обновлять запросы в службу поддержки. Первопричиной проблем стала ошибка DNS. AWS её исправила и теперь занимается восстановлением доступности других сервисов.

Источник изображения: AWS

Проблема DynamoDB затронула другие сервисы AWS, включая AWS Global Accelerator, AWS VPCE PrivateLink, AWS Security Token Service, AWS Step Functions, AWS Systems Manager, Amazon CloudFront, Amazon DynamoDB, Amazon Elastic Compute Cloud, Amazon EventBridge, Amazon EventBridge Scheduler, Amazon GameLift Servers, Amazon Kinesis Data Streams, Amazon SageMaker и Amazon VPC Lattice — всего 82 службы. Сбои в работе сервисов AWS наблюдаются в других регионах по всему миру.

Проблемы в работе AWS в регионе US-East-1 привели к масштабным сбоям в 2023, 2021 и 2020 годах, в результате чего было отключено множество веб-сайтов и платформ. Лишь спустя несколько часов было восстановлено нормальное обслуживание, сообщил The Verge.

UPD: по состоянию на 21:45 МСК AWS продолжает работать над устранением проблем. По уточнённым данным, проблемы наблюдаются в 110 сервисах облака. Работа ещё 25 сервисов восстановлена. В качестве причины названы проблемы с сетью в US-EAST-1.