Компания Microsoft сообщила причины масштабного сбоя её сервисов, произошедшего на прошлой неделе, о чём пишет iTnews. Согласно предварительному отчёту, сбой связан с исправлением в Windows, подготовленным специально для сетевых шлюзовых серверов Microsoft 365 и запущенном в июле. В Microsoft подчеркнули, что данная ошибка и само исправление не имеют отношения к стандартным версиям Windows, используемым на пользовательских компьютерах.
При этом обновление успешно прошло нагрузочное тестирование и было развернуто без каких-либо негативных последствий. И в течение трёх месяцев данная ошибка никак себя не проявляла. По словам исполнительного вице-президента Microsoft по направлению Copilot, агентов и платформы, дефект заключался в возникновении конкуренции за блокировку (lock contention) внутри одного из внутренних процессов. Это приводило к тому, что при определённых нагрузках серверы переставали отвечать на запросы.
Нагрузочное тестирование не выявило эту проблему, поскольку производилось на менее производительном оборудовании с меньшим количеством ядер, тогда как проблема конкуренции за блокировку обостряется именно на более современных машинах с большим числом процессорных ядер.
Сбой спровоцировало событие, произошедшее примерно за 15 часов до его начала: сервис Teams был переключён с отдельной шлюзовой системы на основную — ту самую, которая обслуживает и Exchange Online. Это увеличило нагрузку и изменило характер распределения трафика. В это же время около 14 % мощностей шлюза были недоступны из-за другой, возникшей ранее проблемы, не связанной с данным происшествием. Сочетание этих факторов привело к проявлению дефекта, что вызвало настоящий хаос.
Далее события развивались по классическому сценарию каскадного сбоя. Серверы начали выходить из строя в период пиковой нагрузки в США. При потере связи с сервером трафик перенаправлялся на следующий доступный узел, который, в свою очередь, сталкивался с той же проблемой. В течение двух часов дефект распространился на всю инфраструктуру Microsoft. В пиковый момент более 80 % серверов перестали отвечать на запросы.
Изоляция между тысячами единиц ёмкости шлюза и его регионами должна была ограничить масштаб ущерба, однако этого не произошло — «из-за отдельной проблемы». Процесс восстановления затянулся, поскольку после перезапуска серверы вскоре снова выходили из строя под нагрузкой возобновившегося потока запросов.
В то время как для сервисов Teams, SharePoint и OneDrive удалось перенаправить трафик в обход, и они восстановились раньше, для Exchange Online — в силу масштабов его работы — полноценное переключение маршрутов оказалось невозможным. Именно этим объясняется длительный период недоступности Exchange Online (который многие пользователи воспринимали как сбой в работе Outlook).
К тому же автоматизированные механизмы восстановления Microsoft не были рассчитаны на столь масштабный сбой. А поскольку скрытая ошибка возникла ещё несколько месяцев назад, стандартные процедуры отката, поэтапного развёртывания и использования функциональных флагов не позволили быстро отменить внесенные изменения.
Вместо этого в Microsoft разработали «исправление для исправления» — обновление, возвращающее код в исходное состояние, и применили его сразу к крупным группам серверов — в ряде случаев охватывающим более половины региона. Кроме того, были увеличены вычислительные мощности и продлён период доставки электронных писем, чтобы попавшие в очередь сообщения не были отклонены как недоставленные.
Источники:
