Компания Microsoft объявила о намерении провести специальную встречу Windows Security Summit, посвящённую недавнему глобальному сбою ОС Windows, связанному с багом в защитном ПО компании CrowdStrike. По данным Microsoft, на мероприятии 10 сентября будут обсуждаться меры по усилению кибербезопасности и защите критической инфраструктуры с партнёрами, включая CrowdStrike.

Microsoft намерена разработать меры, предотвращающие повторение недавних событий — по имеющимся сведениям, пострадало не менее 8,5 млн компьютеров под управлением Windows, а ущерб составил миллиарды долларов. Особенно крупные претензии имеются у авиакомпании Delta Air Lines, работа которой была почти парализована.

Помимо этой и других авиакомпаний, пострадали IT-системы медицинских организаций, железнодорожных компаний и других объектов критически важной инфраструктуры. Только ущерб компаний из рейтинга Fortune 500 составил порядка $5,4 млрд, не считая бизнесов помельче, прибегавших к отчаянным и необычным мерам для восстановления работоспособности.

Источник изображения: Majid Rangraz/unsplash.com

Microsoft даст поставщикам решений для защиты конечных точек площадку для дискуссии по вопросу предотвращения подобных инцидентов в будущем. Будет обсуждаться создание более безопасных систем защиты — причиной катастрофы с ПО CrowdStrike стало то, что во время тестирования обновлений был пропущен баг. Microsoft винит в произошедшем евробюрократов, в своё время заставивших компанию предоставить сторонним разработчикам доступ к ядру операционной системы.

По данным анонимного источника в Microsoft, участники встречи, вероятно, будут обсуждать возможность работы их приложений в первую очередь в пользовательском пространстве, имеющем меньше привилегий в сравнении с уровнем ядра. Microsoft пообещала рассказать о достигнутых решениях и договорённостях после завершения саммита.

Delta Air Lines обрушилась с критикой на компанию CrowdStrike, ставшую виновницей глобальных сбоев IT-инфраструктуры. Как сообщает The Register, в CrowdStrike заявили, что предлагали авиакомпании помощь, но не получили ответа. Глава Delta утверждает, что предложение о помощи было незначительным и поступило слишком поздно, а теперь пытается «обвинить жертву» в письме.

В прошлом месяце CrowdStrike выпустила дефектное обновление своего защитного ПО Falcon, в результате чего BSOD настиг более 8 млн Windows-систем. В случае с Delta, по данным юристов компании, проблема затронула более 37 тыс. компьютеров, нарушив планы более 1,3 млн пассажиров. Впоследствии Delta пригрозила иском CrowdStrike и Microsoft, заявив, что инцидент обошёлся ей в $500 млн убытков. Представители потенциальных ответчиков уже заявили, что предлагали компании помощь, но не дождались ответа.

Источник изображения: Icons8 Team / Unsplash

В письме CrowdStrike к Delta разработчик ПО обвинил авиакомпанию в том, что именно действия её специалистов привели к столь масштабным последствиям, текст схожего содержания отправила и Microsoft, обвинившая Delta в использовании устаревших IT-решений. В авиакомпании считают, что никаким образом не несут ответственность за неправильно работающее ПО, не говоря уже о сбое других систем по всему миру. Сейчас CrowdStrike грозит и коллективный иск со стороны инвесторов.

В ходе препирательств выяснились интересные подробности. К тому времени, как глава CrowdStrike связался с главой Delta (один раз ночью 22 июля), с момента инцидента прошло почти четыре дня и Delta восстановила свои критические системы и работу большинства прочих компьютеров. По словам компании, предложение помощи поступило «слишком поздно», а телефонный звонок был «бесполезным и несвоевременным». В Delta отрицают, что разработчик ПО якобы «без устали» работал, пытаясь восстановить системы Delta.

Более того, утверждается, что после того, как компьютеры с Windows начали отключаться по всему миру, CrowdStrike не приняла срочных мер и не оценила должным образом масштаб и последствия сбоя. А единственная помощь в первые 65 часов после инцидента заключалась в ссылке на общедоступный сайт с советом провести ручную перезагрузку пострадавших ПК и удалить сбойные файлы. Хуже того, обновление для автоматизированного устранения проблемы, вышедшее 21 июля, само содержало дополнительный баг, из-за чего многие машины не смогли заработать без дополнительного вмешательства.

Источник изображения: Sven Piper/unsplash.com

В Delta говорят о миллиардах долларов, вложенных в IT-решения, а причиной затянувшегося восстановлении IT-систем стало то, что компания слишком полагалась на CrowdStrike и Microsoft. В частности, сообщается, что около 60 % критически важных приложений Delta и связанных с ними данных, включая системы резервирования, зависят от Windows и Falcon. Доверие к производителям ПО сыграло злую шутку.

В CrowdStrike в ответ заявили, что Delta упорно продвигает вводящий в заблуждение нарратив. Утверждается, что Джордж Курц позвонил представителю авиакомпании в течение четырёх часов после инцидента 19 июля, а начальник службы безопасности разработчика наладил прямой контакт с коллегами из Delta через считаные часы после инцидента. При этом команды обеих компаний тесно сотрудничали уже спустя несколько часов, причём CrowdStrike предоставляла гораздо большую поддержку, чем просто ссылка на сайт с базовыми сведениями.

Косвенным доказательством является то, что один из членов совета директоров Delta опубликовал в LinkedIn заявление о том, что глава CrowdStrike и его команда проделали невероятную работу, круглосуточно трудясь в сложных условиях для устранения неполадок. В Delta отказались от дальнейших комментариев, но после слов благодарности судиться с виновниками инцидента, безусловно, будет труднее. В письме CrowdStrike снова призвала Delta прекратить попытки уйти от ответственности и сообщить клиентам и акционерам всё, что известно об инциденте, предшествующих решениях и о принятых мерах.

Компания Microsoft заявила, что её руководитель Сатья Наделла (Satya Nadella) напрямую связался с руководителем авиакомпании Delta Air Lines во время глобального сбоя Windows-систем, вызванного проблемным обновлением защитного ПО CrowdStrike. Но, как передаёт The Register, ответа на предложение помощи он так и не дождался. Сейчас юристы Microsoft защищаются от выдвигаемых авиакомпанией обвинений — та намерена взыскать $500 млн с Microsoft и CrowdStrike.

В прошлом месяце CrowdStrike выпустила обновление, вызвавшее «синий экран смерти» на 8,5 млн системах под управлением Windows. Позже Microsoft обвинила Евросоюз, законодательно определивший обязанность разработчика предоставлять создателям сторонних программ низкоуровневый доступ к ядру ОС, что в значительной степени и привело к катастрофическим сбоям.

Delta пришлось вручную восстанавливать работу 40 тыс. серверов, а из-за сбоя пришлось отменить 5000 рейсов. Пострадали и другие авиалинии, а также железные дороги, банки, медицинские организации — но у Delta на восстановление работоспособности систем ушло очень много времени. Сбой CrowdStrike вскрыл и другие проблемы Delta в IT-сфере. Так, информационные системы компании оказались недостаточно гибкими в критический момент.

Источник изображения: Miguel Ángel Sanz/unsplash.com

Юристы CrowdStrike также сообщили о «вводящем в заблуждение нарративе» о том, что CrowdStrike ответственна за IT-решения Delta и её реакцию на сбой, передаёт DataCenter Dynamics. Сообщается, что CrowdStrike предлагала техническую помощь Delta — глава компании Джордж Куртц (George Kurtz) лично обратился к гендиректору Delta, но, как и Сатья Наделла, ответа удостоен не был. Crowdstrike ожидает, что Delta объяснит публике, акционерам и, возможно, суду, почему CrowdStrike должна отвечать за действия и поведение Delta во время инцидента.

Представитель Microsoft заявил, что комментарии Delta «неполные, ложные, вводящие в заблуждение и разрушительные для Microsoft и её репутации». Подчёркивается, что Delta не пользовалась облачными сервисами Microsoft, вместо этого заключив сделку с IBM в 2021 году и Amazon (AWS) в 2022-м. Другими словами, обязанности по восстановлению систем официально лежали на других облачных операторах.

По предварительным оценкам Microsoft, Delta, в отличие от её конкурентов, не модернизировала свою IT-инфраструктуру. Компании предлагается раскрыть, как именно она пользовалась сервисами IBM и AWS. Министерство транспорта США начало собственное расследование сбоя Delta и других компаний.

У Microsoft пятого августа произошёл новый сбой в работе облака Azure, затронувший несколько сервисов для клиентов в Северной и Латинской Америке, пишет ресурс BleepingComputer. По словам компании, проблемы начались около 18:22 UTC (21:22 мск) и повлияли на сервисы, использующие облачную CDN-службу Azure Front Door (AFD). Как сообщила Microsoft, инцидент был вызван «изменением конфигурации». «Мы откатили это изменение, и с 19:25 UTC (22:25 мск) в большинстве сервисов наблюдается восстановление», — рассказала компания.

BleepingComputer отметил, что в Великобритании клиенты также сообщали об ошибках при подключении к сервисам Azure (включая Azure DevOps), а на странице состояния Azure DevOps было отмечено, что проблемы коснулись и пользователей из Бразилии. На сайт Downdetector пришли тысячи сообщений пользователей о проблемах с подключением к серверам и входом в систему, хотя на странице состояния работоспособности службы (Service Health Status) не было указано никаких проблем с Azure на протяжении всего сбоя.

Источник изображения: techcommunity.microsoft.com

На прошлой неделе Microsoft столкнулась с более продолжительным сбоем, который был вызван DDoS-атакой, нацеленной на несколько сайтов Azure Front Door и CDN. «Хотя первоначальным событием-триггером послужила DDoS-атака, которая активировала наши механизмы защиты от DDoS, первоначальное расследование показало, что ошибка в реализации нашей защиты усилила воздействие атаки, а не смягчила его», — заявила Microsoft.

Microsoft столкнулась с новым глобальным сбоем облака Azure, затронувшим целый ряд служб — от почтового сервиса Outlook до популярной игры Minecraft. Также пользователи по всему миру сообщают о трудностях с подключением к облачной платформе Azure и проблемах в работе с Microsoft 365, Teams, OneDrive и Xbox Live.

«В настоящее время мы изучаем проблемы с доступом и снижение производительности нескольких сервисов и функций Microsoft 365», — отреагировали на обращения пользователей в Microsoft. Согласно странице статуса Azure, сбой начался в 11:45 UTC (14:45 мск), когда у целого ряда клиентов возникли проблемы с подключением к службам Microsoft по всему миру, включая Америку, Азиатско-Тихоокеанский регион, Европу и Ближний Восток. Компания сообщила, что внесла изменения в конфигурацию сети, а также задействовала альтернативные маршруты.

Источник изображения: Downdetector

Доступность служб повысилась примерно с 14:10 UTC (17:10 мск), но полностью сбои пока не устранены. В частности, сейчас по всему миру всё ещё наблюдаются проблемы с сервисами CDN и Azure Front Door. Напомним, что совсем недавно в облаке Microsoft Azure произошёл масштабный сбой, совпавший во времени с глобальным сбоем из-за неудачного обновления защитного ПО компании CrowdStrike для ПК на Windows, обрушившего работу многих компаний и служб.

UPD 31.07.2024: Microsoft объяснила восьмичасовой сбой своего облака масштабной DDoS-атакой. Точнее говоря, проблемой в механизме защиты Azure от таких атак, который вместо того, чтобы отразить DDoS, только ухудшил ситуацию с доступностью сервисов.

В ночь с воскресенья на понедельник во Франции были перерезаны многочисленные интернет-кабели. По данным The Register, это привело к сбоям связи по всей стране. По словам местных правоохранителей, речь идёт об «ограниченных последствиях» для интернет-соединений, а также линий наземной и мобильной телефонной связи. Пострадали крупные французские телеком-операторы. По версии одного из них, такую атаку можно было совершить разве что «топором или дисковыми шлифмашинками» (вроде «болгарок»).

По данным Bloomberg, кабельная инфраструктура нарушена как минимум в девяти департаментах (Ардеше, Оде, Буш-дю-Роне, Дроме, Эро, Марне, Маасе, Уазе, Воклюзе), как на севере, так и на юге страны вдоль средиземноморского побережья. Функциональность сетей уже восстанавливается, а трафик на время пустили по резервным каналам, что может привести к падению скорости связи у некоторых пользователей, в том числе облачных сервисов французских операторов вроде OVHCloud.

Источник изображения: Pedro Lastra/unsplash.com

Статистика компании Zone ADSL&Fibre свидетельствует, что проблемы начались около 02:00 по местному времени 29 июля. Сильнее всего пострадала сеть оператора Free, а у пользователей SFR и Bouygues проблем зарегистрировано меньше. Похоже, результаты диверсии не устранены полностью. Впрочем, сеть Orange, основного оператора Олимпийских игр, практически не пострадала.

Вряд ли речь идёт о случайном совпадении по времени с ещё одним инцидентом в минувшую пятницу, когда французская национальная железнодорожная сеть SNCF пострадала от атак на кабели, передающие операторам поездов информацию, в том числе связанную с обеспечением безопасности движения. Впрочем, о прямой связи между атаками на железнодорожную инфраструктуру и ВОЛС власти не говорят, хотя обе они могли повлиять на проводящиеся сейчас Олимпийские игры в Париже.

Корпорация Oracle, по сообщению ресурса Datacenter Dynamics, разрабатывает систему на основе машинного обучения для точного прогнозирования возможных источников сбоев в ЦОД. Патент на соответствующую технологию (№12,045,123 B2) выдан 23 июля 2024 года Управлением по патентам и товарным знакам США (USPTO).

Отмечается, что дата-центры становятся всё более крупными и сложными. В них используется большое количество разнообразного оборудования, а поэтому эффективное определение источника неполадок затрудняется. Новая платформа Oracle позволит выявлять причины проблем практически в реальном времени благодаря применению алгоритмов ИИ.

Источник изображения: Oracle

Система получает данные из различных источников, включая серверы и сетевое оборудование, а также системы питания и датчики окружающей среды. Собранные показания анализируются с применением машинного обучения. В случае существования вероятности сбоя генерируется предупреждение с подробным описанием предполагаемой проблемы. Таким образом, операторы ЦОД могут своевременно предпринять необходимые меры и избежать длительных простоев оборудования.

В патенте приводится пример отключения энергоснабжения, вызванный выходом из строя источника питания стойки. В такой ситуации ИИ-модель может определить, что уровень мощности источника питания падает ниже порогового уровня и отправить предупреждение. Предлагаемый подход даёт возможность оперативно осуществлять замену вышедших или выходящих из строя компонентов и тем самым повышать эффективность восстановительных работ.

Создателями платформы значатся Алекс Гамильтон (Alex Hamilton), директор по разработке ПО Oracle, Амар Монга (Amar Monga), старший менеджер по проектированию софта, и инженер-программист Бин Чен (Bin Chen). В конце прошлого года основатель и технический директор Oracle Ларри Эллисон (Larry Ellison) сообщил, что корпорация намерена развернуть 100 новых ЦОД. Не исключено, что в некоторых из них будет внедрена запатентованная система выявления сбоев для повышения надёжности и стабильности.

Вскоре после недавнего массового сбоя ПК на Windows, произошедшего по вине компании CrowdStrike, в австралийском подразделении консалтингового бизнеса Grant Thornton нашли удобный способ быстро избавиться от «синих экранов смерти» (BSOD). The Register сообщает, что один из технических специалистов компании вовремя вспомнил о том, что самые простые сканеры штрихкодов воспринимаются ПК как клавиатуры.

Источник изображения: Grant Thornton

Это совершенно бесполезное на первый взгляд знание приобрело большое значение, когда в компании попытались найти решение проблемы, созданной CrowdStrike. В австралийском филиале Grant Thornton в цикл бесконечной перезагрузки отправились сотни ПК и не менее ста серверов. При этом все они были защищены с помощью BitLocker, поэтому в процессе восстановления требовался ввод 48-символьного ключа для расшифровки раздела.

Если работу серверов удалось восстановить вручную, то для ПК пришлось придумать инструмент автоматизации. Открыто рассылать ключи для BitLocker было бы слишком рискованно, да и зачитывать их по телефону или диктовать лично весьма затруднительно. Поэтому в компании сконвертировали ключи в штрихкоды, которые можно мгновенно отсканировать с экрана ноутбука администратора.

Источник изображения: PublicDomainPictures/unsplash.com

В результате все ПК заработали уже к обеду, на починку каждого из них ушло 3–5 минут, тогда как в случае серверов на ручное восстановление уходило по 20 минут. В Grant Thornton сожалеют лишь о том, что не догадались сразу использовать QR-коды, тогда зашифровать в них можно было бы больше данных, полностью автоматизировав процесс восстановления. Впрочем, в компании и без того в восторге, что отделались малой кровью в сравнении с другими бизнесами.

Масштабный сбой стал последствием выпуска некорректного обновления системы защиты CrowdStrike. В самой Microsoft первопричиной недавнего масштабного сбоя назвали вынужденное соглашение 2009 года с Евросоюзом, согласно которому разработчикам защитных программ обеспечили низкоуровневый доступ к операционным системам Windows. В CrowdStrike признали собственную вину и сослались на баг в программе тестирования собственных апдейтов.

Редакция со своей стороны желает системным администраторам никогда не сталкиваться с такими проблемами.

Компания CrowdStrike, ставшая виновницей глобальных сбоев в работе 8,5 млн ПК с Windows, обновила страницу с инструкцией по устранению проблемы. Компания поделилась своим видением причин инцидента, а пострадавшим партнёрам она предложила купоны Uber Eats на сумму $10. При этом общий ущерб от сбоя, согласно предварительным оценкам, составил $4,5 млрд.

Согласно разъяснениям, защитное ПО Falcon Sensor выпускается с набором правил Sensor Content, определяющих его функциональность. ПО также получает обновления Rapid Response Content, позволяющие своевременно распознавать новейшие угрозы и оперативно реагировать на них.

Sensor Content основан на структурном коде Template Types, предусматривающем использование специальных полей, в которые вносятся данные для создания правил выявления угроз. В Rapid Response Content отмечаются конкретные варианты Template Types — Template Instances, описывающие определённые типы угроз, на которые необходимо реагировать, и их специфические признаки.

В феврале 2024 года компания представила очередной вариант шаблона обнаружения угроз — IPC Template Type, специально созданный для распознавания новых методик атак, использующих т.н. «именованные каналы» (Named Pipes) в ОС. Шаблон успешно прошёл тесты 5 марта, поэтому для его использования выпустили новый вариант Template Instance. С 8 по 24 апреля компания внедрила ещё три варианта Template Instance, без малейшего видимого ущерба миллионам компьютеров на Windows — хотя в апреле отмечались проблемы с ПО компании CrowdStrike для Linux.

Источник изображения: Johnyvino/unsplash.com

19 июля разработчик представил ещё два варианта IPC Template Instance, один из которых включал «проблемные данные». Тем не менее, CrowdStrike запустила ПО в релиз из-за «бага в Content Validator». Хотя функции Content Validator разработчиком не раскрываются, по названию можно предположить, что данный инструмент занимается валидацией готовящегося к релизу ПО. Так или иначе, валидатор не справился с фильтрацией некачественного кода и не предотвратил выпуск 19 июля фактически вредоносного Template Instance.

В CrowdStrike предположили, что успешная проверка IPC Template Type мартовского образца означает, что варианты IPC Template Instance для июльского релиза тоже в порядке. Как показало время, это было трагической ошибкой — программа пыталась читать данные из области памяти, доступа к которой у неё быть не должно. В результате ошибка чтения вызвала сбой, от которого пострадало 8,5 млн компьютеров.

В дальнейшем компания обещает более строго тестировать обновления Rapid Response Content и обеспечить пользователям больше контроля над процессом развёртывания обновления. Кроме того, планируется подробное описание релизов, чтобы дать пользователям возможность самостоятельно оценить риск установки обновлений. Компания обещает опубликовать полный анализ основной причины сбоя, как только расследование будет закончено.

Ранее Microsoft поспешила снять с себя ответственность за инцидент, переложив вину на CrowdStrike и Евросоюз. По данным IT-гиганта именно последний ещё в 2009 году вынудил Microsoft обеспечить сторонним разработчикам антивирусного ПО вроде CrowdStrike низкоуровневый доступ к ядру операционных систем Windows.

Пока ИТ-инфраструктура по всему миру восстанавливается после критического сбоя, бизнес, эксперты и политики уже ищут виноватых в произошедшем. По данным The Wall Street Journal, в Microsoft заявили, что инцидент может оказаться результатом вынужденного соглашения 2009 года между IT-гигантом и Евросоюзом.

Эксперты уже задаются вопросом, почему CrowdStrike, занимающейся решениями для обеспечения кибербезопасности, обеспечили доступ к ядру Windows на столь низком уровне, где ошибка может оказаться очень масштабной и дорого обойтись огромному числу пользователей.

Хотя Microsoft нельзя напрямую обвинить в появлении дефекта после обновления ПО компании CrowdStrike, ставшего причиной хаоса во всех сферах жизнедеятельности по всему миру, программная архитектура, позволяющая третьим сторонам глубоко интегрировать своё ПО в операционные системы Microsoft, вызывает немало вопросов и требует более пристального рассмотрения.

Как сообщает WSJ, в Microsoft отметили, что соглашение 2009 года компании с Еврокомиссией и стало причиной того, что ядро Windows не защищено так, как, например, ядро macOS компании Apple, прямой доступ к которому для разработчиков закрыт с 2020 года. Соглашение о совместимости фактически стало результатом повышенного внимания европейских регуляторов к деятельности Microsoft.

Источник изображения: Sunrise King/unsplash.com

В соответствии с одним из его пунктов, Microsoft обязана своевременно и на постоянной основе обеспечивать информацию об API, используемых её защитным ПО в Windows — пользовательских и серверных версиях. Соответствующая документация должна быть доступна и сторонним разработчикам антивирусного ПО для создания собственных решений, что должно способствовать честной конкуренции. Однако вместо использования API без доступа к ядру CrowdStrike и ей подобные предпочли работать напрямую с ядром ОС для максимизации возможностей своего защитного ПО. Правда, при этом велика вероятность, что в случае сбоя последствия могут быть чрезвычайно серьёзными — что и произошло.

Windows — не единственная операционная система, предлагающая доступ к ядру с возможностью вывести его из строя в случае некорректной работы. Тем не менее, повсеместное присутствие продуктов Microsoft приводит в случае сбоев в сторонних приложениях к массовым проблемам и большой огласке событий, даже если прямой вины компании в произошедшем нет.