Не желая повторения инцидента, который вывел из строя миллионы компьютеров на Windows из-за бага в ПО CrowdStrike, Microsoft собрала ключевых разработчиков решений кибербезопасности на закрытой встрече Windows Endpoint Security Ecosystem Summit, где предложила им новый подход к защите Windows-систем. По данным PC Mag, речь идёт о новой платформе, позволяющей отказаться от доступа антивирусных программ к ядру операционной системы.

В блоге компании по итогам мероприятия сообщается, что Microsoft намерена развивать принципы, уже применяемые в Windows 11 и позволяющие во многих случаях обеспечивать защиту системы без непосредственного доступа к ядру. Инцидент с антивирусным ПО CrowdStrike, затронувший миллионы компьютеров по всему миру, во многом произошёл потому, что ПО имело доступ к ядру ОС. С одной стороны, без подобной функциональности со многими угрозами справиться трудно, с другой — именно из-за неё пользователи увидели «синий экран смерти» на миллионах ПК. Microsoft обвинила в случившемся власти Евросоюза, в своё время вынудившие компанию обеспечить подобный доступ разработчикам антивирусов.

Источник изображения: Jefferson Santos/unsplash.com

Впрочем, ни о каком закрытии доступа к ядру Windows речи пока не идёт. Клиенты и партнёры попросили компанию «предоставить дополнительные возможности обеспечения безопасности вне режима ядра», что позволило бы разработчикам создавать антивирусное ПО, не обращающееся к ядру, по крайней мере — на регулярной основе. В ходе встречи Microsoft и партнёры обсудили требования к новой платформе и основные вызовы, с которыми придётся столкнуться при её разработке. Компания сообщила, что речь идёт о долговременном проекте, в рамках которого Microsoft вместе с партнёрами намерена добиться повышенной надёжности защитного ПО без ущерба безопасности.

При этом Microsoft признала, что все участники саммита согласились с тем, что вендорам антивирусного ПО и клиентам выгодно, когда у них есть выбор различных вариантов для Windows в контексте обеспечения безопасности. Например, ESET прямо заявила, что доступ к ядру должен остаться одной из опций для эффективной защиты от киберугроз. Кроме того, стороны намерены делиться практиками безопасных обновлений ПО. Именно сбой на одном из этапов выпуска обновлений ПО CrowdStrike и привёл к эпохальному сбою, обошедшемуся некоторым компаниям в сотни миллионов долларов.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Компания Microsoft объявила о намерении провести специальную встречу Windows Security Summit, посвящённую недавнему глобальному сбою ОС Windows, связанному с багом в защитном ПО компании CrowdStrike. По данным Microsoft, на мероприятии 10 сентября будут обсуждаться меры по усилению кибербезопасности и защите критической инфраструктуры с партнёрами, включая CrowdStrike.

Microsoft намерена разработать меры, предотвращающие повторение недавних событий — по имеющимся сведениям, пострадало не менее 8,5 млн компьютеров под управлением Windows, а ущерб составил миллиарды долларов. Особенно крупные претензии имеются у авиакомпании Delta Air Lines, работа которой была почти парализована.

Помимо этой и других авиакомпаний, пострадали IT-системы медицинских организаций, железнодорожных компаний и других объектов критически важной инфраструктуры. Только ущерб компаний из рейтинга Fortune 500 составил порядка $5,4 млрд, не считая бизнесов помельче, прибегавших к отчаянным и необычным мерам для восстановления работоспособности.

Источник изображения: Majid Rangraz/unsplash.com

Microsoft даст поставщикам решений для защиты конечных точек площадку для дискуссии по вопросу предотвращения подобных инцидентов в будущем. Будет обсуждаться создание более безопасных систем защиты — причиной катастрофы с ПО CrowdStrike стало то, что во время тестирования обновлений был пропущен баг. Microsoft винит в произошедшем евробюрократов, в своё время заставивших компанию предоставить сторонним разработчикам доступ к ядру операционной системы.

По данным анонимного источника в Microsoft, участники встречи, вероятно, будут обсуждать возможность работы их приложений в первую очередь в пользовательском пространстве, имеющем меньше привилегий в сравнении с уровнем ядра. Microsoft пообещала рассказать о достигнутых решениях и договорённостях после завершения саммита.

Delta Air Lines обрушилась с критикой на компанию CrowdStrike, ставшую виновницей глобальных сбоев IT-инфраструктуры. Как сообщает The Register, в CrowdStrike заявили, что предлагали авиакомпании помощь, но не получили ответа. Глава Delta утверждает, что предложение о помощи было незначительным и поступило слишком поздно, а теперь пытается «обвинить жертву» в письме.

В прошлом месяце CrowdStrike выпустила дефектное обновление своего защитного ПО Falcon, в результате чего BSOD настиг более 8 млн Windows-систем. В случае с Delta, по данным юристов компании, проблема затронула более 37 тыс. компьютеров, нарушив планы более 1,3 млн пассажиров. Впоследствии Delta пригрозила иском CrowdStrike и Microsoft, заявив, что инцидент обошёлся ей в $500 млн убытков. Представители потенциальных ответчиков уже заявили, что предлагали компании помощь, но не дождались ответа.

Источник изображения: Icons8 Team / Unsplash

В письме CrowdStrike к Delta разработчик ПО обвинил авиакомпанию в том, что именно действия её специалистов привели к столь масштабным последствиям, текст схожего содержания отправила и Microsoft, обвинившая Delta в использовании устаревших IT-решений. В авиакомпании считают, что никаким образом не несут ответственность за неправильно работающее ПО, не говоря уже о сбое других систем по всему миру. Сейчас CrowdStrike грозит и коллективный иск со стороны инвесторов.

В ходе препирательств выяснились интересные подробности. К тому времени, как глава CrowdStrike связался с главой Delta (один раз ночью 22 июля), с момента инцидента прошло почти четыре дня и Delta восстановила свои критические системы и работу большинства прочих компьютеров. По словам компании, предложение помощи поступило «слишком поздно», а телефонный звонок был «бесполезным и несвоевременным». В Delta отрицают, что разработчик ПО якобы «без устали» работал, пытаясь восстановить системы Delta.

Более того, утверждается, что после того, как компьютеры с Windows начали отключаться по всему миру, CrowdStrike не приняла срочных мер и не оценила должным образом масштаб и последствия сбоя. А единственная помощь в первые 65 часов после инцидента заключалась в ссылке на общедоступный сайт с советом провести ручную перезагрузку пострадавших ПК и удалить сбойные файлы. Хуже того, обновление для автоматизированного устранения проблемы, вышедшее 21 июля, само содержало дополнительный баг, из-за чего многие машины не смогли заработать без дополнительного вмешательства.

Источник изображения: Sven Piper/unsplash.com

В Delta говорят о миллиардах долларов, вложенных в IT-решения, а причиной затянувшегося восстановлении IT-систем стало то, что компания слишком полагалась на CrowdStrike и Microsoft. В частности, сообщается, что около 60 % критически важных приложений Delta и связанных с ними данных, включая системы резервирования, зависят от Windows и Falcon. Доверие к производителям ПО сыграло злую шутку.

В CrowdStrike в ответ заявили, что Delta упорно продвигает вводящий в заблуждение нарратив. Утверждается, что Джордж Курц позвонил представителю авиакомпании в течение четырёх часов после инцидента 19 июля, а начальник службы безопасности разработчика наладил прямой контакт с коллегами из Delta через считаные часы после инцидента. При этом команды обеих компаний тесно сотрудничали уже спустя несколько часов, причём CrowdStrike предоставляла гораздо большую поддержку, чем просто ссылка на сайт с базовыми сведениями.

Косвенным доказательством является то, что один из членов совета директоров Delta опубликовал в LinkedIn заявление о том, что глава CrowdStrike и его команда проделали невероятную работу, круглосуточно трудясь в сложных условиях для устранения неполадок. В Delta отказались от дальнейших комментариев, но после слов благодарности судиться с виновниками инцидента, безусловно, будет труднее. В письме CrowdStrike снова призвала Delta прекратить попытки уйти от ответственности и сообщить клиентам и акционерам всё, что известно об инциденте, предшествующих решениях и о принятых мерах.

Компания Microsoft заявила, что её руководитель Сатья Наделла (Satya Nadella) напрямую связался с руководителем авиакомпании Delta Air Lines во время глобального сбоя Windows-систем, вызванного проблемным обновлением защитного ПО CrowdStrike. Но, как передаёт The Register, ответа на предложение помощи он так и не дождался. Сейчас юристы Microsoft защищаются от выдвигаемых авиакомпанией обвинений — та намерена взыскать $500 млн с Microsoft и CrowdStrike.

В прошлом месяце CrowdStrike выпустила обновление, вызвавшее «синий экран смерти» на 8,5 млн системах под управлением Windows. Позже Microsoft обвинила Евросоюз, законодательно определивший обязанность разработчика предоставлять создателям сторонних программ низкоуровневый доступ к ядру ОС, что в значительной степени и привело к катастрофическим сбоям.

Delta пришлось вручную восстанавливать работу 40 тыс. серверов, а из-за сбоя пришлось отменить 5000 рейсов. Пострадали и другие авиалинии, а также железные дороги, банки, медицинские организации — но у Delta на восстановление работоспособности систем ушло очень много времени. Сбой CrowdStrike вскрыл и другие проблемы Delta в IT-сфере. Так, информационные системы компании оказались недостаточно гибкими в критический момент.

Источник изображения: Miguel Ángel Sanz/unsplash.com

Юристы CrowdStrike также сообщили о «вводящем в заблуждение нарративе» о том, что CrowdStrike ответственна за IT-решения Delta и её реакцию на сбой, передаёт DataCenter Dynamics. Сообщается, что CrowdStrike предлагала техническую помощь Delta — глава компании Джордж Куртц (George Kurtz) лично обратился к гендиректору Delta, но, как и Сатья Наделла, ответа удостоен не был. Crowdstrike ожидает, что Delta объяснит публике, акционерам и, возможно, суду, почему CrowdStrike должна отвечать за действия и поведение Delta во время инцидента.

Представитель Microsoft заявил, что комментарии Delta «неполные, ложные, вводящие в заблуждение и разрушительные для Microsoft и её репутации». Подчёркивается, что Delta не пользовалась облачными сервисами Microsoft, вместо этого заключив сделку с IBM в 2021 году и Amazon (AWS) в 2022-м. Другими словами, обязанности по восстановлению систем официально лежали на других облачных операторах.

По предварительным оценкам Microsoft, Delta, в отличие от её конкурентов, не модернизировала свою IT-инфраструктуру. Компании предлагается раскрыть, как именно она пользовалась сервисами IBM и AWS. Министерство транспорта США начало собственное расследование сбоя Delta и других компаний.

У Microsoft пятого августа произошёл новый сбой в работе облака Azure, затронувший несколько сервисов для клиентов в Северной и Латинской Америке, пишет ресурс BleepingComputer. По словам компании, проблемы начались около 18:22 UTC (21:22 мск) и повлияли на сервисы, использующие облачную CDN-службу Azure Front Door (AFD). Как сообщила Microsoft, инцидент был вызван «изменением конфигурации». «Мы откатили это изменение, и с 19:25 UTC (22:25 мск) в большинстве сервисов наблюдается восстановление», — рассказала компания.

BleepingComputer отметил, что в Великобритании клиенты также сообщали об ошибках при подключении к сервисам Azure (включая Azure DevOps), а на странице состояния Azure DevOps было отмечено, что проблемы коснулись и пользователей из Бразилии. На сайт Downdetector пришли тысячи сообщений пользователей о проблемах с подключением к серверам и входом в систему, хотя на странице состояния работоспособности службы (Service Health Status) не было указано никаких проблем с Azure на протяжении всего сбоя.

Источник изображения: techcommunity.microsoft.com

На прошлой неделе Microsoft столкнулась с более продолжительным сбоем, который был вызван DDoS-атакой, нацеленной на несколько сайтов Azure Front Door и CDN. «Хотя первоначальным событием-триггером послужила DDoS-атака, которая активировала наши механизмы защиты от DDoS, первоначальное расследование показало, что ошибка в реализации нашей защиты усилила воздействие атаки, а не смягчила его», — заявила Microsoft.

Британская телеком-компания Virgin Media Wholesale подала в суд на владельцев рыболовецкого траулера Lida Suzanna. По информации Datacenter Dynamic, предположительно именно это судно повредило подводный кабель, соединяющий Ирландию и Великобританию, 26 января 2015 года.

Компания подала иск в Ирландии, требуя возместить €800 тыс. ($870 тыс.) ущерба «владельцами и иными заинтересованными лицами», имеющими отношение к траулеру. Проложенный в 1999 году кабель Sirius South протяжённостью 219 км проложен между Дублином и Блэкпулом. Предполагается, что ловившее морских гребешков судно задело дно жёсткими металлическими рамными сетями, повредив телекоммуникационную инфраструктуру.

Всего Virgin владеет двумя кабелями между Ирландией и «большим» островом: Sirius South и Sirius North. Последний проложен в пределах Соединённого Королевства между Шотландией и Северной Ирландией. После инцидента оператор быстро переключился на второй кабель, но пользователи заметили падение скорости интернет-доступа.

Юристы истцов заявили, что ответчики должны были знать о расположении кабеля, отмеченного на используемых в отрасли картах и в ирландском Морском атласе, поскольку существующие правила обязывают экипаж иметь документы о расположении инфраструктурных цифровых магистралей. Представители владельцев траулера утверждают, что нет никаких доказательств того, что именно этот корабль имеет отношение к инциденту, а за любое повреждение несёт ответственность сама Virgin, не обеспечившая достаточного заглубления и защиты кабеля.

Источник изображения: Fer Nando/unsplash.com

В своё время неисправность устранило принадлежащее Orange Marine судно Pierre de Fermat, спустя несколько дней после происшествия. Всего известны 18 случаев повреждения именно этого кабеля с 1999 года, когда его проложила предшественница Virgin — компания NTL. Ранее Virgin Media подавала иск против другого траулера Willie Joe — тоже за повреждения в минувшие годы. Впрочем, в этом случае дело было улажено в 2022 году.

Нарушения целостности подводных интернет-кабелей случаются во всём мире довольно регулярно. Например, недавно были повреждены кабели в Красном море и на западе Африки, из-за чего сократился трафик между континентами. А Великобритания даже приобрела специальный корабль для защиты подводных оптоволоконных и силовых кабелей.

В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

Оператор Vodacom, действующий на территории Южной Африки, наметил планы борьбы с участившимися кражами аккумуляторов, питающих базовые станции и иные инфраструктурные объекты. По данным DataCenter Dynamics, ежемесячно в регионе регистрируется 15–28 инцидентов вандализма, связанных с мобильной инфраструктурой, АКБ крадут по 18–30 раз в месяц.

В ЮАР у Vodacom есть 45 млн абонентов, и после каждого инцидента без коммуникаций остаются тысячи человек, а стоимость восстановления связи обходится в лучшем случае в несколько тысяч долларов. Проблема тесно связана с перебоями в электросетях страны и только усугубляет ситуацию — Vodacom Central Region стала использовать резервные источники питания и генераторы для подстраховки, после чего преступники стали красть аккумуляторы, генераторы, кабели и другое вспомогательное оборудование.

Только в мае государственная энергоснабжающая компания Eskom предупреждала, что, возможно, число перебоев с подачей энергии вырастет этой зимой (с июня по август) до беспрецедентного уровня, поскольку в Южной Африке продолжается энергетический кризис. В Eskom предупреждали, что отключения за 32-часовой цикл могут достигнуть 16 часов. В Vodacom уже объявили, что усилили меры безопасности на площадках с базовыми станциями, установив камеры видеонаблюдения. Кроме того, начался монтаж станций в антивандальных контейнерах с сигнализаций.

Источник изображения: Sergio-sq/pixabay.com

Также указывается, что некоторые преступники уже предстали перед судом и приговоры за порчу инфраструктуры весьма жёсткие. Например, в мае 2022 года за кражу аккумуляторов базовых станций трое преступников приговорены к 15 годам тюрьмы за каждый эпизод, каждый получил по 30 лет заключения. Аналогичные приговоры выносятся и за кражу генераторов — ущерб для оператора в таких случаях иногда составляет десятки тысяч долларов.

Это не единственная проблема телеком-корпораций в Африке и далеко за её пределами. Так, в Ботсване оператор Botswana Telecommunications Corporation (BTC) наметил планы отказа от медных компонентов в своём оборудовании из-за участившихся краж. Проблема коснулась даже относительно благополучных стран вроде Великобритании — в прошлом месяце преступники оставили без интернета Оксфордшир, украв 500 м медного кабеля, причём это далеко не первый случай.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.