В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

Сбой в работе насоса охлаждающей системы, похоже, стал причиной утечки воды в парижском дата-центре компании Global Switch, которая, судя по всему, и привела к пожару в аккумуляторном отсеке. Как сообщает DataCenter Dynamics, в результате этого пострадали ресурсы ряда европейских органов власти и сервисы Google Cloud Platform.

Как сообщили представители Global Switch, инцидент произошёл в помещении одного из двух ЦОД на территории парижского кампуса компании, протечка воды случилась в аккумуляторном отсеке, что и спровоцировало возгорание. Помимо сервисов Google Cloud региона europe-west9-a, сбои работы в котором привели к отключению облачных сервисов во многих регионах. Заодно пострадали онлайн-ресурсы властей многих французских городов и муниципалитетов, а также посольств, консульств и других структур.

Известно, что после прибытия пожарных возгорание локализовали. Пострадавших нет, но некоторое количество клиентов временно лишено доступа к собственным ресурсам. Пострадал местный хостинг-провайдер Ecritel, часть сервисов которого недоступны, есть данные о проблемах у мобильного оператора Orange и студии Ubisoft, хотя неизвестно, связаны ли проблемы последних именно с данным пожаром. Пока пострадавшим рекомендуют переключиться на использование других облачных регионов. Ущерб ещё предстоит оценить.

Источник изображения: Google

Всего месяц назад во Франции горел ЦОД Maxnod, а пожар в страсбургском дата-центре OVHcloud в 2021 году привёл к тотальному уничтожению данных некоторых компаний и многомиллионным убыткам — компания до сих пор не справилась с последствиями инцидента. Причём в этом случае проблема тоже была связана с, как сообщалось, аномальным уровнем влажности в энергоотсеках. Не так давно возгорание Li-Ion аккумуляторов привело к сбоям в работе южнокорейского мессенджера KakaoTalk — компания стала жертвой крупнейшего в мире инцидента в мире ЦОД. Ещё один небольшой инцидент произошёл в ЦОД Cyxtera.

Эксперты Uptime Institute, по сообщению NetworkWorld, предупреждают о возможной опасности использования литий-ионных батарей в ЦОД. По мнению экспертов, такие накопители энергии повышают риск возгорания.

В течение последнего времени сразу несколько крупных дата-центров пережили масштабные пожары. Так, в марте 2021 года огонь уничтожил ЦОД французской компании OVHcloud в Страсбурге. Возгорание также произошло на площадке иранской Telecommunication Infrastructure Company (TIC). Кроме того, пожар привёл к самому масштабному в мире сбою ЦОД Kakao: этот инцидент был вызван воспламенением аккумуляторов. Возгорание батарей спровоцировало проблемы в дата-центре Cyxtera и в ЦОД Maxnod.

Изображение: SK On

Как отмечает консалтинговая фирма Frost & Sullivan, в настоящее время Li-Ion аккумуляторы широко используются в источниках бесперебойного питания. Ожидается, что к 2025 году на них будет приходиться 38,5 % рынка батарей для ЦОД против 15 % в 2020-м. Такие накопители энергии обладают рядом преимуществ по сравнению со свинцово-кислотными батареями — они компактнее, проще в обслуживании и имеют более продолжительный срок эксплуатации. Обратной стороной медали является повышенная вероятность воспламенения.

Источник: Uptime Institute

По оценкам Uptime Institute, примерно 7 % сбоев в ЦОД происходит в связи с пожарами. Причём Li-Ion аккумуляторы крайне плохо поддаются тушению традиционными средствами. Они горят интенсивнее, дольше и при более высокой температуре, нежели свинцово-кислотные изделия. Поэтому такие элементы в случае возгорания могут нанести ЦОД колоссальный ущерб.

Отмечается, что даже если оборудование в дата-центре не пострадает непосредственно от огня, дым и продукты горения, попавшие в серверы, в перспективе могут спровоцировать преждевременные отказы. Поэтому, считают специалисты, операторам ЦОД следует сопоставлять выигрыш в энергоэффективности от внедрения литий-ионных батарей с рисками возгорания и сопутствующими убытками.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.

Пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), едва не оставил без доступа в Сеть всю страну. TIC является фактически единственным оператором международной интернет-связи в стране. Компания защищает Иран от внешних кибератак, но вместе с тем и фильтрует весь трансграничный трафик, блокируя доступ ко многим зарубежным соцсетям, новостным сайтам, мессенджерам, видеосервисам и т.д.

Также TIC вместе с дочерними и связанными структурами контролируют практически весь рынок проводного доступа в стране и значительную часть — беспроводного. Подобный шлюз позволяет контролировать все основные потоки информации, но такая система оказалась очень уязвимой. По данным сервиса NetBlocks, возгорание на три часа лишило связи Тегеран и другие регионы, а Cisco BGPStream отрапортовал об одномоментной недоступности сразу 2638 префиксов, а также и десятков других в течение нескольких часов.

Источник: NetBlocks

По данным главы TIC Хамида Фаттахи (Hamid Fattahi), нарушение работы системы энергообеспечения привело к возгоранию ИБП и электрической инфраструктуры, в результате чего наблюдались перебои со связью как внутри страны, так и сбои доступа в международную Сеть. И это не единственная проблема — местное Министерство связи запросило у России дополнительные интернет-каналы для замены того, что пролегал по территории Украины.

Тем не менее, местный парламентский комитет одобрил общие принципы законодательства, направленного на дополнительный контроль правительством интернет-трафика. Законопроект был предложен ещё три года назад, но его принятие откладывалось из-за недовольства населения. В частности, новые нормы предусматривают уголовную ответственность за использование в стране VPN-сервисов, включая штрафы и даже тюремные сроки.

Через год после пожара в дата-центре OVHcloud в Страсбурге, наконец, опубликован официальный отчёт, согласно которому сгоревший объект не соответствовал многим требованиям к безопасности подобного типа помещений. Здание дата-центра SBG2 вспыхнуло 10 марта 2021 года, но пострадал и соседний ЦОД SBG1, который было решено не восстанавливать.

По данным местных экспертов, которые приводит DataCenter Dynamics со ссылкой на Le Journal Du Net (JDN), SBG2 не имел автоматической системы пожаротушения, деревянные потолки помещения способны были противостоять огню не более часа, а система вентиляции создавала условия, благодаря которым огонь распространялся гораздо быстрее, чем мог бы. Более того, пожарные встретили в горящем здании электрические дуги протяжённостью более метра, вспыхивавшие на пути в энергоотсек.

Источник изображения: Bas-Rhin Fire Service (via DataCenter Dynamics)

На полное отключение электропитания ушло три часа, поскольку единой точки изоляции от энергосети у ЦОД не было. Так что некоторые клиенты всё ещё пользовались серверами после начала возгорания. После того, как огонь вырвался из энергоотсека, он стал быстро распространяться по помещениям из-за неудачной конструкции системы вентиляции, обеспечивающей приток свежего воздуха для охлаждения серверов.

Источник изображения: Bas-Rhin Fire Service (via DataCenter Dynamics)

Отчёт может повлиять на грядущие судебные разбирательства и капитализацию компании, которая недавно вышла на биржу — бывшие клиенты подали к OVHcloud коллективный иск, обвиняя её в том, что она не справилась со своими обязанностями и, кроме того, не предоставила адекватную компенсацию пострадавшим. Ранее сообщалось, что к иску присоединились 103 клиента, ещё 4 крупных игрока решили выступить в суде самостоятельно.