Катастрофический пожар, произошедший во вторник на прошлой неделе в сингапурском дата-центре Digital Realty, всё ещё осложняет работу облачных операторов. The Register, в частности, сообщает, что к полноценной работе не может приступить облачный регион Alibaba Cloud — в компании ждут, когда просохнет оборудование, чтобы попытаться восстановить данные.

Согласно данным Alibaba Cloud, миграция и восстановление данных в повреждённом ЦОД SIN11 идёт по плану. Работа облачных сервисов постепенно восстанавливается. В компании подчеркнули, что часть оборудования по-прежнему находится в небезопасной и заблокированной зоне дата-центра. О возможном затоплении ряда помещений пожарные предупредили оператора заранее. Некоторое оборудование требует тщательной просушки до того, как можно будет попытаться запустить его без дополнительной угрозы целостности данных. На их восстановление уйдёт некоторое время. Из-за сбоя Alibaba Cloud, как выяснилось, пострадали и различные сервис-провайдеры, включая Lazada и ByteDance.

Источник изображения: Adam Wilson/unsplash.com

Причиной пожара, вероятно, стало возгорание Li-Ion элементов ИБП. Сообщалось, что для тушения и охлаждения АКБ пришлось задействовать пожарного робота, поскольку аккумуляторы могли повторно воспламениться, взорваться и выделить токсичные вещества. Ситуация усугублялась тем, что АКБ находились на третьем этаже четырёхэтажного ЦОД. Хотя современные нормы Сингапура предписывают размещать ИБП на первом этаже, объект Digital Realty ввели в эксплуатацию задолго до принятия этих норм. Это единственный из трёх кампусов Digital Realty в Сингапуре, созданный на основе уже имеющейся инфраструктуры. Ещё два были возведены с нуля.

Источник изображения: Daan Mooij / Unsplash

Как сообщает Alibaba Cloud, к вечеру злополучного вторника всё ещё звучала пожарная сигнализация, а некоторое сетевое оборудование функционировало со сбоями из-за высоких температур. Клиентов предупредили о возможных сбоях во всех зонах доступности данного облачного региона. В среду большинство облачных сервисов восстановили работу в результате переноса части нагрузок. В пятницу было объявлено, что часть оборудования находится «в стадии безопасной миграции». В субботу уже проводилась подготовка к установке оборудования, включая его сушку.

От грандиозного пожара в своём время пострадал ЦОД OVHCloud в Страсбурге, долгое время оператор разбирался многочисленными претензиями пользователей. В самом Сингапуре после крупного сбоя дата-центра Equinix в прошлом году власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

Пожары в дата-центрах становятся едва ли не заурядным явлением — новости о новых возгораниях приходят почти ежемесячно. Как сообщает DataCenter Dynamics, на днях огонь нарушил работу ЦОД в калифорнийском Эль-Сегундо, входящем в округ Лос-Анджелес. По имеющимся данным, пожарным пришлось закрыть два зала для колокейшн-клиентов.

Дата-центр LAX12 компании Digital Realty пострадал от пожара ещё в воскресенье, 21 мая, но информация до сих пор поступает буквально по крупицам. Известно, что огонь уничтожил неизвестное число серверов, а страница LAX12 на сайте оператора не открывается, хотя в целом ресурс работает корректно.

Возгорание началось в одной из серверных стоек в помещении Colo 4 в Эль-Сегундо, в результате пострадал ряд 4 в помещении Colo 4. Сработавшая система пожаротушения частично залила водой и соседние ряды. Известно, что заодно было обесточено и помещение Colo 3. По данным DataCenter Dynamics, серверы в пострадавшем помещении до сих пор не работают, хотя электроснабжение Colo 3 было восстановлено примерно через час после начала инцидента.

Источник изображения: Toby Elliott/unsplash.com

Как сообщает компания Evocative, обслуживание отсутствует уже несколько дней, по некоторым данным, доступ к информации на серверах пока не могут получить и другие пользователи. По словам одного из клиентов Colo 3, после пожара зал был полон людьми, желающими получить доступ к Colo 4. Конференц-залы также были полны посетителями, а в воздухе витал сильный запах дыма и химикатов. При этом помещение Colo 3, похоже, не пострадало.

Примечательно, что новостей о происшествии в СМИ на удивление немного. 24 мая опубликована информация о намерении строить 13-этажный ЦОД буквально здесь же, в Лос-Анджелесе, но о пожаре даже не упоминается. Недовольные стекаются на Reddit, хотя и здесь их относительно немного. Тем не менее, уже начались разговоры о возможном коллективном иске к компании. Один из очевдидцев сообщает, что часть серверных стоек оплавилась, а вместе с ними и кабельные лотки.

Одним из крупнейших пожаров за последние годы стало возгорание двух ЦОД OVHCloud в Страсбурге, последствия которого не могут полностью устранить до сих пор — у клиентов имеются большие претензии к оператору ЦОД, причём OVH, по некоторым данным, не стремится как можно скорее уладить конфликт.

Часть сервисов Google Cloud Platform региона europe-west9-a, по сообщению The Register, остаются недоступными уже третью неделю. Причина — затопление и пожар в парижском ЦОД Global Switch. О сроках полного восстановления работоспособности облачных служб информации по-прежнему нет. Сейчас компания готовит отчёт об инциденте.

Инцидент, о котором идёт речь, произошёл 25 апреля нынешнего года. Из-за поломки насоса охлаждающей системы произошла протечка воды в аккумуляторном зале одного из двух дата-центров на территории парижского кампуса Global Switch. Это спровоцировало возгорание батарей и последующее отключение облачных сервисов. Отмечается, что возгорание аккумуляторных блоков сопровождалось очень высокими температурами, а поэтому пожарные не могли приступить к тушению в течение нескольких часов.

Источник изображения: Google

На устранение последствий подобных инцидентов требуется много времени. Кроме того, необходимо заменить вышедшее из строя оборудование и восстановить работоспособность подсистемы резервного питания от батарей. Затопление нанесло наибольший ущерб зоне europe-west9-a — одной из трёх в парижском регионе. Более того, в минувшие выходные в течение приблизительно пяти часов наблюдались неполадки в работе сервисов Google Cloud в зоне europe-west9-c.

В течение последнего времени пожары охватили сразу несколько крупных ЦОД. Так, в марте 2021 года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге: в результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов. Возгорание также произошло в ЦОД иранской Telecommunication Infrastructure Company (TIC). Затем пожар привёл к самому масштабному в мире сбою ЦОД: в результате инцидента произошёл массовый сбой в работе мессенджера KakaoTalk.

Крупнейший банк Нигерии Zenith Bank пострадал от пожара в принадлежащем ему центре обработки данных. По информации DataCenter Dynamics, причиной пожара стало возгорание в отсеке, в котором находились резервные источники питания ЦОД, что в итоге и привело к отключению энергоснабжения и перебоям в работе.

Утром 3 мая начались проблемы с обслуживанием клиентов — большинство банковских сервисов стали недоступны. По данным The Cable, сигнал поступил пожарным в 07:25. Горел отсек резервного питания на первом этаже четырёхэтажного здания. Известно, что изначально не работало как приложение банка, так и банкоматы финансово-кредитной организации, а также другие службы.

Источник изображения: The Cable

Впрочем, по данным портала Tech Cabal, банк пытался подключить резервную энергетическую инфраструктуру до конца прошлого дня. По имеющимся данным, особенности инфраструктуры заставляют переключать неактивные сервисы вручную, комментариев от банка пока не поступало.

В последнее время пожары в ЦОД становятся едва ли не заурядным явлением. В прошлом месяце от огня пострадал ЦОД Global Switch во Франции, не так давно в Южной Корее пострадал от возгорания ЦОД оператора популярного местного мессенджера и других сервисов — KakaoTalk, он буквально оставил без важных услуг десятки миллионов человек.

Наконец, чрезвычайное значение приобрёл пожар в страсбургском ЦОД OVHCloud — компания до сих пор не может справиться с правовыми последствиями инцидента. Общее у многих пожаров одно — возгорание часто начинается в отсеках, отвечающих либо за электропитание, либо за резервное электропитание ЦОД, нередко причиной происшествий становятся литий-ионные аккумуляторы.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.