Катастрофический пожар, произошедший во вторник на прошлой неделе в сингапурском дата-центре Digital Realty, всё ещё осложняет работу облачных операторов. The Register, в частности, сообщает, что к полноценной работе не может приступить облачный регион Alibaba Cloud — в компании ждут, когда просохнет оборудование, чтобы попытаться восстановить данные.

Согласно данным Alibaba Cloud, миграция и восстановление данных в повреждённом ЦОД SIN11 идёт по плану. Работа облачных сервисов постепенно восстанавливается. В компании подчеркнули, что часть оборудования по-прежнему находится в небезопасной и заблокированной зоне дата-центра. О возможном затоплении ряда помещений пожарные предупредили оператора заранее. Некоторое оборудование требует тщательной просушки до того, как можно будет попытаться запустить его без дополнительной угрозы целостности данных. На их восстановление уйдёт некоторое время. Из-за сбоя Alibaba Cloud, как выяснилось, пострадали и различные сервис-провайдеры, включая Lazada и ByteDance.

Источник изображения: Adam Wilson/unsplash.com

Причиной пожара, вероятно, стало возгорание Li-Ion элементов ИБП. Сообщалось, что для тушения и охлаждения АКБ пришлось задействовать пожарного робота, поскольку аккумуляторы могли повторно воспламениться, взорваться и выделить токсичные вещества. Ситуация усугублялась тем, что АКБ находились на третьем этаже четырёхэтажного ЦОД. Хотя современные нормы Сингапура предписывают размещать ИБП на первом этаже, объект Digital Realty ввели в эксплуатацию задолго до принятия этих норм. Это единственный из трёх кампусов Digital Realty в Сингапуре, созданный на основе уже имеющейся инфраструктуры. Ещё два были возведены с нуля.

Источник изображения: Daan Mooij / Unsplash

Как сообщает Alibaba Cloud, к вечеру злополучного вторника всё ещё звучала пожарная сигнализация, а некоторое сетевое оборудование функционировало со сбоями из-за высоких температур. Клиентов предупредили о возможных сбоях во всех зонах доступности данного облачного региона. В среду большинство облачных сервисов восстановили работу в результате переноса части нагрузок. В пятницу было объявлено, что часть оборудования находится «в стадии безопасной миграции». В субботу уже проводилась подготовка к установке оборудования, включая его сушку.

От грандиозного пожара в своём время пострадал ЦОД OVHCloud в Страсбурге, долгое время оператор разбирался многочисленными претензиями пользователей. В самом Сингапуре после крупного сбоя дата-центра Equinix в прошлом году власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

В результате начавшегося в четверг вечером пожара в 14-этажной башне Khawaja Tower в Дакке (Бангладеш) погибло минимум три человека. В здании располагались международные интернет-шлюзы (IIG), дата-центры и точки обмена трафиком (ICX), которые пострадали от пожара. Как сообщает Dhaka Tribune, из-за этого без стабильной связи остались 5 млн пользователей кабельного интернета, а у 23 млн абонентов сотовой связи наблюдаются проблемы с передачей данных и звонками.

В результате возгорания проблемы со стационарным интернет-доступом возникли у 5 из 12,5 млн пользователей. Многие полностью потеряли доступ в Сеть, а у тех, у кого он остался, заметно упала скорость соединения. Проблема коснулась и пользователей мобильного интернета: из 119,79 млн пользователей около 24 млн не могут выйти в Сеть, а некоторые лишились и обычных телефонных звонков. Если в норме страна использует полосу порядка 5 Тбит/с, то с отключением многих IIG пропускная способность упала до 1,2 Тбит/с.

Источник изображения: Bangladesh Fire Service and Civil Defence

Комментируя ситуацию, представитель организации ISPAB, представляющей интернет-провайдеров страны, заявил, что ситуация под контролем (пожар полностью потушили сегодня к утру), но доступ операторов в помещения пока ограничен. Уже известно, что из двух расположенных в здании ЦОД один (NRB) пострадал от пожара, а состояние второго (Dhaka Cola) неизвестно. Власти подтверждают, что 9–10 из имевшихся в Khawaja Tower шлюзов не функционируют, при этом каждый обеспечивает транзит данных 50–70 интернет-провайдеров. Всего потеряли возможность предоставлять услуги около 500–700 провайдеров.

По данным представителя IIG Forum, многие провайдеры, включая Level Three, Max Hub, Amra Networks, Earthnet, Vargo и Windstream пострадали от пожара и сейчас переключаются на резервные IIG. При этом часть из них обеспечивают подключения мобильным операторам — если некоторые полностью прекратили работу, то другие почти или совсем не пострадали. Впрочем, проблему связности это не решает, поскольку не все абоненты могут полноценно осуществлять даже голосовые звонки.

Источник: Twitter/NetBlocks

Мобильные операторы совместно с операторами ICX-узлов сейчас формируют новую инфраструктуру в другом, безопасном месте. По мнению экспертов, работоспособность быстро восстановить не получится, поскольку имевшееся оборудование пострадало, а новое оперативно не купить из-за дефицита на рынке. Впрочем, по степени влияния инцидент в Дакке пока «проигрывает» самому масштабному на текущий момент сбою ЦОД в Южной Корее, который тоже возник из-за пожара.

Как сообщает Datacenter Dynamics, руководство пожарных доложило об отсутствии в здании плана противопожарной безопасности. Точная причина возгорания пока не называется. С огнём, помимо пожарной службы, помогали бороться и другие государственные ведомства — от военных до полиции. Впрочем, это не единичный случай. Только весной зарегистрированы крупные возгорания ЦОД в США, Франции, Нигерии, а о более мелких инцидентах информация иногда не поступает вовсе.

Пожары в дата-центрах становятся едва ли не заурядным явлением — новости о новых возгораниях приходят почти ежемесячно. Как сообщает DataCenter Dynamics, на днях огонь нарушил работу ЦОД в калифорнийском Эль-Сегундо, входящем в округ Лос-Анджелес. По имеющимся данным, пожарным пришлось закрыть два зала для колокейшн-клиентов.

Дата-центр LAX12 компании Digital Realty пострадал от пожара ещё в воскресенье, 21 мая, но информация до сих пор поступает буквально по крупицам. Известно, что огонь уничтожил неизвестное число серверов, а страница LAX12 на сайте оператора не открывается, хотя в целом ресурс работает корректно.

Возгорание началось в одной из серверных стоек в помещении Colo 4 в Эль-Сегундо, в результате пострадал ряд 4 в помещении Colo 4. Сработавшая система пожаротушения частично залила водой и соседние ряды. Известно, что заодно было обесточено и помещение Colo 3. По данным DataCenter Dynamics, серверы в пострадавшем помещении до сих пор не работают, хотя электроснабжение Colo 3 было восстановлено примерно через час после начала инцидента.

Источник изображения: Toby Elliott/unsplash.com

Как сообщает компания Evocative, обслуживание отсутствует уже несколько дней, по некоторым данным, доступ к информации на серверах пока не могут получить и другие пользователи. По словам одного из клиентов Colo 3, после пожара зал был полон людьми, желающими получить доступ к Colo 4. Конференц-залы также были полны посетителями, а в воздухе витал сильный запах дыма и химикатов. При этом помещение Colo 3, похоже, не пострадало.

Примечательно, что новостей о происшествии в СМИ на удивление немного. 24 мая опубликована информация о намерении строить 13-этажный ЦОД буквально здесь же, в Лос-Анджелесе, но о пожаре даже не упоминается. Недовольные стекаются на Reddit, хотя и здесь их относительно немного. Тем не менее, уже начались разговоры о возможном коллективном иске к компании. Один из очевдидцев сообщает, что часть серверных стоек оплавилась, а вместе с ними и кабельные лотки.

Одним из крупнейших пожаров за последние годы стало возгорание двух ЦОД OVHCloud в Страсбурге, последствия которого не могут полностью устранить до сих пор — у клиентов имеются большие претензии к оператору ЦОД, причём OVH, по некоторым данным, не стремится как можно скорее уладить конфликт.

Часть сервисов Google Cloud Platform региона europe-west9-a, по сообщению The Register, остаются недоступными уже третью неделю. Причина — затопление и пожар в парижском ЦОД Global Switch. О сроках полного восстановления работоспособности облачных служб информации по-прежнему нет. Сейчас компания готовит отчёт об инциденте.

Инцидент, о котором идёт речь, произошёл 25 апреля нынешнего года. Из-за поломки насоса охлаждающей системы произошла протечка воды в аккумуляторном зале одного из двух дата-центров на территории парижского кампуса Global Switch. Это спровоцировало возгорание батарей и последующее отключение облачных сервисов. Отмечается, что возгорание аккумуляторных блоков сопровождалось очень высокими температурами, а поэтому пожарные не могли приступить к тушению в течение нескольких часов.

Источник изображения: Google

На устранение последствий подобных инцидентов требуется много времени. Кроме того, необходимо заменить вышедшее из строя оборудование и восстановить работоспособность подсистемы резервного питания от батарей. Затопление нанесло наибольший ущерб зоне europe-west9-a — одной из трёх в парижском регионе. Более того, в минувшие выходные в течение приблизительно пяти часов наблюдались неполадки в работе сервисов Google Cloud в зоне europe-west9-c.

В течение последнего времени пожары охватили сразу несколько крупных ЦОД. Так, в марте 2021 года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге: в результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов. Возгорание также произошло в ЦОД иранской Telecommunication Infrastructure Company (TIC). Затем пожар привёл к самому масштабному в мире сбою ЦОД: в результате инцидента произошёл массовый сбой в работе мессенджера KakaoTalk.

Крупнейший банк Нигерии Zenith Bank пострадал от пожара в принадлежащем ему центре обработки данных. По информации DataCenter Dynamics, причиной пожара стало возгорание в отсеке, в котором находились резервные источники питания ЦОД, что в итоге и привело к отключению энергоснабжения и перебоям в работе.

Утром 3 мая начались проблемы с обслуживанием клиентов — большинство банковских сервисов стали недоступны. По данным The Cable, сигнал поступил пожарным в 07:25. Горел отсек резервного питания на первом этаже четырёхэтажного здания. Известно, что изначально не работало как приложение банка, так и банкоматы финансово-кредитной организации, а также другие службы.

Источник изображения: The Cable

Впрочем, по данным портала Tech Cabal, банк пытался подключить резервную энергетическую инфраструктуру до конца прошлого дня. По имеющимся данным, особенности инфраструктуры заставляют переключать неактивные сервисы вручную, комментариев от банка пока не поступало.

В последнее время пожары в ЦОД становятся едва ли не заурядным явлением. В прошлом месяце от огня пострадал ЦОД Global Switch во Франции, не так давно в Южной Корее пострадал от возгорания ЦОД оператора популярного местного мессенджера и других сервисов — KakaoTalk, он буквально оставил без важных услуг десятки миллионов человек.

Наконец, чрезвычайное значение приобрёл пожар в страсбургском ЦОД OVHCloud — компания до сих пор не может справиться с правовыми последствиями инцидента. Общее у многих пожаров одно — возгорание часто начинается в отсеках, отвечающих либо за электропитание, либо за резервное электропитание ЦОД, нередко причиной происшествий становятся литий-ионные аккумуляторы.

Сбой в работе насоса охлаждающей системы, похоже, стал причиной утечки воды в парижском дата-центре компании Global Switc, которая, судя по всему, и привела к пожару в аккумуляторном отсеке. Как сообщает DataCenter Dynamics, в результате этого пострадали ресурсы ряда европейских органов власти и сервисы Google Cloud Platform.

Как сообщили представители Global Switch, инцидент произошёл в помещении одного из двух ЦОД на территории парижского кампуса компании, протечка воды случилась в аккумуляторном отсеке, что и спровоцировало возгорание. Помимо сервисов Google Cloud региона europe-west9-a, сбои работы в котором привели к отключению облачных сервисов во многих регионах. Заодно пострадали онлайн-ресурсы властей многих французских городов и муниципалитетов, а также посольств, консульств и других структур.

Источник изображения: suhasrawool/pixabay.com

Известно, что после прибытия пожарных возгорание локализовали. Пострадавших нет, но некоторое количество клиентов временно лишено доступа к собственным ресурсам. Пострадал местный хостинг-провайдер Ecritel, часть сервисов которого недоступны, есть данные о проблемах у мобильного оператора Orange и студии Ubisoft, хотя неизвестно, связаны ли проблемы последних именно с данным пожаром. Пока пострадавшим рекомендуют переключиться на использование других облачных регионов. Ущерб ещё предстоит оценить.

Всего месяц назад во Франции горел ЦОД Maxnod, а пожар в страсбургском дата-центре OVHcloud в 2021 году привёл к тотальному уничтожению данных некоторых компаний и многомиллионным убыткам — компания до сих пор не справилась с последствиями инцидента. Причём в этом случае проблема тоже была связана с, как сообщалось, аномальным уровнем влажности в энергоотсеках. Не так давно возгорание Li-Ion аккумуляторов привело к сбоям в работе южнокорейского мессенджера KakaoTalk — компания стала жертвой крупнейшего в мире инцидента в мире ЦОД. Ещё один небольшой инцидент произошёл в ЦОД Cyxtera.

Эксперты Uptime Institute, по сообщению NetworkWorld, предупреждают о возможной опасности использования литий-ионных батарей в ЦОД. По мнению экспертов, такие накопители энергии повышают риск возгорания.

В течение последнего времени сразу несколько крупных дата-центров пережили масштабные пожары. Так, в марте 2021 года огонь уничтожил ЦОД французской компании OVHcloud в Страсбурге. Возгорание также произошло на площадке иранской Telecommunication Infrastructure Company (TIC). Кроме того, пожар привёл к самому масштабному в мире сбою ЦОД Kakao: этот инцидент был вызван воспламенением аккумуляторов. Возгорание батарей спровоцировало проблемы в дата-центре Cyxtera и в ЦОД Maxnod.

Изображение: SK On

Как отмечает консалтинговая фирма Frost & Sullivan, в настоящее время Li-Ion аккумуляторы широко используются в источниках бесперебойного питания. Ожидается, что к 2025 году на них будет приходиться 38,5 % рынка батарей для ЦОД против 15 % в 2020-м. Такие накопители энергии обладают рядом преимуществ по сравнению со свинцово-кислотными батареями — они компактнее, проще в обслуживании и имеют более продолжительный срок эксплуатации. Обратной стороной медали является повышенная вероятность воспламенения.

Источник: Uptime Institute

По оценкам Uptime Institute, примерно 7 % сбоев в ЦОД происходит в связи с пожарами. Причём Li-Ion аккумуляторы крайне плохо поддаются тушению традиционными средствами. Они горят интенсивнее, дольше и при более высокой температуре, нежели свинцово-кислотные изделия. Поэтому такие элементы в случае возгорания могут нанести ЦОД колоссальный ущерб.

Отмечается, что даже если оборудование в дата-центре не пострадает непосредственно от огня, дым и продукты горения, попавшие в серверы, в перспективе могут спровоцировать преждевременные отказы. Поэтому, считают специалисты, операторам ЦОД следует сопоставлять выигрыш в энергоэффективности от внедрения литий-ионных батарей с рисками возгорания и сопутствующими убытками.

Очередной ЦОД стал причиной новостных сюжетов — как сообщают порталы DataCenter Dynamics и Alloforfait, в коммуне Сен-Тривье́-сюр-Муанья́н французского департамента Эн произошёл пожар в дата-центре Maxnod площадью около 800 м². Вероятной причиной считается возгорание в аккумуляторном отсеке ЦОД, питавшегося от солнечных панелей.

К тушению привлекли 49 машин и 81 пожарного. Сведений о погибших нет. ЦОД пока отключён от интернета и электричества, а сайты оператора Maxnod, как и других сервисов, арендовавших мощности в дата-центре, недоступны. Судя по выложенным в Twitter снимкам, от ЦОД мало что осталось. По данным Alloforfait, резервные копии сделаны буквально за день до пожара и, к счастью, хранились в другом месте. Кроме того, часть оборудования, судя по всему, оказалась в достаточной сохранности, чтобы извлечь данные.

Источник изображения: Hugues/Twitter

Это далеко не первый инцидент, связанный с дата-центрами, причём во многих случаях причиной отказов является именно проблема с электричеством. Крупнейшний в мире сбой ЦОД Kakao в Южной Корее был вызван возгоранием аккумуляторов, взрыв аккумуляторов в американском ЦОД Cyxtera повлиял на Oracle, а с последствиями печального известного пожара во французском ЦОД SGB2, который тоже начался в энергоотсеке, OVHCloud разбирается до сих пор.

Компании Bati Courtage и Bluepad одержали в суде победу над облачным провайдером OVHcloud. Как сообщает DataCenter Dynamics, в ходе разбирательства выяснилось, что резервные копии оператор хранил рядом с самими данными, в результате чего компании лишились огромных массивов информации. Суд постановил выплатить компаниям €100 тыс. и €150 тыс. соответственно — в первую очередь за то, что оператор не обеспечил компании тем уровнём надёжности резервного копирования, который был обещан.

ЦОД SGB2 в Страсбурге сгорел 10 марта 2021 года, вместе с ним пострадал соседний ЦОД SGB1. Архитектура дата-центров, приведшая к столь серьёзным последствиям, вызвала немало вопросов у экспертов. На месте старого кампуса построен новый, «огнеупорный» SBG5. Юридическая компания Ziegler & Associates привлекла более 130 клиентов для подачи коллективного иска и подала досудебную претензию к OVHCloud. Часть пострадавших решила судиться с OVHCloud самостоятельно.

Источник изображения: Saúl Bucio/unsplash.com

Так, компания Bati Courtage, занимающаяся коммерческой недвижимостью, использовала VPS и в результате пожара потеряла веб-сайт, а также данные клиентов, информацию о франшизах и сведения подрядчиках. Всё это было потеряно потому, что оплаченные резервные копии хранились в том же сгоревшем ЦОД. Компания потребовала €6,5 млн, но суд обязал выплатить €100 тыс., поскольку договором предусматривалось, что копии просто будут храниться в помещении, «физически изолированном» от VPS, а не в каком-то другом ЦОД.

В случае с Bluepad, предоставлявшей SaaS-услуги, компания платила за рабочий сервер в SBG1 и резервный в SBG2, но оказалось, что оба на деле находились в SBG2. Более того, OVHcloud буквально уничтожила данные Bluepad трагикомическим образом. Информация сохранилась после пожара, но инженеры OVHcloud включили сервер до его возвращения владельцам и автоматический скрипт, признав данные «устаревшими», удалил их, оставив Bluepad ни с чем. Bluepad потребовала компенсацию в размере €330 тыс.

Источник изображения: Max Kukurudziak/unsplash.com

Bluepad не оформляла подписку на резервное копирование, и если бы не привела свидетельств своевременного самостоятельного сохранения информации, решение суда могло оказаться менее благоприятным. Например, в 2022 году компании Adomos и Cinetic-IT уже судились с OVHcloud, но проиграли, преимущественно потому, что не подписались на резервное копирование. Предполагается, что среди подавших коллективный иск немало именно тех, кто не оформил такую подписку. Суд считает, что клиенты должны быть всегда готовы к тому, что данные могут быть потеряны.

OVHcloud сообщила DataCenter Dynamics, что намерена подать апелляции. Также её представители подчеркнули, что каждый случай тщательно изучается и компания прилагает все усилия для оказания клиентам максимально возможной поддержки. Предполагается, что страховка OVHcloud покроет лишь часть ущерба, а прочие деньги компании придётся выделить из собственных средств. В документах, подававшихся перед IPO, указывалось, что общие расходы на ликвидацию последствий пожара составят €105 млн.

Отмечается, что в последнее время пожары и иные инциденты в ЦОД участились. Так, в прошлого году случился крупнейший в мире сбой ЦОД, который привёл к остановке сразу 32 тыс. серверов и отказу в обслуживании 45 млн человек в Южной Корее. Kako, чьи сервисы и клиенты пострадали, решила отделаться подарочными смайликами и небольшими денежными компенсациями.