23 ноября 2022 года на крыше здания ЦОД компании QTS в Пискатауэй в Нью-Джерси (США) произошёл сильный пожар. Для тушения огня были задействованы несколько единиц техники; к счастью, в результате возгорания никто не пострадал.

О причине пожара пока ничего не сообщается. Но известно, что на крыше здания находились легко воспламеняющиеся материалы, что усложняло работу пожарных. На тушение ушло более двух часов, при этом подавалась вода потоком от 1900 до 7600 литров в минуту.

Источник изображения: New Market Fire Department

Пока не ясно, были ли залиты залы с оборудованием. Впрочем, о каких-либо сбоях в работе ЦОД ничего не сообщается. На крыше здания располагались солнечные батареи — часть из них были уничтожены огнём.

Дата-центр был приобретён у Dupont Fabros в 2016 году: он расположен на территории кампуса площадью приблизительно 15 га. Любопытно, что пожар произошёл на следующий день после того, как QTS опубликовала приглашение на экскурсию по объекту, работающему на возобновляемых источниках энергии.

В течение последнего времени пожары охватили сразу несколько крупных ЦОД. Так, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге: в результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов. Возгорание также произошло в ЦОД иранской Telecommunication Infrastructure Company (TIC). А не так давно пожар привёл к самому масштабному в мире сбою ЦОД Kakao: в результате инцидента произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев.

Отвечать за недавний пожар в кампусе ЦОД SK C&C Data Center неподалёку от Сеула предстоит SK Group. Инцидент, о котором идёт речь, привёл к самому масштабному сбою в мире ЦОД — остановке сразу 32 тыс. серверов и прекращению работы сервисов южнокорейской интернет-компании Kakao, которыми пользуются около 90 % корейцев.

Напомним, пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД, который был построен компанией SK ecoplant, а управлялся структурой SK C&C. Ранее сообщалось, что возгорание произошло по причине перегрева литий-ионных аккумуляторов производства SK On (входит в SK Group). Система управления батареями (BMS) якобы дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату.

Изображение: SK On

SK Group проблему с батареями отрицает, но всё же решила взять на себя полную ответственность за пожар. Однако пока не ясно, какую часть затрат в связи с простоем сервисов Kakao, против которой уже подан коллективный иск, и компенсациями пользователям возьмёт на себя SK Group. Дело в том, что сама Kakao тоже виновата в длительной недоступности своих систем. У компании попросту не были разработаны планы поведения в экстренных ситуациях, а поэтому не удалось оперативно перейти на резервные ресурсы.

Южнокорейская интернет-компания Kakao назвала причину пожара в кампусе ЦОД SK C&C Data Center неподалёку от Сеула: утверждается, что возгорание спровоцировали литий-ионные аккумуляторы производства дочерней компании SK Group, которой и принадлежит дата-центр.

Напомним, пожар начался 15 октября 2022 года. В результате, произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев. Кроме того, была нарушена работа других сервисов Kakao, включая платёжную платформу KakaoPay, почтовую службу, такси и пр. На восстановление доступности систем ушло много времени, в том числе потому, что у компании не были разработаны планы поведения в экстренных ситуациях. На текущий момент это, похоже, самый масштабный инцидент такого рода в мире ЦОД, поскольку в результате пожара были одновременно остановлены 32 тыс. серверов.

Источник изображения: Yonhap

Kakao заявляет, что возгорание возникло из-за перегрева литий-ионных аккумуляторов, изготовленных на предприятии SK On (входит в SK Group). Говорится, что система управления батареями (BMS) за несколько часов до возникновения пожара дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату в здании ЦОД. Однако SK Group претензии в свой адрес отрицает. Она утверждает, что никакие уведомления от BMS не поступали, а специалист помещение с аккумуляторными блоками не посещал.

Полиция и пожарные службы ещё выясняют причины инцидента. Компания Kakao в результате возгорания понесла непосредственные убытки в размере $13,9 млн. Кроме того, предстоит урегулировать коллективные иски, поданные со стороны пользователей сервисов в связи со сбоями в их работе. Если будет установлено, что пожар произошёл по вине батарей SK On, компании SK всё же придётся взять на себя частичную компенсацию ущерба. Правительство Южной Кореи потребует объяснений от руководства Kakao и SK Group, а также интернет-группы Naver, которая тоже пострадала из-за возгорания.

UPD: Между тем, как сообщается, корейская полиция провела обыски в офисах SK Group и пострадавшем от огня ЦОД. В ходе рейдов были изъяты документы, которые могут иметь отношение к пожару. Кроме того, в рамках расследования будут допрошены представители SK Group.

Отмечается также, что ЦОД SK C&C Data Center в настоящее время функционирует без системы резервного питания. А поэтому в ближайшие три недели не исключены дальнейшие сбои в работе сервисов Kakao.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.

Компания OVHcloud построила новый ЦОД SBG5 на месте своих объектов, один из которых (SBG2) в 2021 году был полностью уничтожен, а второй (SBG1) необратимо пострадал от пожара. Строительство нового дата-центра в Страсбурге (Франция) обошлось в €30 млн, и он намного лучше защищён от огня. Впрочем, компания всё ещё не сообщила о причинах прошлогоднего пожара, а более 150 пострадавших пользователей требуют компенсации, не зная точных причин происшествия.

Ранее, напомним, местные пожарные сообщали, что возгорание мог вызвать избыток влаги в помещениях, ответственных за энергоснабжение объекта, а деревянные потолки, свободная циркуляция воздуха и отсутствие автоматических систем пожаротушения способствовали стремительному распространению огня. Кроме того, не было возможности целиком обесточить здание одним поворотом рубильника, поэтому отключить подачу энергии удалось только через два часа после начала пожара.

Источник изображения: OVHcloud

Однако на церемонии открытия подобные вопросы не поднимались, зато было анонсировано строительство к 2024 году 15 новых дата-центров во Франции, Германии, Канаде, Индии и Сингапуре. Предполагается, что это позволит снизить зависимость Европы от зарубежных облачных провайдеров. Планируется и создание системы Cold Archive на базе четырёх мини-ЦОД, расположенных на расстоянии не менее 200 км друг от друга. Они предназначаются для «холодного» хранения данных в ленточных архивах в течение длительного времени. Запуск проекта запланирован уже на ноябрь 2022 года.

Фото: OVHcloud

SBG5 построен в соответствии по совсем иным стандартам, нежели его сгоревший предшественник. Помещения площадью 1700 м² разделены на 19 изолированных отсеков, стены способны часами выдерживать напор огня, используются самые современные системы предупреждения о возгорании и пожаротушения, а аккумуляторы и компоненты системы энергоснабжения теперь размещаются за пределами самого здания в специальных контейнерах. Заявленный коэффициент PUE составляет 1,1–1,2, а коэффициент использования воды (WUE) ниже, чем допускает пакт Climate Neutral Data Centre Pact (CNDCP).

Согласно отчёту французской группы BEA-RI, официально занимающейся расследованиями техногенных происшествий, страсбургский пожар в дата-центре OVHcloud SBG2 мог быть вызван наличием влаги в зоне силовых инверторов, а его быстрому распространению способствовал целый ряд факторов и ошибки в проектировании ЦОД.

Хотя в докладе BEA-RI не называется точная причина возгорания, подтверждается информация о том, что огонь вспыхнул в энергоотсеке. Данные о том, что рядом с одним из инверторов был зарегистрирован высокий уровень влажности, ранее не публиковались. Пожарные, боровшиеся с огнём, представили собственный отчёт ещё в марте, а доклад BEA-RI появился только на прошлой неделе.

Источник изображения: BEA-RI

По данным нового доклада BEA-RI, огонь вспыхнул практически одновременно в двух энергоотсеках. Только примерно через час после возгорания удалось отключить электропитание ЦОД SBG2, а в соседних SBG3, SBG1 и SBG4 — ещё позже. Выяснилось, что в ЦОД не было механизма централизованного обесточивания, поэтому пришлось ждать, пока поставщик электроэнергии не перекрыл подачу со стороны подстанции. Хуже того, автоматически запустившиеся резервные дизель-генераторы также пришлось отключать вручную уже во время пожара.

В ходе расследования стало известно, что в течение примерно часа до возгорания сенсоры на силовых инверторах регистрировали аномальный уровень влажности, что могло «стать причиной внутреннего короткого замыкания, которое, вероятно, вызвало наблюдавшиеся повреждения». Однако так и не было установлено, была ли это ошибка датчиков или около силовых компонентов каким-то образом действительно оказалась жидкость.

Источник изображения: BEA-RI

Ещё в прошлом году отмечалось, что за день до пожара проводилось плановое обслуживание ИБП, которое также могло привести к возгоранию. Но теперь эксперты считают, что свинцово-кислотные аккумуляторы, работавшие в ЦОД, вряд ли стали причиной пожара — утверждается, что они намного устойчивее к возгораниям, чем их литий-ионные собратья, а OVHCloud обслуживала их в соответствии с рекомендациями производителей.

Отдельно отмечено, что пожарные датчики сработали оперативно, практически одновременно на всех этажах здания — применявшаяся система воздушного охлаждения позволила дыму и огню распространиться очень быстро. При этом не было возможности оперативно перекрыть доступ воздуха из-за конструкции фасадов здания. Распространению пожара способствовали и другие факторы вроде использования деревянных перекрытий и отсутствие автоматизированной системы пожаротушения — её не было и в других объектах OVHCloud, расположенных поблизости.

Источник изображения: BEA-RI

Кто именно виноват в инциденте, до сих пор остаётся под вопросом. Официально расследование всё ещё продолжается, а OVHcloud предпочитает не давать комментария до его завершения. Число претензий со стороны пострадавших клиентов нарастает, а юридическая компания Ziegler & Associés, действующая от лица более 140 потерпевших, продолжает готовиться к судебному или досудебному взысканию средств.

Пожар, в результате которого страсбургский дата-центр OVHCloud был полностью уничтожен огнём, а соседний — серьёзно повреждён, привёл к тому, что юристы Ziegler & Associates, собирающие материалы для коллективного иска от имени пострадавших клиентов, в итоге увеличили сумму возможной компенсации до €10 млн евро. Ранее также сообщалось, что отдельные иски подали четыре крупных (10+ тыс. сотрудников) клиента OVHCloud.

Инцидент, произошедший в марте 2021 года, крайне негативно повлиял на бизнес клиентов OVHCloud, лишившихся огромных баз данных, часть из которых не подлежит восстановлению. В числе прочих пострадали и уникальные данные клиентов медицинских компаний, а также базы пациентов, которым положены рецептурные препараты. Значительный эффект пожар в страсбургском кампусе оказал и на туристические компании, лишившиеся данных о бронировании. Пострадали и другие компании, многим из которых придётся создавать сайты и базы данных с нуля.

Источник изображения: jarmoluk/pixabay.com

К февралю 2022 года число желающих подать коллективный иск при содействии Ziegler & Associates достигло 103, а ожидаемая сумма компенсации составила €1,9 млн. 30 мая юристы заявили, что число возможных участников процесса выросло до 140 (документы для 88 из них уже готовы), а сумма компенсации — до €10 млн. Юристы готовы отправить оператору ЦОД официальное уведомление от имени клиентов до конца июня 2022 года. При этом у OVHCloud будет возможность решить проблему в досудебном порядке.

Источник изображения: suhasrawool/pixabay.com

Известно, что изначально причиной возгорания ЦОД OVHCloud в Страсбурге была названа неисправность источника бесперебойного питания. В ходе дальнейшего расследования выяснилось, что на объекте отсутствовала автоматическая система пожаротушения, техническая возможность централизованного обесточивания, а деревянный потолок не соответствовал требованиям защищённости от огня для зданий ЦОД.

По слова самой OVHCloud, она немедленно после пожара приняла все меры для минимизации ущерба, включая обеспечение хостинга для пострадавших компаний на серверах в других ЦОД. Оператор утверждает, что пока юристы из Ziegler не выходили на контакт, поэтому комментировать содержание их уведомлений преждевременно. В свою защиту компания заявила, что с самого начала оказывала всю возможную поддержку пострадавшим клиентам — этим якобы объясняется малое число тех, кто планирует добиваться компенсации в судебном порядке.