Материалы по тегу: пожар

24.11.2022 [20:44], Сергей Карасёв

В дата-центре QTS в Нью-Джерси произошёл сильный пожар

23 ноября 2022 года на крыше здания ЦОД компании QTS в Пискатауэй в Нью-Джерси (США) произошёл сильный пожар. Для тушения огня были задействованы несколько единиц техники; к счастью, в результате возгорания никто не пострадал.

О причине пожара пока ничего не сообщается. Но известно, что на крыше здания находились легко воспламеняющиеся материалы, что усложняло работу пожарных. На тушение ушло более двух часов, при этом подавалась вода потоком от 1900 до 7600 литров в минуту.

 Источник изображения: New Market Fire Department

Источник изображения: New Market Fire Department

Пока не ясно, были ли залиты залы с оборудованием. Впрочем, о каких-либо сбоях в работе ЦОД ничего не сообщается. На крыше здания располагались солнечные батареи — часть из них были уничтожены огнём.

Дата-центр был приобретён у Dupont Fabros в 2016 году: он расположен на территории кампуса площадью приблизительно 15 га. Любопытно, что пожар произошёл на следующий день после того, как QTS опубликовала приглашение на экскурсию по объекту, работающему на возобновляемых источниках энергии.

В течение последнего времени пожары охватили сразу несколько крупных ЦОД. Так, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге: в результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов. Возгорание также произошло в ЦОД иранской Telecommunication Infrastructure Company (TIC). А не так давно пожар привёл к самому масштабному в мире сбою ЦОД Kakao: в результате инцидента произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев.

Постоянный URL: http://servernews.ru/1077881
27.10.2022 [22:47], Сергей Карасёв

SK Group взяла на себя ответственность за крупнейший инцидент в мире ЦОД

Отвечать за недавний пожар в кампусе ЦОД SK C&C Data Center неподалёку от Сеула предстоит SK Group. Инцидент, о котором идёт речь, привёл к самому масштабному сбою в мире ЦОД — остановке сразу 32 тыс. серверов и прекращению работы сервисов южнокорейской интернет-компании Kakao, которыми пользуются около 90 % корейцев.

Напомним, пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД, который был построен компанией SK ecoplant, а управлялся структурой SK C&C. Ранее сообщалось, что возгорание произошло по причине перегрева литий-ионных аккумуляторов производства SK On (входит в SK Group). Система управления батареями (BMS) якобы дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату.

 Изображение: SK On

Изображение: SK On

SK Group проблему с батареями отрицает, но всё же решила взять на себя полную ответственность за пожар. Однако пока не ясно, какую часть затрат в связи с простоем сервисов Kakao, против которой уже подан коллективный иск, и компенсациями пользователям возьмёт на себя SK Group. Дело в том, что сама Kakao тоже виновата в длительной недоступности своих систем. У компании попросту не были разработаны планы поведения в экстренных ситуациях, а поэтому не удалось оперативно перейти на резервные ресурсы.

Постоянный URL: http://servernews.ru/1076449
21.10.2022 [12:39], Сергей Карасёв

Причиной самого масштабного в мире сбоя ЦОД Kakao могли стать Li-Ion батареи, которые и привели к пожару

Южнокорейская интернет-компания Kakao назвала причину пожара в кампусе ЦОД SK C&C Data Center неподалёку от Сеула: утверждается, что возгорание спровоцировали литий-ионные аккумуляторы производства дочерней компании SK Group, которой и принадлежит дата-центр.

Напомним, пожар начался 15 октября 2022 года. В результате, произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев. Кроме того, была нарушена работа других сервисов Kakao, включая платёжную платформу KakaoPay, почтовую службу, такси и пр. На восстановление доступности систем ушло много времени, в том числе потому, что у компании не были разработаны планы поведения в экстренных ситуациях. На текущий момент это, похоже, самый масштабный инцидент такого рода в мире ЦОД, поскольку в результате пожара были одновременно остановлены 32 тыс. серверов.

 Источник изображения: Yonhap

Источник изображения: Yonhap

Kakao заявляет, что возгорание возникло из-за перегрева литий-ионных аккумуляторов, изготовленных на предприятии SK On (входит в SK Group). Говорится, что система управления батареями (BMS) за несколько часов до возникновения пожара дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату в здании ЦОД. Однако SK Group претензии в свой адрес отрицает. Она утверждает, что никакие уведомления от BMS не поступали, а специалист помещение с аккумуляторными блоками не посещал.

Полиция и пожарные службы ещё выясняют причины инцидента. Компания Kakao в результате возгорания понесла непосредственные убытки в размере $13,9 млн. Кроме того, предстоит урегулировать коллективные иски, поданные со стороны пользователей сервисов в связи со сбоями в их работе. Если будет установлено, что пожар произошёл по вине батарей SK On, компании SK всё же придётся взять на себя частичную компенсацию ущерба. Правительство Южной Кореи потребует объяснений от руководства Kakao и SK Group, а также интернет-группы Naver, которая тоже пострадала из-за возгорания.

UPD: Между тем, как сообщается, корейская полиция провела обыски в офисах SK Group и пострадавшем от огня ЦОД. В ходе рейдов были изъяты документы, которые могут иметь отношение к пожару. Кроме того, в рамках расследования будут допрошены представители SK Group.

Отмечается также, что ЦОД SK C&C Data Center в настоящее время функционирует без системы резервного питания. А поэтому в ближайшие три недели не исключены дальнейшие сбои в работе сервисов Kakao.

Постоянный URL: http://servernews.ru/1076108
19.10.2022 [21:48], Сергей Карасёв

Пожар в южнокорейском дата-центре Kakao привёл к остановке 32 тыс. серверов, отказу в обслуживании 45 млн человек, падению акций и отставке топ-менеджера компании

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

 Источник изображения: Yonhap

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.

Постоянный URL: http://servernews.ru/1076017
14.09.2022 [16:47], Руслан Авдеев

OVHcloud построила новый, «огнеупорный» ЦОД SBG5 на месте сгоревшего в прошлогоднем пожаре

Компания OVHcloud построила новый ЦОД SBG5 на месте своих объектов, один из которых (SBG2) в 2021 году был полностью уничтожен, а второй (SBG1) необратимо пострадал от пожара. Строительство нового дата-центра в Страсбурге (Франция) обошлось в €30 млн, и он намного лучше защищён от огня. Впрочем, компания всё ещё не сообщила о причинах прошлогоднего пожара, а более 150 пострадавших пользователей требуют компенсации, не зная точных причин происшествия.

Ранее, напомним, местные пожарные сообщали, что возгорание мог вызвать избыток влаги в помещениях, ответственных за энергоснабжение объекта, а деревянные потолки, свободная циркуляция воздуха и отсутствие автоматических систем пожаротушения способствовали стремительному распространению огня. Кроме того, не было возможности целиком обесточить здание одним поворотом рубильника, поэтому отключить подачу энергии удалось только через два часа после начала пожара.

 Источник изображения: OVHcloud

Источник изображения: OVHcloud

Однако на церемонии открытия подобные вопросы не поднимались, зато было анонсировано строительство к 2024 году 15 новых дата-центров во Франции, Германии, Канаде, Индии и Сингапуре. Предполагается, что это позволит снизить зависимость Европы от зарубежных облачных провайдеров. Планируется и создание системы Cold Archive на базе четырёх мини-ЦОД, расположенных на расстоянии не менее 200 км друг от друга. Они предназначаются для «холодного» хранения данных в ленточных архивах в течение длительного времени. Запуск проекта запланирован уже на ноябрь 2022 года.

 Фото: OVHcloud

Фото: OVHcloud

SBG5 построен в соответствии по совсем иным стандартам, нежели его сгоревший предшественник. Помещения площадью 1700 м2 разделены на 19 изолированных отсеков, стены способны часами выдерживать напор огня, используются самые современные системы предупреждения о возгорании и пожаротушения, а аккумуляторы и компоненты системы энергоснабжения теперь размещаются за пределами самого здания в специальных контейнерах. Заявленный коэффициент PUE составляет 1,1–1,2, а коэффициент использования воды (WUE) ниже, чем допускает пакт Climate Neutral Data Centre Pact (CNDCP).

Постоянный URL: http://servernews.ru/1074186
13.06.2022 [17:17], Руслан Авдеев

Выяснились новые подробности о пожаре в страсбургском ЦОД OVHcloud: незадолго до возгорания датчики зафиксировали аномальную влажность в энергоотсеках

Согласно отчёту французской группы BEA-RI, официально занимающейся расследованиями техногенных происшествий, страсбургский пожар в дата-центре OVHcloud SBG2 мог быть вызван наличием влаги в зоне силовых инверторов, а его быстрому распространению способствовал целый ряд факторов и ошибки в проектировании ЦОД.

Хотя в докладе BEA-RI не называется точная причина возгорания, подтверждается информация о том, что огонь вспыхнул в энергоотсеке. Данные о том, что рядом с одним из инверторов был зарегистрирован высокий уровень влажности, ранее не публиковались. Пожарные, боровшиеся с огнём, представили собственный отчёт ещё в марте, а доклад BEA-RI появился только на прошлой неделе.

 Источник изображения: BEA-RI

Источник изображения: BEA-RI

По данным нового доклада BEA-RI, огонь вспыхнул практически одновременно в двух энергоотсеках. Только примерно через час после возгорания удалось отключить электропитание ЦОД SBG2, а в соседних SBG3, SBG1 и SBG4 — ещё позже. Выяснилось, что в ЦОД не было механизма централизованного обесточивания, поэтому пришлось ждать, пока поставщик электроэнергии не перекрыл подачу со стороны подстанции. Хуже того, автоматически запустившиеся резервные дизель-генераторы также пришлось отключать вручную уже во время пожара.

В ходе расследования стало известно, что в течение примерно часа до возгорания сенсоры на силовых инверторах регистрировали аномальный уровень влажности, что могло «стать причиной внутреннего короткого замыкания, которое, вероятно, вызвало наблюдавшиеся повреждения». Однако так и не было установлено, была ли это ошибка датчиков или около силовых компонентов каким-то образом действительно оказалась жидкость.

 Источник изображения: BEA-RI

Источник изображения: BEA-RI

Ещё в прошлом году отмечалось, что за день до пожара проводилось плановое обслуживание ИБП, которое также могло привести к возгоранию. Но теперь эксперты считают, что свинцово-кислотные аккумуляторы, работавшие в ЦОД, вряд ли стали причиной пожара — утверждается, что они намного устойчивее к возгораниям, чем их литий-ионные собратья, а OVHCloud обслуживала их в соответствии с рекомендациями производителей.

Отдельно отмечено, что пожарные датчики сработали оперативно, практически одновременно на всех этажах здания — применявшаяся система воздушного охлаждения позволила дыму и огню распространиться очень быстро. При этом не было возможности оперативно перекрыть доступ воздуха из-за конструкции фасадов здания. Распространению пожара способствовали и другие факторы вроде использования деревянных перекрытий и отсутствие автоматизированной системы пожаротушения — её не было и в других объектах OVHCloud, расположенных поблизости.

 Источник изображения: BEA-RI

Источник изображения: BEA-RI

Кто именно виноват в инциденте, до сих пор остаётся под вопросом. Официально расследование всё ещё продолжается, а OVHcloud предпочитает не давать комментария до его завершения. Число претензий со стороны пострадавших клиентов нарастает, а юридическая компания Ziegler & Associés, действующая от лица более 140 потерпевших, продолжает готовиться к судебному или досудебному взысканию средств.

Постоянный URL: http://servernews.ru/1067845
01.06.2022 [19:08], Руслан Авдеев

Сумма претензий пострадавших от пожара в ЦОД OVHCloud выросла до €10 млн

Пожар, в результате которого страсбургский дата-центр OVHCloud был полностью уничтожен огнём, а соседний — серьёзно повреждён, привёл к тому, что юристы Ziegler & Associates, собирающие материалы для коллективного иска от имени пострадавших клиентов, в итоге увеличили сумму возможной компенсации до €10 млн евро. Ранее также сообщалось, что отдельные иски подали четыре крупных (10+ тыс. сотрудников) клиента OVHCloud.

Инцидент, произошедший в марте 2021 года, крайне негативно повлиял на бизнес клиентов OVHCloud, лишившихся огромных баз данных, часть из которых не подлежит восстановлению. В числе прочих пострадали и уникальные данные клиентов медицинских компаний, а также базы пациентов, которым положены рецептурные препараты. Значительный эффект пожар в страсбургском кампусе оказал и на туристические компании, лишившиеся данных о бронировании. Пострадали и другие компании, многим из которых придётся создавать сайты и базы данных с нуля.

 Источник изображения: jarmoluk/pixabay.com

Источник изображения: jarmoluk/pixabay.com

К февралю 2022 года число желающих подать коллективный иск при содействии Ziegler & Associates достигло 103, а ожидаемая сумма компенсации составила €1,9 млн. 30 мая юристы заявили, что число возможных участников процесса выросло до 140 (документы для 88 из них уже готовы), а сумма компенсации — до €10 млн. Юристы готовы отправить оператору ЦОД официальное уведомление от имени клиентов до конца июня 2022 года. При этом у OVHCloud будет возможность решить проблему в досудебном порядке.

 Источник изображения: suhasrawool/pixabay.com

Источник изображения: suhasrawool/pixabay.com

Известно, что изначально причиной возгорания ЦОД OVHCloud в Страсбурге была названа неисправность источника бесперебойного питания. В ходе дальнейшего расследования выяснилось, что на объекте отсутствовала автоматическая система пожаротушения, техническая возможность централизованного обесточивания, а деревянный потолок не соответствовал требованиям защищённости от огня для зданий ЦОД.

По слова самой OVHCloud, она немедленно после пожара приняла все меры для минимизации ущерба, включая обеспечение хостинга для пострадавших компаний на серверах в других ЦОД. Оператор утверждает, что пока юристы из Ziegler не выходили на контакт, поэтому комментировать содержание их уведомлений преждевременно. В свою защиту компания заявила, что с самого начала оказывала всю возможную поддержку пострадавшим клиентам — этим якобы объясняется малое число тех, кто планирует добиваться компенсации в судебном порядке.

Постоянный URL: http://servernews.ru/1067091
07.03.2022 [18:15], Руслан Авдеев

Пожар в дата-центре TIC чуть не лишил весь Иран доступа в глобальную Сеть

Пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), едва не оставил без доступа в Сеть всю страну. TIC является фактически единственным оператором международной интернет-связи в стране. Компания защищает Иран от внешних кибератак, но вместе с тем и фильтрует весь трансграничный трафик, блокируя доступ ко многим зарубежным соцсетям, новостным сайтам, мессенджерам, видеосервисам и т.д.

Также TIC вместе с дочерними и связанными структурами контролируют практически весь рынок проводного доступа в стране и значительную часть — беспроводного. Подобный шлюз позволяет контролировать все основные потоки информации, но такая система оказалась очень уязвимой. По данным сервиса NetBlocks, возгорание на три часа лишило связи Тегеран и другие регионы, а Cisco BGPStream отрапортовал об одномоментной недоступности сразу 2638 префиксов, а также и десятков других в течение нескольких часов.

 Источник: NetBlocks

Источник: NetBlocks

По данным главы TIC Хамида Фаттахи (Hamid Fattahi), нарушение работы системы энергообеспечения привело к возгоранию ИБП и электрической инфраструктуры, в результате чего наблюдались перебои со связью как внутри страны, так и сбои доступа в международную Сеть. И это не единственная проблема — местное Министерство связи запросило у России дополнительные интернет-каналы для замены того, что пролегал по территории Украины.

Тем не менее, местный парламентский комитет одобрил общие принципы законодательства, направленного на дополнительный контроль правительством интернет-трафика. Законопроект был предложен ещё три года назад, но его принятие откладывалось из-за недовольства населения. В частности, новые нормы предусматривают уголовную ответственность за использование в стране VPN-сервисов, включая штрафы и даже тюремные сроки.

Постоянный URL: http://servernews.ru/1061492
04.03.2022 [20:20], Руслан Авдеев

Опубликован доклад о пожаре в ЦОД OVHcloud: деревянные потолки, отсутствие системы автоматического пожаротушения и единого «электрорубильника»

Через год после пожара в дата-центре OVHcloud в Страсбурге, наконец, опубликован официальный отчёт, согласно которому сгоревший объект не соответствовал многим требованиям к безопасности подобного типа помещений. Здание дата-центра SBG2 вспыхнуло 10 марта 2021 года, но пострадал и соседний ЦОД SBG1, который было решено не восстанавливать.

По данным местных экспертов, которые приводит DataCenter Dynamics со ссылкой на Le Journal Du Net (JDN), SBG2 не имел автоматической системы пожаротушения, деревянные потолки помещения способны были противостоять огню не более часа, а система вентиляции создавала условия, благодаря которым огонь распространялся гораздо быстрее, чем мог бы. Более того, пожарные встретили в горящем здании электрические дуги протяжённостью более метра, вспыхивавшие на пути в энергоотсек.

 Источник изображения: Bas-Rhin Fire Service

Источник изображения: Bas-Rhin Fire Service (via DataCenter Dynamics)

На полное отключение электропитания ушло три часа, поскольку единой точки изоляции от энергосети у ЦОД не было. Так что некоторые клиенты всё ещё пользовались серверами после начала возгорания. После того, как огонь вырвался из энергоотсека, он стал быстро распространяться по помещениям из-за неудачной конструкции системы вентиляции, обеспечивающей приток свежего воздуха для охлаждения серверов.

 Источник изображения: Bas-Rhin Fire Service (via DataCenter Dynamics)

Источник изображения: Bas-Rhin Fire Service (via DataCenter Dynamics)

Отчёт может повлиять на грядущие судебные разбирательства и капитализацию компании, которая недавно вышла на биржу — бывшие клиенты подали к OVHcloud коллективный иск, обвиняя её в том, что она не справилась со своими обязанностями и, кроме того, не предоставила адекватную компенсацию пострадавшим. Ранее сообщалось, что к иску присоединились 103 клиента, ещё 4 крупных игрока решили выступить в суде самостоятельно.

Постоянный URL: http://servernews.ru/1061367
30.09.2021 [14:27], Руслан Авдеев

Пожар в страсбургском дата-центре обошёлся OVHcloud в €105 млн

Мартовский пожар, уничтоживший в Страсбурге дата-центр OVHcloud SBG2 обошёлся облачному оператору в €105 млн ($122 млн). Часть расходов приходится на создание резервного фонда, а наибольшая доля реальных расходов будет покрыта страховкой. Тем не менее, трудно переоценить репутационные потери. В компании отмечают, что теперь даже мелкие инциденты, которые возможны в любой компании, будут восприниматься крайне негативно.

Пожар случился в страсбургском кампусе 10 марта. Помимо самого дата-центра, пострадали ещё три строения, одно из которых разрушено безвозвратно. Инцидент произошёл на той же неделе, когда компания озвучила планы выйти на IPO на французском фондовом рынке. Ожидалось, что сам выход состоится к концу 2021 года. Страсбургский инцидент заставил отложить эти планы, поскольку из-за пожара пострадало порядка 65 тыс. клиентов, часть из которых потеряли не просто данные, но и бизнес.

 Фото: Service départemental d'incendie et de secours du Bas-Rhin - SDIS 67

Фото: Service départemental d'incendie et de secours du Bas-Rhin - SDIS 67

Хотя сама возможность IPO была поставлена под угрозу, OVHcloud уже подала французскому регулятору AMF (Autorité des Marchés Financiers) регистрационные документы. В 300-страничном отчёте обнародованы некоторые подробности, связанные с пожаром, а также финансовые расходы, им вызванные. Сумма в €105 млн учитывает потенциальные претензии клиентов, чей бизнес пострадал в результате пожара. Компания пока выделила только €61 млн, из которых €58 млн получены от страховой компании.

При этом компания уже потратила десятки миллионов евро на утилизацию уничтоженных огнём серверов, покупку нового оборудования, компенсации за неисполнение услуг, оплату работы экспертов и юридическое сопровождение, а также погашение ваучеров. Ещё €10-12 млн может быть потрачено на полный ремонт мощностей и реализацию плана по обеспечению «гиперустойчивости». Каковы будут расходы по частным и коллективным искам, сказать трудно.

 Фото: thetimeshub.in

Фото: thetimeshub.in

При этом даже с учётом того, что часть ущерба покрыта за счёт страховки, сумма всё равно велика, учитывая относительно небольшой годовой оборот в размере €632 млн (по данным на 2020 год). В документах, представленных регулятору, планируется 4,4-процентный рост в 2021 фискальном году — заметно ниже, чем в 2020 году (8,9 %). При этом компания оптимистично считает, что в 2025 году рост составит заметные 25 %.

В ходе IPO планировалось заявить о компании, как об альтернативе американским и китайским крупномасштабным сервисам вроде тех, что предоставляются Amazon, Microsoft или Alibaba. Планировалось привлечь порядка €400 млн ($469 млн) инвестиций, а общая оценка стоимости компании составила бы $4,7 млрд.

Постоянный URL: http://servernews.ru/1050250
Система Orphus