Компании Bati Courtage и Bluepad одержали в суде победу над облачным провайдером OVHcloud. Как сообщает DataCenter Dynamics, в ходе разбирательства выяснилось, что резервные копии оператор хранил рядом с самими данными, в результате чего компании лишились огромных массивов информации. Суд постановил выплатить компаниям €100 тыс. и €150 тыс. соответственно — в первую очередь за то, что оператор не обеспечил компании тем уровнём надёжности резервного копирования, который был обещан.

ЦОД SGB2 в Страсбурге сгорел 10 марта 2021 года, вместе с ним пострадал соседний ЦОД SGB1. Архитектура дата-центров, приведшая к столь серьёзным последствиям, вызвала немало вопросов у экспертов. На месте старого кампуса построен новый, «огнеупорный» SBG5. Юридическая компания Ziegler & Associates привлекла более 130 клиентов для подачи коллективного иска и подала досудебную претензию к OVHCloud. Часть пострадавших решила судиться с OVHCloud самостоятельно.

Источник изображения: Saúl Bucio/unsplash.com

Так, компания Bati Courtage, занимающаяся коммерческой недвижимостью, использовала VPS и в результате пожара потеряла веб-сайт, а также данные клиентов, информацию о франшизах и сведения подрядчиках. Всё это было потеряно потому, что оплаченные резервные копии хранились в том же сгоревшем ЦОД. Компания потребовала €6,5 млн, но суд обязал выплатить €100 тыс., поскольку договором предусматривалось, что копии просто будут храниться в помещении, «физически изолированном» от VPS, а не в каком-то другом ЦОД.

В случае с Bluepad, предоставлявшей SaaS-услуги, компания платила за рабочий сервер в SBG1 и резервный в SBG2, но оказалось, что оба на деле находились в SBG2. Более того, OVHcloud буквально уничтожила данные Bluepad трагикомическим образом. Информация сохранилась после пожара, но инженеры OVHcloud включили сервер до его возвращения владельцам и автоматический скрипт, признав данные «устаревшими», удалил их, оставив Bluepad ни с чем. Bluepad потребовала компенсацию в размере €330 тыс.

Источник изображения: Max Kukurudziak/unsplash.com

Bluepad не оформляла подписку на резервное копирование, и если бы не привела свидетельств своевременного самостоятельного сохранения информации, решение суда могло оказаться менее благоприятным. Например, в 2022 году компании Adomos и Cinetic-IT уже судились с OVHcloud, но проиграли, преимущественно потому, что не подписались на резервное копирование. Предполагается, что среди подавших коллективный иск немало именно тех, кто не оформил такую подписку. Суд считает, что клиенты должны быть всегда готовы к тому, что данные могут быть потеряны.

OVHcloud сообщила DataCenter Dynamics, что намерена подать апелляции. Также её представители подчеркнули, что каждый случай тщательно изучается и компания прилагает все усилия для оказания клиентам максимально возможной поддержки. Предполагается, что страховка OVHcloud покроет лишь часть ущерба, а прочие деньги компании придётся выделить из собственных средств. В документах, подававшихся перед IPO, указывалось, что общие расходы на ликвидацию последствий пожара составят €105 млн.

Отмечается, что в последнее время пожары и иные инциденты в ЦОД участились. Так, в прошлого году случился крупнейший в мире сбой ЦОД, который привёл к остановке сразу 32 тыс. серверов и отказу в обслуживании 45 млн человек в Южной Корее. Kako, чьи сервисы и клиенты пострадали, решила отделаться подарочными смайликами и небольшими денежными компенсациями.

Взрыв и задымление в дата-центре компании Cyxtera в массачусетском кампусе, вероятно, были вызваны неизвестным сбоем электросистемы, результатом которого стал инцидент в аккумуляторном отсеке. Как сообщает DataCenter Dynamics, экспертам до сих пор не удалось установить точную причину инцидента, который привёл к отключению сервисов Oracle NetSuite в США. Хотя одной из строений на территории кампуса было повреждено, серьёзные жертвы и разрушения не зарегистрированы.

Кампус BOS1 мощностью 16 МВт включает три здания в пригороде Бостона. Инцидент произошёл 14 февраля, но по данным местного пожарного ведомства, точная причина происшествия пока «не определена». Известно, что пожарная команда прибыла на место происшествия в 11:34 по местному времени, через шесть минут после сигнала тревоги, а уже к 14:30 «инцидент был в целом улажен».

Пожарные эвакуировали сотрудников, обесточили помещение и занялись удалением из помещений угарного газа и цианида водорода. На момент прибытия экстренной службы электроснабжение и резервное питание всё ещё были активны, поэтому дополнительно пришлось обесточить всё здание. Выяснилось, что аварийный выключатель сработал на одной из трёх линий электроснабжения. Возможно, это привело к включению резервного источника и последующему взрыву с дуговым разрядом, в свою очередь, ставшими причиной задымления и повреждений.

Источник изображения: Thomas Kelley/unsplash.com

Взрыв разрушил один из аккумуляторных отсеков и повредил близлежащие. В это же время в том же помещении проводились работы на соседней энерголинии, но они, похоже, никак не связаны с происшествием. К счастью, электрики ушли на обед пораньше, не застав взрыв. Единственным пострадавшим оказался охранник, совершавший обход. Его доставили в больницу, в первую очередь, чтобы убедиться в отсутствии отравления продуктами горения.

На данный момент считается, что источник возгорания не представляется возможным установить. Вероятнее всего, инцидент был вызван неустановленным «электрическим событием» на линии B, что привело к отключению аварийного выключателя. После того как автоматически заработал аварийный генератор, произошло замыкание с возгоранием. Пока расследование прекращено, но его могут возобновить, если появятся новые факты.

В целом ситуация оказалась намного проще, чем, например, страсбургский пожар в марте 2021 года, в результате которого один ЦОД OVH Cloud сгорел полностью, а второй был серьёзно повреждён. Там возгорание тоже началось с энергоотсеков, но с гораздо более серьёзными последствиями. В прошлом году, как считается, Li-Ion батареи в южнокорейском ЦОД Kakao привели к пожару, повлекшему за собой самый масштабный во всём мире сбой дата-центра. Как отмечает Uptime Institute, число сбоев IT-систем с годами не уменьшается, а главной их причиной стали перебои с электропитанием, в том числе из-за участивших пожаров.

Южнокорейская интернет-компания Kakao анонсировала план компенсации пользователям её мессенджера KakaoTalk, пострадавшим из-за пожара в ЦОД SK C&C в октябре прошлого года. План предусматривает раздачу трёх пакетов смайлов в качестве общей компенсации всем пользователям мессенджера KakaoTalk.

Следует отметить, что из трёх «подаренных» наборов эмодзи лишь один предоставлен в полностью бесплатное пользование, а срок бесплатного пользования остальных истекает через 90 дней. Компания также предложила 3 млн ваучеров на бесплатный доступ в течение одного месяца к своей службе резервного копирования данных Talk Drawer Plus. После окончания бесплатного периода пользователи будут автоматически подписаны на платную версию службы.

Изображение: KakaoTalk

Кроме того, предпринимателям, сообщившим об убытках из-за сбоя в размере менее 300 тыс. вон ($240), будет выплачена компенсация ущерба в размере 30 тыс. вон ($24), а если заявленный убыток составил менее 500 тыс. вон ($399,2), выплата составит 50 тыс. вон ($39,92). Те, кто сообщил о потере доходов из-за сбоя выше 500 тыс. вон, могут получить дополнительную компенсацию после того, как будет проведена проверка их заявлений. Также компания предоставит два купона для платформы Kakao Makers.

Пожар привёл к остановке 32 тыс. серверов, прекратили работу ключевые сервисы Kakao, в том числе KakaoTalk с аудиторией в среднем 45 млн человек (население всей страны — почти 52 млн человек), произошли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. На полное восстановление работоспособности всех сервисов потребовалось пять дней. На текущий момент данный инцидент является крупнейшим в мире ЦОД. Предложенные Kakao варианты компенсации были раскритикованы пользователями.

23 ноября 2022 года на крыше здания ЦОД компании QTS в Пискатауэй в Нью-Джерси (США) произошёл сильный пожар. Для тушения огня были задействованы несколько единиц техники; к счастью, в результате возгорания никто не пострадал.

О причине пожара пока ничего не сообщается. Но известно, что на крыше здания находились легко воспламеняющиеся материалы, что усложняло работу пожарных. На тушение ушло более двух часов, при этом подавалась вода потоком от 1900 до 7600 литров в минуту.

Источник изображения: New Market Fire Department

Пока не ясно, были ли залиты залы с оборудованием. Впрочем, о каких-либо сбоях в работе ЦОД ничего не сообщается. На крыше здания располагались солнечные батареи — часть из них были уничтожены огнём.

Дата-центр был приобретён у Dupont Fabros в 2016 году: он расположен на территории кампуса площадью приблизительно 15 га. Любопытно, что пожар произошёл на следующий день после того, как QTS опубликовала приглашение на экскурсию по объекту, работающему на возобновляемых источниках энергии.

В течение последнего времени пожары охватили сразу несколько крупных ЦОД. Так, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге: в результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов. Возгорание также произошло в ЦОД иранской Telecommunication Infrastructure Company (TIC). А не так давно пожар привёл к самому масштабному в мире сбою ЦОД Kakao: в результате инцидента произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев.

Отвечать за недавний пожар в кампусе ЦОД SK C&C Data Center неподалёку от Сеула предстоит SK Group. Инцидент, о котором идёт речь, привёл к самому масштабному сбою в мире ЦОД — остановке сразу 32 тыс. серверов и прекращению работы сервисов южнокорейской интернет-компании Kakao, которыми пользуются около 90 % корейцев.

Напомним, пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД, который был построен компанией SK ecoplant, а управлялся структурой SK C&C. Ранее сообщалось, что возгорание произошло по причине перегрева литий-ионных аккумуляторов производства SK On (входит в SK Group). Система управления батареями (BMS) якобы дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату.

Изображение: SK On

SK Group проблему с батареями отрицает, но всё же решила взять на себя полную ответственность за пожар. Однако пока не ясно, какую часть затрат в связи с простоем сервисов Kakao, против которой уже подан коллективный иск, и компенсациями пользователям возьмёт на себя SK Group. Дело в том, что сама Kakao тоже виновата в длительной недоступности своих систем. У компании попросту не были разработаны планы поведения в экстренных ситуациях, а поэтому не удалось оперативно перейти на резервные ресурсы.

Южнокорейская интернет-компания Kakao назвала причину пожара в кампусе ЦОД SK C&C Data Center неподалёку от Сеула: утверждается, что возгорание спровоцировали литий-ионные аккумуляторы производства дочерней компании SK Group, которой и принадлежит дата-центр.

Напомним, пожар начался 15 октября 2022 года. В результате, произошёл массовый сбой в работе мессенджера KakaoTalk, которым пользуются около 90 % корейцев. Кроме того, была нарушена работа других сервисов Kakao, включая платёжную платформу KakaoPay, почтовую службу, такси и пр. На восстановление доступности систем ушло много времени, в том числе потому, что у компании не были разработаны планы поведения в экстренных ситуациях. На текущий момент это, похоже, самый масштабный инцидент такого рода в мире ЦОД, поскольку в результате пожара были одновременно остановлены 32 тыс. серверов.

Источник изображения: Yonhap

Kakao заявляет, что возгорание возникло из-за перегрева литий-ионных аккумуляторов, изготовленных на предприятии SK On (входит в SK Group). Говорится, что система управления батареями (BMS) за несколько часов до возникновения пожара дважды выдавала предупреждения, и сотрудник службы технической поддержки два раза инспектировал аккумуляторную комнату в здании ЦОД. Однако SK Group претензии в свой адрес отрицает. Она утверждает, что никакие уведомления от BMS не поступали, а специалист помещение с аккумуляторными блоками не посещал.

Полиция и пожарные службы ещё выясняют причины инцидента. Компания Kakao в результате возгорания понесла непосредственные убытки в размере $13,9 млн. Кроме того, предстоит урегулировать коллективные иски, поданные со стороны пользователей сервисов в связи со сбоями в их работе. Если будет установлено, что пожар произошёл по вине батарей SK On, компании SK всё же придётся взять на себя частичную компенсацию ущерба. Правительство Южной Кореи потребует объяснений от руководства Kakao и SK Group, а также интернет-группы Naver, которая тоже пострадала из-за возгорания.

UPD: Между тем, как сообщается, корейская полиция провела обыски в офисах SK Group и пострадавшем от огня ЦОД. В ходе рейдов были изъяты документы, которые могут иметь отношение к пожару. Кроме того, в рамках расследования будут допрошены представители SK Group.

Отмечается также, что ЦОД SK C&C Data Center в настоящее время функционирует без системы резервного питания. А поэтому в ближайшие три недели не исключены дальнейшие сбои в работе сервисов Kakao.

Исполнительный содиректор южнокорейской интернет-компании Kakao Намкун Вон (Namkoong Whon) принял решение подать в отставку после массового сбоя в работе сервисов, спровоцированного пожаром в кампусе ЦОД SK C&C Data Center неподалёку от Сеула, принадлежащем SK Group. Возникшие проблемы вызвали недовольство как со стороны многочисленных пользователей, так и со стороны представителей бизнеса и власти.

Пожар начался 15 октября 2022 года с возгорания в аккумуляторной в одном из зданий ЦОД. В результате была нарушена работа мессенджера KakaoTalk, аудитория которого составляет 43–47 млн пользователей в Южной Корее (при населении всей страны в почти 52 млн человек). Кроме того, возникли сбои в работе платёжной системы KakaoPay, почтовой службы, такси и других сервисов компании. Не был затронут только сервис Kakao Bank, который размещался в другом дата-центре. По состоянию на 17 октября работоспособность большинства функций KakaoTalk была восстановлена, однако доступность ряда служб всё же оставалась ограниченной.

Источник изображения: Yonhap

Инцидентом лично заинтересовался президент страны, а стоимость акций Kakao при этом рухнула на 9,5 % — до минимального значения с мая 2020 года. Нарушение работы KakaoTalk негативно сказалось на работе сотен предприятий малого бизнеса, использующих названный мессенджер. Kakao уже сообщила о намерении выплатить компенсации и выяснить причины медленного восстановления работы своих служб. Кроме того, Kakao намерена вложить $325 млн в открытие в 2023 году собственного ЦОД, а в 2024-м будет запущен второй дата-центр.

Любопытно, что в том же кампусе находился и дата-центр Naver, ещё одного южнокорейского IT-гиганта, на работу которого инцидент оказал намного меньшее влияние. Основная претензия к Kakao заключается в том, что у компании не были разработаны планы поведения в экстренных ситуациях. В частности, компания оказалась не готова к тому, что ЦОД будет быстро обесточен после начала пожара. При этом, вероятно, это самый крупный инцидент в ЦОД в мире, поскольку речь идёт об остановке сразу 32 тыс. серверов.

Нужно отметить, что в течение последнего времени пожары охватили сразу несколько крупных ЦОД. В частности, в марте прошлого года пожар уничтожил дата-центр французской компании OVHcloud в Страсбурге. В результате этого ЧП оказались недоступны в общей сложности 3,6 млн веб-сайтов, в том числе ресурсы ряда правительственных организаций, банков, интернет-магазинов и пр. А пожар, случившийся в ЦОД иранской Telecommunication Infrastructure Company (TIC), практически оставил без доступа в интернет всю страну.

Компания OVHcloud построила новый ЦОД SBG5 на месте своих объектов, один из которых (SBG2) в 2021 году был полностью уничтожен, а второй (SBG1) необратимо пострадал от пожара. Строительство нового дата-центра в Страсбурге (Франция) обошлось в €30 млн, и он намного лучше защищён от огня. Впрочем, компания всё ещё не сообщила о причинах прошлогоднего пожара, а более 150 пострадавших пользователей требуют компенсации, не зная точных причин происшествия.

Ранее, напомним, местные пожарные сообщали, что возгорание мог вызвать избыток влаги в помещениях, ответственных за энергоснабжение объекта, а деревянные потолки, свободная циркуляция воздуха и отсутствие автоматических систем пожаротушения способствовали стремительному распространению огня. Кроме того, не было возможности целиком обесточить здание одним поворотом рубильника, поэтому отключить подачу энергии удалось только через два часа после начала пожара.

Источник изображения: OVHcloud

Однако на церемонии открытия подобные вопросы не поднимались, зато было анонсировано строительство к 2024 году 15 новых дата-центров во Франции, Германии, Канаде, Индии и Сингапуре. Предполагается, что это позволит снизить зависимость Европы от зарубежных облачных провайдеров. Планируется и создание системы Cold Archive на базе четырёх мини-ЦОД, расположенных на расстоянии не менее 200 км друг от друга. Они предназначаются для «холодного» хранения данных в ленточных архивах в течение длительного времени. Запуск проекта запланирован уже на ноябрь 2022 года.

Фото: OVHcloud

SBG5 построен в соответствии по совсем иным стандартам, нежели его сгоревший предшественник. Помещения площадью 1700 м² разделены на 19 изолированных отсеков, стены способны часами выдерживать напор огня, используются самые современные системы предупреждения о возгорании и пожаротушения, а аккумуляторы и компоненты системы энергоснабжения теперь размещаются за пределами самого здания в специальных контейнерах. Заявленный коэффициент PUE составляет 1,1–1,2, а коэффициент использования воды (WUE) ниже, чем допускает пакт Climate Neutral Data Centre Pact (CNDCP).

Согласно отчёту французской группы BEA-RI, официально занимающейся расследованиями техногенных происшествий, страсбургский пожар в дата-центре OVHcloud SBG2 мог быть вызван наличием влаги в зоне силовых инверторов, а его быстрому распространению способствовал целый ряд факторов и ошибки в проектировании ЦОД.

Хотя в докладе BEA-RI не называется точная причина возгорания, подтверждается информация о том, что огонь вспыхнул в энергоотсеке. Данные о том, что рядом с одним из инверторов был зарегистрирован высокий уровень влажности, ранее не публиковались. Пожарные, боровшиеся с огнём, представили собственный отчёт ещё в марте, а доклад BEA-RI появился только на прошлой неделе.

Источник изображения: BEA-RI

По данным нового доклада BEA-RI, огонь вспыхнул практически одновременно в двух энергоотсеках. Только примерно через час после возгорания удалось отключить электропитание ЦОД SBG2, а в соседних SBG3, SBG1 и SBG4 — ещё позже. Выяснилось, что в ЦОД не было механизма централизованного обесточивания, поэтому пришлось ждать, пока поставщик электроэнергии не перекрыл подачу со стороны подстанции. Хуже того, автоматически запустившиеся резервные дизель-генераторы также пришлось отключать вручную уже во время пожара.

В ходе расследования стало известно, что в течение примерно часа до возгорания сенсоры на силовых инверторах регистрировали аномальный уровень влажности, что могло «стать причиной внутреннего короткого замыкания, которое, вероятно, вызвало наблюдавшиеся повреждения». Однако так и не было установлено, была ли это ошибка датчиков или около силовых компонентов каким-то образом действительно оказалась жидкость.

Источник изображения: BEA-RI

Ещё в прошлом году отмечалось, что за день до пожара проводилось плановое обслуживание ИБП, которое также могло привести к возгоранию. Но теперь эксперты считают, что свинцово-кислотные аккумуляторы, работавшие в ЦОД, вряд ли стали причиной пожара — утверждается, что они намного устойчивее к возгораниям, чем их литий-ионные собратья, а OVHCloud обслуживала их в соответствии с рекомендациями производителей.

Отдельно отмечено, что пожарные датчики сработали оперативно, практически одновременно на всех этажах здания — применявшаяся система воздушного охлаждения позволила дыму и огню распространиться очень быстро. При этом не было возможности оперативно перекрыть доступ воздуха из-за конструкции фасадов здания. Распространению пожара способствовали и другие факторы вроде использования деревянных перекрытий и отсутствие автоматизированной системы пожаротушения — её не было и в других объектах OVHCloud, расположенных поблизости.

Источник изображения: BEA-RI

Кто именно виноват в инциденте, до сих пор остаётся под вопросом. Официально расследование всё ещё продолжается, а OVHcloud предпочитает не давать комментария до его завершения. Число претензий со стороны пострадавших клиентов нарастает, а юридическая компания Ziegler & Associés, действующая от лица более 140 потерпевших, продолжает готовиться к судебному или досудебному взысканию средств.

Пожар, в результате которого страсбургский дата-центр OVHCloud был полностью уничтожен огнём, а соседний — серьёзно повреждён, привёл к тому, что юристы Ziegler & Associates, собирающие материалы для коллективного иска от имени пострадавших клиентов, в итоге увеличили сумму возможной компенсации до €10 млн евро. Ранее также сообщалось, что отдельные иски подали четыре крупных (10+ тыс. сотрудников) клиента OVHCloud.

Инцидент, произошедший в марте 2021 года, крайне негативно повлиял на бизнес клиентов OVHCloud, лишившихся огромных баз данных, часть из которых не подлежит восстановлению. В числе прочих пострадали и уникальные данные клиентов медицинских компаний, а также базы пациентов, которым положены рецептурные препараты. Значительный эффект пожар в страсбургском кампусе оказал и на туристические компании, лишившиеся данных о бронировании. Пострадали и другие компании, многим из которых придётся создавать сайты и базы данных с нуля.

Источник изображения: jarmoluk/pixabay.com

К февралю 2022 года число желающих подать коллективный иск при содействии Ziegler & Associates достигло 103, а ожидаемая сумма компенсации составила €1,9 млн. 30 мая юристы заявили, что число возможных участников процесса выросло до 140 (документы для 88 из них уже готовы), а сумма компенсации — до €10 млн. Юристы готовы отправить оператору ЦОД официальное уведомление от имени клиентов до конца июня 2022 года. При этом у OVHCloud будет возможность решить проблему в досудебном порядке.

Источник изображения: suhasrawool/pixabay.com

Известно, что изначально причиной возгорания ЦОД OVHCloud в Страсбурге была названа неисправность источника бесперебойного питания. В ходе дальнейшего расследования выяснилось, что на объекте отсутствовала автоматическая система пожаротушения, техническая возможность централизованного обесточивания, а деревянный потолок не соответствовал требованиям защищённости от огня для зданий ЦОД.

По слова самой OVHCloud, она немедленно после пожара приняла все меры для минимизации ущерба, включая обеспечение хостинга для пострадавших компаний на серверах в других ЦОД. Оператор утверждает, что пока юристы из Ziegler не выходили на контакт, поэтому комментировать содержание их уведомлений преждевременно. В свою защиту компания заявила, что с самого начала оказывала всю возможную поддержку пострадавшим клиентам — этим якобы объясняется малое число тех, кто планирует добиваться компенсации в судебном порядке.