9 марта 2021 года работоспособность тысяч сайтов была серьезно нарушена, при этом многие ресурсы оказалась недоступны. Причиной стал крупный пожар, вспыхнувший в ночь с 8 на 9 марта в Страсбурге в здании компании OVHcloud, специализирующейся на предоставлении облачных услуг.
Масштаб ущерба
К счастью, обошлось без жертв. Ни персонал, ни пожарные не пострадали. Но нанесенный инцидентом экономический и репутационный ущерб огромен. По данным американского портала по мониторингу интернета Netcraft, фактически воздействию даунтайма подверглись 3,6 миллиона веб-серверов, связанных с OVHcloud и представляющих 464 000 доменных имен. Более 18% IP-адресов, назначенных OVH, перестали отвечать на запросы.
Инцидентом оказались затронуты многие структуры во Франции и соседней Бельгии, включая аэропорт Страсбурга, музей Центра Помпиду в Париже, гандбольный клуб Créteil, платформу общедоступных данных data.gouv.fr, а также каталог Avocats.be и издание Bayard.
В числе пострадавших оказались разработчики антиутопической игры на выживание в “песочнице” Rust, потерявшей 25 серверов. Девелоперы из компании Facepunch Studios отмечают, что некоторые игровые данные никогда не будут восстановлены, поскольку резервные копии где-либо еще не создавались.
Другие жертвы пожара, упомянутые в статье на BleepingComputer, включают консалтинговую компанию Bad Packets, специализирующуюся на анализе угроз, платформу обмена криптовалют Deribit, а также африканского интернет-провайдера AFR-IX и разработчиков утилиты для шифрования дисков Vera Crypt.
Интересно, что в среду 10 марта в России произошел сбой в работе Google и YouTube, а также ряда других порталов. В Роскомнадзоре заявили, что проблемы были вызваны пожаром во французском дата-центре OVHcloud. Представители Google, в свою очередь, утверждают, что данное заявление является неверным, и что сбой был вызван российским интернет-провайдером.
Инциденты такого рода, происходящие в результате неосмотрительности или по иным причинам, обходятся дорого. По данным Gartner, простой, связанный с обработкой данных в ЦОД, обходится среднестатистической компании в 300 000 долларов ежечасно (5 600 долларов в минуту).
Но нет худа без добра. Консультанты по кибербезопасности утверждают, что ботнеты также пострадали из-за инцидента в ЦОД OVHcloud. В частности, эксперты по безопасности из компании Kaspersky отметили, что некоторые вредоносные программы, размещенные в OVH, ушли в офлайн.
Место происшествия и детали инцидента
По данным OVHcloud, на кампусе ЦОД в Страсбурге, где произошел инцидент, размещено 29 тыс. серверов. Из четырех центров обработки данных на площадке один (SBG2) был полностью уничтожен пожаром.
Огонь оказался настолько сильным, что пожарным не удалось предотвратить его распространение на все здание ЦОД. Согласно сайту Downdetector, в другом дата-центре (SBG3) четыре серверные комнаты из восьми были разрушены. В качестве меры предосторожности на всей территории кампуса пришлось отключить электричество.
По предварительным данным причиной катастрофического пожара в серверной ферме OVHcloud SBG2 в Страсбурге стали неполадки в системе ИБП. Представители французского поставщика облачных услуг сообщили, что пожарные обнаружили горящие системы ИБП, когда они достигли места происшествия. Но официально причина возгорания, уничтожившего SBG2 и часть соседнего SBG1, пока не установлена.
Основатель OVHcloud Октав Клаба в ходе видеообращения к клиентам сказал, что, когда прибыли пожарные, они сфотографировали здания на кампусе тепловизионными камерами. Обнаружилось активное горение двух блоков системы ИПБ (UPS7 и UPS8). Клаба добавил, что блок UPS7 проходил техобслуживание за день до начала пожара.
«Представители занимающейся техобслуживанием фирмы посетили ЦОД и поменяли много деталей внутри UPS7. Они перезапустили блок во второй половине дня. Казалось, что система работает, но утром у нас случился пожар. […] Сегодня у нас нет ответов на все вопросы. […] Сотрудники OVHcloud отреагировали на сигнал тревоги во вторник в 23:42, но пострадавшая часть дата-центра уже заполнилась дымом. Через две минуты они приняли решение уйти, потому что это было слишком опасно. […] У нас 300 камер в Страсбурге. Мы рассчитываем получить ответы на все вопросы о том, как это началось. Мы предоставим вам всю информацию», отметил бизнесмен в видеообращении.
В дата-центре SBG2, построенном в 2011 году, используется более старая архитектура, чем на большинстве других объектов OVHcloud. Данная архитектура основана на «хостинговых вышках», в которых серверы размещены в металлических кубах, предназначенных для эффективного конвекционного охлаждения.
Впоследствии инженеры OVHcloud перешли на более простую горизонтальную конструкцию стойки, построив несколько новых зданий ЦОД, включая расположенные на страсбургском кампусе SBG3 и SBG4.
До 2011 года центры обработки данных компании, включая предыдущие объекты в Страсбурге, строились с использованием транспортных контейнеров. В 2017 году компания пострадала от длительного отключения электроэнергии, в результате которого кампус в Страсбурге на целые сутки лишился электроснабжения.
После данного инцидента инженеры демонтировали вычислительные мощности на базе контейнеров, заменив их постоянными зданиями, а затем перешли к практике развертывания IT-оборудования внутри существующих заводских зданий после перепрофилирования. Речь идет главным образом о переоборудованных складах, которые заполняются оборудованием постепенно, что позволяет снизить объем энергопотребления и углеродный след.
Компенсация и анализ инцидента
«Мы планируем перезапустить центры обработки данных SBG1 и SBG4 и связанную с ними сеть к следующему понедельнику 15 марта, а SBG3 – к пятнице 19 марта. В наших дата-центрах Рубе и Гравлине (Франция) есть резерв новых серверов, готовых к передаче всем пострадавшим клиентам. Очевидно, что серверные системы будут переданы бесплатно. Мы отправим 10 тыс. серверов в течение следующих трех-четырех недель», – пообещал в Twitter генеральный директор OVHcloud Клаба.
Эксперты отмечают, что компания OVHcloud могла бы избежать инцидента. Некоторые серверные фермы на пострадавшем кампусе построены в значительной степени из дерева. Они не были хорошо защищены от огня. Более качественные стройматериалы позволили бы уменьшить уровень риска. Но провайдер облачных услуг, как отмечают аналитики, предпочел заплатить меньше и, следовательно, получил материалы более низкого качества.
Что касается клиентов, которые потеряли ценные данные, отмечается, что избежать подобного помогло бы резервирование. Например, более дорогая подписка, которая позволяет клиенту размещать веб-сайт и данные на двух удаленных серверах одновременно. Следовательно, если один будет уничтожен, другой сможет восстановить все.
Что известно о компании OVHcloud?
OVHcloud была создана в 1999 году в городе Рубе молодым французом польского происхождения Октавом Клаба, который приехал во Францию подростком. Изначально IT-компания была представлена на рынке под названием OVH (аббревиатура от On Vous Héberge или «Мы хостим вас»). Компания начинала с хостинга веб-сайтов, а затем в 2010-х годах перешла на облачные услуги.
Наиболее свежие данные касаемо оборота фирмы датируются 2019 годом (600 миллионов евро). Сегодня в штате облачного провайдера числятся 2450 сотрудников, половина из которых находится во Франции. У компании 1,6 миллиона клиентов, и она управляет 32 центрами обработки данных по всему миру.
Сегодня Клаба принадлежат 80% активов компании. Остальные 20% принадлежат инвестиционным фондам KKR и TowerBrook Capital Partner, вложившие в бизнес поставщика облачных услуг 250 млн евро в 2016 году. Согласно подсчетам экспертов, общая капитализация компании оценивается более чем в миллиард евро, и на то есть веские причины: по некоторым оценкам, на серверах OVH размещены две трети французского интернета.
Хотя компания зарегистрирована во Франции, ее серверы также расположены в Польше, Канаде, Австралии и Сингапуре. Клаба все еще работает над развитием своей фирмы – он планирует создать центры обработки данных в США, Германии, Великобритании и других местах.
Срыв запланированного IPO?
Интересно, что за день до серьезного пожара на кампусе ЦОД в Страсбурге компания OVHcloud запустила процесс публичного первичного предложения ценных бумаг (IPO) на Парижской фондовой бирже. Объявление об IPO было сделано в понедельник 8 марта.
Согласно отчету Reuters, в случае завершения IPO может стать крупнейшей процедурой размещения ценных бумаг технологической компании во Франции за последние годы. Полученные финансовые ресурсы помогут поставщику облачных услуг эффективнее конкурировать с лидирующими на мировом рынке компаниями Amazon Web Services, Google Cloud и Microsoft Azure, а также с такими игроками как Alibaba, Tencent и Rackspace.
Факт базирования бизнеса OVHcloud в объединенной Европе предоставил компании широкие возможности для организации партнерства региональными поставщиками телекоммуникационных и иных услуг, включая Deutsche Telekom, Atos и Capgemini.
