Аварии в ЦОД – новости от Global Switch, ING Bank Romania и Delta Air Lines

Практически каждую неделю профильные СМИ, посвящённые индустрии ЦОД, публикуют новости с громкими заголовками, касающимися ухода в офлайн интернет-платформ какого-нибудь крупного поставщика облачных сервисов или отключения дата-центра финансовой или государственной организации, которое оборачивается проблемами для огромного множества людей продолжительностью от нескольких минут или же часов и вплоть до нескольких дней.

Повреждение кабеля системы ИБП обернулось непродолжительным простоем дата-центра Global Switch

В начале этого месяца произошло практически незаметное отключение дата-центра GS2 колокейшн-провайдера Global Switch, который находится на территории лондонской коммуны Доклендс (расположена к юго-востоку от центра британской столицы, восточнее Тауэра). Даунтайм длился всего лишь 222 миллисекунды, и практически не помешал клиентам Global Switch. Поэтому колокейшн-провайдер мог бы и не сообщать о нем. Но компания провела расследование данного инцидента и сообщила о его результатах через открытое письмо.

Выяснилось, что даунтайм из-за сбоя в системе электропитания, который длился менее секунды, был вызван неисправностью в высоковольтной концевой кабельной муфте дизель-роторной системы бесперебойного питания (DRUPS).

Сообщается, что из-за даунтайма все клиенты лондонского поставщика услуг в области управляемого хостинга Claranet, разместившего свои серверы в машзалах дата-центра GS2, потеряли доступ к сервисам. Другие клиенты практически не пострадали.

В соответствии с результатами исследований, проведенных консалтинговой компанией Ponemon Institute и профинансированных Emerson Network Power, в течение многих лет отказы систем ИБП являлись наиболее распространенной причиной отключений электропитания в дата-центрах.

Испытания на огнестойкость вызвали даунтайм банковского дата-центра ING Bank Romania

Плановая проверка системы пожаротушения в главном центре обработки данных румынского банка ING Bank Romania прошла совсем не по плану. Тестирование комплекса автоматического пожаротушения «Inergen» обернулось 10-часовым отключением дата-центра. Как сообщили представители финансовой организации в открытом письме к клиентам, распространения инертного газа в машзале обернулось «серьезными» и «неожиданными» последствиями. Инцидент привел к повреждению серверов и систем хранения данных в дата-центре.

Это, в свою очередь, привело к перебоям в работе обслуживаемых данными вычислительными ресурсами банковских сервисов, включая осуществление операций по пластиковым картам, координацию работы банкоматов, интернет-банкинг, коммуникации и официальный веб-сайт финансовой организации.

В результате многие транзакции оказалось невозможно обработать. Кроме того, служба поддержки клиентов стала обрабатывать заявки с большим опозданием из-за невозможности получить доступ к банковским базам данных.

Инженеры сообщили, что в ходе тестов давление газа оказалось выше, чем ожидалось, в результате чего шум и вибрация достигли настолько серьезного уровня, что были повреждены жесткие диски в ЦОД. Сообщается, что для исправления проблем и восстановления систем банк был вынужден привлечь дополнительно 70 сотрудников. Представители ING Bank Romania поспешили заверить клиентов, что этот инцидент был «исключительным и беспрецедентным» в разрезе всей истории финансовой организации.

Напомним, что комплекс автоматического пожаротушения «Inergen» опирается на газ, а не традиционную пену или жидкость. Он отлично подходит для закрытых помещений. Сам газ хранятся в баллонах в сжатом виде. При пожаре его равномерно диспергируют через шланги и насадки, чтобы ликвидировать очаг возгорания. Как правило, этот вид противопожарной защиты лучше всего подходит именно для дата-центров. Ведь использование решений на базе пены и жидкости вполне может привести к повреждению ценного и хрупкого оборудования.

Но в этом случае что-то пошло ужасно неправильно. Когда газ был выпущен через сопла, давление было слишком высоким, что, в свою очередь, создало невероятно громкий звук (более 130 децибел).

Из-за отключения дата-центра авиаперевозчик Delta Air Lines потерял $ 150 млн

Американская авиакомпания Delta Air Lines сообщила, что отключение ее ЦОД в августе из-за проблем с подачей электричества привело к серьезному сокращению ее операционной прибыли до вычета налогов. Сообщается, что из-за данного инцидента компания потеряла $ 150 млн.

Представители авиаперевозчика отметили, что инженеры компании проанализировали инцидент с отключением электричества и сделали выводы, чтобы избежать повторения подобного в последующем. Напомним, что из-за даунтайма ЦОД американская авиакомпания Delta Air Lines была вынуждена отменить большое количество рейсов (около 1.8 тыс.) и задержать еще больше авиаперелетов.

Проблемы начались, когда критически важный модуль управления электропитанием в дата-центре Delta Air Lines начал сбоить, вызвав перебои в работе трансформатора. Система электроснабжения быстро стабилизировалась и восстановилась, но из-за того, что критически важные системы и сетевое оборудование не удалось вовремя переключить на резервное электропитание, начались проблемы в обслуживании клиентов, а также при организации посадки и отправки воздушных судов.