Аварии в ЦОД: новости из Великобритании, США и Канады

Индустрия дата-центров находится на подъеме, несмотря на периодические сбои в работе серверного и вспомогательного оборудования, сулящие финансовый ущерб и репутационные издержки. К сожалению, от аварий не застрахован никто. Справедливость данного утверждения доказывают свежие новости из Великобритании, США и Канады, касающиеся спутникового интернет-провайдера Viasat, поставщика облачных услуг AWS и британской телевещательной компании Red Bee Media.

Сошедший с рельсов поезд в Канаде вызвал отключение серверов Viasat

Телекоммуникационная компания Viasat, базирующаяся в американском штате Калифорния и специализирующаяся на предоставлении доступа к спутниковому интернету клиентам по всему миру, включая Северную Америку и Европу, столкнулась с отключением критически важного наземного оборудования в североамериканском регионе в связи с повреждением оптоволоконных каналов.

Поставщик высокоскоростного спутникового интернета и защищенных сетевых услуг, обслуживающий, помимо прочего, военные структуры и коммерческие организации, сообщил о повреждении основных и резервных оптоволоконных линий в Канаде из-за сошедшего с рельсов поезда.

Отмечается, что инцидент произошел в четверг 23 сентября 2021 года в провинции Онтарио. Бригады технического обслуживания не смогли приступить к ремонту до понедельника, так как место происшествия было признано небезопасным. Результатом аварии стало значительное ухудшение качества обслуживания примерно 16 тыс. клиентов компании на севере США и в Канаде.

Несмотря на то, что пользователи жаловались на перебои в работе с четверга, компания начала информировать клиентов через социальные сети об инциденте только в воскресенье. Представители интернет-провайдера не уточняли, какое именно крушение поезда вызвало сбой, но в отчете организации Space Intel говорится, что это был инцидент, связанный с крушением поезда компании Canadian Pacific Railway Limited в Макдугалле, Онтарио, произошедшим в 9 утра 23 сентября. Благо, из вагонов ничего не пролилось, и никто не пострадал.

Трансляция британских телеканалов прервалась из-за срабатывания системы пожаротушения в серверной телевещательной компании Red Bee Media

В выходные дни 25 и 26 сентября трансляции многих британских телевизионных каналов были прерваны из-за инцидента в лондонской серверной комнате, принадлежащей телевещательной компании Red Bee Media. Отмечается, что нештатная ситуация вызвала «звуковую волну», которая отключила серверы, отвечающие за организацию вещания.

Вечером субботы вещательная компания, ранее называвшаяся Ericsson Broadcast and Media Services (EBMS), опубликовала в социальных сетях сообщение о срабатывании системы пожаротушения в ее лондонском телецентре, которая удалила весь кислород из серверной комнаты, и о последующей эвакуации персонала. На место происшествия прибыли сотрудники пожарной службы.

Представители компании отказались от дальнейших заявлений, чтобы «избежать спекуляций», пока полностью не завершится расследование инцидента, нарушившего вещание, помимо прочего, следующих телеканалов: Channel 4, Channel 5, More 4, Live TV и All 4. Работоспособность каналов, доступных по требованию, была оперативно восстановлена, но сервисы онлайн-трансляций испытывали некоторые перебои вплоть до ночи 27 сентября.

Системы пожаротушения в прошлом вызвали сбои в работе многих ЦОД. В число наиболее резонансных входит недавний инцидент на объекте AWS во Франкфурте, случившийся в июне 2021 года и приведший к закрытию дата-центра на некоторое время, а также к вынужденной эвакуации персонала, потому что система пожаротушения сделала атмосферу непригодной для дыхания.

В 2017 году корпорация Microsoft по схожей причине временно лишилась европейского центра обработки данных Azure. Семичасовой даунтайм спровоцировала система пожаротушения, вызвавшая отключение теплохладотехники.

При срабатывании системы пожаротушения может возникнуть ударная волна, которая способна повредить чувствительные жесткие диски. Подобный инцидент произошел в июле 2021 года в дата-центре Tabcorp в Австралии. В 2016 году с аналогичной ситуацией столкнулись операторы дата-центра, принадлежащего банку ING, а в 2015 году – команда инженеров, обслуживающая сереную городского совета Глазго.

Проектировщикам ЦОД сегодня прекрасно известно о соответствующих рисках. Данная проблема хорошо изучена. Для ее решения производители теперь закрывают сопла систем подавления огня перегородками, чтобы предотвратить распространение ударной волны.

Облако AWS начало сбоить из-за проблем с СХД дата-центра в Вирджинии

Пользователи облачной платформы Amazon Web Services (AWS) из американского штата Вирджиния столкнулись с перебоями в работе инстансов EC2 и EBS в воскресенье 26 сентября. Согласно официальной информации, источником проблем с производительностью стала система хранения данных в обслуживающем инстансы ЦОД. Устранить неисправность удалось лишь утром следующего понедельника.

Пользователи начали наблюдать снижение производительности с 20:11 по тихоокеанскому времени. Проблема охватила инстансы в зоне доступности USE1-AZ2, являющейся частью региона US-EAST-1 в Северной Вирджинии. Представители компании объяснили инцидент «сбоем при координации хостов хранения из-за возросшей конкуренции за ресурсы».