Аварии в ЦОД: новости из США, Канады, Австралии, Японии и Бельгии

Простои ЦОД – не единственная угроза для бизнеса типичной интернет-корпорации, но точно одна из самых серьезных. Как показывает практика, проблемы с корпоративным / коммерческим центром обработки данных способны оказать огромное негативное влияние на бизнес, приводя к возникновению финансовых и репутационных потерь. К сожалению, как показывают свежие новости об авариях ЦОД из разных уголков планеты, обеспечить 100-процентный аптайм серверной фермы крайне сложно.

ЦОД в американской Луизиане выходят из строя после урагана «Ида»

Из-за случившегося в конце августа 2021 пожара внутри дата-центра, принадлежащего мэрии американского Нового Орлеана, сайты правительственных учреждений, обслуживающих регион, оказались недоступны. Примечательно, что возгорание совпало с приходом в регион разрушительного урагана «Ида». Официальные лица заявили, что после ухода государственных сайтов в офлайн они начали использовать социальные сети и текстовые сообщения (SMS), чтобы рассылать важные новости жителям и предприятиям.

Дата-центр, внутри которого случился пожар, расположен на третьем этаже мэрии Нового Орлеана. Возгорание удалось оперативно потушить, но ЦОД оставался отключенным в течение длительного периода. Причина пожара неизвестна, но произошел он после отключения рада обслуживающих регион электростанций и повреждения линий электропередачи ураганом, в результате чего мэрия перешла на дизельные генераторы.

Новый Орлеан не является крупным рынком услуг ЦОД – отчасти из-за высокого риска стихийных бедствий вроде ураганов. Город испытал разрушительное наводнение во время урагана «Катрина» в 2005, а штат Луизиана, частью которого он является, в свою очередь, пережил три урагана («Лаура», «Дельта» и «Зета») в одном лишь 2020.

Но «Ида» не была обычным штормом. Питаемый теплой водой Мексиканского залива циклон превратился из тропического шторма в ураган 4-й (предпоследней) категории примерно за 72 часа. Согласно предварительным подсчетам, по всей Луизиане более миллиона человек остались без электричества из-за урагана. Число погибших и масштабы разрушений пока неизвестны. Из-за изменения климата, вызванного деятельностью человека, природные катаклизмы, подобные смертоносному урагану «Ида», с большой вероятностью будут возникать все чаще и становиться сильнее, нанося урон, помимо прочего, и инфраструктуре ЦОД.

Неавторизованный доступ к системе управления инфраструктурой ЦОД Web Hosting Canada привел к даунтайму

Канадский хостинг-провайдер Web Hosting Canada столкнулся с выходом инфраструктуры ЦОД из строя из-за действий стороннего поставщика услуг. Даунтайм произошел в субботу 28 августа 2021. В пресс-релизе монреальского провайдера хостинговых услуг отмечается, что причиной даунтайма, вызвавшего необратимую потерю данных, стало несанкционированное получение доступа к системе управления IT-инфраструктурой ЦОД сотрудником неназванной компании-партнера.

В частности, отмечается, что виновник аварии использовал учетную запись с привилегированным доступом для подключения к одному из порталов управления ЦОД и без авторизации инициировал повторное создание образов серверов, используя резервные машины. Спустя несколько часов группа быстрого реагирования на инциденты выявила проблему и отключила доступ к исходной учетной записи, предотвратив дальнейший ущерб.

После инцидента клиенты компании начали сообщать через социальные сети о том, что не были проинформированы о проблеме со стороны WHC. Некоторые из них столкнулись с потерей сайтов, которые размещались на серверах компании.

Японское облако AWS ушло в шестичасовой даунтайм

В начале сентября 2021 пользователи облачной платформы AWS в токийском регионе столкнулись с шестичасовым отключением доступа к ресурсам платформы. Авария нарушила работу банков, брокерских контор и авиакомпаний. Представители правительства Японии заявили о намерении властей провести собственное расследование инцидента.

Сбой в регионе AP-Northeast-1 Amazon Web Services, обслуживаемом дата-центрами в Токио, в частности, привел к уходу в офлайн гибридной облачной платформы AWS Direct Connect. С помощью данного инструмента компании могут создавать частное соединение между AWS и собственными дата-центрами, офисами или колокейшн-средой. Согласно результатам предварительного расследования, сбой произошел из-за проблем с несколькими критически важными сетевыми устройствами.

В результате сбоя была остановлена работа онлайн-брокерской компании Matsui Securities Co., а также части сервисов SBI Securities Co. и Rakuten Securities Inc. Нарушилась работоспособность интернет-сервисов банка Mizuho Bank. Авиакомпания ANA Holdings была вынуждена отложить ряд рейсов из-за проблем с системами оформления билетов и регистрации, в то время как авиаперевозчик Japan Airlines Co. лишился доступа к системе контроля веса авиационного груза (благо, данный инцидент не повлиял на пассажирские рейсы). Японское метеорологическое агентство не смогло обновить данные на своем веб-сайте, а оператор сотовой связи NTT Docomo сообщил о незначительном сбое в обслуживании.

Перебои в работе австралийского облака Google Cloud

Новейший регион облачной платформы Google Cloud отключился на 1 час 30 минут 24 августа 2021 из-за проблем с «переходным напряжением», которые привели к перезагрузке сетевого оборудования. Инцидент случился в регионе Australia-Southeast2, охватывающем австралийский Мельбурн. Регион был запущен 25 июля.

Согласно предварительному анализу, основной причиной стало переходное напряжение на фидере, обслуживающем сетевое оборудование. Чтобы смягчить проблему, трафик в регионе Australia-Southeast2 пришлось временно перенаправить во все еще функционирующие ЦОД.

Пользователи инструмента Cloud Interconnect столкнулись со 100-процентной потерей пакетов, в то время как пользователи Cloud Storage, Cloud Run, Cloud SQL, Cloud Filestore, Cloud Spanner и Cloud Bigtable наблюдали постоянные ошибки. После устранения аварии в пресс-службе Google принесли клиентам извинения за неудобства, которые могли быть вызваны произошедшим сбоем в обслуживании.

Сбой маршрутизатора в бельгийском ЦОД edpnet привел к отключению серверной фермы

Европейская телекоммуникационная компания edpnet в начале августа 2021 столкнулась с 75-минутным даунтаймом в ЦОД, который находится в Синт-Никласе, Бельгия. Инцидент произошел после отказа одного из основных маршрутизаторов по неизвестным причинам.

Небольшая независимая телекоммуникационная компания edpnet предлагает высокоскоростные соединения между Россией, Европой и США, а также услуги в области организации оптоволоконных соединений и телефонии. Перебои в работе ее бельгийского ЦОД начались 13 августа в 8:15 и закончилось в 9:30 по центральноевропейскому времени.