Аварии в ЦОД: новости из США, Новой Зеландии, Пакистана, Филиппин и Индии

Из-за пандемии Covid-19 перебои в работе широкополосного интернета и дата-центров переживаются обычными пользователями, госучреждениями и бизнесом особенно остро. Высокоскоростное интернет-соединение стало спасением в период локдаунов для миллионов офисных сотрудников, студентов, медицинских работников и других лиц, начавших активнее использовать широкополосную связь для удаленной работы / обучения. К сожалению, аварии в ЦОД, влекущие недоступность интернет-сервисов, все еще случаются, о чем свидетельствует свежий тематический дайджест.

В Окленде отключение ЦОД произошло из-за грызунов, повредивших кабель

В конце января 2021 свыше 1 тыс. пользователей широкополосного доступа в интернет в западной части новозеландского города Окленд более чем на сутки лишились подключения к сети. В число пострадавших вошли, помимо прочего, владельцы местных краевых ЦОД.

Расследование показало, что отключение интернета произошло из-за грызунов, повредивших 144-жильный оптоволоконный кабель, принадлежащий телекоммуникационной компании Chorus. Инцидент произошел на территории района Мэсси. По словам представителей Chorus, разрыв кабеля «вероятно, возник из-за грызуна, что связано с аналогичными повреждениями, которые наблюдались в других местах».

Отраслевые эксперты отмечают, что сотни отключений электроэнергии и разрывов оптоволокна происходят из-за белок, змей и иных живых существ, которые случайно перекусывают силовые / телекоммуникационные каналы. Причем результат для животных обычно хуже, чем для владельцев инфраструктуры. Иными словами, животное зачастую погибает в момент контакта с кабелем.

Инженеры Google однажды обнаружили частые и короткие перебои в работе мультитерабитного оптоволоконного канала, проходящего через Орегон. Виновницами оказались коровы, наступавшие на кабель. Интернет-корпорации также пришлось укрепить тысячи километров подводных кабелей, когда обнаружилось, что акулы любят нападать на них.

Пакистанские ЦОД ушли в офлайн из-за неисправности подводного кабеля

Аналогичный инцидент случился в начале февраля 2021 в Пакистане. Работа значительной части местной интернет-инфраструктуры прервалась из-за повреждения подводного кабеля возле населенного пункта Абу-Талата в Египте. Соответствующий магистральный кабель используется пакистанской компанией ISP Trans World Associates (TWA), которая обслуживает около 40 процентов территории данного государства.

Точная информация о причинах инцидента не разглашается. Но ранее рассматриваемая азиатская страна уже сталкивалась с проблемами аналогичного плана, когда магистральные оптоволоконные кабели непреднамеренно повреждались и даже умышленно перерезались.

Интересно, что в январе 2021 операторы пакистанских дата-центров столкнулись с отключением подачи электроэнергии, охватившим всю страну. В результате произошел уход в офлайн большей части интернет-сервисов, обслуживаемых местными ЦОД. Также наблюдались проблемы с получением доступа к иностранным порталам.

Впоследствии представители Министерства энергетики Пакистана заявили, что отключение электроэнергии по всей стране было вызвано внезапным падением частоты в системе передачи электричества после аварии на ТЭС в южной провинции Синд.

Неисправность привела к отключению высоковольтных линий электропередачи страны, что, в свою очередь, привело к падению частоты в системе с 50 до 0 менее чем за секунду. Падение частоты обернулось остановкой электростанций. К счастью, большинство критически важных инфраструктурных объектов, включая больницы и аэропорты, быстро перешли на генераторы, чтобы сохранить электропитание.

Отдельные центры обработки данных, возможно, также перешли на дизельное топливо, но из-за того, что вся энергосистема вышла из строя, пострадала большая часть телекоммуникационной сети Пакистана, что обернулось недоступностью интернета для конечных пользователей.

Интернет-банкинг и платежные терминалы банка HDFC были отключены из-за «сбоя в центре обработки данных»

Чуть менее масштабный инцидент случился в соседней Индии. Интернет-банкинг, платежная платформа UPI и банкоматы местного финансового учреждения HDFC Bank ушли в офлайн из-за сбоя в работе инфраструктуры ЦОД, случившегося 21 ноября 2020.

По словам представителей банка, являющегося крупнейшим кредитором частного сектора Индии, авария затронула лишь один из корпоративных центров обработки данных HDFC Bank. Однако в пресс-службе финансового учреждения не раскрыли точную причину ухода дата-центра в офлайн. Обслуживание клиентов возобновлялось в полном объеме к утру следующего дня (22 ноября).

Мобильные дата-центры вернули работоспособность IT-инфраструктуры AT&T в Нэшвилле после взрыва

25 декабря 2020 в центре американского города Нэшвилл произошел взрыв транспортного средства, из-за которого пострадали трое прохожих, а также оказались повреждены несколько зданий. Подозреваемый Энтони Куинн Уорнер предварительно отправил письма в местные СМИ, в которых утверждал, что высадка американских астронавтов на Луну и атака террористов в Нью-Йорке 11 сентября 2001 года были сфальсифицированы.

Террористическая атака была совершена Уорнером прямо перед центральным офисом американской телекоммуникационной компании AT&T. В результате взрыва бомбы были повреждены несколько этажей, колонны и лифты. Была нарушена целостность электрических соединений, а также водопровода, что вызвало сильное затопление на нижних этажах здания.

26 декабря техники просверлили отверстия в стенах, чтобы повторно обеспечить электропитание критически важного оборудования через внешние генераторы. Через день подача электричества была восстановлена на четырех этажах, а из подвала была откачана вода (уровень жидкости понизился на метр). Техники также начали работу по ремонту охлаждающего оборудования, чтобы можно было управлять температурой в серверных после повторного ввода в эксплуатацию.

Ко вторнику 29 декабря местные коммунальные службы восстановили подачу электроэнергии в здание. Параллельно были развернуты мобильные «краевые» дата-центры, взявшие на себя часть IT-нагрузки. Объект все еще находится на ремонте, и пройдет некоторое время, прежде чем удастся устранить все проблемы.

Авария в филлипинском ЦОД Converge ICT оставила частных и корпоративных клиентов компании без интернет-сервисов

17 ноября 2020 работающая на Филиппинах телекоммуникационная компания Converge ICT Solutions подтвердила сообщения о перебоях в работе своих интернет-услуг, сославшись на проблемы в центре обработки данных в качестве причины прерывания обслуживания.

В официальном комментарии отмечается, что проблемы затронули пользователей «по всей стране». Последующее расследование показало, что причина инцидента крылась в инфраструктуре электропитания ЦОД. Утром 18 ноября компания сообщила, что восстановила обслуживание частных и корпоративных клиентов в полном объеме.

NetGain переводит дата-центры в офлайн после атаки с применением программы-вымогателя

Компании NetGain Technologies, базирующейся в американской Миннесоте, пришлось отключить некоторые из своих центров обработки данных после кибератаки злоумышленников с использованием программ-вымогателей.

Поставщик управляемых IT-услуг NetGain был вынужден перевести ЦОД в режим ожидания после кибератаки, начатой в конце ноября. Хотя компания NetGain стала жертвой вымогателей еще 24 ноября, ее представители начали отправлять клиентам электронные письма, предупреждая об опасности только 4 декабря, информируя о возможных «сбоях или замедлении работы системы».

На следующий день компания начала закрывать дата-центры, пытаясь изолировать часть IT-инфраструктуры, затронутую атакой программы-вымогателя, и восстановить поврежденные системы.

В NetGain решили не делать всю информацию о проблеме доступной широкой общественности, предпочитая делиться детальными сведениями исключительно на брифингах с клиентами. Известно, что атака была нацелена на контроллеры домена оператора центра обработки данных, которые управляют сетями из тысяч серверов.

Атака на ЦОД NetGain произошла всего через два месяца после того, как внутренние системы одного из лидеров мирового рынка колокейшн-услуг Equinix были поражены программой-вымогателем. Однако в случае Equinix центры обработки данных оставались полностью работоспособными, несмотря на взлом. В конце 2019 дата-центр CyrusOne также подвергся атаке с применением программы-вымогателя, от которой пострадали шесть клиентов.

Даунтайм дата-центра AWS привел к уходу в офлайн сервисов многочисленных клиентов, включая Roku, Adobe

25 ноября 2020 сервис потоковой обработки данных в реальном времени Amazon Kinesis прекратил работу в кампусе центра обработки данных AWS в Северной Вирджинии. Kinesis используется другими инструментами AWS, которые также перестали работать. Данное обстоятельство привело к отключению сервисов ряда клиентов, включая Flickr, iRobot, Roku.

Работоспособность системы удалось восстановить в полном объеме к вечеру того же дня. Компания принесла извинения за проблемы, отметив, насколько важен данный сервис для клиентов и их заказчиков.

Массовая остановка серверных ферм в Техасе из-за шторма

Во второй половине февраля 2021 из-за сбоев в работе центров обработки данных, вызванных отключением электроэнергии в Техасе, интернет-пользователи из Северной Америки столкнулись с уходом в офлайн многих популярных сервисов.

Администрация штата ввела в действие план постепенного отключения электроэнергии из-за шторма «Ури». Плохо финансируемая и плохо регулируемая региональная электросеть потеряла десятки гигаватт электроэнергии, оставив миллионы граждан без отопления.

В Техасе работает около 2 сотен центров обработки данных. Большинство крупных операторов местных ЦОД перешли на дизельные генераторы, когда столкнулись с урезанием потока электроэнергии из центральной сети, продолжая обслуживание корпоративных клиентов и обычных пользователей.

Но некоторые компании оказались не в состоянии обеспечить бесперебойную работу серверных ферм. В частности, перебои в работе дата-центров привели к уходу в офлайн интернет-платформ Availity и California Medical Association.

Крупные колокейшн-провайдеры Digital Realty, Equinix и QTS, владеющие местными серверными фермами подтвердили, что поддерживали бесперебойную работу подконтрольных ЦОД во время чрезвычайного положения.