Аварии ЦОД – Новости от Visa, AWS, DigiPlex, Nordic Nasdaq и не только

Доступ к солидным вычислительным мощностям нужен все большему числу предприятий, которые стараются вести бизнес в интернете. Чтобы планомерно расширять клиентскую базу, не теряя покупателей из-за разного рода IT-инцидентов, они нуждаются в безотказной физической инфраструктуре ЦОД. Тем не менее, как показывает практика, полностью устранить вероятность ухода дата-центра в офлайн невозможно. Это подтверждают свежие новости от Лондонской фондовой биржи, колокейшн-провайдера DigiPlex и его клиента в лице биржи Nordic Nasdaq, администрации американского штата Нью-Джерси, облачного провайдера AWS и платежной системы Visa.

Лондонская фондовая биржа открывается с опозданием после простоя ЦОД

7 июня 2018 года начало торгов на лондонской фондовой бирже London Stock Exchange (LSE) было отложено на час после кратковременного отключения ЦОД. Представители LSE в качестве причины проблемы назвали техническую ошибку, но не поделились какими-либо подробностями.

Это не первый случай, когда биржа LSE прерывала работу по причине технических проблем. Если рассматривать не столь отдаленное прошлое, можно отметить, что небольшой перерыв случился в 2009 году, еще несколько сбоев произошло в 2010 и 2011 гг. Однако с тех биржа работала без сбоев — до сих пор.

Сбой в системе пожаротушения в дата-центре DigiPlex увел в офлайн биржу Nordic Nasdaq

Администрация еще одной биржи под названием Nordic Nasdaq не стали утаивать причины перебоев в своей работе, которые случились 18 апреля 2018 года. Фондовая биржа Nasdaq Nordic, базирующаяся в Хельсинки, была закрыта из-за проблемы в ЦОД колокейшн-провайдера DigiPlex. В результате торги были остановлены в Копенгагене, Хельсинки, Рейкьявике, Риге, Стокгольме, Таллинне и Вильнюсе.

В дата-центре DigiPlex в Вэсби, расположенном в 3 десятках километров к северу от Стокгольма, произошел неплановый запуск газовой системы пожаротушения. В результате этого электропитание в помещении, занятом оборудованием для хранения данных фондовой биржи Nasdaq Nordic, было отключено. Как сообщили представители DigiPlex, другие клиенты колокейшн-провайдера не пострадали. При этом в ЦОД компании не было никакого пожара.

В пресс-службе компании DigiPlex отметили, что инцидент был вызван «ошибочным срабатыванием системы огнетушителей», которое породило «проблемы с подключением» в ЦОД. Система резервного электроснабжения центра обработки данных должна была быть немедленно введена в эксплуатацию, но для ее запуска потребовалось некоторое время. В DigiPlex заявили, что компания очень серьезно относится к проблеме и «проводит тщательный анализ основных причин», для чего был привлечен внешний специалист.

Системы пожаротушения часто винят в сбоях в работе центров обработки данных. Системы пожаротушения на основе инертных газов могут вызывать серьезные проблемы, поскольку впрыскивание газа посылает ударную волну, что может повредить оборудование центра обработки данных.

Подобное произошло в дата-центре финансового учреждения ING Bank в Румынии в 2016 году, в неназванном университете в Лондоне (Великобритания) в прошлом году и в дата-центре городского совета Глазго в 2015 году. В прошлом году инженеры Microsoft столкнулись с аналогичным инцидентом во время рутинного технического обслуживания инфраструктуры ЦОД.

Отключение государственного дата-центра в Нью-Джерси из-за системы пожаротушения

Подобный инцидент случился и относительно недавно. 2 июня 2018 года запуск системы пожаротушения в государственном дата-центре администрации штата Нью-Джерси (США) привел к уходу в офлайн серверов, в результате чего местные органы власти оказались вынуждены обходиться без IT-поддержки в течение более чем 24 часов.

Одним из пострадавших учреждений была Комиссия по организации и проведению выборов (ELEC). Ввиду этого инцидент в Нью-Джерси является напоминанием о том, что все более демократические выборы по всему миру зависят от цифровой инфраструктуры, используемой при регистрации кандидатов, а в некоторых случаях и в ходе онлайн-голосования. Не сообщается, какая именно система пожаротушения была установлена в пострадавшем ЦОД.

Сбой в работе инфраструктуры электропитания в дата-центре нарушает работу облака AWS

1 июня 2018 года сбой произошел и в ЦОД компании Amazon, который отвечал за обеспечение работоспособности облачной платформы Amazon Web Services (AWS). Сообщается, что произошла авария в энергетической инфраструктуре. Она повлияла на один из облачных центров обработки данных компании.

Этот ЦОД располагается в Северной Вирджинии (США). Он обслуживает регион US-EAST-1. В данной зоне доступности были проблемы с подключением, которые наблюдались в течение примерно 30 минут.

Компания предупредила, что авария привела к сбоям в работе IT-оборудования (небольшой процент физических серверов в этом центре обработки данных, а также некоторые сетевые устройства). Это означает, что некоторые клиенты, которые сохраняют свои рабочие данные в одной зоне доступности, не смогут восстановить инстансы.

Инцидент был усугублен тем фактом, что примерно в то же время возникли небольшие проблемы и у клиентов из региона US-EAST-2, который обслуживается ЦОД, расположенным в Огайо (США). В данном случае произошла полная потеря сетевого соединения.

Европейская сеть Visa восстанавливается после отказа оборудования

Из-за аварии в ЦОД, случившейся 1 июня 2018 года, в офлайн ушла европейская платежная сеть Visa. Она вернулась к нормальной работе на следующий день, но многие клиенты компании столкнулись с серьезными неудобствами и проблемами.

В частности, многочисленные компании и клиенты не смогли совершить или получить платежи с использованием банковских карт. Сообщается, что «отказ оборудования» привел к проблемам на всем континенте.

«Команда Visa разрешила техническую проблему, которая произошла в Европе, и не позволила некоторым потребителям использовать систему Visa для платежей. Проблема была связана с аппаратным сбоем в рамках одной из наших европейских систем и не связана с каким-либо случаем несанкционированного доступа или кибератакой», говорится в заявлении компании.

Более подробная информация об отключении ЦОД или о сбое аппаратного обеспечения не была предоставлена. При этом следует отметить, что у Visa имеются свои собственные центры обработки данных. В прошлом году компания объявила, что будет модернизировать лондонский ЦОД площадью 930 кв. м. после объединения сети Visa Europe с Visa Inc. Ранее сообщалось, что некоторые бэкэнд-услуги компании Visa предоставляет IBM.