Как аварии в дата-центрах подпортили нервы метеорологам из США и налоговикам из Австралии

Аварии на серверных фермах, связанные с перебоями в работе физической инфраструктуры внутри этих центров обработки данных, атаками хакеров на серверы и другими причинами, наносят серьезный ущерб репутации владельцев этих ЦОД и становятся причиной колоссальных убытков. Чтобы минимизировать риск ухода ЦОД в офлайн, разумнее всего учиться на чужих ошибках. Предлагаем вашему вниманию свежие новости об авариях в ЦОД.

Инфраструктура Национальной метеорологической службы США ушла в офлайн из-за отказа маршрутизаторов

Вычислительная инфраструктура Национальной метеорологической службы США (National Weather Service, NWS) ушла в офлайн. Причиной стал отказ ряда критически важных магистральных маршрутизаторов в дата-центре этого американского правительственного агентства.

Даунтайм длился три часа и привел к потере работоспособности первичной системы передачи данных в сети спутникового вещания, которая используется Национальной метеорологической службой США для передачи обновленных сведений о погодных условиях, прогнозов погоды и предупреждений.

Интересно, что инфраструктура NWS уходит в офлайн отнюдь не в первый раз. В 2013 году во время и после урагана «Сэнди», обрушившегося на восточное побережье Штатов, многие региональные вебсайты данной организации ушли в офлайн. Позже представители NWS объяснили случившееся «неполадками после обновления программного обеспечения».

В мае того же года после мощного торнадо «Мур», которое серьезно повредило инфраструктуру партнера NWS в лице телекоммуникационной компании Verizon в пригороде Чикаго, сотрудники Национальной метеорологической службы оказались не в состоянии организовать передачу предупреждений о сильной грозе и внезапном наводнении через интернет. В результате этого метеорологи были вынуждены перейти на средства телефонной связи, чтобы передавать данные о погоде, которые они собрали.

В июле 2013 года «серьезная проблема, связанная с работой сетевой инфраструктуры», вызывала полный уход в офлайн ряда веб-сервисов NWS, которые оставались недоступны в течение четырех часов. Это помешала метеорологам предупредить американцев о двух крупных грозах и разослать предупреждения о наводнениях. Когда передача данных возобновилась, она значительно замедлилась. При этом из-за неразберихи метеорологи ошибочно опубликовали предупреждение о наводнении в штате Вашингтон.

В конце прошлого года, когда ураган «Мэтью» сеял хаос по всему американскому штату Флорида, несколько веб-сайтов NWS снова оказались недоступны для широкой общественности. Позже представители организации списали все на «аномалию в работе аппаратного обеспечения» в одном из своих ЦОД.

Эксперты HPE назвали причину ухода в офлайн сайта Австралийского налогового управления

Эксперты Hewlett-Packard Enterprise (HPE) заявили, что недавние перебои в работе сайта и веб-сервисов Австралийского налогового управления были вызваны проблемами с твердотельными накопителями в ЦОД этой государственной организации. Проблемные SSD-накопители были предоставлены неназванным поставщиком и использовались в процессе развертывания вычислительной инфраструктуры в дата-центре государственной организации, который курировался HPE.

Название производителя вышедших из строя устройств названо не было, но представитель HPE сказал, что благодаря совместным усилиям Hewlett-Packard Enterprise и этого незваного поставщика удалось выяснить причину проблемы. Злополучные SSD-накопители начали выходить из строя из-за «уникального набора обстоятельств».

Первые перебои по данной причине произошли в середине декабря 2016 года. Первоначально все списали на недоработки при модернизации оборудования в ЦОД, которая велась с ноября 2015 года. После нескольких перебоев в декабре инциденты прекратились.

Проблемы возобновились 2 февраля. Причем на этот раз перебои были гораздо серьезнее и продолжались в течение нескольких дней. Представители Австралийского налогового управления отметили, что технические специалисты государственной организации работали с коллегами HPE днем и ночью, чтобы исправить проблемы. Но работоспособность всех систем удалось восстановить в полном объеме только к 6 февраля.

После этого инцидента правительство Австралии объявило о проведении аудита более 100 реализуемых в настоящее время IT-проектов, предполагающих капитальные затраты на сумму более $ 10 миллионов австралийских долларов в первой половине 2017 года. Речь идет помимо прочего о проектах, предполагающих замену и модернизацию элементов вычислительной инфраструктуры в государственных ЦОД с привлечением крупных производителей, таких как IBM и HPE.

Некоторые независимые эксперты предполагают, что проблемные твердотельные накопители предоставил южнокорейский вендор Samsung, который является ведущим в мире поставщиком SSD корпоративного класса. В августе 2016 года представители южнокорейской компании заявили, что на ее долю приходится от 32 процентов до 45 процентов мирового рынка подобной продукции в стоимостном выражении – согласно оценкам различных аналитиков. Также известно, что Samsung почти наверняка работает с HPE, потому что ранее маркетологи Hewlett-Packard Enterprise рекламировали вычислительные системы с поддержкой одиночных SSD-накопителей емкостью в 15 терабайт (такие решение в основном продает Samsung).

Вычислительная инфраструктура университета пострадала от DDoS-атаки со стороны торговых автоматов

Вычислительная инфраструктура неназванного университета пострадала от DDoS-атаки со стороны торговых автоматов и различных устройств из категории IoT (интернет вещей). Об этом говорится в докладе Data Breach Digest2017, который был опубликован телекоммуникационной компанией Verizon. Представители пострадавшего университета связались с телекоммуникационной компаний и попросили о помощи, чтобы справиться с необычной атакой.

Все началось с того, что студенты стали замечать замедление интернета. После этого команда IT-безопасности университета провела исследование и подтвердила факт существования серьезной проблемы. Серверы, ответственные за работу службы доменных имен (DNS), получали ненормальное количество запросов. Это привело к замедлению работы интернета. Выяснилось, что всему причиной DDoS-атака с использованием ботнета, состоящего примерно из 5 тысяч IoT-устройств – включая торговые автоматы, которые хакеры взяли под контроль.

Устройства были добавлены в состав ботнета благодаря тому, что хакеры получили над ними контроль, перебирая слабые пароли и пароли по умолчанию. Затем они изменяли пароли устройств на более сложные. Первоначально сотрудники команды безопасности считали, что единственный способ решить проблему заключался в том, чтобы заменить все устройства. Но, к счастью для университета, был разработан другой план. Было решено перехватывать незашифрованные пароли скомпрометированных IoT-устройства через кабель, а затем использовать эту информацию, чтобы выполнить изменение пароля до следующего обновления вредоносной программы.