Даунтайм ЦОД обернулся четырехдневным отпуском для французских финансистов

В начале минувшей недели единая система учета кредиторской задолженности Chorus, используемая французским правительством, была заново запущена после четырехдневного отключения. Об этом на днях объявили представители Французского государственного агентства финансовых вычислений (French State Financial Computing Agency; AIFE).

Авария в центре обработки данных, который находился под управлением французской компании Bull, обернулась неполадками в работе системы хранения данных, в которой содержалась информация Chorus. Этот инцидент привел к нарушению работы ядра Chorus — системы SAP с аудиторией в 25 000 пользователей. Примечательно, что другое приложение финансовой организации (Chorus Forms) продолжало исправно выполнять запросы 30 000 пользователей.

Пожар в машзале был случайно вызван после ошибки одного из субподрядчиков Bull. Возгорание началось в системе пожаротушения. В результате инцидента было практически одновременно повреждено несколько основных компонентов системы хранения данных. Представители Bull прокомментировали произошедшее:

«Мы можем подтвердить, что в минувшую среду произошел инцидент, который затрагивает один из машзалов в одном из наших дата-центров», отметила менеджер Bull по связям со СМИ Орели Негро. «Наши специалисты оперативно выполнили необходимые процедуры, оговоренные планом действий на случай чрезвычайных ситуаций. Мы смогли в течение часа воссоздать нормальные условия эксплуатации оборудования. Тем не менее, простой, возможно, оказал негативное влияние на бизнес-процессы некоторых наших клиентов».

Для Chorus этот инцидент обернулся тяжелым ударом: даже при том, что дисковая система была организована по схеме RAID 6 (дисковый массив с чередованием, использующий две контрольные суммы, вычисляемые двумя независимыми способами) для обеспечения достаточного уровня избыточности, возможности провести восстановление данных, а также добиться согласованной работы дисковой системы не было.

Попытки восстановить данные не принесли результатов, потому специалисты агентства решили восстановить резервную копию информации по платежным операциям, сделанную до инцидента. На эту операцию и последующую проверку восстановленных данных ушла большая часть выходных. Работоспособность сервиса была окончательно восстановлена в воскресенье вечером.

Несмотря на вышеозначенную проблему, система, отвечающая за обмен файлами, продолжала работать, позволяя размещать запросы по расчетам с поставщиками в очередь на обработку. В понедельник утром агентство отправило запрос в адрес Банка Франции на осуществление 13400 выплат задержкой, общая сумма которых составила € 181 млн. (или $ 232 млн.).

«Система Chorus эксплуатируется с 2008 года, и это первый серьезный инцидент», сказала директор AIFE Режин Диани, выступая на официальной пресс-конференции по поводу сложившейся ситуации. Согласно принятым нормам, система должна быть доступна пользователям 22 часа в день, пять дней в неделю. Эти нормы исправно выполнялись с момента создания Chorus – уровень аптайма системы учета кредиторской задолженности составлял 99.8 процента, и 100 процентов в течение первых пяти месяцев этого года.