В прошлый вторник 20.03, произошла авария в Дата-Центре DataLine. Вследствие шквалистого ветра чиллеры, размещенные на крыше ЦОД, были завалены металлическими конструкциями с соседнего здания и выведены из строя. В результате аварии, некоторые клиенты смогли восставить работу только утром.
Ситуация для Дата-Центра, позиционирующего себя как TIER-3, мягко сказать не приятная. Почему чиллеры, установленные на крыше пристройки, небыли защищены специальными решетчатыми кожухами, при условии существования явных рисков от расположенных в блажащей доступности старых заводских построек.
Еще один интересный факт — показатели состояний климатических условий в залах ЦОД на Боровой, опубликованные на главной странице сайта, оставались на протяжении всей аварии в рамках нормы, что явно не соответствовало действительности. Это несоответствие наводит на размышление о том, что цифры взяты не из системы мониторинга Дата-Центра, а введены контент-менджером сайта и могут быть далеки от реальных и сейчас.
Нельзя не отдать должное представителям DataLine, весьма подробно осветившим произошедшую аварию и опубликовавшим фото-отчет о результатах разбушевавшейся бури, приведенный ниже. Таким подробным описание аварии и сроков ее устранения представители Дата-Центров России балуют своих клиентов крайне редко, хотя с другой стороны, сухими строчками о происшествия, да еще и не из официального источника, авторы могли бы подлить последнюю каплю масла в давно разгорающийся огонь недовольства качеством услуги размещения оборудования в ЦОД DataLine.
Официальный источник с сайта DataLine
УРАГАН НА БОРОВОЙ И ЕГО ПОСЛЕДСТВИЯ
20.07.2010 в 18.18 часов вследствие шквального ветра, вызванного ураганом, внешние блоки системы кондиционирования (чиллеры) были завалены тяжелыми металлическими конструкциями (по нашим оценкам более 10 тонн стального профлиста и двутавровых балок), рухнувшими на крышу ЦОДа с крыш соседних зданий. В результате все три чиллера получили физические повреждения: в частности, пробиты и разгерметизированы радиаторы с этиленгликолем, что привело к резкому снижению давления в системе охлаждения. Кроме того, двутавровыми балками повреждены 10 вентиляторов на двух из трех холодильных машин. Все эти факторы привели к быстрому повышению температуры в машинных залах.
Для восстановления давления в системе были использованы имеющиеся у нас запасы этиленгликоля. Мы смогли запаять один из поврежденных участков гликолевого контура и в 19.50 запустить в эксплуатацию первый чиллер, что привело к снижению температуры в залах примерно на 5 градусов.
В дальнейшем проводились работы по реанимации остальных чиллеров, что и было достигнуто в 23.30 через 4 часа восстановительных работ. После чего ЦОД перешел в работу в штатном режиме. Температура в залах стабилизировалась к 4 часам утра следующего дня (21.07.2010).
В настоящее время работают 2 чиллера, температура в залах стабилизирована, ЦОД работает без резервного чиллера. Для его восстановления производятся необходимые закупки запасных частей, ведутся ремонтные работы его фреонового контура. Восстановление системы резерва происходит силами сервисной компании.
По нашим прогнозам в течение 24 часов ЦОД перейдет в штатный режим работы с наличием резерва.
