Экскурсия в дата-центр MSM.ru

Дата-центр на ВДНХ – это экспериментальный проект, спроектированный и сделанный целиком в стенах компании МСМ. Он небольшой, всего 40 стоек, имеет уровень TIER 2+. В Центре Обработки Данных (ЦОД) уровня Tier 2 (с избыточными компонентами) предусматривается резервирование компонентов инженерных систем, но только один путь распределения электропитания и охлаждения. Такой ЦОД подвержен нарушениям функционирования от разного рода действий и событий меньше, чем Tier 1, но техническое обслуживание и ремонт системы распределения электропитания и охлаждения потребует остановки всего установленного в нем оборудования.

Дата-центр МСМ имеет полностью резервированное питание и охлаждение, но, поскольку, стоит не в отдельно построенном под ДЦ здании не может считаться TIER 3.

Эксперимент с датацентром на ВДНХ проводится для того, чтобы научиться, как правильно строить дата-центры. И сейчас МСМ строит новый, самый большой в России, дата-центр на 2000 стоек. Это больше, чем на М9 и у стак-нета. Новый дата центр будет иметь уровень TIER 4. В ЦОД уровня TIER 4 (отказоустойчивый) для распределения электропитания и охлаждения предусмотрено несколько маршрутов, из них не менее двух всегда активны. Для этого инженерные системы должны обладать двойным уровнем избыточности по принципу «система+система». Уровень TIER 4 позволяет осуществлять любую плановую деятельность без нарушения нормального функционирования критически важной нагрузки. Отказоустойчивость инфраструктуры ЦОД достаточна для того, чтобы выдержать, по крайней мере, один внеплановый отказ (или событие) наихудшего свойства без последствий для критически важной нагрузки. По расчетам Uptime Institute, доступность ЦОД уровня Tier 4 составляет 99,995%, что соответствует 26 мин простоя в год. Продолжительность доступности и простоя ЦОД уровня Tier 2 и 3 составляет 99,75% и 99,98%, что соответствует 21,9 и 1,75 ч простоя в год.
В датацентре MSM всего 2 ряда стоек. Внизу из щелей идет холодный воздух с хорошим напором, чтобы доходить до серверов на самом верху стоек. Он отражается от потолка, в результате чего внутри коридора очень холодно и создается избыточное давление, чтобы избежать попадания пыли в холодный коридор, а холодный воздух равномерно достигал всех серверов в стойках. Горячий воздух забираемый из так называемых горячих коридоров которые расположены по краям проходит через фильтры, чтобы она не попадала в сервера.
Коммутатор, который раздаёт интернет на все стойки. Подобных коммутаторов в Дата-центре МСМ два они расположены в 2-х последних стойках + запас всех необходимых плат на случай выхода каких-либо из них из строя.
Это рейд-массив (рейд 5) в 12 терабайт, где хранятся все логи и дампы из дата-центра. Еще у МСМ более100 стоек на M9. Если у вас сервера у мсм в разных дата-центрах, то трафик между ними не считается.
Огромный черный шкаф – это мега-упс, который может держать весь дата-центр в течении 15-20 минут. Так же в подвале стоит дизель-генератор на всякий случай, который включается автоматически если один из 2-х энергетических вводов упадет. Красные баллоны – это газ (углекислый, вроде) под давлением. Если что-то загорается в дата-центре, то газ выпускается и замещает собой весь кислород. Соответственно огонь тушится, но всё оборудование при этом остаётся невредимым.
Вот так выглядит этот мега-упс внутри.
Еще баллоны, уже подключенные в систему.
Датчики дыма и огня стоят над каждой стойкой и под фальш полом перед каждой стойкой… Но, на всякий случай, еще и 24/7/365 сидит специальный человек, ответственный за противопожарную охрану.
Это щиток, который контролирует электричество. В этот дата-центр входит 2 электрических независимых канала. Каждый из которых может полностью обеспечить электро-снабжением весь дата-центр. Ну и в качестве резерва упс и дизель-генератор.
Щиток, который раздаёт электричество на каждую стойку. В прямом эфире показывает, сколько ампер каждая стойка жрет.
Система охлаждения. Воздух очень неплохо очищается фильтрами и охлаждается. Таких установок всего 3 – в начале, по середине и в конце дата-центра. Любые две могут обеспечивать полное охлаждение всех 40 стоек. Соответственно всё сделано с избытком.
Современные технологии даже в офисе – двери открываются от отпечатков пальцев. Еще в этот дата-центр проложено два 10ти гигабитных канала в интернет (один основной и один резервный) и два по 1 гигабиту ( для офисного применения ). При этом у канала свободна полоса в 6 гигабит. У МСМ очень много известных клиентов. Так, несколько стоек в дата-центре на ВДНХ, полностью заклеены наклейками одного очень известного южнокорейского гиганта. Там размещены все их сервера. Все сервера, сдаваемые в аренду компанией МСМ сейчас – это сервера IBM. Раньше у них были еще и HP, но от них пришлось отказаться, т.к. были проблемы с драйверами на линухах, отличных от Red Hat’а. Самосборных серверов МСМ не сдаёт в аренду. И еще – на сайте есть стандартные конфигурации серверов, но это совершенно не значит, что нет других. С менеджерами всегда можно договориться и заказать именно тут конфигурацию, что нужно. Так же компания МСМ может помочь сделать систему любой сложности в их дата-центрах, как например системы балансировки нагрузки на сервера, отдельные сервера под БД и т.д. и т.п. Еще они могут помочь бороться с ДДОС и вообще сделать всё, что захочется клиенту за его деньги. Кроме одного – они принципиально не занимаются “администрированием” серверов на уровне софта (настройка апача/мускуля и т.д.). Было очень интересно и я понял, что не зря арендовал сервер именно у них. Он, кстати, работает там уже полтора года как часы. Единственное, пришлось его перезагружать несколько раз из-за того, что обновлял ядро. Pavel Bykov (http://padlik.ru)