Фотоотчет по экскурсии в ЦОД «Нагорная» ОАО «Электронная Москва»

Центр обработки данных «Нагорная» ОАО «Электронная Москва» разместился на территории бывшего завода по производству медной фольги на Электролитном проезде. Вокруг этой площадки на протяжении последних месяцев в блогосфере было много интригующих слухов. Прояснить ситуацию поможет фотоотчет по результатам экскурсии в дата-центр. Предваряя главный из вопросов, сообщаем, что одним из заказчиков этой площадки действительно является     Правительство г. Москвы, которое постепенно переводит сюда свои мощности. Правдой является и то, что в коммерческом дата-центре «Нагорная» это далеко не единственный заказчик.

После того как в середине 1990-х годов из Москвы были выведены многие заводы, и в том числе завод на Электролитном проезде, электрические мощности предприятия освободились. Часть из них была выделена центру обработки данных «Нагорная». Установленная мощность ЦОДа ‒ 6,8 МВт, полезная мощность ‒ около 4,5 МВт. На территории завода есть трансформаторное кольцо, питание к каждому зданию подводится двумя лучами от разных генерирующих подстанций.

В ЦОДе развернуты два машинных зала. Основной серверный зал площадью 600 м² вмещает 244 стандартные 19“ серверные стойки. Вспомогательный зал площадью 120 м² предназначен для нестандартного клиентского оборудования.

Первая очередь дата-центра «Нагорная» в количестве 100 стоек введена в эксплуатацию в августе 2013 года. Остальные зоны площадки вводятся поэтапно. Основные услуги, предоставляемые дата-центром – это размещение в стойках (colocation), подключение к операторам телекоммуникационных услуг, услуги резервного копирования, облачные услуги и проч.

Безопасность этого ЦОДа отвечает самым жесткими требованиями. При въезде на территорию предприятия, контролируемую администрацией бывшего завода, посетителям ЦОДа придется предъявить паспорт и заполнить соответствующие документы. Территория завода оборудована внешним контуром системы видеонаблюдения. Само здание ЦОДа обнесено дополнительным ограждением,

по периметру которого развернут второй контур безопасности. Используются IP-камеры наблюдения с высоким разрешением в наружном исполнении (производитель ‒ Panasonic). Камеры позволяют вывести на монитор дежурной смены охраны мельчайшие детали изображения.

Всего в ЦОДе установлено 96 IP видеокамер Panasonic, глубина записи видеорегистраторов ‒ один месяц.

Помимо внешнего и внутреннего контуров охраны и видеонаблюдения есть еще четыре контура безопасности.

Третий барьер обеспечивает система СКУД при проходе внутрь дата-центра.

Четвертый уровень контроля срабатывает при проходе в машзал. Все помещения ЦОДа также оборудованы датчиками системы контроля доступа. В случае прохода в любое помещение на мониторах охраны сразу появляется изображение с камеры.

Пятое препятствие придется преодолеть при доступе к необходимому блоку стоек – это можно сделать лишь в присутствии инженера дежурной смены.

Наконец, шестой уровень контроля обеспечивается при доступе в стойку. Камеры видеонаблюдения присутствуют во всех внутренних помещениях ЦОДа, включая серверные залы.

Проектировщики ЦОДа позаботились об отсутствии пандусов во избежание наклона оборудования при его транспортировке в дата-центр. Подъем оборудования выполняется с помощью грузового подъёмника.

При входе во внутренние помещения дата-центра придется надеть бахилы ‒ для этого у входа стоит специальная машина, которая делает этот процесс более удобным.

Персонал ЦОДа обеспечен профессиональной сменной обувью – ботинками с укрепленными мысками, которые защищают стопы; а также  спецобувью, маркированной цветом: серая предназначена для внутренних вспомогательных помещений, а белая ‒ для помещений с повышенными требованиями к чистоте.

Основной серверный зал

В ЦОДе два машинных зала с клиентским оборудованием – основной машинный зал и зал с нестандартным оборудованием. ЦОД представляет собой модульную конструкцию, собранную внутри здания. Стены в пределах модуля выполнены из пожароустойчивых сэндвич-панелей. Между сэндвич-панелями и внешними стенами есть зазор. Чтобы на внешней поверхности модуля не образовывался конденсат, он подогревается.

В основном зале ряды стандартных серверных стоек производства Emerson/Knurr образуют холодные и горячие коридоры. Передняя и задняя двери каждой стойки основного зала оборудованы сигнализацией. Каждая стойка имеет уникальный замок и индивидуальный ключ, который заказчик получает у охраны в соответствии с предварительной заявкой и при предъявлении документа, удостоверяющего личность. При открывании дверцы стойки срабатывает сигнализация, охрана по системе видеонаблюдения убеждается, что это авторизованный человек, и отключает сигнализацию. После окончания работ сигнализация вновь активируется сотрудниками охраны. Такая организация доступа отвечает, в частности, требованиям ФСТЭК.

В ряду коридора установлено по 18‒19 стоек, в зависимости от ширины стойки (соответственно, всего в модуле 36-38 стоек). Холодные коридоры изолированы.

Для охлаждения основного зала используются водяные внутрирядные кондиционеры CRAC производства Emerson. Такая архитектура позволяет гарантированно отвести от стойки до 15 кВт тепла. За счет оптимизации размещения нагрузки максимально может быть отведено до 22 кВт тепловой энергии с одной стойки.

Кондиционеры обеспечивают необходимые параметры температурно-влажностного режима. Внутри коридоров кондиционеры разделены на четыре группы, которые маркируются цветом (красным, желтым, зеленым и синим). Это сделано, с одной стороны, чтобы сократить время опроса и реакции системы управления,а с другой стороны, чтобы упростить работу обслуживающего персонала.

Водяные магистрали системы кондиционирования расположены под фальш-полом.

Для того чтобы было удобнее снимать показания контрольных манометров, установленных на магистралях, рабочая область допустимых значений на каждом приборе обозначена зеленым сектором.

Интуитивно понятная маркировка кондиционеров помогает обслуживающему персоналу быстрее ориентироваться и понять с какой группой кондиционеров он работает.

Для подключения оборудования используются модульные блоки распределения питания с мониторингом (PDU) производства Emerson/Knurr. Если каких-то разъемов требуется больше, конфигурацию блока можно изменить без отключения питания.

Электропитание в машинный зал поступает по системе шинопроводов. Отводные блоки снимаются без инструментов и легко переносятся на другое место: с красными разъемами – трехфазные, с синими – однофазные.

По периметру модуля проложен контур заземления.

Зал нестандартного оборудования

В зале нестандартного оборудования количество тепла, которое снимается с каждой стойки (а значит, и уровень потребляемой электрической мощности стойкой), в среднем составляет 5‒6 кВт на стойко-место, то есть, существенно меньше, чем в основном зале. Прецизионное кондиционирование осуществляется централизованно с помощью шести водяных кондиционеров, зарезервированных по схеме N+2. Холодный воздух подается из-под фальш-пола.

У каждого стойко-места находятся два трёхфазных электрических разъёма, которые приходят от двух независимых лучей питания. Распределение питания в этом зале выполнено посредством кабельных линий, запитанных от распределительных щитов.

На кровле

Охлаждение машинных залов обеспечивают водяные системы охлаждения, а охлаждение всех прочих вспомогательных помещений, – фреоновые машины.

Система кондиционирования выполнена на базе прецизионных кондиционеров Emerson и использует принцип фрикулинга, основанный на обмене температуры теплоносителя и естественной среды. Такой подход обещает серьезно сэкономить электричество в процессе эксплуатации. Но поскольку дата-центр заполнен пока не на 100% и эксплуатируется всего несколько месяцев, точные цифры экономии подсчитывать рано.

Для работы системы охлаждения машинных залов на кровле установлены чиллеры. В них производится теплообмен внешнего гликолевого контура с окружающей средой. Мощность каждой машины ─ 1,1 МВт, выделено место под пять чиллеров, в настоящее время установлены три, два из них работают попеременно, одна машина в резерве (чиллеры подключены по схеме N+1).

По слою снега на чиллерах видно, что левая машина в момент съемки работает (она теплее и снег на ней тает), а машина справа немного припорошена снегом. Раз в сутки чиллеры переключаются.

Каждый чиллер оснащен системой фрикулинга. При температуре окружающего воздуха ниже 10⁰C внутренний фреоновый контур выключается, и теплообмен происходит за счет прогона прохладного воздуха через теплообменник. Под чиллерами, этажом ниже, находится хладоцентр, где происходит процесс теплообмена между внутренним и внешним контуром. Хладоагент внешнего контура ─ раствор этиленгликоля, точка замерзания которого равна -29⁰C. Особенность этого хладоагента в том, что даже при более низких температурах он не кристаллизуется, а лишь становится вязким.

На кровлю здания выведены наружные блоки фреоновых кондиционеров ─ конденсаторы.

Хладоцентр

В помещении хладоцентра осуществляется теплообмен между внутренним водяным контуром и внешним контуром на этиленгликоле.

Всего имеется три водяных контура, один из которых резервный. Благодаря этому один из работающих контуров при необходимости может быть остановлен и отсечен от основной трассы. От водяных контуров (малых колец) расходятся петли, через которые доставляется холодная и принимается обратно теплая вода, после того как она пройдет теплообменник. (Решение по охлаждению проектировала компания «AMD Технологии». Генподрядчиком проекта выступала компания R-Style.)

К пластинчатому теплообменнику подсоединено четыре трубы ─ две входных, две выходных. По паре из них течет раствор этиленгликоля, по паре ─ вода.

На все элементы нанесена краткая четырехпозиционная маркировка, помогающая персоналу, который эксплуатирует систему, ориентироваться. Пятой позицией маркировки является цвет. В маркировке буква «Г» обозначает гликоль, «В» ─ вода. Голубые этикетки – это условно холодная сторона, красные – условно теплая.

Неотъемлемыми элементами хладоцентра являются насосы и щиты управления ими. Насосы управляются от частотных преобразователей, которые позволяют плавно регулировать их производительность.

Часть вентилей механические, часть – с электрическим приводом, и управляются автоматикой. В случае серьезной аварии участок контура можно отсечь, чтобы не потерять теплоноситель.

Емкость с водой – это фактически аккумулятор холода: температура воды составляет 10─12 градусов. Емкости включены в холодный участок каждого из трех водяных контуров. В случае остановки чиллеров и/или выхода из строя внешнего контура охлаждения, температура в помещениях ЦОДа какое-то время (до 20 минут)  будет поддерживаться за счет циркуляции этой воды во внутренних контурах. Из-за того, что температура воды в емкости ниже точки росы, во избежание выпадения конденсата, используется теплоизоляция.

В хладоцентре нашлось место доброй шутке. Резервуар одного из водяных контуров сделали похожим на чумазого поросенка.

Прежде чем попасть в контур, вода проходит предварительную подготовку. Умягчение воды выполняется на станции водоподготовки. Здесь используется механический фильтр с мелкими порами и емкости с ионно-обменной солью. Его цель – убрать нерастворимый осадок. Благодаря этому внутри труб ничего не оседает и просвет труб остается чистым. При необходимости умягченная вода подается в смешивающую емкость, где находится необходимое количество этиленгликоля, и подпитывает контур до рабочего давления.

Чтобы заполнить гликолевый контур, имеется две емкости – одна с этиленгликолем, а другая с его раствором в рабочей концентрации.

Помещение ДИБП.

Бесперебойную работу размещаемого в ЦОД оборудования и всей инженерной инфраструктуры дата-центра обеспечивают ДИБП ─ динамические источники бесперебойного питания роторного типа (Diesel Rotary Uninterruptible Power Supply, DRUPS), установленные в отдельном помещении. Их производитель – голландская компания Hitec. Для централизованной защиты питания подсистем ЦОДа установлено пять ДИБП. У каждой машины независимый фундамент, он развязан с фундаментом здания, чтобы погасить вибрации. Каждая машина ДИБП оснащена приточно-вытяжной установкой.

ДИБП состоит из трех основных блоков: мотор-генератора, накопителя кинетической энергии и собственно дизеля, который обеспечивает дата-центр электропитанием, если пропадает внешняя электросеть. К этому надо добавить обвязку ─ систему управления, систему питания и систему выхлопа.

В штатном режиме мотор-генератор раскручивает маховик, который накапливает кинетическую энергию, чтобы потратить ее в тот момент, когда пропадает внешняя сеть: электропитание надо поддерживать до того момента, пока не запустится дизель.

В настоящее время в эксплуатации находятся три ДИБП, мощность каждого источника – 2,2 МВA. Каждый из ДИБП подключен к отдельному трансформатору. Соответственно, трансформаторов тоже пять, каждый мощностью 2,5 МВА. И еще два трансформатора по 1 МВА выделены для вспомогательных целей. Питание со всех пяти ДИБП попадает в машинные залы. На каждую стойку (стойко-место) приходят два независимых луча от двух разных машин.

Вся силовая разводка сосредоточена около каждой машины. Соответственно предусмотрена серия распределительных шкафов под каждую установку ДИБП.

Дизель запускается и выходит на обороты в течение 7 секунд.

Момент, когда пропадает внешнее питание, можно зафиксировать по изменению частоты питающей сети, которая с 50 Гц падает до 49,5 Гц. Когда дизель запускается, он раскручивается до 1500 мин^-1, обгонная муфта подхватывается и частота опять становится 50 Гц. Уровень шума внутри помещения ДИБП ─ 100 дБ. При запуске дизеля уровень шума составляет 105 дБ.

Около каждого ДИБП установлен расходный бак с топливом на 1 м³.

В помещении ДИБП установлены датчики концентрации паров топлива в воздухе.
Каждый дизель даже на холостом ходу «съедает» около 50 литров топлива (солярки) в час. При наличии нагрузки расход топлива, естественно, увеличивается.

Контейнерное топливохранилище рассчитано на 20 м3 ─ этого объема хватает на восемь часов работы при проектной нагрузке. Заключен договор на оперативный подвоз топлива.

Когда проводилась реконструкция внешнего ТП, в течение нескольких дней ЦОД работал на дизелях.

Каждый ДИБП обслуживается собственной системой приточно-вытяжной вентиляции.

Для размещения большого количества силовых кабелей, которые идут от понижающей трансформаторной подстанции, создана специальная галерея лотков. Из галереи силовые кабели попадают в помещение главного вводно-распределительного устройства ЦОДа (ВРУ). В помещении ВРУ установлены три фреоновых кондиционера.

Помещение операторов связи

В помещение операторов связи приходят каналы связи от провайдеров (пока их три, со временем их число увеличится).

Оборудование провайдеров занимает две стойки. К каждой стойке, как и везде в ЦОДе, подводится два независимых луча электропитания от двух ДИБП.

В каждый из распределительных щитов вложена соответствующая схема, нанесена маркировка.

В помещении операторов связи установлена изолированная система газового пожаротушения. Система работает на газе NOVEC-1230. Баллон содержит 180 литров огнетушащего вещества.

В каждый из распределительных щитов вложена соответствующая схема, нанесена маркировка.

Камеры видеонаблюдения установлены повсюду

Кроссовые

В помещениях кроссовых осуществляется промежуточная коммутация между внешними каналами и внутренней СКС машинного зала. Используются оптические подключения 40 Гбит/с или трансиверы 10 Гбит/c.

Через отверстия в перекрытиях кабели спускаются в серверный зал.

В кроссовой установлены коммутационные шкафы с патч-панелями для подключения соответствующего оборудования к СКС производства AMP Netconnect. Кабели СКС укладываются в лотки постепенно, по мере заполнения зала.

Система обнаружения дыма, оповещения, пожаротушения

Основные и технические помещения ЦОДа оборудованы системой сверхраннего обнаружения дыма VESDA аспирационного типа, которая прокачивает через себя воздух и чутко анализирует первые признаки горения.

Если срабатывают два датчика на разных шлейфах, ─ начинается отсчет времени (50 секунд) и разблокируются двери. Срабатывает сигнал «газ уходи». У штатных сотрудников ЦОДа есть противопожарные капюшоны.

По всему ЦОДу смонтированы небольшие люки, через которые дым и продукты горения с помощью дымососа могут быть удалены из помещения через стыковочный узел. После срабатывания системы пожаротушения, стыковочным узлом выбивается лючок, к нему пристыковывается рукав, присоединенный другим концом к дымососу, и продукты горения из помещения удаляются на улицу.

Запас газа достаточен, чтобы потушить сразу весь ЦОД. Но система пожаротушения спроектирована так, чтобы тушение происходило адресно, по конкретным помещениям ─ срабатывает клапан только в то помещение, где произошло возгорание и задействуется только то количество баллонов, которое необходимо. При таком подходе установка пожаротушения готова к повторной сработке сразу. Баллоны прочно закреплены. Объем баллона ─ 180 литров. Для тушения используется газ NOVEC-1230.

Центр управления

В ЦОДе круглосуточно работает дежурная смена. Она внимательно отслеживает состояние всех инженерных подсистем ЦОДа с помощью автоматизированной системы мониторинга Computrols. Информация в систему поступает от многочисленных датчиков, расположенных по всему дата-центру.