Как строился ЦОД КОМКОР на Варшавском шоссе

11 марта 2010
Предлагаю Вашему вниманию экскурсию от системного интегратора «Корпорация ЮНИ» с рассказом как строился один из самых современных и технологичных ЦОД в России, компании КОМКОР.

Узнаваемое здание городского центра кабельного телевидения КОМКОР на Варшавском шоссе в Москве. В здании построен ЦОД с суммарным энергопотреблением 3.5 мВт, класса надежности TIER 3+

Здание построено на фундаменте кинотеатра (проект 1992г.).

Особенности здания:

    Малая несущая способность кровли и перекрытий.
    Основная площадь кровли не способна нести нагрузку, а те площадки, которые усилены, заняты антенным хозяйством.
    Низкая высота этажей
    Не предусмотрены стояки
    Практически нет места для размещения чиллеров на прилегающей территории

Здание имеет встроенное ТП с установленными 4мя масляными трансформаторами 1250 кВА. Электроснабжение по первой категории надежности.

Здание в разрезе. В центральной зоне устанавливаются колонны, диафрагмы жесткости. На трех нижних этажах создается инфраструктура ЦОД, на четвертом (под крышей) — центр управления сетями — ЦУС.

Пробивка дополнительных дверных проемов. При необходимости расширение существующих


Организация основных и резервных стояков с 1 по 4 этаж для холодоснабжения, электроснабжения, оптики, меди:

Находим места для стояков, согласовываем с конструкторами здания. Чтобы не пошли трещины, стояки пробуриваем. Устанавливаем несущие кабельросты, межэтажную загильзовку, обшиваем стальным листом, красим противопожарной краской, заземляем… Снаружи обшиваем двойным гипсокартонном, усиливаем дверной проем, заказываем и устанавливаем противопожарные двери… в общем IE90. Кабельрост рассчиываем на нагрузку силовых кабелей, в каждом стояке не менее 18 кабелей, вес до 9 кг на метр. Итого 600 кг на пролет в один этаж. Всего 2,4 т кабелей.


Выполняем антистатическую обработку и гидроизоляцию перекрытий полиуретановым составом.


Проектируем и монтируем разгрузочные рамы под оборудование и аккумуляторы. Рамы также образуют эквипотенциальную систему уравнивания потенциалов.


Внутренние чиллеры холодопроизводительностью 890кВт, безфундаментная установка на виброопорах. Резервирование 2+1. Шесть компрессорных контуров, внешняя насосная станция. Дополнительные ресиверы и зимний комплект расширяют рабочий диапазон до -40 градусов Цельсия.


Два бака с захоложенной водой в процессе монтажа. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн (аккумулятор холода на десять минут автономной работы).
Объем каждого бака 15 тонн. Вес заполненного водой бака 21 тонн. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн


Ферма с установленными блоками конденсаторов. Конструкция типа неваляшка – нет опирания на здание. Занимает минимум места, не загорожен проезд. Высота конструкции 12 метров. Суммарный вес конденсаторов 9 тонн.

Трубная разводка водяного контура. Холодная вода подается в помещение ЦОД. Обратно поступает вода, забравшая избыточное тепло. Нечетное количество труб потому, что применено резервирование с участковой локализацией возможных протечек и ремонтных секций. Ширина пакета труб 2,5 метра. При прокладке не занизили потолки, не нарушив нормы по эвакуации.

Насосная станция на 1-ом этаже. Резервирование 2+1. Безфундаментная установка на виброопорах. Центр тяжести смещен вниз за счет массивной рамы с бетонной подливкой. Вертикальное расположение моторов создает дополнительный гироскопический эффект и снижает вибрацию. Применен частотно регулируемый привод для плавного пуска/переключения и процессорного регулирования. Питаются от отдельных ИБП

Машинное отделение чиллеров, справа щиты с частотным приводом внешних конденсаторов, слева чиллеры, в конце коридора баки аккумуляторы холода. Частотный привод позволяет без проблем раскрутить вентиляторы на внешней ферме даже в ветреную погоду, а с учетом их мощности это не простая задача…

Вид на ферму с конденсаторами в хорошую погоду:


ИБП и холодильный центр находятся рядом, но отгорожены. Кирпичное основание перегородки высотой 1,5 метра. ИБП и другое электрооборудование поднято на рамах в зоне с лева от перегородки. Сетка обеспечивает защиту от прикосновения и монообъем для системы газового пожаротушения. Холодильный центр за сеткой. Видны теплоизолированные баки – аккумуляторы холода.

Стеллажи с АКБ для ЦОД. Время автономии до 10 минут при полной нагрузке.

ИБП ЦОД – безтрансформаторные 200кВА каждый. Параллельные системы 4+1 и 1+1, три таких системы питает ЦОД. Двухлучевая схема питания нагрузок. Высокое качество выходного напряжения, минимальные искажения во входной цепи, мягкий запуск для дизеля. Дополнительно организован контроль качества энергоснабжения, как на входе, так и на выходе систем. Это важно для нелинейных нагрузок и околопредельных режимов трансформаторов и ДГУ.

Подземная дизельная с двумя такими агрегатами, расположенная на отметке -7.000, выход выхлопа на +37.500. Тоже на –7 метрах отдельный топливный бак с запасом топлива на сутки.


Электропитающая установка постоянного тока 48В для линейно аппаратного цеха (ЛАЦ) городского центра кабельного телевидения. Две системы по 163 кВт каждая. 15 линеек батарей в параллель, что является уникальным решением. Почти 4 000 А на общей шине. Резервирование 1+1. Суммарное сечение медных проводников в цепи нагрузки — 3200 мм2 (32 см2) на каждой системе.

Линейно-аппаратный цех (ЛАЦ) на 2-ом этаже – здесь размещается сетевой центр Комкор и передающая станция городского кабельного телевидения. Телекоммуникационное оборудование мало потребляет и требует обдува снизу, поэтому применено классическое решение по охлаждению — подача воздуха из под фальшпола, непосредственно в шкафы с оборудованием.

Однако схема спроектирована так, что при необходимости организуется холодные и горячие коридоры для половины помещения.

Общее количество телекоммуникационных шкафов в ЛАЦ – 106.

В ЛАЦ реализована одна из самых больших оптических СКС. На 350 м2 приходится 22 тысячи сварок оптоволокна.


Помещение ЦОД на 3-ем этаже. 140 серверных шкафов с тепловыделением 5-10-15-21 кВт. Серверные шкафы глубиной 1,2м и с несущей способностью до 1500 кг. Между шкафами в рядах фреоновые рядные доводчики холода. В торцах холодных коридоров Прецизионные фенкойлы типа дисплейсмент запирают коридоры с боков. Высота фальшпола 180 мм. Электрические кабели проложены под фальшполом в холодных коридорах. Кабели СКС в лотках над шкафами. В помещении выполнено телекоммуникационное заземление с шинами выравнивания потенциалов вдоль рядов шкафов.

Горячий коридор. Лотки для прокладки пользовательских оптических кабелей. Видны опуски FlexiblePiping с потолка к доводчикам.

Зоновые шкафы СКС. Вид со стороны холодного коридора. Аналогичный вид со стороны горячего коридора. Допускают установку активного оборудования. Забор воздуха из холодного коридора, принудительный выброс наверх по каналу в центре шкафа. Глубина шкафа 1,2м.

В серверных шкафах с тыльной стороны установлены многоцелевые панели. В этих панелях 16 RJ45 Cat6 портов, 6 SC Duplex MM (OM3) и 6 SC Duplex SM (OS1) портов.

Питание в шкафах трехфазное, по двум независимым лучам.

Пассивная коммутация между EDA и MDA. Магистральная часть СКС белая, область оборудования фиолетовая. Соотношение полей коммутации 2 к 1.

Оптическая магистраль. Здесь 1224 портов SC Duplex.


Комната подготовки ЦОД. Смежное помещение, играет роль тамбура шлюза. Рабочая зона подготовки ЦОД. Система удаленных консолей. Помещение рассчитано на длительное нахождение в нем персонала, имеется приточно-вытяжная вентиляция. Оборудовано монтажными столами с высокопрочным антистатическим покрытием, удобными кабель-каналами, розетками, вместительными тумбочками.


Системой мониторинга контролируется:

  • Независимо температура, влажность, протечки
  • Состояние ИБП и ЭПУ
  • Состояния всех автоматов защиты – вкл/выкл/авария.
  • Состояние холодильного оборудования
  • Для вводов и групп стоек — параметры и качество энергоснабжения

Общее количество сигналов:

  • От независимых датчиков – 1900
  • Косвенного измерения – около 1000

Панель шкафа мониторинга инженерных систем. Обеспечивает независимый сбор и обработку измерений температуры, влажности, протечек, состояния оборудования.

Аналогичные модули определяют состояние автоматов электропитания (включен, выключен, выбит) в электрораспределительных щитах.

Наглядное представление контролируемых параметров и величин на рабочих местах диспетчеров. Появление красного цвета на мнемосхеме и звукового оповещения говорит о наличии и месте проявления проблемы. Система анализирует не только абсолютные значения параметров, но и скорость их изменения. Это позволяет увидеть проблему раньше возникновения реальной аварии.

Источник

Всего комментариев: 11

  • grey72
    Автор: grey72 Добавлено 11 марта, 2010 в 15:39

    «монообъем для системы газового пожаротушения» — это нарочно сделанная ошибка в противопожарной защите? Наоборот же, принято делить помещения на пож. отсеки…

    Ответить
  • Lollipop
    Автор: Lollipop Добавлено 11 марта, 2010 в 16:48

    А чего сразу TIER IV не присвоили, а только TIER 3+? Ребята, официально присваювающие данные уровни, думаю, сильно удивятся, увидя ЦОД на третьем этаже здания, с системами жизнеобеспечения, раскиданными на всех остальных этажах и запасом топлива на сутки в подвале. Плюс ко всему этому замечание grey72 про противопожарную защиту. Случись что — PR по всем ТВ каналам будет 🙂
    Как сказал канадец, увидев в России НИВУ с газовым баллоном в багажнике: «А у Вас, в России, кокаин ещё в аптеках не продают?»

    Ответить
  • ОН
    Автор: ОН Добавлено 11 марта, 2010 в 17:07

    Красивое здание — фермами загадили.
    + заливали бетон при минусовой температуре? (вокруг снег)
    Интересно, а сколько в литрах запас топлива на сутки для ДГУ? 🙂
    По моим прикидкам, это тянет уже на склад ГСМ.
    Уважаемые знатоки, внимание вопрос: и как согласовали? 🙂

    Интересно они защищают серверное об-ие от затопления, пожаров и пр. проблем (пожаротушение и т.д. это понятно).

    Ответить
  • Автор: author Добавлено 11 марта, 2010 в 17:22

    Меня больше удивила высоты фальшпола порядка 30 см. Его используют только под прокладку электрических кабелей, а кондеии дуют снизу над фальшполом ну и плюс рядные доводчики.

    Ответить
  • Andrey
    Автор: Andrey Добавлено 11 марта, 2010 в 21:37

    Ребята, фальшпол ***** что ли Вам монтировали? Хоть бы не позорились, убрали бы картинки…. Все кривое, раздолбанное, ни одного ровного стыка плит… Удивила высота фальшпола в ЦОДе, отсутствие стрингеров (опять раскрутили заказчика на их ненужность при такой высоте… ну-ну…))). Плиты выравнивались на стойках алюминиевыми подкладками вместо точной регулировки гайками стоек… В итоге: ФП будет продолжать расшатываться, щели будут увеличиваться… Зато сэкономили, наверно, немерянно!!! Технологичность и современность ЦОДа просто потряс!!!

    Ответить
  • abba
    Автор: abba Добавлено 13 марта, 2010 в 22:13

    >Технологичность и современность ЦОДа просто потряс!!!

    по их заверениям – это пока лучший ЦОД в МСК:)

    Ответить
  • _ОН_
    Автор: _ОН_ Добавлено 14 марта, 2010 в 22:44

    на заборе тоже написано 🙂 каждый говорит — Я ЛУЧШИЙ 🙂 и присваивает себе разные сертификаты соответствия. Товарищей надо сводить в один банковский ДЦ выполненный на ламперсе — пусть губы закатают обратно.

    p.s. опять эти идиотские плиты фальшпотолка….

    Ответить
  • VOLK
    Автор: VOLK Добавлено 15 марта, 2010 в 16:22

    Рекламный продукт!
    Раскрутили Заказчика на деньги. Система т.н. «желтых коробов» с оптикой. По холоду и ИБП все очнь красиво.
    Конструкция и высота фальшпола ,,,, не поддается критике.
    Тогда зачем фальшпол нужен в таком исполнении.

    Ответить
  • VOLK
    Автор: VOLK Добавлено 15 марта, 2010 в 16:24

    Если говорить о TIER 3 и более — то необходимо говорить о физической защите помещения, что в данном случае не выполнено!

    Ответить
  • abba
    Автор: abba Добавлено 17 марта, 2010 в 23:11

    вот ещё статья http://www.mobile-review.com/articles/2009/akado-tsod.shtml

    Ответить
  • abba
    Автор: abba Добавлено 17 марта, 2010 в 23:19

    и вот ещё — есть подробности http://www.jester-soft.ws/itnews/101481-centr-obrabotki-dannyx-yekskursiya-v-kartinkax.html

    Ответить

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *