Предлагаю Вашему вниманию экскурсию от системного интегратора «Корпорация ЮНИ» с рассказом как строился один из самых современных и технологичных ЦОД в России, компании КОМКОР.

Узнаваемое здание городского центра кабельного телевидения КОМКОР на Варшавском шоссе в Москве. В здании построен ЦОД с суммарным энергопотреблением 3.5 мВт, класса надежности TIER 3+

Здание построено на фундаменте кинотеатра (проект 1992г.).

Особенности здания:

Малая несущая способность кровли и перекрытий.
Основная площадь кровли не способна нести нагрузку, а те площадки, которые усилены, заняты антенным хозяйством.
Низкая высота этажей
Не предусмотрены стояки
Практически нет места для размещения чиллеров на прилегающей территории

Здание имеет встроенное ТП с установленными 4мя масляными трансформаторами 1250 кВА. Электроснабжение по первой категории надежности.

Здание в разрезе. В центральной зоне устанавливаются колонны, диафрагмы жесткости. На трех нижних этажах создается инфраструктура ЦОД, на четвертом (под крышей) – центр управления сетями – ЦУС.

Пробивка дополнительных дверных проемов. При необходимости расширение существующих

Организация основных и резервных стояков с 1 по 4 этаж для холодоснабжения, электроснабжения, оптики, меди:

Находим места для стояков, согласовываем с конструкторами здания. Чтобы не пошли трещины, стояки пробуриваем. Устанавливаем несущие кабельросты, межэтажную загильзовку, обшиваем стальным листом, красим противопожарной краской, заземляем… Снаружи обшиваем двойным гипсокартонном, усиливаем дверной проем, заказываем и устанавливаем противопожарные двери… в общем IE90. Кабельрост рассчиываем на нагрузку силовых кабелей, в каждом стояке не менее 18 кабелей, вес до 9 кг на метр. Итого 600 кг на пролет в один этаж. Всего 2,4 т кабелей.

Выполняем антистатическую обработку и гидроизоляцию перекрытий полиуретановым составом.

Проектируем и монтируем разгрузочные рамы под оборудование и аккумуляторы. Рамы также образуют эквипотенциальную систему уравнивания потенциалов.

Внутренние чиллеры холодопроизводительностью 890кВт, безфундаментная установка на виброопорах. Резервирование 2+1. Шесть компрессорных контуров, внешняя насосная станция. Дополнительные ресиверы и зимний комплект расширяют рабочий диапазон до -40 градусов Цельсия.

Два бака с захоложенной водой в процессе монтажа. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн (аккумулятор холода на десять минут автономной работы).
Объем каждого бака 15 тонн. Вес заполненного водой бака 21 тонн. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн

Ферма с установленными блоками конденсаторов. Конструкция типа неваляшка – нет опирания на здание. Занимает минимум места, не загорожен проезд. Высота конструкции 12 метров. Суммарный вес конденсаторов 9 тонн.

Трубная разводка водяного контура. Холодная вода подается в помещение ЦОД. Обратно поступает вода, забравшая избыточное тепло. Нечетное количество труб потому, что применено резервирование с участковой локализацией возможных протечек и ремонтных секций. Ширина пакета труб 2,5 метра. При прокладке не занизили потолки, не нарушив нормы по эвакуации.

Насосная станция на 1-ом этаже. Резервирование 2+1. Безфундаментная установка на виброопорах. Центр тяжести смещен вниз за счет массивной рамы с бетонной подливкой. Вертикальное расположение моторов создает дополнительный гироскопический эффект и снижает вибрацию. Применен частотно регулируемый привод для плавного пуска/переключения и процессорного регулирования. Питаются от отдельных ИБП

Машинное отделение чиллеров, справа щиты с частотным приводом внешних конденсаторов, слева чиллеры, в конце коридора баки аккумуляторы холода. Частотный привод позволяет без проблем раскрутить вентиляторы на внешней ферме даже в ветреную погоду, а с учетом их мощности это не простая задача…

Вид на ферму с конденсаторами в хорошую погоду:

ИБП и холодильный центр находятся рядом, но отгорожены. Кирпичное основание перегородки высотой 1,5 метра. ИБП и другое электрооборудование поднято на рамах в зоне с лева от перегородки. Сетка обеспечивает защиту от прикосновения и монообъем для системы газового пожаротушения. Холодильный центр за сеткой. Видны теплоизолированные баки – аккумуляторы холода.

Стеллажи с АКБ для ЦОД. Время автономии до 10 минут при полной нагрузке.

ИБП ЦОД – безтрансформаторные 200кВА каждый. Параллельные системы 4+1 и 1+1, три таких системы питает ЦОД. Двухлучевая схема питания нагрузок. Высокое качество выходного напряжения, минимальные искажения во входной цепи, мягкий запуск для дизеля. Дополнительно организован контроль качества энергоснабжения, как на входе, так и на выходе систем. Это важно для нелинейных нагрузок и околопредельных режимов трансформаторов и ДГУ.

Подземная дизельная с двумя такими агрегатами, расположенная на отметке -7.000, выход выхлопа на +37.500. Тоже на –7 метрах отдельный топливный бак с запасом топлива на сутки.

Электропитающая установка постоянного тока 48В для линейно аппаратного цеха (ЛАЦ) городского центра кабельного телевидения. Две системы по 163 кВт каждая. 15 линеек батарей в параллель, что является уникальным решением. Почти 4 000 А на общей шине. Резервирование 1+1. Суммарное сечение медных проводников в цепи нагрузки – 3200 мм2 (32 см2) на каждой системе.

Линейно-аппаратный цех (ЛАЦ) на 2-ом этаже – здесь размещается сетевой центр Комкор и передающая станция городского кабельного телевидения. Телекоммуникационное оборудование мало потребляет и требует обдува снизу, поэтому применено классическое решение по охлаждению – подача воздуха из под фальшпола, непосредственно в шкафы с оборудованием.

Однако схема спроектирована так, что при необходимости организуется холодные и горячие коридоры для половины помещения.

Общее количество телекоммуникационных шкафов в ЛАЦ – 106.

В ЛАЦ реализована одна из самых больших оптических СКС. На 350 м2 приходится 22 тысячи сварок оптоволокна.

Помещение ЦОД на 3-ем этаже. 140 серверных шкафов с тепловыделением 5-10-15-21 кВт. Серверные шкафы глубиной 1,2м и с несущей способностью до 1500 кг. Между шкафами в рядах фреоновые рядные доводчики холода. В торцах холодных коридоров Прецизионные фенкойлы типа дисплейсмент запирают коридоры с боков. Высота фальшпола 180 мм. Электрические кабели проложены под фальшполом в холодных коридорах. Кабели СКС в лотках над шкафами. В помещении выполнено телекоммуникационное заземление с шинами выравнивания потенциалов вдоль рядов шкафов.

Горячий коридор. Лотки для прокладки пользовательских оптических кабелей. Видны опуски FlexiblePiping с потолка к доводчикам.

Зоновые шкафы СКС. Вид со стороны холодного коридора. Аналогичный вид со стороны горячего коридора. Допускают установку активного оборудования. Забор воздуха из холодного коридора, принудительный выброс наверх по каналу в центре шкафа. Глубина шкафа 1,2м.

В серверных шкафах с тыльной стороны установлены многоцелевые панели. В этих панелях 16 RJ45 Cat6 портов, 6 SC Duplex MM (OM3) и 6 SC Duplex SM (OS1) портов.

Питание в шкафах трехфазное, по двум независимым лучам.

Пассивная коммутация между EDA и MDA. Магистральная часть СКС белая, область оборудования фиолетовая. Соотношение полей коммутации 2 к 1.

Оптическая магистраль. Здесь 1224 портов SC Duplex.

Комната подготовки ЦОД. Смежное помещение, играет роль тамбура шлюза. Рабочая зона подготовки ЦОД. Система удаленных консолей. Помещение рассчитано на длительное нахождение в нем персонала, имеется приточно-вытяжная вентиляция. Оборудовано монтажными столами с высокопрочным антистатическим покрытием, удобными кабель-каналами, розетками, вместительными тумбочками.

Системой мониторинга контролируется:

• Независимо температура, влажность, протечки
• Состояние ИБП и ЭПУ
• Состояния всех автоматов защиты – вкл/выкл/авария.
• Состояние холодильного оборудования
• Для вводов и групп стоек – параметры и качество энергоснабжения

Общее количество сигналов:

• От независимых датчиков – 1900
• Косвенного измерения – около 1000

Панель шкафа мониторинга инженерных систем. Обеспечивает независимый сбор и обработку измерений температуры, влажности, протечек, состояния оборудования.

Аналогичные модули определяют состояние автоматов электропитания (включен, выключен, выбит) в электрораспределительных щитах.

Наглядное представление контролируемых параметров и величин на рабочих местах диспетчеров. Появление красного цвета на мнемосхеме и звукового оповещения говорит о наличии и месте проявления проблемы. Система анализирует не только абсолютные значения параметров, но и скорость их изменения. Это позволяет увидеть проблему раньше возникновения реальной аварии.

Источник