ЦОД «Авантаж» — один из трех крупнейших коммерческих дата-центров в России. Объект возведен с использованием новейших технологий в сфере инженерной инфраструктуры ЦОДов — по совокупности характеристик и примененных решений он является уникальным дата-центром, причем не только для РФ.

Дата-центр «Авантаж» находится в городе Лыткарино, расположенном в нескольких километрах от Москвы, и на сегодняшний день является одним из крупнейших коммерческих ЦОДов в стране. ЦОД «Авантаж» был отмечен наградой Национальной премии «ЦОДы.РФ» в номинации «Проект года».

Электропитание высшего класса

Здания дата-центра расположены на участке в 3 гектара (фото 1). ЦОД имеет многоуровневую систему защиты, включающую в себя как технические средства, так и тщательно проработанные процедуры обеспечения безопасности. Объект окружен высоким забором, при въезде — массивные въездные ворота и КПП, по всему периметру установлено свыше 100 камер видеонаблюдения, контролирующих каждый участок. На территорию объекта можно попасть только после прохождения всех необходимых процедур регистрации.

Фото 1. Дата-центр «Авантаж» расположен на обширной территории

Непосредственно на территории ЦОДа к торцу одного из зданий примыкает ряд высоких металлических труб (фото 2) — это выхлопные трубы дизель-роторных ИБП, обеспечивающих гарантированное электропитание дата-центра. В их основании — радиаторы для отвода излишнего тепла.
Всего в ЦОДе используется 14 ­ДРИБП производства голландской компании HiTec Power Protection (фото 3).

Подобные решения используются в мире не только в ЦОДах, но и для защиты питания любых стратегически важных объектов (аэропортов, крупных больниц и т.  д.), где любой минутный сбой критичен. Решение дорогостоящее, однако высокая надежность — одно из конкурентных преимуществ ЦОДа «Авантаж»: дорогая и качественная система гарантированного электропитания здесь является инвестицией в безопасность.

Мощности всех ДРИБП хватит для поддержания полной нагрузки объекта с учетом резервирования, если в основной сети произойдет сбой. Постоянного запаса дизельного топлива в хранилище хватит на 30 часов непрерывной работы: этого времени достаточно для ликвидации аварии. В исключительных случаях (при крайне негативном развитии событий) предусмотрен подвоз топлива для обеспечения бесперебойной работы ДРИБП в частности и всего ЦОДа в целом. Каждый ДРИБП протестирован на заводе в Голландии перед установкой в ЦОД «Авантаж», где он вновь прошел испытания. Все устройства синхронизированы между собой и работают как единая отказоустойчивая система.

Фото 2. Выхлопные трубы и радиаторы ДРИБП

Напомним, дизель-роторный ИБП — симбиоз ДГУ и кинетического маховика, который в случае сбоя в работе внешнего источника питания продолжает генерировать электроэнергию, преобразовывая механическую энергию своего вращения в электричество. В установленных в «Авантаже» ДРИБП запаса кинетической энергии хватит на 30 секунд — времени, достаточного для запуска дизельных генераторов. Все аварийные процедуры тщательно просчитаны и многократно отработаны при различных нагрузках.

Каждый ДРИБП в штатном режиме выступает в роли стабилизатора напряжения для оборудования ЦОДа, обеспечивая правильную синусоиду на выходе. Основной источник напряжения — мощности Центрального института авиационного моторостроения, а не общая городская сеть.
От возгораний помещения с ­ДРИБП защищены с помощью газовой системы пожаротушения. В машинных залах она газовая, в офисных и прочих помещениях в случае возгорания предусмотрено использование воды. В высоковольтном кабельном коллекторе используется порошковое пожаротушение. Во всех ключевых зонах ЦОДа имеются датчики раннего обнаружения дыма и система дымогазоудаления.

Фото 3. В «Авантаже» 14 систем гарантированного электропитания ДРИБП
HiTec Power Protection

ЦОДы оптом и в розницу

В дата-центре «Авантаж» — 16 машинных залов: восемь расположены на первом этаже и восемь — на втором. Полезная площадь каждого зала — 400 кв. м. Здесь возможно размещение до 140 серверных шкафов (фото 4 и 5). Помещения физически разделены и для удобства ориентирования, а также с точки зрения эстетики выкрашены в разные цвета: желтый и красный на первом этаже, синий и зеленый — на втором.

Фото 4. Один из серверных залов «Авантажа» для розничных клиентов: в каждом можно разместить до 140 шкафов
с оборудованием

Три из шестнадцати залов предназначены для розничных заказчиков. Внутри этих помещений находятся кондиционеры — технологические коридоры должны иметь достаточно пространства. Остальные 13 залов предназначены для аренды или продажи целиком крупным заказчикам.

Генеральный директор «Авантажа» Александр Крок поясняет: «Каждый зал представляет собой «ЦОД в ЦОДе». Здесь используется фальш­пол высотой в метр, из-под которого подается холодный воздух к оборудованию. В каждом зале проложены два независимых шинопровода от разных лучей питания ЦОДа. Любой машинный зал дата-центра «Авантаж» рассчитан на мощность электрической нагрузки 750 кВт, но на практике проводились испытания и с большей нагрузкой.

 Фото 5. Залы ЦОД «Авантаж» для оптовых заказчиков

Система шинпроводов позволяет Заказчикам создавать коридоры произвольной ширины. Данная опция добавляет гибкости при выборе конфигурации размещения серверных шкафов. То же самое касается кабельных лотков в верхней части помещения: их также можно перемещать по залу для создания удобных для заказчика схем размещения оборудования.

Каждый машинный зал оснащен системой видеонаблюдения (фото 6) и контроля доступа, ведется учет времени, проведенного сотрудниками и посетителями на объекте. Все регламенты безопасности продуманы до мелочей.

Фото 6. В каждом машинном зале имеется система охранного видеонаблюдения

Общая эффективная мощность системы охлаждения — 11,5 МВт. Для обеспечения достаточного бесперебойного отвода тепла каждый зал оснащен восемью кондиционерами, из которых семь основных и один резервный. Прецизионные кондиционеры с водяным теплообменом TECNAIR LV поддерживают температуру с точностью до 1 °C, а также очищают воздух от пыли, увеличивая таким образом срок работы ИТ-оборудования, и имеют срок непрерывной эксплуатации до 10 лет. Также специальная система обеспечивает оптимальный режим влажности.

В дата-центре используется водяное охлаждение, поэтому здесь применяются сухие охладители Cabero и девять чиллеров Engie (Cofely), каждый из которых оборудован четырьмя турбокомпрессорами (Turbocor) (фото 7 и 8).

Фото 7. Сухие охладители Cabero

Отвод тепла в атмосферу производится с помощью сухих охладителей Cabero. Для достижения минимального среднегодового значения PUE в ЦОДе используется фрикулинг. При снижении уличной температуры до +9 °C теплоноситель охлаждается во внутреннем контуре без использования чиллеров. В холодное время года для отвода тепла используются пластинчатые теплообменники Alfa Laval.

Отдельно стоит упомянуть о внешних сетевых подключениях. «Авантаж» — провайдеро-независимый дата-центр, поэтому на объекте обеспечен ввод двух линий кабельной канализации, не пересекающихся и не связанных друг с другом. Для этого собственными силами компании в них проложены две волоконно-оптические линии, при чем одна из них проходит по руслу Москвы-реки. ЦОД имеет связность с крупнейшими московскими узлами обмена трафиком и обеспечивает для клиентов подключение к любому оператору связи.

Фото 8. Чиллер дата-центра «Авантаж»

В каждом машинном зале установлен отдельный телекоммуникационный шкаф на 140 оптических волокон — как одномодовых, так и многомодовых (фото 9).

Фото 9. В каждом машинном зале имеется отдельный телекоммуникационный шкаф для размещения слаботочного оборудования

Волокна из всех залов сводятся в две операторские комнаты на втором этаже. Оптические кабели проложены в здании различными маршрутами во избежание их одновременного выхода из строя.

В диспетчерской комнате, откуда осуществляется управление ключевыми подсистемами дата-центра и их мониторинг (фото 10), на мониторах отображается вся информация о состоянии инженерных систем. Сиcтема распределения мощности реализована на базе решений Siemens (фото 11).
Для клиентов на территории дата-центра возведено четырехэтажное офисное здание, где заказчики услуг ЦОДа могут арендовать площади для размещения своих сотрудников. Каждое из помещений предусматривает возможность размещения в нем собственной кабельной системы, СКУД и т.  д. Кроме того, на территории «Авантажа» организовано десять специализированных помещений для подготовки оборудования — все они могут предоставляться заказчикам на период инсталляции или обслуживания ИТ-систем. Также имеются охраняемые отапливаемые склады для хранения ИТ-оборудования и запасных частей (ЗИП), организованы удобные подъездные пути, зоны погрузки и разгрузки оснащены подъемниками.

Фото 10. Контроль над всеми ключевыми подсистемами дата-центра осуществляется из диспетчерской

Дата-центр «Авантаж» имеет сертификат Tier III, подтверждающий соответствие проекта (Design) требованиям Uptime Institute. На данный момент объект проходит процесс сертификации для получения уровня Tier III Facilty.

Фото 11. Электрическая распределительная подстанция