Linxdatacenter — современные реалии модульного ЦОД

Группа компаний Linx работает на российском рынке с 2007 года. На сегодняшний день она владеет международной сетью дата-центров и высокоскоростных каналов связи, что позволяет обеспечивать обслуживание клиентов не только в России, но и в Центральной и Восточной Европе, странах СНГ, Балтии и Скандинавии. Общая площадь коммерческих дата-центров под управлением компании составляет более 13 тыс. кв. м. Все ЦОДы объединены в единую глобальную сеть, что обеспечивает высокий уровень связанности, надежности и масштабируемости предлагаемых решений. На территории РФ Linx владеет двумя крупными площадками — в Санкт-Петербурге и Москве. Нам удалось побывать в столичном дата-центре, сфотографировать самые интересные объекты инженерной инфраструктуры, а также разобраться в некоторых нюансах ее функционирования. Московский ЦОД Linxdatacenter начал работать 15 лет назад и был одним из первых коммерческих дата-центров Москвы. Комплекс возводился поэтапно, что определило его модульную структуру. Сегодня площадь ЦОД составляет 4250 кв. м., общая мощность — 5 МВА, а емкость — 620 стоек, но, похоже, это еще не предел.

Название	Место размещения	Общая мощность	Площадь дата-центра	Емкость
Linxdatacenter	Москва	5 МВА	4250 м2	620 стоек

 

Название ЦОДа	Linxdatacenter, Москва (М8)
Общая площадь машинных залов	1245
Суммарная площадь с прилегающей территорией	4400
Количество стоек	620
Адрес	г. Москва ул. 8-го марта д.14
Проектная мощность	5МВА
Максимальное энергопотребление ЦОДа	3,6МВА (имеется в виду максимальная ИТ нагрузка)
Трансформаторные подстанции	2 блочных комплектных трансформаторных подстанции (БКТП) (в каждой по 2 трансформатора по 1250 кВА) , 1 встроенная ТП (4 трансформатора по 1600 кВА)
Кол-во городских вводов	От каждой ТП по 2 городских ввода
Среднее тепловыделение на стойку	6 кВт
Максимальное тепловыделение на стойку	15 кВт
Уровень надёжности и сертификация	TIER III ISO 27001 ISO 9001
ДГУ	9 ДГУ FG Wilson
Основная система охлаждения	Двухконтурная, с использованием чиллеров и прецизионных кондиционеров
Резервная система охлаждения	Система резервирования  2N и N+1
Система управления	Система управления и диспетчеризации BMS Beckhoff . Охватывает все инженерные системы ЦОД
Система безопасности	Система видеонаблюдения, СКУД, установка дополнительных  клиентских контуров безопасности, биометрическая система контроля доступа
Связанность	Узел связи М8, присутствие на М9 и М1, точка подключения к MSK-IX, более 40 операторов связи
Виды предоставляемых услуг	One-Stop-Shop (Colocation + Cloud + Connectivity) Основные услуги ЦОД: Размещение оборудования Поставка оборудования Аренда оборудования Кроссовые соединения Дополнительные услуги ЦОД: DRC Организация СКС Расширенная безопасность (клетка, биометрическая СКУД, видеонаблюдение) Транспортировка Удаленное обслуживание Помещение для хранения ЗиП Облачные услуги: Инфраструктура как услуга (IaaS) Резервное копирование (BaaS) Частное облако Подписки на ПО (SPLA) Услуги связи: IPL (VPoP, Lambda, Dark Fiber) IP (MPLS VPN, DIA (Direct Internet Access), IP Transit) Ethernet (Etherlinx Carrier Grade, Etherlinx (Ethernet L2))
Клиенты	Более 100 клиентов (ведущие международные и российские компании)
SLA	99, 982 % с гарантированной компенсацией в случае его нарушения

Linxdatacenter — объект, без сомнения, особенный. Он не только стал одним из первых коммерческих ЦОДов в Москве, но и на самых ранних этапах проектирования и строительства базировался на модульных принципах, причем в то время, когда о подобном подходе мало кто задумывался, по крайней мере в РФ. Поэтому, учитывая тему номера, обойти вниманием такой дата-центр было бы непростительно. Вооружившись хорошей цифровой камерой, мы в очередной раз отправились на фоторазведку.

Историческое развитие ЦОДа, планомерный рост емкости, по мере роста потребностей рынка, определило направление данного ЦОД – перед нами модульный объект. Первое, на что обращаешь внимание, когда попадешь внутрь комплекса, — клиентские модули, рассчитанные на различное количество стоек. Для каждого клиента выделена требуемая площадь (рис. 1 и 2).

 

Самый крупный модуль сейчас вмещает 155 стоек, но есть помещения ёмкостью от 40 до 78 стоек. Всего в ЦОД представлено 8 различных модулей. Модули объединены между собой в две большие группы. Группа 1 – включает в себя модули 1,2,3,4,5, группа 2 – модули 6,7,8. Данное деление историческое, по мере возникновения модулей. Группы модулей полностью независимы друг от друга с точки зрения инженерной инфраструктуры (системы бесперебойного электропитания и охлаждения). Данный факт позволяет не только исключить влияние модулей на работоспособность друг друга, но и предложить клиентам только тот уровень отказоустойчивости, который им необходим. Общая мощность ЦОДа с учетом новейших модернизаций достигает 5 МВА, что позволяет гарантированно обеспечить в среднем до 6 кВт на стойку. Вместе с тем на практике для отдельных шкафов удается обеспечить мощность в 15 кВт.

Установка клиентского оборудования часто может вылиться в непростую задачу, особенно если оно очень габаритное. В Linxdatacenter этот вопрос успешно решен: для заноса оборудования имеются широкие двери, круглосуточный лифт грузоподъемностью. до 1,5 тонн для доставки оборудования в технические помещения, находящиеся на втором этаже ЦОД. Помимо этого предоставляются дополнительные технические средства: тележки, лестницы, инструменты, мобильные консоли во всех модулях.

Михаил ВЕТРОВ, Генеральный директор Linxdatacenter в России

Ощущается ли тенденция к повышению средней плотности вычислений в расчете на стойку? Какие типы клиентов требуют больше, чем стандартные 4-5 кВт? 

Как правило, высоконагруженные стойки требуются компаниям игрового и энергетического секторов. При этом наблюдаются две тенденции. Во-первых, стремление к оптимизации используемого оборудования, целью которой является снижение общего энергопотребления и затрат, а во-вторых мы отмечаем увеличение плотности в расчете на стойку с целью оптимизации арендуемой площади ЦОД со стороны клиента.

Система физической безопасности

Физическая безопасность клиентского оборудования обеспечена целым комплексом технических средств и организационных процедур. Здесь имеется круглосуточный пост охраны, работает пропускная система и осуществляется регистрация клиентов. Доступ к каждому отдельному модулю также находится под контролем СКУД (рис. 3 и 4). Пройти к своему оборудованию Заказчик может в любое время дня и ночи, 24 часа в сутки, согласно внутреннему регламенту посещения ЦОД.

 

Система видеонаблюдения объединяет более сотни камер, которые следят за прилегающей территорией, внутренними помещениями, клиентскими модулями и т. д. (рис. 5).

Для хранения личных вещей клиентов (например, жестких дисков или других комплектующих) имеется специальный склад, оснащенный индивидуальными шкафами, к каждому из которых изготовлен уникальный ключ (рис. 6).

За работоспособностью инженерной инфраструктуры в круглосуточном режиме следит технический персонал и дежурная смена (рис. 7 и 8).

 

Для удобства клиентов в каждом модуле установлена мобильная консоль (рис. 9), а также организовано специальное помещение, в котором инженеры Заказчика могут проводить работы вне модуля: сборка, разборка, конфигурирование оборудования. Также предоставляется возможность организации соединительной линии между данным помещением и стойками Заказчика в кратчайшие сроки, что позволяет клиенту удаленно работать со своим оборудованием в период нахождения в ЦОДе. В клиентской комнате есть все необходимое для комфортной работы: удобная мебель, доступ к Wi-Fi, инструменты и даже небольшая зона отдыха  (рис. 10, 11).

 

 

Электропитание и охлаждение

Система электропитания Linxdatacenter построена таким образом, чтобы обеспечить надежное резервирование всех ключевых элементов. Так, здесь используются четыре собственных трансформатора мощностью 1600 кВА каждый. ИБП размещены в отдельных комнатах (рис. 12). Применяются мощные модели, например Emerson 80-NET (каждый по 500 кВА).

 

Аккумуляторные батареи находятся в помещениях ИБП (рис. 13). Резервирование электропитания на уровне клиентской стойки осуществляется по схеме 2N. Система охлаждения построена на базе прецизионных кондиционеров и чиллеров, имеющих возможность работать в режиме фрикулинг. Схема резервирования 2N и N+1 на разных участках системы. Дополнительно установлены аккумулирующие емкости, накапливающие охлажденный теплоноситель. Данная опция обеспечивает поддержание нормальных климатических показателей в модулях в течение 30-40 минут при возникновении аварийных ситуаций на чиллерах.

 

В рамках нового проекта организовано 4 кабельных ввода от двух независимых электрических подстанций, полностью резервирующих друг друга, а также построено помещение главного распределительного щита (ГРЩ). Два распределительных щита подключаются к разным трансформаторным подстанциям (рис. 14). К каждому ГРЩ подводятся два ввода внешнего питания, соответственно, в нормальном режиме работы каждая группа ИБП питается от своего продублированного энерговвода (трансформатора).

 

В случае пропадания одного из лучей внешнего электропитания вся нагрузка переключается на другой — работающий. Если вдруг отключился и второй энерговвод, включается секционный автомат и заводятся дизельные генераторы, которые готовы принять на себя полную нагрузку через 60 секунд после запуска (рис. 15). Можно и быстрее, но такое время было установлено специально, чтобы ДГУ успели синхронизироваться.

 

В переходный период нагрузку поддерживают ИБП. Запас топлива для генераторов рассчитан на восемь часов при полной нагрузке. За это время в случае необходимости можно организовать дополнительную подачу топлива бензовозами. Дата-центр заключил два договора с двумя независимыми поставщиками о предоставлении необходимого количества топлива в течение четырех часов. Что касается системы распределения электропитания, то она построена на базе шинопроводов и других решений производства Schneider Electric.

Для организации охлаждения используются прецизионные жидкостные зальные (CRAC) кондиционеры Emerson Network Power. В качестве теплоносителя используется этиленгликоль, циркулирующий по двум контурам охлаждения. Холодильные машины с функцией фрикулинга также разработаны ENP (рис. 16).

 

Все инженерное оборудование подключено к системе контроля параметров окружающей среды. Данные выводятся на пульт дежурной смены, которая может в реальном времени контролировать состояние всех инженерных подсистем и оперативно реагировать на различные ситуации.

К каждому кондиционеру подключены две ветки трубопроводов — основная и резервная, у каждой свой регулируемый насос. В случае регламентного обслуживания или при устранении нештатных ситуаций есть возможность оперативно отключить одну из веток, провести работы по замене комплектующих, и это не повлияет на работу системы прецизионного кондиционирования в целом. Примечательно, что за 15 лет работы, ЦОД имеет практически 100 % uptime.

Пожаротушение

Естественно, что такой масштабный комплекс, как Linxdatacenter, оснащен мощной системой газового пожаротушения (Novec 1230), которой защищено каждое техническое помещение. Сразу видно, что в компании не стали на этом экономить. Для гарантии работоспособности каждый месяц систему пожаротушения проверяет специальная сервисная организация (рис. 17 и 18).

 

Газ подается в серверное помещение. Чтобы предотвратить поломку ИТ-оборудования из-за резкого роста давления (если, например, помещение маленькое), все модули оснащены клапанами избыточного давления.

Для мониторинга инженерной инфраструктуры в дата-центре используется адаптированная и специально настроенная BMS-система Beckhoff, которая мониторит температуру и влажность воздуха в машинных залах, уровень заряда батареи ИБП и пр. К ней подключены, в том числе, и все автоматические выключатели, благодаря чему отслеживается их состояние (включен, выключен, сработал в результате превышения максимальной нагрузки и т. д.) и предпринимаются оперативные действия (рис. 19).

 

DRC

Одной из уникальных услуг, предлагаемых Linxdatacenter, является предоставление операционного центра обеспечения непрерывности бизнеса и аварийного восстановления (Disaster Recovery Center, DRC). Cервис предназначен для защиты клиентов от потери данных в критически важных бизнес-приложениях. С этой целью в дата-центре развернут специальный офис, разделенный на индивидуальные помещения (рис. 20, 21).

 

Площадь самого крупного помещения — 250 м². Здесь могут работать одновременно до 80 человек. Если основная площадка заказчика вышла из строя, например, обесточена, он может использовать DRC в качестве временного офиса. Оператор предоставляет помещение, в которое подводится питание от ИБП, а также высокоскоростные каналы связи. Но оборудованием зала занимается сам клиент, устанавливая то, что ему нужно: мебель, компьютеры и т. д. Как правило, резервный офис арендуют те же компании, которые являются клиентами ЦОДа Linxdatacenter. В целом, как отмечают представители дата-центра, DRC — одна из важных составляющих ЦОДа для предоставления комплексного сервиса клиенту. Эта услуга очень востребована. Некоторые компании регулярно проводят «боевые учения», периодически перемещая сотрудников на резервную площадку.

Кстати, интересный факт: все сотрудники Linxdatacenter, включая технический персонал и службу поддержки, говорят по-английски. Это непременное требование при приеме на работу, поскольку офисы компании Linx расположены в различных европейских городах, а 70% клиентов составляют крупные международные компании. Как внутренняя переписка, так и общение с клиентом в основном идут на английском языке (хотя, конечно, русский тоже все знают J). Еще одной особенностью Linxdatacenter является возможность заключения договора, как с российским, так и с зарубежным юридическим лицом, при этом все услуги могут быть оказаны через один договор.

Несмотря на сложность проекта и высокий уровень технического исполнения всех инженерных подсистем, здесь осталось место и для дизайна (рис. 22 и 23). Лаконичность входной группы  и основных коридоров подчеркивает статусность ЦОДа (все-таки 15 лет на рынке), а разноцветная неоновая подсветка в модулях создает дополнительное настроение, позволяя немного отвлечься от скучной черно-белой гаммы, которая так характерна для большинства ЦОДов.

 

Московская площадка Linxdatacenter еще имеет достаточно большой резерв для заполнения клиентским оборудованием, и будет рада видеть новые компании в рядах своих клиентов.

 

Источник: Журнал «ЦОДы.РФ» № 15