Отсюда и два основных подхода заказчика к построению ЦОД. Первый сводится к грубой модернизации серверной комнаты: ее расширяют по площади, устанавливают много-много оборудования — и вот вам ЦОД. Жарковато? — поставили кондиционеры. Чтобы никто посторонний не зашел — на двери контроль доступа. И все успокоились — ЦОД готов. Второй подход еще интереснее: заказчик хочет получить некое решение, «чтобы там все было». Что именно там точно должно быть — нет ясного представления, соответственно, нет и грамотно сформулированного технического задания. Ломать голову придется интегратору. И это при том, что нередко решение о построении ЦОД принимается без расчета экономических показателей от его внедрения и рисков, связанных с реализацией.
Поэтому не удивительно, что результат иногда оказывается, мягко говоря, совсем не таким, как задумывался изначально. Попробуем разобраться в причинах этого явления, основываясь на реальных примерах и непосредственном опыте интегратора.
Согласно стандарту TIA-942, центр обработки данных — это здание или его часть, первичной функцией которого является размещение оборудования обработки и хранения данных, а также вспомогательных систем, обеспечивающих их функционирование.
Понятие ЦОД включает таким образом как серверное помещение, где размещается все вычислительное оборудование, так и помещения, в которых находятся остальные инженерные системы (рис. 1).
Рис. 2. Проложенный ранее воздуховод ограничилвысоту серверного экранированного помещения
Рис. 3. Бывает и так: сначала проложили кабельный лоток, а потом пришли «фальшполовики» — и пришлось врезать ножки фальшпола в лоток
Процесс согласования проекта для ЦОД обычно существенно отличается от аналогичного процесса для обычного проектирования систем жизнеобеспечения зданий. Основное отличие — точнейшая привязка положения всех инженерных элементов к осям координат (рис. 3). Ведь в ЦОД пространство на вес золота.
Приведем несколько примеров, каждый из которых произошел, можно сказать, на глазах автора.
Для одного из заказчиков было предложено решение, учитывающее, казалось бы, все требования технического задания. Ответственность за корректность исходных данных и технических условий взял на себя заказчик. Техническое задание обсудили, согласовали и запустили в работу. А это значит, что поданы заявки на приобретение оборудования с длительным сроком поставки, сформирована команда, которая будет заниматься инсталляцией. Но проекта все еще нет. И тут, на первом же трехстороннем совещании между представителями интегратора, заказчика и арендодателя, выясняется, что схема электроснабжения здания арендодателя не обладает достаточной мощностью для подключения запланированного ЦОД. Органы энергонадзора пожимают плечами — стройте трансформаторную подстанцию за свой счет. Затем оказывается, что вся схема электроснабжения в здании не рассчитана на запланированную мощность. Арендодатель тоже пожимает плечами: никто со мной ничего не согласовывал, покажите, мол, рабочий проект. А проекта нет. Итог печален — интегратор лишился заказа, а клиент не получил ЦОД.
В другом проекте также были начаты работы по подготовке серверного помещения. И вроде бы все правильно: изготовили экранированную комнату, рассчитали вес и учли его распределение, выдали техническое задание на построение фальшпола, строители этот пол уложили, но оказалось, что стрингеры фальшпола неразъемные и уложить трубы (для подключения к водяным кондиционерам) под них уже невозможно. В общем, неприятная ситуация…
Инженерно-строительные проблемы
В отечественной практике, в подавляющем большинстве случаев, ЦОД проектируется под условия имеющегося помещения. В то же время, в экономически развитых странах ситуация диаметрально противоположна — проектируется дата-центр, а затем для него строится (а не выбирается, как у нас) соответствующее помещение.
Разница при проектировании ЦОД в Украине и за рубежом заключается также и в том, что в странах Запада зачастую строят здание для конкретного дата-центра, а у нас наоборот — встраивают ЦОД в имеющееся помещение.
Предвидя множество негодующих возгласов читателей наподобие: «заказчик уже поставил перед фактом», «помещение уже снято в аренду» и т. д., позволю высказать несколько аргументов в пользу своих слов.
При строительстве здания всегда определяется максимальная удельная нагрузка в килограммах на квадратный метр. Эта величина фиксируется в паспорте сооружения и четко отслеживается техническим надзором. И если в собственных помещениях заказчика, где ЦОД строится либо на первом этаже, либо в подвале, это не столь критично (ниже уровня земли не провалишься), то в бизнес-центрах — иная картина. При любом ввозе оборудования хозяева помещения будут требовать соответствия расчетным нормам как общего, так и удельного веса оборудования.
В итоге может получиться такой парадокс: готов конструктив металлического экрана ЦОД, установлен фальшпол, системы кондиционирования, вентиляции, подведено электропитание, смонтированы ИБП, а в шкафы оборудование и серверы поставить нельзя — ибо в этом случае удельный вес на квадратный метр превысит норму! Выходит, что все деньги потрачены впустую, и задачу уже не решить стандартными методами.
Конечно, до такого обычно не доводят, но все же существует опасность снизить коэффициент использования центра обработки данных.
Поэтому отметим, что, согласно стандарту TIA-942, пол серверного помещения для ЦОД первого уровня (Tier I) должен выдерживать распределенную нагрузку не менее 840 кг/кв.м.
Довольно часто в качестве помещений для ЦОД выбирают аппаратные комнаты, где размещались большие ЭВМ еще «доперестроечных» времен. По части прочности перекрытий такие помещения действительно более приспособлены для размещения сосредоточенной нагрузки. Однако следует обратить внимание на другой нюанс — не всегда размеры оконных и дверных проемов достаточны, чтобы занести оборудование. А ведь расширить проемы можно далеко не всегда.
Естественно, не стоит забывать и про электрическую мощность для питания оборудования в выбранном здании. Причем надо учитывать не только сегодняшние потребности, но и возможное развитие ЦОД (обычно это 100% запас). Однако, если мощность дата-центра достаточно большая (например, сотни кВт), потребуется согласование с «Энергонадзором» — реально ли подвести соответствующую мощность. Кстати, это одна из самых «больных» тем для помещений, расположенных в центре крупных городов, и если первоначальную мощность энергопотребления еще удается как-то обеспечить, то ее наращивание может стать неразрешимой задачей. Эту проблему можно решить путем установки дополнительной трансформаторной подстанции, что сразу же отразится на стоимости реализации проекта в целом. Отдельного внимания заслуживают вопросы подъезда тяжелого грузового транспорта и поднятия габаритных грузов на нужный этаж.
Обязательный элемент ЦОД — качественно выполненное телекоммуникационное заземление. Хочется акцентировать внимание на рабочих помещениях, где установлены гипсокартонные перегородки (как правило, это касается небольших дата-центров). Здесь важно проследить, чтобы никакие части экрана не имели контакта с металлическими частями гипсокартонного профиля, железобетонных конструкций здания или предметов, подключенных к заземляющим проводникам. Этот момент часто упускается из виду, в результате при пробое на корпус какого-либо устройства опасный потенциал возникнет и на дорогостоящем оборудовании в коммутационных шкафах — внутри, казалось бы, экранированного серверного помещения. Но если грамотно спроектировано и построено заземляющее устройство, то величину этого потенциала удастся снизить на несколько порядков.
3D-графика в проектировании ЦОД
Проектирование инженерных систем требует создания чертежей, которые в эпоху современных технологий выполняются в системе автоматизированного проектирования. Казалось бы, что здесь можно придумать нового? Однако и тут есть некоторые особенности, относящиеся именно к ЦОД. Эти эмпирические правила сформировались в результате работы над множеством проектов.
Обычно вначале выполняется план или ряд проекций. Но одна из особенностей ЦОД — наличие большого количества оборудования на небольшой площади. Чертежи выполняются в плоскостях, инсталляция же будет воплощаться в трехмерном пространстве. Конечно, бывалые проектировщики могут и возразить, дескать, при необходимости можно выполнить дополнительные чертежи с разрезами вдоль нужных осей. А что делать, если этих разрезов много?
Есть разумная альтернатива — переход к трехмерной модели, выполненной в соответствующем масштабе. Такой подход имеет ряд преимуществ. Во-первых, трехмерная модель позволяет сделать видовой снимок или срез с любого ракурса, с любым приближением. Во-вторых, в процессе проектирования можно дополнительно задать ключевые точки обзора, которые позволяли бы в реальном пространстве увидеть внесенные изменения. При таком подходе значительно повышается скорость выполнения всего комплекта чертежей, ведь при изменении одного параметра автоматически происходит и перенастройка других.
«Фен-шуй» в проектировании ЦОД
Поговорим о собственно процессе проектирования. Плохо, когда задача ставится примерно так: «есть площадка 300 кв. м, туда бы по максимуму шкафов да еще предусмотреть энергопотребление на каждый до 20 кВт». На самом деле, ситуация вполне рабочая. В этом случае просто нужна грамотная декомпозиция задачи по отдельным пунктам. Остановимся на них более подробно.
Начинать лучше с системы кондиционирования. Первый вопрос, который задается заказчику, — «какова средняя и максимальная удельная мощность планируется на стойку?». Исходя из этого, выбирается решение по кондиционированию, определяется общая концепция размещения оборудования и тип охлаждения — гликолевая система, воздушная или водяная. Водяная система эффективна для случая прогнозируемого развития большой вычислительной подсистемы с начальным показателем потребляемой мощности не менее 30% (для оптимальной работы чиллера). Фреоновые сплит-системы подходят для малых и средних серверных помещений, поскольку фреон имеет невысокую стоимость, а главное — не является токопроводящим веществом (что важно при утечке). Гликолевая система по топологии сходна с фреоновой, однако позволяет расположить внешние блоки кондиционеров на большем расстоянии.
Что касается обобщенного портрета ИБП для ЦОД, то в большинстве случаев — это либо модульные ИБП, либо допускающие параллельное включение, дабы обеспечить возможность резервирования. Также стоит учитывать тип схемотехнического решения выпрямителя ИБП и суммарный коэффициент нелинейных искажений тока на входе ИБП (параметр THDI), которые определяют необходимый запас мощности дизель-генератора.
Как только становятся известны ключевые данные по системе кондиционирования и ИБП, появляется возможность расчета силовых распределительных щитов, кабелей (с учетом рекомендуемых запасов по сечению), а также номиналов автоматов.
Следующая задача — выбор дизельного электрогенератора (ДГУ). На этом этапе важно правильно определить мощность устройства. Для этого требуется учесть три ключевые вещи: максимальную мощность ДГУ (с запасом, исходя из нелинейных искажений по току для ИБП и пусковых токов кондиционеров), их количество (один на большую мощность или несколько — на меньшие), а также согласование полной мощности дизеля и нагрузки.
Оптимальный режим генератора обычно составляет от 25–40% до 90%. Если требование по минимальной мощности не выполняется, при длительной работе ДГУ в недогруженном режиме происходит коксование колец, что приводит к уменьшению сечения соплового аппарата нагнетателя и, как следствие, к нарушению нормальной работы системы.
Если ЦОД будет развиваться постепенно, может быть рассмотрена одна из двух схем каскадного включения нескольких ДГУ. В первой из них стартуют все ДГУ, которые объединены в группу с автоматом синхронизации фазы. Далее группа определяет текущую электрическую нагрузку и через некоторое время (обычно несколько минут) начинают отключаться дизель-генераторы, мощность которых избыточна для текущей нагрузки. Вторая схема основана на обратном принципе: запускается один генератор, если его мощности недостаточно, он глушится, после чего запускаются два и т. д. — до тех пор, пока суммарная мощность дизелей будет не ниже мощности нагрузки. Первая схема менее экономична, в то же время более надежна (чаще применяется для катастрофоустойчивых и просто крупных ЦОД). Вторая схема более экономична и сохраняет ресурс дизеля, однако требует более длительного времени автономной работы ИБП, поскольку каскад дизелей позже входит в рабочий режим.
Очень важен грамотный подбор автоматической системы пожаротушения. Согласно отечественным нормам, если высота пространства фальшпотолка превышает 300 мм или фальшпола — более 400 мм, обязательно требуется установка извещателей системы пожаротушения и подачи огнетушащего вещества. Для большого помещения предпочтительнее трубная разводка; для малого — можно обойтись и отдельными баллонами, заполненными газом, закрепив их на стенах помещения.
К тому же, как правило, ЦОД имеет значительную площадь и, соответственно, при эвакуации находящимся там людям требуется некоторое время, чтобы покинуть помещение. Поэтому в качестве противопожарного реагента желательно использовать хладон-227 (FM-200). Особенностью этого газа является безопасность применения — после тушения пожара уже через пять минут воздушная среда практически пригодна для дыхания. К тому же, этот газ не требует наличия отдельной системы вытяжной вентиляции.
Проектирование СКС можно начинать, определив количество шкафов и расположив их в помещении, а также разместив в шкафах оборудование. Последнее особенно актуально, если в сети будут использованы каналы передачи данных по протоколу Fiber Channel, ведь для них требуется подбор типа оптического волокна (одно- или многомодовое) в соответствии с версией используемого протокола.
В современном ЦОД должна работать также система видеонаблюдения. Система контроля физического доступа рассчитывается на одном из последних этапов проекта. Обычно она включает электромагнитные замки со считывателями на каждой стороне дверей во всех помещениях, контроллер и программное обеспечение, позволяющее вести базу данных посетителей.
Важные «мелочи»
Не стоит забывать и о таких «мелочах», как высота шкафов и их цвет: если помещение невысокое, а шкафы 42–48 U, то потребуются светильники с широкой диаграммой светораспределения. Если при этом все шкафы будут черными, придется увеличить величину освещенности из-за высокого коэффициента поглощения (что в итоге может отрицательно сказаться на общем показателе энергопотребления).
Что касается электрической нагрузки, отметим, что у той, которая подключается к ИБП в ЦОД, как правило, нелинейный характер. Большинство серверов и блоков питания активного сетевого оборудования имеют импульсный характер потребления тока, поэтому очень важно не допускать перекоса нагрузки по фазам на выходе ИБП. Многие производители заявляют о готовности ИБП перераспределять нагрузку между входящими фазами (схема 3:1) и возможностях коррекции несимметричности нагрузки по фазам по выходу (для схемы 3:3). Однако все же следует стремиться равномерно нагружать все три фазы, используя мониторинг токов шкафа с помощью систем распределения питания (PDU).
В коммерческих ЦОД не стоит забывать о системе мониторинга качества электроснабжения, которое регламентируется отечественным ГОСТ 13 109, где определены параметры качества электропитания. Сейчас все больше заказчиков, используя ИБП арендодателя или размещая свое вычислительное оборудование на правах аутсорсинга, используют подобные системы.
Но, пожалуй, самая интересная особенность, с которой рано или поздно сталкиваются интеграторы, это применение УЗО (устройство защитного отключения) совместно с фильтрами питания, которые регламентируют требования НБУ к ЦОД. УЗО с токами питания 300 мА применяют в электрических цепях, дабы защитить помещения от пожара (согласно нормативным требованиям, их следует использовать в цепях питания высотных зданий). Фильтры электропитания содержат в себе LC-контуры, которые в момент заряда конденсаторов создают ток утечки, что приводит к срабатыванию УЗО. В итоге, сразу же после включения питания УЗО разрывает электрическую цепь
Да и в самом ЦОД применение УЗО противопоказано. Это легко понять, вспомнив об особенностях импульсных блоков питания вычислительного оборудования, в составе которых есть симметричные LC-фильтры, средняя точка которых соединена с корпусом. Корпус заземляется, и через конденсатор фильтра проходит ток утечки, который приводит к срабатыванию устройства защитного отключения.
В последнее время также достаточно много внимания уделяется отводу тепла. Подчас производители рекомендуют всевозможную изоляцию холодных и горячих коридоров. Однако здесь может возникнуть проблема с организацией системы пожаротушения. Поясним на реальном примере.
В помещении с фальшполом решили изолировать горячий коридор. Для этого установили крышу и две двери. Газ для тушения пожара находится в баллонах под давлением. Противопожарный состав может поступать из баллонов, размещенных по периметру или через форсунки в трубах. Очевидно, что при подаче газа в закрытый коридор возникнет избыточное давление, вследствие чего крыша и двери просто будут сорваны и разлетятся по помещению (они ведь не рассчитаны на значительное давление изнутри), повредив дорогостоящее оборудование. Трубная разводка не спасает, поскольку часто пожарные трубы располагаются непосредственно над шкафами. Чтобы подобное не произошло, необходимо обеспечить одинаковый уровень давления снаружи и внутри коридора.
Новое — враг хорошему
Отдельно поговорим о «новаторских» и «революционных» решениях. По мнению автора, их желательно не обкатывать при строительстве ЦОД, а вначале испытать на других, менее ответственных объектах (если, конечно, есть такая возможность). Причин тому несколько. Первая, и, пожалуй, самая важная, — это сроки внедрения. Выполняя инсталляцию какого-либо устройства или решения впервые, невозможно точно учесть ни сроки поставки (что бы ни обещал дистрибьютор), ни сроки внедрения (сколь опытными ни были монтажники и проектировщики). А значит, нельзя учесть и риски, четко просчитать план-график выполнения работ и описать заказчику, что он получит и чего не получит (последнее, как не странно, оказывается, важнее). Простой пример: прокладка труб для циркуляции хладагента требует предварительной гидроизоляции помещения, чтобы в случае утечки жидкости она не попала на оборудование, несмотря на то, что в требованиях производителя подобная «мелочь» не фигурирует.
Еще одно из новых решений, позиционируемых для ЦОД, — претерминированные кабельные решения (ПтКР). Обычно это медные или оптические кассеты-разъемы, которые изготавливаются в заводских условиях (ввиду высокой сложности сборки и требований к надежности) и позволяют соединять между собой целые коммутационные панели всего одним кабелем. Это действительно хорошее решение, если коммутация производится всего несколько раз в год. Но в случае коммерческих ЦОД количество перекоммутаций гораздо выше. Из-за малых размеров разъемов и высокой плотности портов на оптических коннекторах при частых перекоммутациях нарушается соосность соединений, а на медных может наблюдаться дребезжание контактов. Кроме того, надо четко себе представлять сроки внедрения. Если обычные панели, как правило, есть на складе, а на их монтаж уйдет три недели, то при использовании претерминированных решений будет потрачено два часа на монтаж и два месяца на поставку, следовательно, итоговый срок инсталляций сдвинется по времени.
Альтернативные источники электропитания, по ряду причин, пока не получили должного распространения в нашей стране. Водородные топливные элементы (которые позиционируются как экологически чистая альтернатива ДГУ в бизнес-центрах, размещенных в центре города) не используются в Украине из-за проблем с разрешительной системой органов пожарного надзора.
Смелой альтернативой традиционным «бесперебойникам» являются системы на базе раскрученных маховиков. Принцип работы этих устройств основан на том, что двигатель раскручивает маховик, который в момент пропадания электропитания превращается в генератор тока, вырабатываемого за счет собственной кинетической энергии. Конечно, это не привычный ИБП, и время автономной работы подобной системы в лучшем случае составляет несколько десятков секунд, но в то же время для такого устройства не критичны высокие температуры и оно относительно компактно. Однако вызывают вопросы сложная механическая конструкция и, соответственно, ее ремонт, а также время наработки на отказ.
Стоит ли платить за обслуживание?
Сложность этого вопроса в том, что заказчик часто неадекватно оценивает риски, связанные с нарушение работы оборудования. Этому отчасти способствует неправильное понимание рекламных материалов, где утверждается, что главное, мол, купить, а все остальное — «самое надежное и качественное, меняемое на ходу». Вопрос в том, есть ли на что менять и что именно менять. То же резервирование N+1 вряд ли спасет, если неисправный модуль ИБП привезут через три месяца. Бывает, вышел из строя модуль, а поскольку система работает по схеме с резервированием, то все работает и дальше — до тех пор, пока не выйдет из строя еще один модуль и не обесточит всю систему. И тогда время восстановления может очень затянуться, не говоря уже об утере данных.
Подписывая сервисный контракт, заказчик фактически оговаривает как сроки реакции, так и время восстановления. За рубежом уже стало стандартным подходом ставить сложную систему на сервисное обслуживание и заключать соглашение об уровне услуг (Service Level Agreement, SLA), где клиент регламентирует пара метры, которые для него наиболее важны, а само решение о том, как это поддерживать, ложится на плечи сервисного партнера. Тот, в свою очередь, принимая на обслуживание сложную систему, уже обладает информацией о том, что нужно закупить, когда и какие параметры требуется контролировать.
Особенности ЦОДостроения
В завершение хотелось бы сказать об основных отличиях самого процесса построения отечественных центров обработки данных от зарубежных комплексов.
Лавинообразный спрос на ЦОД породил свои нюансы — в настоящий момент за строительство крупных объектов берутся если не один интегратор, то максимум два-три, в то время как за границей число подрядных организаций может доходить до нескольких сотен. Хорошо это или плохо — сказать трудно. С одной стороны, узкоспециализированные компании имеют больший опыт внедрения и статистику «как не нужно делать, чтобы не иметь проблем в дальнейшем». С другой стороны, согласовывать текущие вопросы внутри одной компании намного проще, нежели создавать постоянные совещания, где требуется присутствие еще и независимых экспертов, способных внятно донести заказчику слова, которые говорят специалисты. Ведь в случае наличия многих подрядчиков трудно найти ответственного за рабочие нестыковки. В целом же, «у них» лучше развита координация между подрядчиками ввиду однотипности и стандартизации производства, «у нас» — разносторонность интегратора и умение внедрить нестандартные решения.
Если говорить о размерах ЦОД, которые сейчас строятся, то доминируют, в целом, объекты среднего масштаба размером от 60–200 кв. м., уровня Tier III. В то же время удельная мощность оборудования на квадратный метр стремительно растет. По мнению автора, в ближайшем будущем этот рост остановится где-то на отметке 25–30 кВт на стойку, и дальше расти не будет. Этому способствует развитие энергосберегающих технологий для ИТ-оборудования, повышение КПД и сложность обслуживания стоек с высокой плотностью размещения серверов. Например, если представить совсем уж фантастическую ситуацию, когда в штатную стойку 42U физически можно поставить шесть блейд-серверов (обычно ставится не более двух), то даже в этом случае тепловыделение не превысит 30 кВт.
Резюмируя все вышесказанное, хотелось бы отметить, что проектирование и строительство центра обработки данных — нелегкая задача. Ее выполнение требует исключительной компетенции и наличия опыта у исполнителя. Но не все зависит только от интегратора. Надежный центр обработки данных, обладающий ожидаемыми параметрами, удовлетворяющий всем запланированным требованиям, можно создать только в процессе тесного сотрудничества инсталлятора и заказчика.
Константин КОВАЛЕНКО
Konstantin.Kovalenko@kvazar-micro.com,
главный инженер проектов
отдела инженерных систем
департамента инфраструктурных решений
компании «Ситроникс ИТ»
Оригинал статьи