Мастер-класс по проектированию систем охлаждения дата-центров от Виктора Гаврилова

В рамках форума Мир ЦОД-2011 Виктор Гаврилов, технический директор инжиниринговой компании «АМДтехнологии» провел полуторачасовой мастер-класс по проектированию систем кондиционирования и холодоснабжения центров обработки данных.

Большое внимание при проектировании ЦОД Виктор уделил взаимной увязке проектов всех инженерных систем. Особую трудность представляют кабельные лотки. Поэтому, необходимо наложить чертежи в AutoCAD с целью понимания взаимного расположения силовых и слаботочных лотков и последующим анализом траектории движения воздуха.

Все ёмкие (как правило, слаботочные) лотки рекомендуется размещать под фальшполом в горячем коридоре. В зоне холодного коридора возможна прокладка силовых лотков, но обязательно в перфорированном, продуваемом исполнении.

Кроме того, существует проблема выполнения монтажных работ согласно проекту. Проектный и монтажный отделы редко работают вместе. Как результат, проектные идеи могут быть переосмыслены при монтаже. Самый распространенный пример – недоумение по поводу сложной и длинной кабельной трассы. Почему бы её не проложить напрямую, мол, ничего страшного, что поперёк коридора, зато экономия в кабеле. Следствием является нарушение работы системы кондиционирования и заметное снижение эффективности теплоотвода.

Следующий важный момент – доставка холодного воздуха до стоек. При использовании кондиционеров с верхней раздачей (редкий случай) необходимо использовать направляющие поворотные пленумы или сеть воздуховодов, т.к. исходящий вертикально вверх от кондиционера поток холодного воздуха не произведет полезной работы ни при каких обстоятельствах.

Наиболее распространенным же является случай применения кондиционеров с раздачей воздуха под фальшпол. Здесь перед проектировщиком предстоит задача грамотного расчета высоты фальшпола. Рекомендуемая скорость воздуха под фальшполом составляет 1м/с, крайняя – 2м/с.

Для подачи воздуха из-под фальшпола в холодный коридор требуется установка напольных решеток. Число решеток должно соответствовать расходу воздуха, генерируемого кондиционерами. При этом задаются пропускной способностью одной решетки. Например 1000м3/час. Для решеток с высоким коэффициентом живого сечения можно принять 1500м3/час. Однако, следует помнить, что чем выше расход воздуха, тем сложнее балансировать систему.

Распространенной является ошибка задания ширины холодного коридора исходя из архитектурных соображений. Например, очень удобной является ширина в 1200мм – ровно две плитки фальшпола. Однако потом выясняется, что в холодный коридор, содержащий 20 плиток, требуется установить 30 решеток. Как быть? Приходится расширять коридор, изменять расположение стоек, кабельных лотков и т.д. – корректировка практически всего машинного зала. Именно поэтому следует вовремя обращать внимание на количество и размещение напольных решеток.

Кстати, другим решением проблемы недостатка места для установки решеток является применение так называемого активного пола, представляющего собой оснащенную вентилятором напольную решетку. В этом случае расход воздуха через решетку может повыситься до 4000м3час.

Завершая тему напольных решеток, Виктор Гаврилов подчеркнул, что все решетки должны размещаться строго в холодном коридоре. В ЦОД необходима направленная подача холодного воздуха к серверам, а не захолаживание всего помещения в целом. Данное замечание связано с тем, что некоторые эксплуатационные службы, если осознают проблему нехватки решеток, пытаются вставить новые «хоть куда», в том числе в проходы, в горячий коридор и т.д. Делать этого категорически нельзя.

Ещё одним «узким местом» на пути воздуха может оказаться монтажная и передняя двери стоек.

Рекомендуется использовать двери с перфорацией не менее 80%.

Следующий шаг – правильное размещение кондиционеров в машинном зале. Наиболее оптимальным является вариант установки кондиционеров по концам горячего коридора. Размещение кондиционеров напротив холодных коридоров – не лучший вариант, так как воздухозабор будет происходить также из холодного коридора, т.е. кондиционеры могут отключиться раньше времени. Размещение кондиционеров с подачей воздуха поперек рядов стоек также нежелательно ввиду последующего зацикливания потока вокруг первых рядов стоек.

Также, следует выдерживать определенное расстояние от кондиционера до первой решетки. Если это расстояние слишком мало, то первые решетки будут не раздавать воздух, а засасывать его. Вообще, это может показаться несколько удивительным, но наибольшее количество холодного воздуха получают удаленные от кондиционеров стойки, а проблемы возникают на самых близких стойках, именно из-за эффекта подсасывания воздуха под фальшпол из холодного коридора.

Наконец, при наличии высоконагруженных стоек, локализация коридоров – холодного или горячего – позволяет повысить отвод тепла от стойки. Сегодня многие производители предлагают решения подобного рода – APC, Emerson (Knurr), Conteg и т.д. Более дешевым вариантом является крепление к потолку жалюзи над стоками и по торцам коридора. Жалюзи могут иметь привод и двигаться (подниматься и опускаться) с удаленного пульта.

Охлаждение ЦОД: фреон или вода?

Вторая презентация Виктора Гаврилова была базирована на одном из реальных объектов, на котором заказчик попросил сравнить две схемы холодоснабжения ЦОД – с использованием фреоновых кондиционеров прямого расширения (DX) и водяных шкафов (CW) с чиллером, оснащенным опцией фрикулинга. Мощность рассматриваемого ЦОД 300кВт.

Сравнение производилось по нескольким параметрам: энергоэффективность, регулируемость, увязка с другими инженерными системами и др.

Холодильный коэффициент, наглядно демонстрирующий энергетическую эффективность, фреоновой системы (на базе шкафных прецизионных кондиционеров с выносными конденсаторами) составил 3,1.
Система, построенная на чиллере, предполагает температурный график воды 7/12С. При этом воздух попадает в кондиционер с температурой 27С и охлаждается до 14С. Холодильный коэффициент составил 2.4, что на 23% хуже фреонового решения.

Следующий параметр – способности системы к плавному регулированию. При отсутствии технической возможности плавного регулирования компрессора (инвертор, Digital Scroll и т.д.) регулирование фреоновой системы сводится к её включению/выключению. Учитывая, что компрессора имеют защиту от частых включений (так называемый тайминг компрессоров), во время выключенного компрессора вентилятор кондиционера продолжает работать, перемешивая воздух в помещении. Тем самым он направляет горячий воздух из машинного зала напрямую под фальшпол и, далее, на вход стойкам. Понятно, что подобная схема не может называться приемлемой.

В свою очередь чиллерная система имеет в своем составе трехходовой регулировочный клапан (он входит в состав шкафного кондиционера) и бак-аккумулятор, что сглаживает дискретность работы компрессора.
Виктор отметил, что описанный эффект при отключенном компрессоре усиливается в случае изолированного холодного коридора.

Кроме того, после прошедшего лета все просят рассчитать систему кондиционирования на наружную температуру +40С. Однако, это негативно сказывается на работе кондиционера зимой. Вариант использования шкафных кондиционеров с двумя контурами (фреон+вода) решит эту проблему, но будет стоить очень дорого. В то же время система на основе чиллеров, оснащенных опцией фрикулинга, подобных минусов не имеет.
Ещё один пункт – бесперебойное охлаждение при отключении основного электропитания. При чиллерной системе присутствует бак-аккумулятор, а к ИБП подключают насосы и вентиляторы внутренних блоков. В случае фреоновых систем придется нагружать ИБП компрессорами, для которых характерны высокие пусковые токи, а ИБП, как известно, критичны к ним. В дополнение можно сказать, что в первом случае аккумулирующую нагрузку берут на себя баки с водой, а во втором – аккумуляторные батареи системы ИБП. И в обслуживании и в долговечности и в простоте батареи проигрывают бакам.

Также, чиллер, оснащенный фрикулингом, позволяет экономить электроэнергию за счет отключения компрессоров при наружной температуре около -3С и ниже (и частичная экономия в диапазоне от -3С до +10С). В условиях нашего климата окупаемость чиллерной системы за счет фрикулинга составляет 2.1 года.
Наконец, вопрос габаритов. Габариты чиллера, конечно, больше выносного конденсатора, и он тяжелее. Однако, во фреоновой схеме потребуется несколько конденсаторов, которые требуется разместить на наружной площадке. Оказывается, что подобная площадка для конденсаторов будет по площади больше площадки для чиллеров. Вдобавок, при наличии технических теплых площадей, например, в подвале или на чердаке, чиллерная схема может предполагать использование чиллера внутренней установки с выносным конденсаторов снаружи. Тогда требуемая площадь наружной площадки ещё более сократится.

По массе же в любом случае чиллерная схема будет тяжелее. но конденсаторов потребуется большее число, которое займут большую площадь. Плюс есть возможность установить чиллер внутренней установки.

Внутрирядные кондиционеры Stulz

О новой линейке CyberRow внутрирядных кондиционеров Stulz рассказал Роберт Туркес, региональный менеджер по продажам Stulz GmbH. Данные агрегаты представляют собой внутрирядные кондиционеры, работающие на воде и фреоне.

В числе технических особенностей линейки названы регулирование мощности компрессора от 30 до 100%, электронный расширительный вентиль, 6 температурных датчиков: по три на входе и выходе (сверху, посередине, снизу), энергосберегающие EC-вентиляторы.

Для CeberRow характерна конструктивная особенность – выдув воздух не прямо, а по бокам – налево и направо – сразу в зону воздухозабора стоек.

Холодильный коэффициент равен около 3 и достигает 5 при 50%-й тепловой нагрузке.

ЦОД из типовых конструктивов

Менеджер по работе с ключевыми клиентами Data Center Solution компании Rittal Владимир Башкиров презентовал концепцию построения ЦОД высокой готовности. Ранее подобные материалы продавались под брендом Lampertz, а сегодня являются частью продукции Rittal.

Это модульные помещения, возводимые из типовых элементов, благодаря чему появляется возможность существенно сократить сроки строительства. В частности, один из объектов был построен с их помощью всего за 4 недели.

Ещё один плюс подобного решения – его расширяемость. Всегда есть возможность разобрать одну из стен и удлинить помещение в эту сторону.

Использование модульных помещений безопасности снижает затраты на страховку, благодаря сертификации каждого построенного подобным образом ЦОД. Кроме того, предоставляются гарантии по некоторым параметрам. Так, даже при пожаре температура не должна превысить 50С.

В числе типовых изделий — удобные вводы: кабельные, трубные и пр.

Согласно реальным данным, срок поставки помещения площадью 400кв.м. составил 2 месяца. Общий объем строительных материалов Rittal занял 8 фур.

Турбокомпрессоная экономия

О сравнении энергоэффективности систем холодоснабжения ЦОД мощностью 6.6МВт на базе винтовых и турбокомпрессоров поведал Алексей Морозов, руководитель отдела продаж систем центрального кондиционирования и вентиляции ГК «Термокул».

Напомню, что турбокомпрессора совсем недавно стали использоваться в климатической технике. Ранее область их применения ограничивалась низкотемпературными приложениями, но сегодня их можно встреть в составе чиллеров и компрессорно-конденсаторных блоков, где они демонстрируют свои плюсы: экономичность, компактность, бесшумность.

Итак, в рассматриваемом ЦОД (6600кВт) в обоих случаях приняты внутренние блоки шкафного типа HiRef по 140кВт (47 штук) и сравниваются чиллеры производства Термокул и Cofery с водяным конденсатором и оросительными градирнями.

Чиллеры Термокул представляют собой четырехконтурную четырехкомпрессорную холодильную машину холодопроизводительностью 260кВт каждая (всего 3 рабочих и один резервный чиллер). Охлаждение хладагента производится в водяном конденсаторе. В свою очередь тепло от воды отводится через 16 драйкулеров по 510кВт каждый.

Верхняя граница работы фрикулинга равна +2С. Компрессионный цикл работает 5311ч в год и потребляет порядка 10 млн. кВт в год.

В то же время чиллеры Cofely (мощность каждого 1140кВт) оснащены турбокомпрессорами, тепло отводят через водяной конденсатор, а вода охлаждается в градирнях. Во избежание замерзания градирен требуется постройка бассейна под ними.

Температура полного перехода на режим фрикулинга составляет +5С при графике холодоносителя 8/13С. Энергопотребление системы – 3 млн. кВт в год.

Таким образом, второй вариант позволяет сэкономить порядка 900 000 евро в год. Несмотря на то, что годовые затраты второй системы выше (2млн против 1.6 млн. евро), а капитальные затраты выше на 20%, в пересчете на 5 лет выигрыш очевиден: 11 500 000 евро против 8 200 000 евро.

Энергоэффективный 3N

Михаил Балкаров, технический эксперт компании Emerson Network Power, рассказал о том, как использовать шкафные водяные кондиционеры в совокупности с чиллерами и получить при этом чрезвычайно низкий коэффициент PUE.

Данное решение стало возможным с появлением высокотемпературных чиллеров, способный работать при температуре воды 18/23С. Получение холода на этом температурном уровне с энергетической точки зрения обходится гораздо дешевле. Кроме того, это существенно расширяет границы использования режима фрикулинга.

С другой стороны, падает эффективность теплообмена во внутреннем блоке. Приходится устанавливать большее их число. Однако, эффект впечатляет! Если в традиционном ЦОД на охлаждение тратится порядка 35% его мощности, то в рассмотренном варианте — всего 8.3% (PUE, учитывающий только климатику, составил 1.083).

Данный PUE вполне соизмерим с PUE, характерным для системы Kyoto Cooling (1.05-1.15). Однако, у КиотоКулинга большая стоимость владение, большая площадь, необходимая высота потолков около 7м против 4.5м. Кроме того, согласно опытным данным, охлаждение наружным воздухом снижает срок службы серверов до 2 лет.

Продолжение темы недостатков фрикулинга и общие тенденции в мире ЦОД см. в заключительной части обзора.

Автор: Хомутский Юрий