ЦОД: климат под контролем

Цели и задачи

Под климат-контролем понимается комплекс мер, направленных на создание, поддержание оптимального для заданных процессов климата, а также его контроль и управление.

Для центров обработки данных (ЦОДов) эти меры реализуются через системы вентиляции, кондиционирования и увлажнения, за счет которых обеспечивается температура, влажность и запыленность (точнее, незапыленность) в помещении.

Проще всего разобраться с вентиляцией. В помещении ЦОДа не предполагается наличие постоянного пребывания людей, а потому, из числа штатных систем вентиляции присутствует лишь приточная (подпорная), имеющая своей целью создать в обслуживаемом объеме избыточное давление во избежание попадания в помещение воздуха извне. Это небольшая система, обычно наборная, обеспечивающая класс очистки приточного воздуха не ниже EU4, является типовой, поэтому как с точки зрения вентиляционщика, так и с точки зрения автоматчика сложностей не вызывает.

Отдельного внимания заслуживает тот факт, что помещения ЦОД оборудуются системой автоматического газового пожаротушения, а, следовательно, и аварийной системой вентиляции – газоудалением. Согласно требованиям СНиП 41-01-2003 «Отопление, вентиляция и кондиционирование» удаление газа производится из верхней и нижней зон помещения. Нередко объём под фальшполом выделяется отдельно и также оборудуется воздухозаборными устройствами. В случае невозможности обеспечить естественный приток воздуха для работы газоудаления, применяется отдельная подпорная система.

Другое дело с обеспечением необходимого тепло-влажностного режима помещения. Несмотря на то, что к климатическому оборудованию со стороны вычислительного предъявляются вполне привычные требования, наиболее острым моментом становится возможный диапазон их изменения, за которым мы и обратимся к нормативной документации. Здесь букву закона диктуют два американских стандарта TIA/EIA-942 и TIA/EIA-569-B. Оба за более подробными рекомендациями ссылаются на американскую ассоциацию ASHRAE, которая в 2008 году расширила рекомендуемый диапазон параметров внутреннего воздуха, введя следующие критерии (эти расширенные, а также существовавшие ранее требования, показаны на рис.1.):

— температура: 18 – 27°С,

— температура точки росы в пределах 5.5 – 15°С (напомним, что температурой точки росы является температура, до которой при постоянном влагосодержании необходимо охладить воздух, чтобы появился конденсат, т.е. фактически это требование определяет следующий диапазон влагосодержания: 5.5 – 11 г/кг (см. рис.1)),

— относительная влажность не выше 60%.

Рис.1. I-d-диаграмма влажного воздуха и рекомендуемый диапазон параметров микроклимата в ЦОДах: от области, ограниченной синим, перешли к области, ограниченной красным.

Специально для этих целей у организации EUROVENT среди 19 сертификационных программ есть особая – «Close Control Air Conditioners (CC)» (Кондиционеры точного контроля). Это оборудование класса «прецизионные кондиционеры».

Действительно, когда речь идет о ЦОДостроении, комфортным кондиционерам доверять нерекомендуется сразу по нескольким причинам. Дело в том, что комфортное (бытовое и промышленное) климатическое оборудование предназначено, главным образом, для работы в местах пребывания людей, к тому же с относительно низкой плотностью тепловыделений, чего не сказать о вычислительных комплексах. Увеличенный срок службы, нацеленность на круглогодичную работу, в 2-3 раза сниженное осушение воздуха, вдвое увеличенный расход воздуха при той же холодопроизводительности, а также более широкая линейка оборудования с различными схемами движения воздуха – всё это предопределяет безоговорочный выбор в пользу прецизионного климатического оборудования.

Проблема теплоносителя

Как было отмечено выше, техника с помощью воздуха осуществляет теплоотвод. Но в качестве теплоносителя воздух не идеален, что объясняется простейшей термодинамической формулой (справедливой для случая нагрева воздуха без изменения его влагосодержания, что и происходит в IT-стойках):

N=C*M*ΔT       (1), где

N – мощность охлаждения, кВт;

C – удельная теплоёмкость теплоносителя, кДж/(кг*С);

M – массовый расход теплоносителя, кг/с;

ΔT – перепад температур теплоносителя на входе и выходе из оборудования, °С.

Во-первых, дело в том, что для воздушных теплообменников характерна температура «недорекуперации» (минимальный температурный напор) порядка 7°С. Это значит, что испаритель кондиционера со средней температурой 8°С при разумной площади теплообмена сможет охладить воздух до 8+7=15°С, в то же время оборудование в стойке температурой 41°С нагревает воздух до 41-7=34°С. Таким образом, у идеального теплоносителя перепад температур составил бы ΔT1=41-8=33°С, а у воздуха в качестве теплоносителя перепад равен ΔT2=34-15=19°С, а значит, при тех же N и C (см. (1)) требуется расход теплоносителя в ΔT1/ΔT2=33/19=1,7 раза больший.

Во-вторых, теплоёмкость воздуха относительно низка (1,005 кДж/(кг*С)), в то время как, например, для воды она составляет 4,183 кДж/(кг*С), т.е. массовый расход воды при тех же значениях N и ΔT (см. (1)) требовался бы в 4,183/1,005=4,2 раза меньший. Добавим, что температура недорекуперации для воды составляет ~2°С, следовательно, массовый расход снижается ещё в ((41-2)-(8+2))/18=1,6 раза, т.е. в общей сложности в 4,2*1,7=7,1 раза, а если учесть, что плотность воды в 1000 раз выше плотности воздуха, то объемный расход снизится в 7100 раз. Как видно из характеристик кондиционеров, на 1кВт тепла необходимо в среднем 200 м³/ч воздуха, расход же воды составит всего 0,03м³/ч. При прогнозируемой через несколько лет стойке в 100кВт потребуется 3 м³/ч воды, а поток воздуха…видимо, сдует стойку.

Таким образом, необходима замена воздуха в качестве теплоносителя на другое жидкое или газообразное вещество. Конечно, вода бы идеальной, но одно лишь свойство электропроводности вычеркивает её из списка претендентов.

На данный момент уже достаточно широко развито жидкостное охлаждение процессоров и появляются первые более принципиальные результаты в обозначенном направлении – компания Iceotope предложила погружать оборудование в специально разработанную жидкость – инертный синтетический охладитель (см. рис. 2). Повысив эффективность охлаждения таким способом, по данным компании, становится возможным снизить затраты на охлаждение 1000 серверов с почти $800 000 до $50 000, т.е. на 93%.

Рис. 2. Тыльная сторона стойки с расположением насоса и коллектора для синтетического теплоносителя.

В перспективе, если учесть, что энергия фазового перехода вещества нередко соизмерима с энергией его нагрева на тысячи градусов, то можно предположить появление синтетического теплоносителя, меняющего агрегатное состояние с жидкого на газообразное при температурах, близких к 30°С. Этот теплоноситель будет вскипать при контакте с оборудованием, в газообразном виде подниматься вверх, где его ждёт более привычная система охлаждения, сжижающая его и отправляющая снова к оборудованию.

Обзор существующего оборудования

Но, к сожалению, массовые производители серверов не переходят на выпуск оборудования, поддерживающего жидкостное охлаждение, поэтому в качестве теплоносителя в нашем распоряжении имеется только воздух, используя который современный рынок предлагает ряд решений.

При использовании прецизионных кондиционеров обеспечение микроклимата реализуется на основе трёх существующих архитектур охлаждения исходя из плотности тепловыделений:

— охлаждение на уровне зала,

— охлаждение на уровне ряда,

— охлаждение на уровне стойки.

Причем, независимо от выбранной архитектуры, следует обратить внимание на ключевые параметры прецизионных кондиционеров:

— полная холодильная мощность (холодопроизводительность),

— явная холодопроизводительность,

— расход воздуха, обрабатываемого кондиционером,

— площадь кондиционера в плане.

Рассмотрим типы климатического оборудования в помещении:

1. Прецизионные сплит-системы обычно реализуют архитектуру охлаждения на уровне зала и используются для помещений с малой плотностью тепловыделений. Как правило, это вспомогательные помещения – ИБП, электрощитовые и др.

Широко известна серия кондиционеров HPS фирмы Liebert (Рис. 3). Внутренние блоки кассетного типа оснащены боковым воздухозабором с нижним выдувом и характеризуются равенством полной и скрытой холодопроизводительностей (SHR=1).

Рис. 3. Прецизионные сплит-системы компании Liebert с внутренним блоком кассетного типа.

Такое решение очень компактно и не занимает весьма ценное место на полу, но за это приходится платить низкой холодопроизводительностью (от 6.4кВт до 14.6кВт). Расход воздуха в испарителе составляет от 190 до 240 м³/(ч*кВт). Бесспорным плюсом является функция свободного охлаждения с использованием наружного воздуха при неработающем компрессоре. Здесь кондиционеры фирмы Liebert выгодно отличаются наличием уникальной запатентованной системой плавного перехода на режим свободного охлаждения, использующей вращающуюся управляемую электроприводом заслонку. Плавное открытие заслонки от 0 до 100% позволяет работать в смешанном режиме, когда часть холода генерируется холодильным циклом, а часть забирается из окружающей среды.

1. Существуют и моноблочные шкафные кондиционеры, отличающиеся от предыдущих тем, что не требуют выносного конденсатора (он расположен в моноблоке). Такие системы устанавливаются в наружную стену так, чтобы лицевая панель с решетками забора и раздачи воздуха находились в помещении, задняя панель выходила на улицу. Тем самым достигается аналог оконного бытового кондиционера.

Рис. 4. Моноблочные шкафные кондиционеры на малых ЦОДах.

Возможен режим свободного охлаждения. Холодопроизводительность систем достигает 20кВт, и этот тип оборудования идеально подходит для обеспечения и контроля климата в маленьких, ограниченных помещений, например, на базовых станциях (см. рис. 4).

1. Наиболее широко распространенный тип – прецизионные шкафные кондиционеры (рис. 5). С их помощью реализуется архитектура охлаждения реже на уровне зала, чаще же на уровне ряда. Шкафные кондиционеры охлаждают воздух как за счет фреона, так и за счет воды и имеют множество вариантов исполнения исходя из двух возможных направлений движения воздуха: сверху вниз и снизу вверх.

Рис. 5. Прецизионные шкафные кондиционеры фирмы Uniflair.

Характеристики различных производителей близки друг к другу, поэтому приведем усреднённые значения для единицы оборудования:

Полная холодопроизводительность – от 4 до 160 кВт,

Явная холодопроизводительность – от 4 до 120 кВт,

Расход воздуха – от 160 до 260 м³/(ч*кВт),

Площадь в плане – от 0.3 до 2.4 м²,

Заслуживает внимания широкий выбор комплектующих для обеспечения необходимой функциональности:

— микропроцессор для контроля температуры и влажности,

— электронно-коммутируемые (EC) вентиляторы,

— воздушный клапан с электроприводом,

— пароувлажнитель (электродный) + осушитель,

— фильтр класса G3-G5 (EU3-EU5),

— датчик засорения фильтра,

— датчик утечки воды,

— часовая карта,

— опорная рама с виброизоляторами, и др.

Заметим, что блоки, работающие на фреоне, исключают наличие воды в ЦОД и обходятся дешевле при мощностях до 100кВт, однако они обладают большими габаритами, сильнее нагружают систему ИБП и, как правило, не оснащаются функцией свободного охлаждения (за исключением кондиционеров InRef).

На текущий момент именно на основе шкафных кондиционеров строится наибольшее число ЦОДов. Классическим вариантом стала расстановка стоек в ряды с выделением холодного и горячего коридоров. Существуют решения с выгораживанием как холодного, так и горячего коридоров во избежание смешения разнотемпературных потоков. Раздача холодного воздуха кондиционерами осуществляется под фальшпол, откуда через специально предусмотренные решетки или панели активного пола воздух распределяется перед стойками. Здесь необходимо учитывать напор встроенного в кондиционер вентилятора и его расход. Критическими являются следующие величины:

— высота фальшпола. Подпольное пространство играет роль воздуховода, идеальной скоростью воздуха для которого являются величины 1-1.5м/с. Но даже при больших скоростях для мощных ЦОДов высота фальшпола достигает полутора метров (см. рис. 6), что не всегда позволяет исполнить как высота помещения, так и конструктивные элементы полов.

Рис. 6. Зависимость высоты фальшпола от мощности стойки.

— длина обслуживаемого ряда. Составляет, как правило, 10-12 метров.

Результатом ограничений является ухудшение топологии ЦОДа. Кроме того, опытные данные показывают, что данный способ подходит для стоек, тепловыделения которых составляют, например, 10кВт. Некоторые типы стоечного оборудования допустают многосторонний воздухозабор и максимальные тепловыделения достигают 25кВт. Дальнейшее увеличение мощности требует использования следующего типа климатического оборудования.

1. Кондиционеры-доводчики. Тем временем, ввиду постоянного роста мощности вычислительного оборудования, всё чаще используется архитектура охлаждения на уровне стойки. Подобные решения уже давно появились у ведущих производителей климатического прецизионного оборудования – Liebert, APC, Rittail и др.

Суть решения в установке блоков кондиционеров непосредственно в ряду стоек (через одну, две, три стойки, в зависимости от соотношения мощностей), тем самым увеличивая теплоотвод со стойки до 40кВт. При этом снижается электропотребление кондиционеров за счет меньшей мощности вентиляторов в связи с перемещением воздуха на меньшие расстояния.

Компания Liebert пошла дальше, выпустив надстоечные и надкоридорные кондиционеры (см. рис. 7). Добавим ещё тот факт, что в контуре используется специальный хладагент, изменяющий своё агрегатное состояние без реализации парокомпрессионного холодильного цикла и циркулирующий с температурой выше точки росы, а, значит, явная холодопроизводительность равна полной (SHR =1). Т.е., теоретически, самую густонаселённую стойку можно окружить кондиционерами с трех сторон – по бокам внутрирядными и двумя типами блоков сверху и ни от одного из них не требуется отвод конденсата. При этом для подключения блоков используются гибкие подводки и быстросъемные соединения, позволяющие выполнять работы без остановки всей системы холодоснабжения.

Рис. 7. Надстоечные блоки компании Liebert.

Полная холодопроизводительность блока – от 9 до 30 кВт,

Явная холодопроизводительность – от 9 до 30 кВт,

Расход воздуха – от 140 до 220 м³/(ч*кВт),

Площадь в плане – для внутрирядных блоков, как правило, равна 0.3 или 0.6 м².

В общем и целом, отметим, что наиболее широкой линейкой оборудования обладает итальянская компания Uniflair. Её кондиционеры характеризуются наличием по умолчанию электронного термо-регулирующего вентиля, низкотемпературного комплекта до -40°С (что немаловажно для нашей страны), равенством полной и явной холодопроизводительностей (SHR=1), а также элементами автоматики от компании Carel. Компактность оборудования Uniflair достигается использованием хладагента R410a. Уникальной возможностью также является контроль и регулирование статического давления под фальшполом запатентованными средствами Uniflair. Существует гарантированный и проверенный вариант отвода 40кВт от стойки.

Компания APC активно продвигает собственную масштабируемую систему InfraStruXure™, достигшую за восемь лет своего существования значительных успехов. Она объединяет не только некоторые инженерные системы — средства питания и кондиционирования воздуха, но и стойки для монтажа оборудования, а также средства управления. Разработаны модульные системы для 5 типов IT-среды, стал доступным и простым даже расчет стоимости капитальных и эксплуатационных затрат при внедрении InfraStruXure™.

Гибким производством, ориентированным под конкретного заказчика, обладает компания InRef. Благодаря налаженной связи с заводом имеется возможность изготовления оборудования под индивидуальный заказ. В стандартную комплектацию кондиционеров входят электронно-коммутируемые (EC) вентиляторы. Линейка кондиционеров отличается наличием моделей с инверторным приводом компрессора (до 110Гц) и поддержкой прямого свободного охлаждения шкафными кондиционерами. Заводская гарантия составляет 2 года.

Часто встаёт вопрос о наличии качественной документации – описания систем, проектных, монтажных и сервисных руководств. На этом фронте лидирующие позиции занимает Liebert, а также Uniflair с многочисленными поясняющими фотографиями.

Отдельного внимания заслуживает диспетчерский контроль климата в ЦОДе. Производители предлагают отслеживать и корректировать ситуацию с персонального компьютера посредством специального программного обеспечения, позволяющего:

— видеть температуру и влажность воздуха, температуру и давление хладоносителя в местах установки датчиков,

— контролировать и управлять работой оборудования (кондиционеров, чиллеров, насосов, клапанов и задвижек и др.), отслеживать режим работы теплообменных аппаратов, степень их загрязнения

— изменять настройки работы системы на расстоянии,

— осуществлять передачу сообщений по e-mail и sms

— иметь доступ к ситуации через интернет

— объединять функции контроля над другими инженерными системами вычислительных центров.

Перспективы

Одно из направлений дальнейшего развития отрасли связано с переходом на жидкостные теплоносители и затрагивалось в начале обзора.

Обозначим и ещё одну тенденцию в мире обеспечения климата, первые шаги которой также попали в поле нашего зрения при определении параметров микроклимата. Не далее как в 2008г. ассоциация ASHRAE расширила диапазон температур, увеличив максимальную на 2°С. Не исключены и дальнейшие изменения, тем более, что эксперименты на собственных ЦОДах компаний Microsoft, Intel, HP по увеличению температуры в помещении привели к экономии сотен тысяч долларов в год. Особенно ярким является вывод, сделанный в компании Intel после устойчивой 10-месячной работы ЦОДа при 33°С: «существующие представления о диапазонах температуры и влажности следует пересмотреть». В компании Sun, например, предлагают за оптимальный диапазон температур принять 26-29°С.

С этой тенденцией хорошо сочетается предложение компании «Аякс Инжиниринг» использовать воздухо-воздушный роторный теплообменный аппарат высокой эффективности, за счет которого предлагается избавиться от работы холодильного контура при температуре окружающей среды до 22°С.

Особенности построения систем климатики в МЦОД

МЦОД это представитель нового класса модульных решений ЦОД. Когда они стали появляться на рынке, за ними закрепилось название «Мобильные ЦОД» (МЦОД), поскольку наиболее заметная отличительная черта такого модуля – возможность перемещения на другое место эксплуатации. Но по мере развития понимания рынком возможностей МЦОД, мобильность стала восприниматься как полезная, но не столь уж и важная характеристика, а на первый план вышла автономность. В результате, ведущие производители  стали отказываться от термина «Мобильный ЦОД», заменяя его на «Модульный», «Портативный» и т.д. Мы предлагаем  наравне с термином МЦОД, который можно расшифровать и как «Модульный ЦОД», использовать более общий термин – мобильный (автономный) модуль ЦОД.

От серверных помещений стационарного ЦОД мобильные модули отличаются в первую очередь относительно небольшими размерами. С точки зрения построения систем кондиционирования это означает, что в них невозможно установить фальшпол нормальной высоты, отсутствует буферный объем воздуха над стойками, необходимый для выравнивания температуры горячих потоков, и, главное, весьма невелико расстояние от стоек с IT-оборудованием до наружных стенок конструкции. Также имеется заметный тепловой поток через стенки конструкции МЦОД наружу. Фактически это означает, что классическую схему компоновки систем кондиционирования, доминирующую в стационарных ЦОД, в мобильных модулях применить невозможно.

Поэтому в них применяются компоновки систем кондиционирования с тепловыми доводчиками или оригинальные схемы, например, как в МЦОД Ситроникс «Датериум 2», где используется физическое разделение горячих и холодных потоков (патенты РФ №78384, 79366). Преобладают решения на межстоечных кондиционерах (Рис. 8),

Рис 8. Компоновка МЦОД «Датериум 3» с межстоечных кондиционерами.

но встречаются и потолочные кондиционеры. Выбор этих компоновок обусловлен двумя основными причинами. Первая из них проистекает из того, что система энергораспределения и бесперебойного электроснабжения находится тут же, или, в лучшем случае, за тонкой перегородкой. Поэтому решения, использующие в качестве промежуточного теплоносителя растворы воды, здесь крайне нежелательны. В настоящее время острота данной проблемы снизилась, т.к. появились чисто фреоновые решения как в области межстоечных, так и потолочных кондиционеров. Вторая заключается в том, что ширину мобильного модуля увеличить нельзя (модуль становится негабаритным при перевозке), а глубина стоек растет вслед за увеличением глубины оборудования. Так, если еще 5-7 лет назад средние стойки имели глубину 0.6-0.8 м, то сейчас стойка глубиной 1 м является стандартной, появляются стойки глубиной 1,2 м. Частично эту проблему решает применяемый во всех МЦОД производства Ситроникс механизм перемещения стоечного массива в поперечном направлении. Он позволяет оптимизировать ширину коридоров после завершения инсталляции IT-оборудования, но все равно ширина коридоров в рабочем положении не превышает 0.75 м. Это значение при мощностях стойки в 5-10 кВт уже близко к критичному – в потоке начинают образовываться опасные псевдостационарные завихрения, обладающие повышенной температурой. Так, показанные на рис. 9 зоны повышенной температуры образовывались в углах горячего коридора МЦОД «Датериум 1».

Рис 9. Поле температуры в продольном разрезе МЦОД «Датериум 1»

Основной метод борьбы с этими явлениями – ликвидировать любые неравномерности на пути движения воздуха. В особенности кабельные лотки, козырьки над стойками, настенные шкафы и т.п. Впрочем, в подобной проблемой в классических ЦОД столкнулись уже давно – это проблема влияния размещенных под фальшполом коммуникаций на подачу холодного воздуха к стойкам. И решается она аналогично – выносом всех коммуникаций из-под фальшпола.

С ростом удельного потребления стойки появляется еще одна проблема – возможность повреждения IT-оборудования потоком прокачиваемого через него воздуха. Как уже говорилось выше, мы достигли предельных значений по температуре на входе в стойку и на выходе из стойки. На теплоемкость воздух тоже пока повлиять не удается :). Остается только повышать скорость продувки. На рис. 10 показано поле модуля скорости в поперечном разрезе МЦОД «Датериум 1».

Рис. 10 Поле модуля скорости в поперечном разрезе МЦОД «Датериум 1»

Видно, что скорости потоков на входе в отдельные серверы достигают 1 м/c. Пока это еще некритично, но ведь и мощность стойки только 5 кВт. При мощности стойки в 50 кВт скорость потока возрастет уже до 10 м/c (60 км/ч), что приведет как минимум к разрушению вентиляторов в IT-оборудовании. Можно предположить, что этот фактор остановит рост удельной мощности стойки на уровне 50-100 кВт.

Но, скорее всего, увеличение удельной мощности стойки прекратится гораздо раньше. Дело в том, что 20 футовый контейнер с мощностью IT-оборудования от 100 кВт превращается в «тепловую бомбу». При отказе системы охлаждения температура внутри контейнера (гермозоны) за несколько секунд превышает 100 градусов. Что фатально не только для оборудования, но и случайно оказавшегося там обслуживающего персонала. Поэтому максимальную мощность стойки можно считать 12-15 кВт и не ожидать ее увеличения в ближайшее время.

Что же касается тепловых потерь от теплопередачи через оболочку мобильного модуля, то при использовании современных материалов они составляют 0.5-1.5 Вт/кв.м град. Что для 20 футового контейнера составляет величину всего порядка нескольких киловатт и легко компенсируется соответствующим запасом холодильной (тепловой) мощности.

Т.к., вход в мобильные модули осуществляется непосредственно с улицы, в конструкции МЦОД обязательно должен присутствовать тамбур-шлюз. При использовании в регионах с жарким и влажным климатом в тамбур-шлюзе может потребоваться отдельный кондиционер, работающий в режиме осушителя.

Тем не менее, несмотря на вышеперечисленные проблемы, тепловая эффективность модульных решений оказывается заметно выше, чем в традиционных ЦОД.

Это позволяет значительно снизить затраты на эксплуатацию модульного ЦОД.

Мелешенко Алексей,
Директор
по инфраструктурным IT-решениям
ОАО «СИТРОНИКС»,

Хомутский Юрий,
Ведущий инженер
по системам вентиляции и кондиционирования
ООО «СИТРОНИКС ИТ»

Источник: alldc.ru