Как ни странно, устоявшейся терминологии, описывающей тип системы охлаждения ЦОДа, до сих пор нет. Такие термины, как CRAC, «чиллер с фрикулингом» и т.д., к сожалению, не характеризуют систему в целом. Нап-ример, CRAC (в дословном переводе с английского – «воздушный кондиционер для компьютерных комнат») может быть как фреоновым кондиционером с воздушным или водяным конденсатором, так и кондицио-нером, работающим на охлажденном холодоносителе, поступающем от чиллера. Поэтому, не пытаясь создать стройную классификацию систем охлаждения дата-центров, попробую на конкретных примерах показать достоинства и недостатки того или иного решения.


Решение 1. Охлаждение ЦОДа с помощью сплит-системы. Вам смешно? Мне тоже. Казалось бы, понятия «ЦОД» и «сплиты» несовместимы. Но наша компания с завидным постоянством получает от заказчиков запросы на проработку систем охлаждения именно этого типа. Столь устойчивый интерес объясняется низкой ценой и инертностью мышления людей, которые раньше эксплуатировали маленькую серверную комнатку, где для охлаждения серверов достаточно было открыть форточку или дверь, но для солидности вешали настенный «сплит». Единственный плюс данного решения я назвал, а вот минусов гораздо больше:

– низкая надежность;

– небольшой ресурс;

– низкая энергоэффективность;

– плохое воздухораспределение;

– возможность использования только при низких нагрузках в стойках.

> Вывод – тем, кто хочет построить серьезный ЦОД, не стоит даже задумываться над применением «сплитов»

Решение 2. Прецизионные кондиционеры с непосредственным расширением (DX). Фреоновые прецизионные кондиционеры с выносными воздушными конденсаторами и сейчас весьма популярны в качестве охлаждающих устройств для небольших ЦОДов уровня Tier I или Tier II по классификации Uptime Institute. Основные достоинства фреоновых кондиционеров – низкие капитальные затраты на оснащение дата-центра системой охлаждения, большой ресурс, сравнительно высокая надежность. Эти системы хорошо знакомы проектировщикам, монтажникам, службам эксплуатации. Продукцию этого типа выпускают многие мировые производители, еще больше найдется фирм, которые возьмутся за оснащение ЦОДа прецизионными кондиционерами.

К недостаткам можно отнести технические трудности, возникающие при эксплуатации фреоновых кондиционеров в условиях экстремально низких или высоких температур наружного воздуха (ниже –30° и выше 40°С). Кроме того, в дата-центрах, требующих постоянного охлаждения для обеспечения непрерывности технологического процесса, использование фреоновых кондиционеров может привести к серьезному удорожанию системы бесперебойного питания, которая при сбоях электропитания должна будет поддерживать и работу системы охлаждения. Мощность ИБП потребуется увеличить больше чем на 30%. Но сегодня самым существенным недостатком данного решения становятся высокие операционные затраты из-за большого расхода электроэнергии (в среднем 30% всей электроэнергии, потребляемой ЦОДом). С этим недостатком можно было мириться, пока заказчики эксплуатировали серверные с общей энергоемкостью ИТ-оборудования на уровне 30 кВт. Да, еще 10 кВт «съедали» кондиционеры, но это же капля в море. Иное дело, когда речь идет о дата-центре на несколько мегаватт. Тратить ежеминутно, ежесуточно сотни киловатт на охлаждение – непозволительная роскошь.

Поэтому можно сказать, что DX-кондиционеры – хороший выбор для небольших (до 100 кВт) дата-центров с невысокими требованиями к непрерывности основных процессов.

Снизить годовое потребление электроэнергии прецизионными кондиционерами примерно на 35–40% (данные для Москвы) помогают фреоновые прецизионные кондиционеры с водяным охлаждением конденсаторов и системами естественного охлаждения на базе сухих градирен. В летний период такое оборудование будет потреблять немного больше электроэнергии, так как к мощности работающих компрессоров и вентиляторов кондиционеров и градирен прибавится мощность циркуляционных насосов, задача которых – обеспечить движение холодоносителя по контуру «кондиционер – градирня». Однако при понижении температуры наружного воздуха можно будет использовать холод окружающей среды и отключить компрессоры, являющиеся основными потребителями электроэнергии в кондиционерах. За меньшие эксплуатационные расходы придется расплачиваться более высокой (в среднем на 25%) ценой оборудования.

Хочу обратить внимание, что выбор типа оборудования для охлаждения дата-центра существенно влияет на конфигурацию смежных инженерных систем и даже на архитектуру здания, в конечном счете сказываясь на полной стоимости владения ЦОДом. В частности, выбрав в качестве приборов охлаждения прецизионные кондиционеры (неважно, фреоновые или водяные), необходимо тщательнейшим образом просчитать высоту фальшполов, величину зазора между верхней частью стоек и потолком, а также количество и пропускную способность перфорированных плиток фальшпола для подачи воздуха в холодные коридоры. О влиянии типа системы охлаждения на ИБП уже говорилось. Учет изменения стоимости всех смежных систем в ряде случаев показывает, что выбор дешевых фреоновых кондиционеров ведет к повышению полной стоимости владения дата-центром, а, следовательно, снижает доходность проекта.

> Вывод – не стоит прельщаться низкой ценой кондиционеров, смотрите глубже, во что обойдется ЦОД в целом.

Решение 3. Прецизионные кондиционеры на холодоносителе. В настоящее время это наиболее популярное решение для систем охлаждения дата-центров классов Tier I – Tier IV. Конструкция данных кондиционеров проста: корпус, в котором расположен теплообменник, вентиляторы, фильтры и т.д. Изюминка заключается в том, что охлаждение воздуха в теплообменнике кондиционера происходит за счет циркуляции в нем холодоносителя, охлажденного в специальных холодильных машинах – чиллерах. При этом система охлаждения состоит из цепочки элементов, правильное и эффективное функционирование которых играет огромную роль в процессе непрерывного охлаждения, столь важного для ЦОДов высокого уровня доступности. Первоочередное внимание при проектировании следует уделять:

– строительным конструкциям (площади и высоте серверных помещений, высоте фальшполов, пропускной способности перфорированных плиток фальшпола);

– прецизионным кондиционерам (их количеству с учетом резервирования, способу регулирования холодопроизводительности, постоянному или переменному расходу воздуха, расходу холодоносителя, напору, энергопотреблению, количеству вводов питания, габаритам);

– чиллерам (количеству с учетом резервирования, холодопроизводительности, постоянному или переменному расходу холодоносителя, расходу воздуха, минимальной и максимальной температуре окружающего воздуха, энергопотреблению, количеству вводов питания, наличию и типу системы естественного охлаждения, габаритам, расположению);

– насосным станциям (количеству с учетом резервирования, переменному или постоянному расходу холодоносителя, напору, энергопотреблению, питанию от ИБП, габаритам, расположению);

– трубопроводам, арматуре, бакам-аккумуляторам (количеству с учетом резервирования, расположению, пропускной способности, изоляции, наличию запорной и регулирующей арматуры, емкости баков);

– системе автоматического управления и мониторинга (алгоритму управления и мониторинга, работе в штатных и аварийных режимах, резервированию).

Один этот список дает понять, что такие системы и проектировать, и строить сложно и дорого. В зависимости от уровня доступности ЦОДа их стоимость может быть на 30–50% выше стоимости DX-кондиционеров.

Плюсы таких систем проявляются в возможности более гибкой эксплуатации, учитывающей множество факторов, характерных для работы дата-центров. За счет использования в них фрикулинга, насосных групп с переменным расходом холодоносителя, электронно-коммутируемых вентиляторов и др. можно добиться почти двукратного снижения годового потребления энергии по сравнению с фреоновыми прецизионными кондиционерами.

> Вывод – хорошее решение не может быть дешевым. Оно проверено временем и многочисленными инсталляциями. Это решение весьма актуально сегодня, однако продолжает развиваться и сохранит свою ценность в обозримом будущем.

Решение 4. Межстоечные кондиционеры на фреоне или холодоносителе. Концепция межстоечных кондиционеров предусматривает размещение охлаждающих устройств в рядах стоек с серверным оборудованием. Кондиционеры забирают теплый воздух из горячих коридоров, охлаждают его и выбрасывают через фронтальные панели в холодный коридор, откуда холодный воздух поступает на охлаждение стоек через передние перфорированные панели. Основное ноу-хау данной технологии заключается в отсутствии в системе охлаждения фальшпола, так как воздух движется в горизонтальном направлении. Для повышения эффективности процесса охлаждения необходимо изолировать горячий воздух от холодного, что в этом случае делается с помощью легких строительных конструкций, перекрывающих горячие или холодные коридоры сверху и с торцов. (Объективности ради следует отметить, что разделение потоков горячего и холодного воздуха стало основным трендом в развитии всех типов систем охлаждения ЦОДов.)

Главные достоинства этого решения – существенное снижение требований к размерам серверного помещения ввиду отсутствия фальшпола и возможность снимать со стоек достаточно высокие тепловые нагрузки (до 30 кВт). Это позволяет располагать достаточно мощные дата-центры или суперкомпьютеры в небольших помещениях.

Недостаток заключается в том, что на начальном этапе заполнения ЦОДа приходится выстраивать законченный кластер из стоек и кондиционеров, а также дверей и перекрытий коридоров, и все неиспользованные места в стойках закрывать специальными заглушками, чтобы предотвратить перемешивание теплого и холодного воздуха.

Достоинства и недостатки применения в кондиционерах этого типа фреона или холодоносителя те же, что и в решениях 2 и 3. Наиболее эффективными и надежными будут системы на основе межстоечных кондиционеров с переменным расходом холодоносителя, для охлаждения которого используются чиллеры с фрикулингом.

> Стоимость системы охлаждения данного типа сопоставима со стоимостью системы охлаждения на основе прецизионных кондиционеров на холодоносителе. Но расходы на строительство ЦОДа можно существенно снизить за счет уменьшения стоимости здания.

Решение 5. Модули охлаждения с фазовым переходом хладагента. Они могут быть основными устройствами в системе охлаждения серверного помещения или дополнением к решениям 2, 3 и 4. Модули представляют собой корпусы различной конфигурации, в которых размещаются теплообменники и вентиляторы. Охлаждение воздуха происходит за счет кипения жидкого хладагента в теплообменнике. В отличие от прецизионных кондиционеров на холодоносителе в данном случае используется энергия фазового перехода хладагента из жидкого состояния в газообразное. В качестве хладагента используется фреон или углекислота.

Кроме самих модулей охлаждения для функционирования такой системы потребуется система трубопроводов для хладагента, рассчитанная на максимальное давление 30 бар для фреона и 50 бар для углекислоты, насосная группа для организации циркуляции хладагента, промежуточный теплообменник хладагент/холодоноситель, чиллеры, контур циркуляции холодоносителя с насосной группой. Даже из перечисления компонентов системы охлаждения видно, что решение очень дорогое. Я считаю, что применять его целесообразно только в том случае, когда жизненно необходимо увеличить плотность наг-рузки в уже действующем дата-центре. Либо когда ИТ-специалисты испытывают непреодолимую фобию к присутствию в ЦОДе водяных систем охлаждения. Несмотря на то что вода не менее десятилетия используется для охлаждения ИТ-оборудования и ведутся серьезные разговоры об охлаждении водой на уровне платы, мы часто сталкиваемся с необоснованным страхом перед использованием водяных систем в серверных помещениях. Хотя с нашей точки зрения, фреоновые системы куда опаснее в плане негерметичности, так как утечка фреона или углекислоты в замкнутом пространстве серверного помещения может вызвать потерю сознания и смерть от удушья. Поэтому ко всем вышеперечисленным элементам данной системы охлаждения необходимо прибавить дорогую автоматическую систему обнаружения утечек хладагента.

> Вывод – оснащение дата-центра подобной системой охлаждения – не столько технологическая, сколько имиджевая необходимость, сродни покупке BMW X6 – можно ездить на и чем-нибудь попроще, но положение обязывает…

Решение 6. Стойки с интегрированными модулями охлаждения. Идея понятна – приблизить тепловую нагрузку к приборам охлаждения. На практике она реализуется в виде серверных шкафов со встроенными теплообменниками и вентиляторами, позволяющими снимать достаточно высокие тепловые нагрузки. Воздух циркулирует, не выходя за пределы стойки. Основной недостаток – при выходе из строя теплообменника или запорно-регулирующей арматуры стойку придется отключить. Развитием данной технологии является совмещение стоек через боковые поверхности со специальными кондиционерами. Тогда в случае неисправности одного из них тепловой режим будет поддерживать оставшийся кондиционер.

Стойки с интегрированными модулями охлаждения вряд ли обеспечат существенную экономию площади по сравнению с другими конструктивными решениями, но вот обойтись без фальшпола, а значит, выбирать помещения с более низкими потолками они позволят.

> Само оборудование для охлаждения стоит достаточно дорого, и я рекомендовал бы использовать его в небольших дата-центрах, в которых по каким-либо причинам невозможно применение других решений.

Решение 7. Новые «зеленые» методы охлаждения. Речь, в частности, идет об использовании роторных рекуперативных теплообменников. Назвать этот метод совсем новым нельзя, он давно и широко распространен в системах центрального кондиционирования и вентиляции в гражданском строительстве. Идея просто ждала своего часа, пока вызревало понимание, что ИТ-оборудование в дата-центрах не надо морозить в прямом смысле слова. Толчком к применению этих методов стали также неуклонное повышение стоимости электроэнергии и укрупнение ЦОДов.

Не вдаваясь в технические подробности, скажу, что решение позволяет максимально долго эксплуатировать холод окружающей среды, не включая холодильные машины, – вплоть до температуры наружного воздуха 22 °С. Для средней полосы России это означает, что коэффициент использования энергии в дата-центре (PUE) можно снизить до 1,1– 1,15. Для сравнения: в настоящее время в российских ЦОДах PUE составляет в среднем 2,5.

> Капитальные затраты на строительство ЦОДа с применением этой технологии будут примерно равны капитальным затратам для дата-центра с другими традиционными технологиями, но они будут по-разному распределены по времени. Если первоначальные вложения в инженерную инфраструктуру системы охлаждения ЦОДа на основе чиллеров и прецизионных кондиционеров обычно составляют около 70%, то в случае использования роторных регенераторов – только 25%. И это при существенном снижении операционных расходов. Соответственно, такой дата-центр будет очень быстро окупаться, что немаловажно для инвесторов.  

ИКС № 05 2010 стр. 78
Авторы: Петр Леонидович РОНЖИН
Источник: Икс