Большинство центров обработки данных (ЦОД) проектируются и функционируют в соответствии с действующими промышленными нормативами, касающимися температуры и влажности. Эти нормативы включают в себя специальное издание ASHRAE «Температурные нормы при обработке данных» и «Стандарт телекоммуникационной инфраструктуры ЦОД» (ANSI/TIA942–1 2005). В данной статье рассматриваются эти нормы применительно к энергопотреблению оборудования центров по обработке и передачи данных и предлагаются способы повышения его эффективности.

Действующие нормативы

Опубликованные на данный момент нормативы, касающиеся температуры и влажности в помещениях ЦОД (рис. 1), определяют рекомендуемые и допустимые диапазоны значения параметров. При этом в помещениях должны поддерживаться рекомендуемые температура и влажность, а оборудование следует проектировать так, чтобы оно могло функционировать в пределах допустимых значений. Кроме того, нормативы описывают пять классов объектов по передаче и обработке данных (табл. 1). Первый класс — это стандартные ЦОД, второй — помещения для работы компьютерного оборудования, офисы и лаборатории, третий — дом или домашний офис, четвертый — промышленное предприятие или склад. И наконец, пятый класс — класс NEBS — средства связи центрального офиса.

Рис. 1. Нормативы ASHRAE по температуре и влажности для ЦОД и телекоммуникационных центров

Из рис. 1 видно, что в 2008 году диапазон рекомендуемых значений температуры и влажности был расширен. Это изменение позволило увеличить количество часов, в течение которых ЦОД может охлаждаться при помощи экономайзеров или испарительных охладителей, а не кондиционеров. Однако нормы, касающиеся влажности, существенно ограничивают возможность использования этих энерго­эффективных технологий.

Следует оговориться, что нормативы устанавливают значения температуры воздуха, подающегося на стойки с электронной аппаратурой. Проходя через сервер, он обычно нагревается на 11–33°C.

Влияние действующих нормативов на энергопотребление оборудования для кондиционирования и вентиляции

Рис. 2. Влияние температуры наружного воздуха на производительность и эффективность кондиционера

Итак, изменения, внесенные в 2008 году, значительно расширили рекомендуемый диапазон температур. Но что дает повышение температуры воздуха, подаваемого на компьютеры и телекоммуникационное оборудование? Ответ на этот вопрос зависит от характеристик системы кондиционирования и вентиляции, используемой в ЦОД. Как правило, в этом случае ее холодопроизводительность и энергоэффективность растут. Это на сто процентов справедливо при использовании экономайзеров или испарительных охладителей. Но и без них система с прямым расширением потребляет тем меньше энергии, чем выше температура, до которой охлаждается воздух, ведь нагрузка на компрессор в этом случае снижается.

Для простоты пока будем считать, что повышение температуры воздуха никак не сказывается на энергопотреблении компьютеров и телекоммуникационного оборудования.

На рис. 2 показана зависимость холодопроизводительности и коэффициента эффективности COP от наружной температуры по сухому термометру (OAdb) для кондиционера, использующего принцип прямого расширения. Хотя уменьшение наружной температуры и повышение температуры воздуха, подаваемого на аппаратуру, не одно и то же, оба эти процесса уменьшают нагрузку на компрессор кондиционера, сокращая разницу давлений хладагента в испарителе и конденсаторе. Как показано на рис. 2, понижение наружной температуры по сухому термометру на 5,6°C поднимает холодопроизводительность приблизительно на 5% и на 11% повышает COP.

Для того чтобы выделить влияние температуры приточного воздуха на энергоэффективность ЦОД, были исследованы данные, полученные в местах, соответствующих четырем из шестнад­цати климатических зон, описанных стандартом ASHRAE 90.1: в Вашингтоне — зона 4А, мягкий и влажный климат; в Солт-Лейк-Сити — 5B, холодный и сухой; в Хьюстоне — 2А, жаркий и влажный; в Сан-Хосе (штат Калифорния) — 3С, умеренно-морской. По данным Департамента энергетики США, именно в этих четырех зонах с 2003 по 2007 год возводилось и реконструировалось 91,4% всей коммерческой недвижимости в Америке.

В табл. 2 представлены данные об энергосбережении, которого позволяет добиться использование воздушных экономайзеров совместно с кондиционерами, использующими принцип прямого расширения, и системами «чиллер – фэнкойл».

В случае кондиционеров экономия составляет от 19 до 63%. Наилучший результат получен в климатических зонах 5B и 3C, наихудший — в 2А. В системах «чиллер – фэнкойл» экономайзер позволил сберечь от 12 до 37% энергии. Меньший, чем для кондиционеров, результат связан с тем, что этот тип оборудования гораздо менее эффективен сам по себе.

Основываясь на полученных данных, была составлена табл. 3, где указано, сколько часов в течение года охлаждение может осуществляться только при помощи экономайзера.

На рис. 3 собраны показания сухого термометра для каждой климатической зоны. Воспользовавшись данными из табл. 3, мы можем узнать, как влияют на возможность применения экономайзера заданное значение температуры приточного воздуха и установленный диапазон допустимой влажности. К примеру, в Вашингтоне, задав значение температуры приточного воздуха равное 21°C и не ограничивая уровень влажности, экономайзер можно использовать в течение 76% от всего времени в году. Однако стоит ограничить влажность диапазоном рекомендуемых значений, установленных температурными нормативами, как эта цифра уменьшится до 3%. Если поднять заданное значение тем-пературы приточного воздуха до 27°C, то для тех же условий время использования свободного охлаждения составит 91 и 6% соответственно.

Рис. 4. Данные по температуре по мокрому термометру для четырех климатических зон

Конечно, этот анализ весьма приблизителен и не дает полной картины. Тем не менее мы можем сделать следующие выводы:
За счет использования экономайзеров можно добиться существенной экономии энергии.

Повышение требуемого значения температуры приточного воздуха увеличивает количество часов, в течение которых может быть использован экономайзер.

Ограничение допустимого уровня влажности существенно уменьшает это количество часов.

Адиабатическое увлажнение (использование испарительного охладителя или ультразвукового увлажнителя) способно значительно увеличить количество времени, в течение которого можно использовать свободное охлаждение экономайзером, при этом не давая уровню влажности упасть ниже минимально допустимого уровня.

Если вернуться к примеру с Вашингтоном, то при заданном значении температуры приточного воздуха, равном 21°C, применение увлажнителей позволит использовать экономайзер 76% времени. Разумеется, лишь в случае, когда допустимый уровень влажности ограничен только снизу.

Применение адиабатических увлажнителей увеличивает расход воды, но при этом существенно снижает затраты на охлаждение.

Неадиабатические увлажнители (инфракрасные или паровые), напротив, увеличивают общее энергопотребление.

Рис. 5. Температура серверной стойки

Рис. 4 содержит данные о температуре по мокрому термометру в каждой из четырех климатических зон. В табл. 4 собраны сведения о количестве часов, в течение которых температура по мокрому термометру в каждой из четрех климатических зон не превышает определенные значения из диапазона 27°C ~ –1,1°C. Например, в Вашингтоне температура никогда не поднимается выше 27°C. При этом она ниже или равна –1,1°C лишь 15% времени в течение года.

Из табл. 4 следует, что если задать температуру приточного воздуха равной 27°C, то в каждой климатической зоне ЦОД могут обслуживаться только испарительными охладителями. Уменьшение значения температуры до 21°C сократит время работы испарителя до 62% в Хьюстоне и до 89% в Вашингтоне.

Применение испарительных охладителей позволяет не только уменьшить нагрузку на кондиционер, но и очистить воздух от пыли и летучих соединений.

Что касается водяных экономайзеров, то тут дело обстоит несколько сложнее, поскольку их производительность зависит от множества факторов. Тем не менее установлено, что потенциал экономии за счет их использования в ЦОД весьма значителен. Так, в Эль-Пасо, штат Техас (климатическая зона 3B), с их помощью удалось добиться сокращения энергопотребления системами кондиционирования и вентиляции на 30%, а в городе Хелена, штат Монтана (зона 6B), — почти на 50%. Повышение температуры приточного воздуха приводит к сокращению энергозатрат еще и за счет того, что возвратная вода в системе «чиллер-фэнкойл» нагревается сильнее. Кроме того, в этом случае требуется менее интенсивный поток через теплообменник, что снижает нагрузку на насос.

Возможные препятствия на пути экономии

Итак, мы установили, что повышение температуры приточного воздуха в ЦОД должно привести к значительной экономии энергии. Однако такой способ повышения энергоэффективности оборудования сопряжен с рядом серьезных проблем. Это, вопервых, необходимость в организации движения воздуха; вовторых, влияние повышения температуры на энергопотребление серверов; втретьих, наличие ограничений по влажности, препятствующее широкому применению систем со свободным охлаждением, и, наконец, необходимость адаптировать параметры системы охлаждения к изменениям в работе серверов.

Организация движения воздуха

Рис. 6. Изменение энергопотребления и скорости вращения охлаждающего вентилятора

Национальная лаборатория им. Лоуренса в Беркли (LBNL) представила результаты сопоставительного анализа множества ЦОД. Один из показателей, по которому проводилось сравнение, — отношение воздушного потока, создаваемого приточной вентиляцией, к потоку через охлаждаемую аппаратуру (серверы). В большинстве случаев это отношение составило 2,5:1. Это говорит о серьезном перерасходе энергии вентиляторами серверов.

Причин такого перерасхода несколько. Первая — проектировщики компьютеров исходят из наихудших предположений об условиях их работы. Вторая — реальная нагрузка на серверы ЦОД оказывается существенно ниже проектной. Третья — операторы ЦОД для охлаждения аппаратуры усиливают воздушный поток, создаваемый кондиционерами (если он регулируется), или включают резервное климатическое оборудование.

Решить эту проблему можно, оптимальным образом организовав движение воздуха. В частности, установив в серверных стойках заглушки, предотвращающие перемещение воздуха из горячих проходов в холодные, перекрыв утечки через пол и между стойками, разграничив холодные и горячие проходы. Для одного из своих суперкомпьютеров LBNL при помощи этих мер удалось на 75% снизить требуемую мощность вентилятора (рис. 6).

График на рис. 5 изображает показания трех датчиков температуры воздуха, подаваемого на стойки с аппаратурой: желтый цвет соответствует показаниям датчика, установленного на самом верху стойки; розовый — посередине; синий — внизу. График разделен на три части. Слева — изначальное состояние; в середине — период настройки; справа — после организации холодных проходов.

Первоначально температура возле стойки менялась от 10°C внизу до 24°C наверху. После оптимизации показания датчиков стали гораздо ближе: 10 и 16°C. Как показывает график, первоначальное состояние не отвечало стандартам ASHRAE, но организация холодных проходов исправила положение.

Влияние температуры подаваемого воздуха на энергопотребление сервера

Энергопотребление вентиляторов охлаждения с регулируемой скоростью вращения, установленных в серверах, растет при повышении температуры подаваемого воздуха. Особенно заметным этот рост становится при температурах выше 25°C. Кроме того, на расход энергии влияют возникающие при росте температуры токи утечки.

В 2009 году APC и Dell тестировали три типа серверов на предмет влияния температуры подаваемого воздуха на энергопотребление. Данные, полученные в ходе тестирования, совпали с результатами исследования, проведенного LBNL (рис. 7). Как следует из графика на рис. 7, энергопотребление сервера вырастает почти на 14% при повышении температуры подаваемого воздуха с 21 до 32 °C. Конечно, это существенный рост, но он не сравним с экономией, которую дает использование воздушных и водяных экономайзеров или испарительных охладителей.

Разработчики могут скорректировать реакцию серверов на повышение температуры. То, что обычно компьютерная техника проектируется в расчете на температуру подаваемого воздуха, равную 23,9°C, не означает, что ее невозможно сконструировать так, чтобы она нормально функционировала и при более высоких температурах. В те времена, когда создавались многие из ныне действующих серверов, электроэнергия еще не была столь дорога. Сегодня же производители стараются сделать свои изделия более экономичными, в том числе рассчитывая их на эксплуатацию в более «жарких» условиях. Весной 2010 года одна из компаний представила сервер, спроектированный для эксплуатации при 40°C. Применение такого оборудования в ЦОД позволит обойтись совсем без кондиционеров, используя для охлаждения вентиляцию и охлаждение испарением.

Контроль влажности

Рис. 7. Результаты исследования зависимости энергопотребления сервера от температуры поступающего воздуха

Как видно из табл. 2, соблюдение верхних и нижних границ по влажности существенно уменьшает эффективность использования воздушных экономайзеров. В опубликованных в 2008 году Техническим комитетом 9.9 ASHRAEрасширенных температурных нормативах были сохранены ограничения максимально и минимально допустимой влажности. Первое сделано для предотвращения электрохимической коррозии; второе — чтобы избежать возникновения электростатических разрядов. В статье «Контроль влажности в ЦОД: так ли он необходим?», опубликованной в мартовском номере журнала ASHRAE, было сказано, что действующие ограничения по влажности принимались без проведения необходимых исследований и даже без формального рассмотрения возможных последствий их нарушений. По данным недавно опубликованных исследований, контроль влажности не является эффективным средством предотвращения электростатических разрядов, а для протекания электрохимических реакций необходима относительная влажность более 80%.

Изменения потребности в охлаждении в зависимости от нагрузки серверов

ЦОД — это всегда динамично меняющаяся обстановка. Нагрузка серверов меняется, меняется и скорость вращения вентиляторов охлаждения. Чтобы достичь максимальной эффективности, холодопроизводительность системы кондиционирования и вентиляции должна изменяться в зависимости от тепловой нагрузки. Сейчас для этого все чаще используются датчики температуры воздуха, подаваемого на стойку с аппаратурой. Эти датчики устанавливают либо на стойку, либо внутрь самого сервера.

Заключение

Повышение рабочей температуры в ЦОД ведет к существенной экономии энергии. Для кондиционеров и систем «чиллер-фэнкойл» более высокая температура позволяет повысить производительность и эффективность холодильного оборудования. Кроме того, в системах с водяным охлаждением достигается дополнительная экономия.

Также рост температуры увеличивает количество часов, в течение которых охлаждение может осуществляться за счет водяных и воздушных экономайзеров, испарительных охладителей. Однако сейчас достичь существенной экономии можно, лишь нарушив действующие нормативы, касающиеся влажности.

Комитеты ASHRAE сделали первый шаг на пути повышения энергоэффективности, увеличив в 2008 году рекомендуемое значение температуры с 25 до 27°C. Следующим шагом должно стать расширение диапазона значений влажности или даже полная отмена этих ограничений. Это позволит значительно уменьшить энергозатраты за счет использования технологии свободного охлаждения.

Еще большего эффекта можно достичь, действуя совместно с производителями компьютеров и телекоммуникационного оборудования, убедив их проектировать свою продукцию для работы при более высоких температурах.

Эффективным способом решения существующих проблем может стать привлечение производителей IT-оборудования и климатической техники, владельцев и персонала ЦОД, инженеровклиматиков, специалистов по повышению энергоэффективности к разработке соответствующих стандартов ANSI/ASHRAE.

Марк Хайдеман, дипломированный инженер, член Технического комитета 9.9 (ASHRAE TC 9.9) и вице-председатель Постоянного комитета по разработке стандарта 90.1 (SSPC 90.1)
Статья предоставлена журналом «Мир климата»: Влияние действующих температурных нормативов на энергопотребление центров обработки данных.