Счет за электроэнергию составляет едва ли не главную статью затрат на содержание ЦОД (см. Рисунок 1). Именно поэтому вопрос эффективного использования имеющихся энергоресурсов с целью оптимизации эксплуатационных расходов не теряет актуальности. Для снижения издержек в работе серверного оборудования применяются такие подходы в ИТ, как «консолидация» и «виртуализация». Однако в этой статье мы остановимся на методах повышения эффективности работы инженерной инфраструктуры ЦОД.

Как видно из Рисунка 2, основными потребителями электроэнергии являются системы кондиционирования и бесперебойного питания. Поэтому, именно в них следует искать скрытые резервы для снижения потребления.

ШАГ 1. СМЕНА ТЕМПЕРАТУРНОГО ГРАФИКА

В большинстве ЦОД микроклимат поддерживается системой кондиционирования на основе чиллеров и внутренних водяных блоков шкафного типа. Стандартным температурным графиком для систем такого рода является 7/120С (на выходе и входе соответственно). Однако в этом случае средняя температура водно-воздушного теплообменника шкафного кондиционера ниже так называемой точки росы, что приводит к повышенному выделению конденсата и, соответственно, потере полезной холодильной мощности. Коэффициент эффективности теплообмена (SHR), равный отношению явной холодопроизводительности к полной, составляет 0,7–0,85, то есть до 30% энергии теряется впустую.

Переход на температурный график 10/15 позволяет повысить SHR до 0,98–1,00 (см. Таблицу 1) благодаря существенному снижению количества конденсата или полному его исчезновению. Поскольку генерация холода осуществляется на более высоком температурном уровне, холодопроизводительность чиллера повышается (см. Таблицу 2).

Кроме того, сокращение разницы температурных показателей теплоносителя в трубах и воздуха в здании снижает требования к теплоизоляции трубопроводов. Противники этого метода обычно указывают на то, что нивелирование разницы приводит к падению температурного напора в теплообменнике шкафного кондиционера и, как следствие, к ухудшению условий теплообмена и уменьшению холодильной мощности блока. Для прояснения этого вопроса рассмотрим эффект от перехода на новый температурный график в масштабе всего ЦОД. В качестве примера возьмем ЦОД мощностью 1 МВт, в котором используется оборудование Emerson Network Power Liebert.

Как видно из Таблицы 3, число внутренних блоков увеличилось с 10 до 12, в то время как количество чиллеров снизилось с 4 до 3. Потребление электроэнергии сократилось на 66 кВт (почти 4% общей мощности ЦОД). При этом эффективность работы системы кондиционирования возросла на 10%.

Отдельно следует учесть затраты на увлажнение: если в первом случае, согласно расчетам, потребуется около 227 кВт, то во втором – 0. Таким образом, вместо того чтобы устанавливать опциональный увлажнитель в каждый блок, достаточно одного-двух таких устройств на весь зал, а экономия электроэнергии достигнет 16% общей мощности ЦОД.

ШАГ 2. ПОВЫШЕНИЕ ТЕМПЕРАТУРЫ В ЦОД

Рост мощности стоек ведет к повышению числа кондиционеров и, что особенно важно, к увеличению занимаемой ими площади, а огромные расходы воздуха при высоких скоростях потока ведут к образованию в помещении единого вихря, из-за чего уровень энергоэффективности существенно снижается.

Решение проблемы — повышение температуры в помещении ЦОД, точнее, повышение рабочих температур. Именно в этом направлении развивается и отрасль ИТ-оборудования. Однако, как показывают теоретические выкладки и расчеты воздушных процессов, повышение температуры хоть и приводит к росту холодопроизводительности, но в конечном итоге не дает ощутимого эффекта из-за снижения SHR. Поэтому главное — не повысить температуру в помещении, а понизить влажность. Еще большего эффекта можно добиться, применив оба метода одновременно. Так, все чаще вместо привычных расчетных параметров микроклимата 24ºС/50% предпочтение отдается 27ºС/40%.

ШАГ 3. ИЗОЛЯЦИЯ КОРИДОРОВ

>Изоляция холодных или горячих коридоров реализуется посредством установки герметичных дверей по торцам коридоров и специальных потолочных панелей. В итоге, холодный воздух не смешивается с горячим потоком и не нагревается, а энергоэффективность системы кондиционирования возрастает на 30%.

Какие же коридоры следует изолировать — горячие или холодные? Мнения в данном вопросе разделились. Например, два крупных игрока рынка прецизионного кондиционирования предлагают свои решения: компания Emerson предпочитает выгораживать холодные коридоры, в то время как APC активно продвигает решение с изоляцией горячего коридора в рамках собственной архитектуры InfraStruXure (см. Рисунок 3).

Для специалистов в области кондиционирования, следующих принципу «Холод дороже всего. Холод надо беречь», вариант изоляции холодного коридора представляется более естественным. Но если проблему рассмотреть с учетом вышеописанной тенденции повышения рабочих температур ИТ-оборудования, то более перспективной выглядит изоляция горячего коридора.

Дело в том, что в первом случае температура горячего коридора будет равна средней температуре помещения в целом, а холодного примерно на 15ºС ниже, например, 27ºС и 12ºС соответственно. Во втором случае температура в помещении будет равна температуре холодного коридора, а горячего — на 15ºС выше, например, 20ºС и 35ºС.

Таким образом, во втором варианте температура в помещении более комфортна, а эффективность системы кондиционирования на 15% выше. Однако следует помнить, что при более высокой рабочей температуре в случае аварии в ЦОД быстрее наступит перегрев ИТ-оборудования.

ШАГ 4. ИСПОЛЬЗОВАНИЕ ВНУТРИРЯДНЫХ КОНДИЦИОНЕРОВ

Тенденция увеличения мощности стоек переводит задачу охлаждения в число приоритетных. Она успешно решается с помощью внутрирядных кондиционеров (см. Рисунок 4). Однако «классика жанра» — шкафные блоки — не хотят сдавать позиции даже в случае высокой энергетической плотности в помещениях ЦОД. В частности, итальянский производитель Uniflair SPA гарантирует отвод тепла вплоть до 40 кВт со стойки при использовании изолированных коридоров и модулей активного пола.

Каковы же плюсы и минусы у каждого решения? В качестве примера рассмотрим ЦОД мощностью 1,4 МВт, в составе которого 70 стоек по 20 кВт. В ряду установлено по 7 стоек, то есть всего имеется 10 рядов. При использовании шкафных кондиционеров потребуется, например, 14 рабочих блоков и 1 резервный с холодопроизводительностью по 100 кВт каждый (резервирование N+1 на уровне зала). Кроме того, необходима изоляция коридоров и применение активного пола из расчета один модуль на одну стойку.

При использовании внутрирядных кондиционеров необходимо резервирование на уровне ряда, то есть в каждом ряду будет установлено 8 блоков (7+1) по 20 кВт каждый. Требование изоляции коридоров является желательным, но не обязательным, в активном поле нет необходимости, но и площадь ЦОД при этом увеличивается.

Опыт показывает, что во втором варианте возрастут капитальные затраты на оборудование, его монтаж и «обвязку», а также увеличатся расходы на мониторинг (80 единиц кондиционеров против 11). Тем не менее именно второй вариант более энергоэффективен, что подтверждает Таблица 4 (на вход в кондиционер поступает воздух с параметрами 28ºС/40%, теплоноситель 10º/15ºС).

Таким образом, использование внутрирядных кондиционеров при мощности стойки выше 10 кВт позволяет еще больше снизить эксплуатационные затраты на содержание ЦОД.

ШАГ 5. СИСТЕМЫ БЕСПЕРЕБОЙНОГО ЭЛЕКТРОПИТАНИЯ

Применение ИБП с повышенным КПД позволяет не только сократить затраты на бесперебойное питание, но и снизить мощность оборудования для кондиционирования. В последнее время благодаря модернизации технологии широтно-импульсной модуляции появились источники бесперебойного питания, КПД которых достигает 96%. Применение таких ИБП (например, линейка Green Power компании Socomec) наиболее актуально именно в центрах обработки данных.

Однако следует помнить, что КПД в большой степени зависит от нагрузки на данный ИБП. Оптимально, когда нагрузка составляет 70–80%, но на практике этот показатель часто оказывается ниже (а система бесперебойного питания становится излишне избыточной) из-за того, что при расчетах предполагалось, что будут задействованы абсолютно все потребители, да еще работающие на максимальной мощности. В реальной практике такая ситуация практически не встречается, ИБП работают при 15–25%-й нагрузке и, следовательно, с низким КПД.

В этом случае необходимо обратить внимание на возможность программирования контроллера на частичное отключение некоторых ИБП с целью поддержания более высокого уровня загрузки и увеличения КПД работающих устройств.

Особого внимания требует также контроль за функционированием аккумуляторных батарей (АКБ). Как известно, срок службы АКБ, входящих в состав системы бесперебойного электроснабжения, сильно зависит от температуры окружающего их воздуха. Наиболее оптимальным является диапазон 20–24ºС, а повышение температуры на каждые 100С снижает срок службы вдвое. Дело в том, что сульфация, коррозия решеток и другие негативные процессы, снижающие емкость батарей, катализируются при повышенных температурах и при перегреве на 10ºС протекают в два раза быстрее. Учитывая достаточно высокую стоимость АКБ (в зависимости от времени резервирования она составляет от 25 до 50% стоимости системы бесперебойного питания), обеспечение их максимального срока службы важно для снижения эксплуатационных расходов.

Кроме того, техническое состояние аккумуляторных батарей со временем изменяется неравномерно, что, казалось бы, очевидно: каждый элемент живет своей жизнью. Но далеко не всегда приветствуется следующий отсюда вывод о необходимости поэлементного контроля вместо мониторинга всей батареи в целом.

ШАГ 6. МЦОД КАК АЛЬТЕРНАТИВНЫЙ ВАРИАНТ

Один из важнейших вопросов при строительстве ЦОД — выбор его местоположения. Необходимо учитывать не только капитальные затраты (стоимость строительства, транспортные расходы, возможность доставки крупногабаритного оборудования, наличие независимых энерговводов и др.), но и эксплуатационные расходы (стоимость электроэнергии, аренды, доступа и др.). Нередко оказывается, что ЦОД выгоднее строить не рядом с офисом компании, а далеко за пределами мегаполиса. Затраты на построение системы удаленного администрирования и транспортные расходы с лихвой окупятся гораздо более низкими расходами на подключение энергомощностей и дешевой арендой.

Именно в целях сокращения стоимости развертывания и владения было разработано мобильное решение — МЦОД. Мобильная версия ЦОД эффективна, когда инфраструктуру ИТ требуется развернуть на удаленной площадке в максимально сжатые сроки. Мобильный ЦОД может быть использован в качестве основного, резервного или временного центра обработки данных, если существует необходимость быстрого первичного развертывания или оперативного перемещения.

У МЦОД минимальные требования к транспортировке, обеспечению коммуникациями и к установке дополнительного внешнего оборудования. Большинство МЦОД готовы к работе в самых разных климатических зонах: например, линейка МЦОД Daterium (см. Рисунок 5) рассчитана на использование в широком температурном диапазоне — от тропиков до северных регионов. Кроме того, для мобильных ЦОД Daterium характерны такие преимущества, как минимальные требования к подготовке площадки, высокий уровень резервирования (в стандартном варианте электропитание и система охлаждения дублированы, возможно дублирование всей инфраструктуры), а их утилизация превышает 80% в отличие от стационарных ЦОД (см. Рисунок 6). Оптимальное соотношение цена/мощность делает МЦОД экономичным решением для создания резервных вычислительных мощностей, которое может быть задействовано при выходе из строя основного ЦОД. Еще одна сфера применения мобильных ЦОД — масштабирование основного или резервного ЦОД.

Кроме того, мобильные центры обработки данных могут выполнять функцию временных ЦОД. Например, если перед компанией стоит задача быстрого запуска бизнеса (открытие новой точки продаж, строительной площадки и др.), то оптимальным решением для оперативного развертывания ИТ-инфраструктуры будет именно МЦОД, который можно использовать параллельно со строительством основного ЦОД.

Юрий Хомутский — ведущий инженер по системам вентиляции и кондиционирования компании «СИТРОНИКС Информационные Технологии».
Источник: osp.ru