Строим дата-цетр, часть 3: подавать охлаждённым

После топиков о строительстве нового дата-центра в Ярославле и выборе системы энергообеспечения ЦОДостались ещё вопросы по железу и его выбору. В этой серии — про то, почему мы выбрали Natural Free Cooling и то, как это работает.

Ликбез

Техника греется. Просто махнуть рукой на этот факт не получается: повышенная температура опасна для железа, в первую очередь, процессоров и жестких дисков, плюс вызывает ещё ряд негативных эффектов. Многие производители жестко указывают температурный режим, в котором должна работать техника. Плюс — в нашем дата-центре нет унификации оборудования, поэтому вполне может быть ситуация, когда устройства разных производителей стоят рядом друг с другом.

Система охлаждения — это, в первую очередь, дорогое оборудование и много потребляемой энергии. Во вторую, от выбора такой системы во многом зависит плотность использования помещений: можно вместить больше серверов, а не вспомогательных узлов в полезный объём.

Кроме самих серверов нужно учитывать и другие параметры: количество персонала в помещениях, требования производителей к железу, системы освещения (и частоту их включения), а также другие вещи, например, толщину стен и их материалы. На основе таких данных делается расчёт тепла, которое нужно удалять. Такой расчёт даёт возможность подобрать нужную систему охлаждения. Возвращаясь к предыдущим сериям, мы специально выбирали место под ЦОД в условиях, где климат в целом прохладен и стабилен, поскольку система должна быть рассчитана по пикам, а не по средним показателям.

Продолжаем ликбез: на первый взгляд может показаться, что обычные офисные кондиционеры могут решить проблему. Да, для человека они приемлемы, но в ЦОД нужна точная регулировка температуры и влажности воздуха. Максимальная скорость изменения температуры может быть не более 5 градусов в час в диапазоне 18-27 градусов Цельсия, а влажность в пределах 40-60% Это связано со многими факторами, но главный из них — это защита оборудования от перегрева и выхода его из строя ввиду выпадения росы (если слишком влажно и холодно) или появления статического разряда, если сухо и жарко.

Чуть детальнее

В серверной необходимо создать прецизионные климатические условия, основные из которых — это температура охлажденного воздуха на входе в сервер, температура горячего воздуха на входе в кондиционер (разница между этими параметрами называется ΔT), а также влажность, измеряемая гигрометром.

• Температура на входе в сервер может быть очень низкой (+10 или +12 градусов Цельсия), но для этого потребуется очень производительная система кондиционирования и огромные энергетические затраты на создание такого холода, что будет несоизмеримо по затратам с планируемой выгодой.
• Температура на входе в кондиционер не может быть слишком высокой (выше 30-32 градусов) из-за особенности внутренних блоков кондиционеров, в противном случае они просто не будут холодить либо вообще выдут из строя.
• ΔT — параметр, характеризующий производительность системы кондиционирования, должен варьироваться в пределах 10-12 градусов. Т.е. если на выходе из кондиционера 16 градусов, то на входе в кондиционер, после прохождения воздуха через горячий сервер, должно быть 26-28 градусов. Понятно, что воздух внутри сервера нагревается гораздо выше и чтобы снизить его температуру, необходимо разбавлять горячий воздух холодным на выходе из сервера: это так называемый подмес. Задача — чтобы внутренний блок кондиционера не перегрелся. На данной операции СКВ теряет свою эффективность и энергия тратится впустую.
• Относительная влажность в помещении не должна быть слишком низкой (ниже 30%), т.к. на платах серверов начинает накапливаться статический заряд, что может вывести их из строя. Есть и специфическое оборудование типа магнитных лент (и сразу — нет, мы не используем накопители на магнитофонной ленте): оно сохнет и портится. Высокая влажность (более 70 %) может привести к выпадению конденсата и замыканию контактов.
• Важно следовать стандартам Uptime Institute, с его классификацией TIER: система должна работать непрерывно с учётом возможного отказа любого из узлов.

Выбор решения

При разработке Технического задания на СКВ, мы руководствовались рекомендациями специальных стандартов в области проектирования и строительства ЦОД (TIA 942, ASHRAE, BICSI) и приняли следующие параметры:

• Надежность всех компонент системы не ниже TIER 3 по классификации Uptime Institute;
• Резервирование всех компонент N+2, где N число необходимых по проекту компонент СКВ;
• Режим работы круглосуточный, 365 дней в году;
• Температура на входе в стойку от +18 до +27 градусов Цельсия;
• Влажность 40%-60%;
• Система должна функционировать в штатном (не аварийном) режиме при наружной температуре от -40 до +40 градусов Цельсия;
• Среднегодовой показатель PUE (Power Usage Effectiveness) — не выше 1.3, причём это один из важнейших критериев выбора.

При подборе решения для организации СКВ мы рассматривали множество вариантов, начиная от классических кондиционеров на фреоне, заканчивая футуристическими колесами Киото. Однако, при соответствии всем требуемым параметрам, нам необходимо было решение, реализация которого, и что важней, долгосрочная эксплуатация, должна быть дешевле любых классических схем, применяемых в ЦОД.

Варианты выбора

Классическая система прецизионного кондиционирования построенная на фреоновых кондиционерах DX

Эти системы работают на разрешенном типе фреонов, не разрушающих озоновый слой. Фреонами называются вещества, образованные на основе двух газов — этана и метана с замещением атомов водорода на атомы хлора и фтора (поэтому их еще называют хлорфторуглеродами). Все хладагенты, используемые в кондиционерах, являются негорючими и безопасными для людей и животных веществами. Однако считается, что большая часть хлорфторуглеродов разрушает озоновый слой (точных доказательств нет, но эффективные хладагенты на всякий случай под запретом). Так или иначе, но европейские производители, а также производители, ориентированные на европейский рынок были вынуждены искать замену «классическому» фреону R-22, который используется в 90% кондиционеров. В качестве замены были выбраны хладагенты R-410A и R-407C. За единицу опасности для озонового слоя принят потенциал френона R-12, на котором до сих пор работает множество холодильников. Озоноразрушающий потенциал фреона R-22 равен 0.05, а новых фреонов R-410A и R-407C — нулю.

Прецизионный фреоновый сплит-кондиционер с наружным блоком DX

Это своего рода холодильник. Серверная — это место где хранятся сервера (продукты). Применение данной технологии подразумевает высокие затраты на оплату электроэнергии. Минимальный PUE, который можно достичь при прочих равных условиях не будет эффективней значения 2.0. Т.е. чтобы обеспечить питанием сервера мощностью 500 Киловатт, нам необходимо подвести к серверной 1000 Киловатт, таким образом, 500 Киловатт мы тратим просто на ветер.

Электроэнергия тратится на работу большого количества механических систем: компрессора, вентиляторов внутреннего блока, насоса увлажнителя, наружных вентиляторов. Тепло отводится за счет циркуляции фреона в замкнутом контуре. Горячий фреон перекачивается компрессором по трубкам в радиатор внешнего блока, вентилятор охлаждает трубки и охлажденный фреон поступает обратно во внутренний блок, который установлен в серверной. Работа данного типа кондиционирования не зависит от времени года и работает все время в неэкономном режиме.

Это решение применимо в помещениях, где нет доступа к системе с охлажденной водой или где вы не можете разместить чиллер. Самая старая и наименее эффективная технология.

Система прецизионного кондиционирования построенная на чиллерах CW (free cooling)

Прецизионный кондиционер с водяным теплоносителем (вода, гликоль), с внешним чиллером и сухой градирней

Система объединяющая в себе сухую градирню и чиллер с применением технологии Free-cooling (свободное охлаждение) работающая на охлажденной воде. Решение похоже на предыдущий вариант — есть теплоноситель (вода) который бегает между внутренним и внешним блоком. Энергия тратится на вращение внешних и внутренних вентиляторов, а также насосную группу, которая гоняет эту самую воду. Однако запас воды предусматривается по объему большой (так называемый аккумулятор холода), поэтому в холодное и относительно холодное время года (до +10 градусов), система тратит минимальное количество энергии только на перегонку воды, которая охлаждается за счет контакта с окружающим воздухом.

Подобное решение позволяет оптимизировать энергопотребление инженерной инфраструктуры ЦОДа, а также обеспечить модульность и гибкость всей системы СКВ. Применение данной системы позволяет снизить значение PUE до 1,7, однако первоначальные вложения гораздо выше, чем в случае применения DX-систем.

Прямое охлаждение наружным воздухом. Direct Free Cooling (DFC)

Схема блока системы с прямым охлаждением воздухом (DFC)

Система охлаждения с использованием внешнего атмосферного воздуха, который напрямую попадает в серверную с улицы. Система устроена следующим образом: вентиляторы забирают воздух с улицы, гонят его по воздуховодам через фильтры, причем система фильтрации должна быть последовательной: сначала грубая очистка (фильтрация по классу EU1-3), далее удаление вредных взвесей и частиц (фильтрация по классу EU4-7), затем финальная подготовка и подача воздуха в серверную (фильтрация EU8-13). Горячий воздух из серверной выбрасывается на улицу вентиляторами, поднимаясь за счет конвекции к потолку помещения.

Эффективность такой системы гораздо выше — PUE до 1,3 — но появляется большое количество минусов. Необходимо постоянно менять фильтры. Из-за большого количества фильтров, скорость прохождения воздуха падает, поэтому необходимо устанавливать более мощные вентиляторы, а это создает повышенную вибрацию и шум. По сути в серверную попадает атмосферные воздух с теми же параметрами влажности, что и на улице: если осенью идут дожди, влажность в северной будет подниматься до 100% значения, значит необходимо будет применять систему осушения воздуха. В условиях низкой влажности или лесных пожаров, доступ наружного воздуха необходимо будет ограничивать или вообще закрывать заслонку и переходить на охлаждение серверной традиционными кондиционерами DX или CW, что снизит энергоэффективность и повысит эксплуатационные расходы, в том числе на электроэнергию.

Более того, система естественного прямого охлаждения, равно как и любая система с использованием технологии freecooling, не может работать круглый год, т.к. летом воздух нагревается и не позволит охлаждать серверную. Для этого необходимо применять дополнительную систему кондиционирования из первых двух вариантов (CW или DX системы). Конечно, время их работы будет гораздо меньшим, чем в первых двух случаях (не более 50%). Но в совокупности, решение DFC эффективней и дешевле чем DX или CW системы в чистом виде.

Естественное охлаждение. Natural Free Cooling (NFC)

Схема блока системы естественного охлаждения (NFC)

Система охлаждения с использованием внешнего атмосферного воздуха, однако воздух не попадает напрямую в серверную, а охлаждает теплообменник. При этом мы освобождаемся от необходимости использовать цепочку фильтрации, достаточно только грубой очистки воздуха на входе в рекуператор, а также избавляемся от проблемы постоянного поддержания заданной влажности внутри помещения серверной, т.к. контур охлаждения серверной замкнутый. PUE такой системы достигает значений 1,09 в наших климатических широтах.

Как и DFC, система NFC не может работать круглый год, однако эффективность решения позволяет увеличить суммарный годовой цикл работы до 80% без использования CW или DX. Ещё один важный фактор — есть возможность достаточно простого (в сравнении с экзотическими системами) дублирования узлов. Мы выбрали именно его — Natural Free Cooling (NFC).

Как это работает

Система представляет собой два разомкнутых отдельных контура, наружный и внутренний. Во внутреннем контуре циркулирует воздух ЦОД, в наружный контур подается уличный воздух. Основным элементом системы является рекуперативный теплообменник, в котором происходит теплообмен между наружным воздухом окружающей среды и воздухом в помещении МЦОД. Нагретый воздух удаляется из горячих зон вытяжными воздуховодами, охлажденный воздух подается в холодные коридоры. Если к рекуператору добавить вентиляторы и поместить все это в коробку, то получится модуль NFC.

В нормальном режиме работы, до +18 наружного воздуха, система NFC работает следующим образом:
— Вентиляторы забирают воздух из горячего коридора серверной (с диапазоном температур от 35ºC до 40ºC), создаваемый оборудованием в телекоммуникационных стойках, и транспортирует в нижнюю область рекуператора. Наружный воздух забирается извне и подается в верхнюю зону рекуператора. Проходя через рекуператор внешний воздух охлаждает внутренний контур, после холодный воздух поступает обратно в серверную, в зону фальшпола.

Принцип работы NFC.

При подъеме температуры наружного воздуха в диапазоне от +18 до +24, включается дополнительная система адиабатического охлаждения:

Схема работы адиабатического охлаждения.

Данная система используется для создания водяного тумана, проходя через который наружный воздух будет охлаждаться. Снижение температуры достигается за счет испарения воды.

При подъеме температуры выше +24 или при авариях или же при признаках горения в наружном воздухе в работу включается дополнительный контур охлаждения, построенный на системе CW (чиллерная, двухконтурная установка, резервирование которой само по себе выполнено по принципу N+2)

Выносной конденсаторный блок.

Чиллер.

Заключение

Перед нами стояла задача создания технического центра, оптимального по стоимости времени запуска с нуля. Подбор технологий был непростым: конечно, в первую очередь все смотрели в сторону классических, проверенных решений, заблуждаясь, что все новое и инновационное обязательно дорогое. Однако, как оказалось, все технологии и не дороже классических с точки зрения TCO и не так уж новы, в Европе их успешно применяют, в чем мы лично убедились, проехавшись по основным ЦОД европейских телекоммуникационных операторов.

Риск быть первыми в ряде решений и наступить на грабли велик, однако у нас есть страховка в виде обычных чиллерных систем, которые проверены временем и будут работать в случае каких-то аварий или нештатных ситуаций.

^{Использованы материалы Ивана Прокофьева — эксперта по инженерным системам в команде проекта строительства ЦОД в г. Ярославль.}
Источник: Блог компании ВымпелКом (Билайн) на habrahabr.ru