До 35-40 % всей энергии, потребляемой ЦОДом, расходуется на охлаждение серверных стоек и инженерных систем. Адиабатический принцип охлаждения дата-центра позволяет заметно снизить энергопотребление в сравнении с традиционными системами. Экономичный способ охлаждения ЦОДа будет реализован в дата-центре компании DataPro в Москве.

Погода в ЦОДе

За последние годы плотность размещения оборудования в дата-центрах существенно увеличилась, а вместе с ней выросли и расходы на электропитание. В российских коммерческих дата-центрах одна стойка в среднем потребляет от 3 до 10 кВт — примерно столько же от нее приходится отводить тепла. При этом самый весомый «вклад» а общий ландшафт энергопотребления вносят системы охлаждения: их доля достигает 35-40 %.

В стремлении оптимизировать традиционную схему, специалисты пытались отводить тепло путем применения более эффективных хладагентов и за счет выбора оптимальных параметров работы системы. Но эти были полумеры, которые не позволяли добиться существенной экономии.

Самое энергоемкое звено в традиционной схеме охлаждения —  это компрессор и конденсаторные агрегаты. Отказ от этих компонентов в сочетании с использованием холода наружного  воздуха (freecooling —  именно так по-научному называется использование естественного охлаждения) стал первым революционным шагом на пути к оптимизированной, низкозатратной в отношении энергоресурсов системе охлаждения. Этот подход взяли на вооружение многие дата-центры мира. Принцип фрикулинга сегодня широко применяется и во многих ЦОДах России —  в основном в тех регионах, где на протяжении многих месяцев держится низкая температура за окном. Очевидно, применение такой технологии вполне оправдано в Мурманске или Норильске. Но можно ли построить энергоэффективный ЦОД в жарком климате? Для российских дата-центров этот вопрос тоже не праздный, так как в летние месяцы в средних и даже северных широтах температура воздуха бывает довольно высокой.

Горячее охлаждение

ЦОД «Меркурий» компания eBay

Как ни парадоксально, но во всем мире известно немало примеров расположения дата-центров в жарком климате —  в условиях, гораздо более экстремальных по сравнению с российскими. К примеру, ЦОД «Меркурий» компания eBay построила в американском городе Финикс, штат Аризона —  в жаркой пустыне, где столбик термометра летом достигает 50 градусов C. И это при том, что для бизнеса eBay чрезвычайно важен такой фактор как непрерывность и время реакции приложения на запрос пользователей по всему миру —  каждую секунду на портале этой компании заключается громадный объем сделок общей суммой около 2 тыс долларов. То есть безотказность всех систем ЦОДа стоит в списке приоритетов на первом месте. Казалось бы, для охлаждения такого ЦОДа разумнее было бы расположить его в северных широтах.

И, тем не менее, eBay построила свой ЦОД именно в Аризоне, — и не прогорела.  Казалось бы, об использовании внешнего воздуха и речь не могла идти. Но, проанализировав все имеющиеся возможности снижения уровня потребления энергии, эксперты eBay пришли к выводу, что именно фрикулинг лучше всего обеспечит требуемую эффективность нового ЦОД в пустыне. Секрет в том, что в сочетании с фрикулингом на этом объекте было применено адиабатное увлажнение.

Ветер с моря дул

Уже давно было замечено, что воздух, приходящий с моря, прохладнее, чем степной ветер, дующий в направлении акватории. В Древнем Риме таким образом охлаждали дома: под распахнутыми окнами располагался бассейн с фонтаном: проходя над водой, воздух охлаждался в результате ее испарения.

На этом принципе основаны и мокрые градирни, —  один из самых старых методов охлаждения, который активно используется на производствах. Принцип действия этих систем основан на охлаждении воды потоком воздуха, продуваемого через ее поверхность.

Более продвинутый вариант этого процесса применяется в адиабатических системах охлаждения воздуха.

Экономика вопроса

Адиабатическое охлаждение ЦОД —  недорогая и надежная система, в которой отсутствуют  сложные агрегаты и не требуется резервирование узлов. Для реализации адиабатического увлажнения практически не требуется затрат электроэнергии — расходуется только вода. Таким образом, стоимость охлажденного воздуха низка, что при правильном его использовании может существенно повысить энергоэффективность систем кондиционирования.

В целом оборудование современных ЦОДов неплохо переносит и более высокую температуру, и увеличение влажности воздуха. В качестве допустимых границ используются параметры, рекомендованные ASHRAE (American Society of Heating, Refrigerating and Air Conditioning Engineers). В первой редакции этих рекомендаций, опубликованной в 2004 г., был установлен верхний предел в 25 градусов Цельсия при влажности 40%, во второй (2008 г.) – 27 градусов при влажности 60%. В рекомендациях 2011 года появились два новых класса оборудования для ЦОДов – А3 и А4 с температурным диапазоном до 40 и 45 градусов. Хотя такое «жаркое» охлаждение еще не распространено повсеместно, любители инноваций активно начинают его использовать. Это позволяет существенно расширить географию применения «зеленого» охлаждения.

Адиабатическое охлаждение требуется далеко не всегда, —  только в самые жаркие месяцы. В холодное время года охлаждение идет с помощью внешнего воздуха. Не так давно системы адиабатического охлаждения в основном использовались в регионах с сухим и жарким климатом. Но последние разработки производителей климатического оборудования показали большой потенциал использования систем адиабатического охлаждения в европейских регионах с умеренным климатом.

— Следует отметить, что ни начальная температура воды, ни температура воздуха на процесс практически не влияют, —  в отличие от влажности, —  поясняет Михаил Балкаров, технический эксперт компании Emerson Network Power. —  Так что если ЦОД находится в пустыне, но при этом имеет источник воды, получается вполне эффективная система. А вот если идет дождь при температуре воздуха плюс 25 градусов Цельсия, то, увы, никакого охлаждения из системы извлечь не удастся, поскольку во время дождя влажность наружного воздуха близка к 100%.

Михаил отмечает, что необходимо учитывать локальные аномалии влажности, возникающие рядом с крупными водоемами. Кроме того,  в российских регионах с переменчивой погодой, возможно, придется иметь одновременно две системы – традиционную и  альтернативную, что заметно увеличит размер капитальных инвестиций и может свести к нулю все попытки сэкономить.

Недостатком метода адиабатического охлаждения становится также увеличение влажности воздуха. Могут возникнуть опасения, что влажность станет угрозой для чувствительного электронного оборудования в дата-центре. Один из  примеров такого инцидента рассматривается ниже (см. раздел «Facebook под дождем»).

Среди других недостатков системы адиабатического охлаждения эксперт отмечает расход воды и необходимость эту воду подготавливать. «Воды тратится порядка 2 л/ч на 1 кВт/ч в пике потребления и порядка 0,3 л/ч в теплый сезон в среднем, —  рассказывает Балкаров. —  Это  заметные деньги, а считая с расходами на очистку, — еще более заметные».

Очищать воду нужно, подчеркивает Михаил Балкаров, потому что при испарении все минералы оказываются в воздухе в виде мелкой пыли. «И если для градирен это достаточно дешевый процесс, связанный с грубой очисткой, —  очищение в основном предусмотрено для предотвращения накипи, —  то форсунки в адиабатической системе требуют микрофильтров и осмотической фильтрации», —  объясняет эксперт. Так что не только стоимость системы, но и эксплуатационные расходы возрастают».

При использовании адиабатического охлаждения следует помнить о том, что придется решать еще и вопросы водоснабжения, водоотведения и водоподготовки, которые, в свою очередь, перетекут в проблемы архитектуры и строительных конструкций. Не стоит забывать и о стоимости воды. Пока ее цена несравнима со стоимостью электроэнергии, но она постоянно растет.

Коэффициент WUE

Использование систем адиабатического охлаждения приводит к снижению PUE и энергопотребления, но при этом расход воды может быть очень велик. Поэтому организация Green Grid в марте 2011 г. ввела еще один параметр, характеризующий полезное потребление воды в дата-центре, – коэффициент использования воды WUE (Water Usage Effectiveness). Коэффициент рассчитывается по формуле:

WUE = годовое потребление воды / мощность ИТ-оборудования 

Единицей измерения WUE является л/кВт/ч.

Facebook стал первым оператором дата-центра, который открыто поделился значением WUE . В ЦОДе, расположенном в г. Прайнвилль во втором полугодии 2011 г. этот параметр составлял 0,22 л/кВт*ч.

В целом использование адиабатического  охлаждения позволяет добиться высокой энергоэффективности ЦОДа: коэффициент PUE может достигать значения 1,043, за счет того, что вспомогательное оборудование, включая систему охлаждения, даже летом потребляет всего около 4% электроэнергии энергии ЦОДа, а зимой – и того меньше (в зимний период PUE –  около 1,018). Эффективность компрессорно-конденсаторных систем на основе чиллеров или DX-кондиционеров существенно ниже, для них PUE = 1,3 – великолепный результат.

Упомянутый в начале статьи ЦОД «Меркурий» площадью 12 600 квадратных метров и мощностью 4 МВт функционирует уже больше года. Использование фрикулинга совместно с адиабатным испарительным охлаждением в этом ЦОДе доказало свою эффективность.

ЦОДы Facebook

Адиабатическая система охлаждения в ЦОД Facebook

Еще один яркий пример использования новых технологий охлаждения – ЦОДы Facebook. Первый собственный дата-центр Facebook построила в американском  городке Прайнвилль, в 2010 году. Через год был построен второй, дублирующий дата-центр в Форест-Сити, штат Северная Каролина. Коэффициенты энергоэффективности (PUE) этих площадок составляют: 1,07 для ЦОД в Прайнвилле и 1,09 — для ЦОД в Форест-Сити. Этого удалось достичь только благодаря снижению потерь при передаче и преобразовании электроэнергии, а также более высоким рабочим температурам воздуха внутри ЦОДа  (допускается +35 °C в стойках в холодном коридоре).

В дата-центрах установлена традиционная система охлаждения, но используется она только в аварийных случаях. Основная же система кондиционирования воздуха — прямой фрикулинг с несколькими камерами подготовки воздуха, через которые проходит наружный воздух.

Первоначально воздух извне забирается воздухозаборниками на втором ярусе и поступает в камеру подготовки, где фильтруется и смешивается с горячим воздухом. Далее воздух проходит через холодильные панели. Они представляют собой камеру увлажнения с большим количеством труб, разбрызгивающих дистиллированную воду форсунками под высоким давлением, благодаря чему повышается влажность и понижается температура продуваемого воздуха. Чтобы мелкодисперсная влага не могла проводить электричество, используют дистиллированную воду. Далее на пути воздуха стоят мембранные фильтры, отделяющие крупные частицы влаги. Затем воздух мощными вентиляторами направляется в машинный зал. Отработанная вода собирается в специальном резервуаре и очищается.

Фейсбук под дождем

Однажды внутри охлаждаемого помещения дата-центра компании Facebook в Прайнвилле образовалось облако влаги, которое в буквальном смысле накрыло собой серверные помещения вместе с их (извините за каламбур) «облачными» вычислениями.

В 2001 г. этот дата-центр столкнулся с проблемой в работе системы управления, из-за чего температура воздуха, используемого для охлаждения серверов, достигла более 26 градусов Цельсия, а влажность – свыше 95%. В результате стал накапливаться конденсат и образовалось дождевое облако, заполнившее собой  все пространство с вычислительным оборудованием. В происходящее было невозможно поверить. Начались звонки коллегам в центр эскалации проблем, а те долго не могли вникнуть, о каком дождевом облаке идет речь? Проще было убедить их в том, что яблони зацвели на Марсе, чем в сказку о дожде.

Ради экономии электричества Facebook использовал наружный воздух для охлаждения своего дата-центра вместо традиционной системы. Но после того как система управления вышла из строя, началась рециркуляция подогретого воздуха с низким уровнем влаги через систему охлаждения на базе водяного испарителя.

Это привело к тому, что воздух сильно увлажнился и образовалось облако, которое натворило много бед. Некоторые серверы полностью вышли из строя: те специалисты, кто находился  в дата-центре, могли наблюдать, как искрят и агонизируют серверы. Хуже ничего и представить было невозможно. Впрочем, инцидент больше не повторился: специалисты Facebook тщательно изолировали контакты в местах подключения серверов к источникам питания, защитив их от влаги.

А что в России?

Адиабатические системы охлаждения в России пока не очень популярны, но специалисты считают, что в ближайшие годы проектировщики дата-центров будут проявляет к ним все больший интерес. Причина тому — Федеральный Закон ФЗ-261, который устанавливает жесткие рамки для энергопотребления и требует повышения энергетической эффективности на 40 % к 2020 году. Единственный возможный сценарий, который позволит удовлетворить такие требования — это переход на фрикулинг в сочетании с адиабатическим охлаждением. И первые примеры таких внедрений уже есть. В частности, данный принцип охлаждения будет использован в  новом строящемся дата-центре  компании DataPro в Москве.

Проект этой площадки подразумевает использование экономичного в эксплуатации решения для обеспечения необходимых климатических условий — модульной системы EcoBreeze производства Schneider Electric. Компания DataPro планирует реализовать крупнейшую в Европе инсталляцию данной системы в собственном мега-ЦОДе в Москве на Авиамоторной улице — объекте с установленной мощностью 20 МВт. Система EcoBreeze построена с использованием принципа мокрой градирни (разновидности технологии адиабатического охлаждения) в сочетании с фрикулингом, о которых говорится в данной статье. В Москве, где установлены высокие тарифы на электроэнергию, использование этой системы позволит добиться существенной экономии операционных расходов в дата-центре.

«Технические решения с использованием адиабатического охлаждения нельзя назвать инновационными, поскольку они успешно применяются во многих ЦОДах за рубежом, — поясняет Алексей Солдатов. — Но использование  этого  принципа в российских дата-центрах — явление редкое. Инсталляция EcoBreeze на нашей московской площадке    —   одно из первых внедрений».

А вот на другом объекте, в дата-центре компании DataPro в Твери, для охлаждения серверных помещений и электротехнического оборудования используется традиционный принцип с использованием фреоновых трасс, что обусловлено невысокими капитальными затратами и низкими тарифами на электроэнергию.

На объекте в Твери применяется еще одна разновидность адиабатического принципа —  изотермическое увлажнение для поддержания необходимого уровня влажности в серверных помещениях, о нем мы расскажем в нашей следующей статье.

Принцип действия

Михаил Балкаров. Отрывок из книги «Охлаждение серверных и ЦОД. Основы.», 2011 г.

Принцип действия адиабатической системы охлаждения состоит в распылении воды в виде мельчайших капель, которые впрыскиваются в горячий воздух. (Вода при этом должна быть очищена от всяческих примесей.) Вода, испаряемая в воздухе, способна охладить его до температуры, близкой к температуре мокрого термометра.

Строго теоретически предел охлаждения в этом процессе заметно ниже и равняется температуре точки росы. Для реализации этой возможности достаточно часть исходного воздуха охладить до температуры мокрого термометра испарением воды, а потом с его помощью охладить остаток, не увлажняя. Далее холодный воздух также увлажняется, приобретая более низкую температуру. Процесс можно повторить еще раз с частью воздуха, достигнув температуры, близкой к точке росы. Единственная очевидная техническая трудность достижения минимально возможной температуры —  увеличение в несколько раз требуемых объемов подаваемого воздуха и площади теплообменника.

Подобные системы делают либо по принципу мокрых градирен, —  то есть используют большую поверхность пластин, покрытую тонкой пленкой воды, —  либо распыляют воду под давлением в несколько сот атмосфер, через микронные форсунки, очень мелкими каплями непосредственно в воздуховоды.

Далее либо происходит обмен температурой с тем, что необходимо охладить, либо влажный воздух напрямую используется для охлаждения оборудования. Расход воды составляет около 2 Кг на 1 кВт/ч отводимого тепла. Поскольку испаряется большая часть воды, —  соответственно растут требования к ее химическому составу, что требует использования ионнообменных фильтров или фильтров обратного осмоса.

При использовании форсунок строгие требования предъявляются к механическим загрязнениям, требуется установка микрофильтров после насоса высокого давления. Эти усложнения связаны с тем, что начиная с определенного размера капли процесс испарения происходит очень быстро, и за счет этого значительно уменьшаются размеры оросительной камеры.

Использование форсунок большего диаметра, среднего и низкого давления, проще с точки зрения эксплуатации форсунок и процесса водоподготовки. Но при  этом часть воды не участвует в процессе и сливается (капли не успевают испарится полностью), кроме того размеры камер увлажения становится сопоставимым с остальными помещениями системы.